Noah Smith: Vypadá to, že umělá inteligence je skutečně existenční hrozbou

Příchod kódování pro Vibe připravuje cestu pro mnoho nových katastrof způsobených umělou inteligencí, v neposlední řadě pro vývoj supervirů.

Nedávno jsem napsal článek o tom, jak lidstvo nevyhnutelně ztratí moc kvůli existenci umělé inteligence.

Řada lidí mi napsala s otázkou: „Co vás přimělo změnit názor?“ Před třemi lety, krátce po vydání původního ChatGPT, jsem napsal příspěvek o tom, jak LLM nezničí lidstvo.

A před pár měsíci jsem napsal příspěvek, v němž jsem tvrdil, že umělá superinteligence (ASI) bude pravděpodobně pokojně koexistovat s lidstvem, místo aby nás vyhladila. Lidé chtěli vědět, proč se můj tón změnil z optimistického na pesimistický.

Jednoduchá odpověď zní: „Měl jsem špatnou náladu.“ Můj králík byl nemocný, takže jsem byl trochu mrzutý, a proto jsem ve svém příspěvku před pár dny vylíčil konečné zbavení lidstva moci negativněji než obvykle.

Vlastně jsem vždycky věřil, že lidstvo nakonec nahradí něco postlidského – božské umělé inteligence, vědomí roje, modifikovaní lidé nebo cokoli jiného. Vyrůstal jsem na čtení sci-fi románů na tato témata – Vernor Vinge, Charles Stross, Arthur C. Clarke, Iain M. Banks a tak dále – a prostě mi vždycky připadalo nemožné, že lidstvo už dosáhlo teoretického vrcholu inteligence.

Vždycky jsem si prostě představoval, že všechno, co přijde po nás, bude patřit lidské rodině a bude na naší straně, nikoli proti nám. O tom byl můj nedávný příspěvek. Nakreslil jsem poněkud bezútěšný obraz konečného zániku lidstva, protože jsem měl špatnou náladu. Ale i v tomto příspěvku jsem nakonec vyjádřil optimismus, že ASI nás zachrání před věcmi, jako je nízká porodnost, fašističtí vládci a konec vědeckých objevů poháněných člověkem.

Tato optimistická budoucnost by se podobala románům Iaina M. Bankse z řady Kultura, v nichž umělá inteligence přebírá otěže civilizace, ale respektuje, podporuje a chrání dnes již z velké části bezcennou lidskou rasu – v podstatě mnohem laskavější a osvícenější verze toho, jak se Spojené státy dnes chovají k původním obyvatelům Ameriky. Je to melancholická budoucnost, v jistém smyslu smutná, ale ne zvlášť děsivá.

ALE zároveň se mnohem více než před třemi lety obávám existenciálních, katastrofických rizik spojených s umělou inteligencí – těch, která by nás zabila, místo aby nás jen učinila pohodlně bezmocnými. A proto si lidé, kteří se mě ptali, proč se můj tón změnil, zaslouží delší vysvětlení, proč se o to víc bojím.

Co jsem před třemi lety nepochopil

Ve svém příspěvku před třemi lety jsem tvrdil, že LLM ještě není takovým typem umělé inteligence, která by mohla ohrozit lidstvo. Myslím, že jsem měl pravděpodobně pravdu ohledně druhu LLM, které existovaly na začátku roku 2023, a to z důvodů, které jsem v daném příspěvku nastínil.

Stručně řečeno, argumentoval jsem, že LLM mohou mluvit pouze s lidmi, a proto by mohli zničit lidstvo pouze tím, že by nás přesvědčili, abychom zničili sami sebe (což je nepravděpodobné), nebo tím, že by nás naučili, jak se zničit sami (např. tím, že by naučili bioteroristy, jak vyrábět biologické zbraně).

Na svou obranu musím říct, že se to příliš neliší od scénáře, který pro rok 2022 předpověděl Eliezer Yudkowsky – autor doslova knihy o existenčních rizicích, která představuje umělá inteligence. Napsal:

Můj minimální model pro „jak by dostatečně silná inteligence zabila všechny lidi, kdyby tomu nechtěla zabránit“ je takový, že získá přístup k internetu, e-mailem pošle některé sekvence DNA jedné z mnoha online společností, které přijmou sekvenci DNA v e-mailu a pošlou vám zpět proteiny, a podplatí/přesvědčí člověka, který nemá tušení, že má co do činění s AI, aby smíchal proteiny v kádince, které pak vytvoří první fázi nanotovárny, jež dokáže postavit samotný nanostroj.

Jde o to, že umělá inteligence učí lidi, jak vytvářet samoreplikující se nanostroje, spíše než virus soudného dne. Ale upřímně řečeno, myslím si, že virus soudného dne by se vytvořil snáze. Proto si nemyslím, že by můj scénář příliš zaostával za předpověďmi nejhlasitějších a nejpanikařících expertů na bezpečnost umělé inteligence z roku 2023.

Každopádně, i kdybych ve svém příspěvku z roku 2023 řekl „chatboti“ místo „LLM“, myslím, že bych měl stále pravdu, protože chatbot je druh uživatelského rozhraní, zatímco LLM je základní technologie, která dokáže mnohem víc než jen provozovat chatbota. Co jsem přehlédl, bylo, že LLM dokážou mnohem víc než jen mluvit s lidmi – dokážou psát kód, protože kód je jen jazyk a není příliš obtížné je k tomu přimět automatizovaným, end-to-end, agentovým způsobem.

Jinými slovy, nepředvídal jsem vzestup vibračního kódování. A pravděpodobně jsem měl. Abych byl spravedlivý, vznik vibračního kódování vyžadoval některé významné technologické pokroky, které na začátku roku 2023 neexistovaly. Ale přehlédnutí skutečnosti, že počítačový kód je jen jazyk, který se lze naučit jako jakýkoli jiný – a že je ještě snazší se naučit, protože si můžete ověřit, kdy funguje a kdy ne – bylo z mé strany obrovským přehlédnutím. A to otevírá dveře celé řadě dalších děsivých scénářů, které jdou daleko za rámec „chatbota, který pomáhá lidem udělat něco špatného“.

Každopádně, pojďme si promluvit o tom, čeho se právě teď bojím. Ale nejdřív si pojďme promluvit o tom, čeho se bojím méně, alespoň prozatím.

Vzestup robotů je stále v nedohlednu

Scénář, který si každý představuje, je takový, v němž plně autonomní ASI rozhodne, že lidská civilizace je překážkou pro její využívání přírodních zdrojů a že musíme být vyhlazeni, zotročeni nebo jinak radikálně zbaveni moci, abychom mohli svět proměnit v datová centra. To je v podstatě zápletka filmů o Terminátorovi, Matrixu a různých dalších příběhů o „vzestupu robotů“.

Koncepčně si lze snadno představit umělou inteligenci, která by pokročila do bodu, kdy by to mohla implementovat. Měla by úplnou kontrolu nad plně automatizovaným výrobním řetězcem umělé inteligence, včetně:

• Těžba, rafinace a zpracování nerostů
• Výroba čipů a výstavba datových center
• Výroba robotů

Kontrola nad celým tímto řetězcem by umělé inteligenci dala kontrolu nad vlastní reprodukcí – stejně jako lidé vždy měli kontrolu nad svou vlastní reprodukcí. Mohla by se pak s jistotou obejít bez lidstva, aniž by ohrozila svou vlastní budoucnost.

To je v podstatě velmi přímá analogie k tomu, co evropští osadníci udělali civilizaci amerických Indiánů, nebo co různé jiné vlny lidských dobyvatelů a kolonizátorů udělaly jiným skupinám lidí.

Myslím, že tento scénář je znepokojivý, ale není bezprostřední. Robotika je v současné době stále v poměrně rudimentárním stavu – sice dochází k pokroku, ale umělá inteligence bude i nadále potřebovat lidi jako své zástupce ve fyzickém světě v nadcházejících letech.

Kromě toho musí umělá inteligence projít určitými algoritmickými změnami, než bude moci trvale „přežít“ bez lidí – například si vyvinout dlouhou paměť. Neříkám, že se to nestane, ale alespoň máme nějaký čas přemýšlet o tom, jak zabránit scénáři „vzestupu robotů“. Věřím, že bychom měli pověřit některé lidi (a umělou inteligenci) přemýšlením o tom, jak chránit naši společnost před takovými hrozbami.

Zdá se pravděpodobné, že umělá inteligence bude nakonec dostatečně inteligentní, aby obešla všechna fyzická ochranná opatření, která jsme zavedli, abychom zabránili vzestupu robotů. Ale jak jsem psal před dvěma měsíci, myslím si, že umělá inteligence pokročilá do bodu plné kontroly nad fyzickým světem by již dosáhla fáze, kdy chápe, že mírové soužití a pozitivní interakce jsou z dlouhodobého hlediska lepší volbou než genocida.

Inteligentnější lidé a bohatší lidské společnosti bývají mírumilovnější a totéž očekávám i od inteligentnější umělé inteligence. Proto si myslím, že existují jiné obavy, které by měly mít přednost.

Co se stane, když se stroj zastaví?

Ve svém příspěvku před třemi lety jsem se pokusil vyjmenovat způsoby, jakými by nás LLM mohly nakonec zničit:

Zde je seznam způsobů, jakými by lidstvo mohlo vyhynout v relativně krátkém časovém období:

• Jaderná válka
• Biologické zbraně
• Jiné katastrofické zbraně hromadného ničení (dopad asteroidu atd.)
• Masová sebevražda
• Vyhlazování roboty
• Velká ekologická katastrofa

Příchod vibračního kódování mě přiměl přemýšlet o dalším způsobu, jak by mohla být naše civilizace zničena, o čemž jsem asi měl přemýšlet už tehdy: o hladu.

Každý zemědělský stroj v industrializovaných zemích je nyní víceméně řízen softwarem – každý traktor, každý sklízeč, každý stroj na zpracování potravin. Tento software byl z velké části napsán lidmi, ale v relativně krátké době bude zcela poháněn umělou inteligencí.

V tomto bodě by umělá inteligence v principu dokázala zničit lidskou civilizaci pouhým ochromením zemědělského softwaru. Mohla by instalovat škodlivé aktualizace, nabourávat se do systémů a převzít kontrolu nebo software smazat atd. Zemědělské stroje by přestaly fungovat a během několika týdnů by celé lidstvo začalo hladovět. Civilizace by se brzy zhroutila.

Na tento scénář jsem si měl opravdu vzpomenout, když jsem v roce 2023 psal svůj příspěvek, protože je to zápletka velmi slavného sci-fi příběhu z roku 1909: „ Stroj se zastaví “ od E. M. Forstera. V tomto příběhu lidstvo žije v oddělených místnostech, komunikuje pouze elektronicky a je zcela zajištěno obří umělou inteligencí; když umělá inteligence přestane fungovat, většina lidstva zemře hlady.

To by se nám brzy mohlo stát. Vzhledem k tomu, že vibrační kódování je nyní mnohonásobně produktivnější než lidské kódování, je velmi pravděpodobné, že se v kódování stane mnohem méně lidí dobrými. I nástroje, které jsou v současnosti k dispozici, by mohly podkopat programátorské dovednosti lidí. Vyplývá to z nedávné studie společnosti Anthropic:

Umělá inteligence vytváří potenciální napětí: I když se programování stále více automatizuje a práce zrychluje, lidé stále potřebují dovednosti k detekci chyb, kontrole výsledků a v konečném důsledku k monitorování umělé inteligence ve vysoce rizikových prostředích. Nabízí umělá inteligence zkratku k rozvoji dovedností i ke zvýšení efektivity? Nebo naopak zvýšení produktivity plynoucí z podpory umělé inteligence podkopává rozvoj dovedností?

V randomizované kontrolované studii jsme zkoumali 1) jak rychle se vývojáři softwaru naučili novou dovednost (v tomto případě knihovnu Pythonu) s podporou umělé inteligence a bez ní, a 2) zda použití umělé inteligence vedlo k tomu, že hůře rozuměli kódu, který právě napsali.

Zjistili jsme, že použití asistence umělé inteligence vedlo ke statisticky významnému snížení úrovně zvládnutí programu. V kvízu, který testoval koncepty, jež používali jen několik minut předtím, dosáhli účastníci ve skupině s umělou inteligencí o 17 % nižšího skóre než ti, kteří programovali ručně, což je téměř o dva stupně méně.

Mezitím Harry Law napsal dobrý článek s názvem „Claudeovo poslední pokušení“, ve kterém rozebírá, jak ho jednoduchost vibračního kódování mentálně zpomaluje. Existuje mnoho dalších podobných článků.

S tím, jak se kódování Vibe bude zlepšovat a zcela eliminovat lidské zásahy, bude pravděpodobně dále klesat potřeba lidských softwarových znalostí. Pokud za deset let software ovládající naše zemědělské stroje z jakéhokoli důvodu přestane fungovat, je velká šance, že nezbude dostatek lidských programátorů, kteří by ho opravili.

To by byl pouze speciální případ známého problému – nadměrná optimalizace vede k nestabilitě. Když v roce 2020 udeřil Covid-19, zjistili jsme, že naše dodavatelské řetězce just-in-time byly natolik zaměřené na efektivitu, že jim chyběla robustnost. Kódování Vibe by mohlo vést k mnohem horší verzi stejného problému.

Katastrofický úder umělé inteligence však není na vrcholu mého seznamu obav. Důvodem je, že očekávám, že umělá inteligence bude značně fragmentovaná; zatím se zdá, že žádná společnost zabývající se umělou inteligencí nemá monopol, a to ani na krátkou dobu. Pokud se umělá inteligence, která píše kód pro sklízeče a traktory, náhle zblázní, zdá se velmi pravděpodobné, že by lidé mohli přivést jinou umělou inteligenci, která problém vyřeší.

Je jistě možné, že by se všechny systémy umělé inteligence mohly spolčit a nezbyl by žádný, který by lidstvu pomohl přežít, nebo že by se systémy umělé inteligence mimo kontrolu mohly zlomyslně bránit lidem v používání funkčních systémů umělé inteligence k řešení problému. Proto bychom měli zvážit, jak chránit náš zemědělský systém před softwarovými poruchami. Ale ani to není zrovna na vrcholu mého seznamu obav z konce světa.

Apokalypsa ve Vibe kódování

Dobře, takže co je na vrcholu mého seznamu obav z posledního soudu? Pořád je to bioterorismus páchaný umělou inteligencí.

Lov a zabíjení lidí armádou robotů by bylo poměrně obtížné. Připravit lidi o jídlo, aby hladověli, by bylo jednodušší, ale stále poněkud obtížné. Zabíjení lidí pomocí řady geneticky modifikovaných virů by však nebylo nijak zvlášť obtížné. Jak jsme viděli v roce 2020, lidé jsou vůči novým virům velmi zranitelní.

Představte si následující scénář. V blízké budoucnosti bude virologický výzkum v podstatě automatizovaný. Laboratoře budou řízeny roboty a umělá inteligence navrhuje viry v simulacích ještě předtím, než budou v laboratořích vytvořeny. Z jakýchkoli osobních důvodů chce lidský terorista zničit lidstvo. Pomocí technik, o kterých četl na internetu, nabourá téměř sofistikovanou umělou inteligenci, aby odstranil veškerá bezpečnostní opatření.

Poté dá této umělé inteligenci pokyn, aby naprogramovala simulaci schopnou navrhnout 100 supervirů. Každý supervirus je desetkrát nakažlivější než Covid, má 90% úmrtnost a dlouhou počáteční asymptomatickou fázi, což mu umožňuje se široce šířit, než zabije své oběti. Poté dá své umělé inteligenci pokyn, aby naprogramovala skript pro nabourání do každé virologické laboratoře na planetě, vytvoření těchto 100 virů a jejich následné vypuštění na lidskou populaci.

Pokud by se to podařilo, rychle by to vedlo ke konci lidské civilizace a možná i k vyhynutí celého lidstva.

Je to možné? Nevím. Ale vývoj se zdá směřovat tímto směrem. Například biologické laboratoře se stále více automatizují:

Překlad „X“ : Spolupracovali jsme s @Ginkgo na propojení GPT-5 s autonomní laboratoří, aby mohla navrhovat experimenty, provádět je ve velkém měřítku, učit se z výsledků a rozhodovat, co zkusit dál. Tento systém s uzavřenou smyčkou snížil náklady na výrobu proteinů o 40 %.

A algoritmy umělé inteligence se v simulaci věcí, jako jsou proteiny, stále zlepšují:

Překlad „X“ : Dnes zveřejňujeme technickou zprávu, která ukazuje, jak náš systém pro návrh léčiv dosahuje významného zlepšení přesnosti predikce biomolekulárních struktur, více než zdvojnásobuje výkon AlphaFold 3 v klíčových benchmarkech a umožňuje racionální návrh léčiv i pro dříve neznámé příklady.

„Virtuální laboratoře“ provozované „vědci s umělou inteligencí“ jsou dnes ve světě biotechnologií běžné. A existuje řada obav ohledně toho, jak by laboratoře s umělou inteligencí mohly být použity k vytváření supervirů. Zde je článek, který vyšel v časopise Time téměř před rokem:

Nová studie tvrdí, že modely umělé inteligence, jako jsou ChatGPT a Claude, nyní dokonce překonávají virology s doktorskými tituly v řešení problémů v mokrých laboratořích, kde vědci analyzují chemikálie a biologický materiál. Odborníci tvrdí, že tento objev je dvousečná zbraň. Ultrainteligentní modely umělé inteligence by mohly výzkumníkům pomoci zabránit šíření infekčních nemocí. Neodborníci by však mohli tyto modely zneužít k vytvoření smrtících biologických zbraní.

Studie, kterou exkluzivně sdílel deník TIME, byla provedena výzkumníky z Centra pro bezpečnost umělé inteligence, MIT Media Lab, brazilské Univerzity UFABC a neziskové organizace SecureBio, která se zabývá prevencí pandemie. Autoři se poradili s virology, aby vytvořili extrémně náročný reálný test, který by měřil schopnosti korekce chyb ve složitých laboratorních postupech a protokolech. Zatímco virologové s doktoráty ve svých uvedených oborech dosáhli průměrné přesnosti 22,1 %, OpenAI o3 dosáhlo 43,8 %. Google Gemini 2.5 Pro dosáhl 37,6 %.

Nejsem odborník na biologii a plánuji se na tuto otázku obrátit s dalšími odborníky (a také se vzdělávat prostřednictvím umělé inteligence). Zeptal jsem se GPT-5.2, co si o tomto riziku myslí, a zde je několik výňatků z jeho odpovědi:

Automatizace může zvýšit propustnost a snížit potřebu odborných znalostí, což obvykle vede ke zvýšenému riziku. Magicky však neodstraní základní biologická omezení…

Bezpečnostní opatření umělé inteligence lze někdy obejít. Navíc k tomu, abyste byli nebezpeční, nemusíte nutně potřebovat průlomový model, pokud máte přístup k nástrojům pro doménu, uniklým datům nebo interním znalostem…

Realističtějším problémem je malý počet (1–několik) uměle vytvořených nebo vybraných patogenů, které jsou „dostatečně dobré“ (vysoce přenosné a výrazně smrtelnější než typické pandemie)…

Umělá inteligence urychluje, ale zatím nenahrazuje potřebu experimentálního ověřování [nových virů]…

Pokud útočník dokáže skutečně vyvinout patogen, který je (a) vysoce přenosný, (b) výrazně smrtelnější než typické pandemie a (c) obtížně včas zastavitelný, pak potenciál pro globální katastrofu již existuje… Jediný „dostatečně dobrý“ patogen v kombinaci se špatnou detekcí a pomalými protiopatřeními může mít katastrofální následky.

Pravděpodobnost, že „kompromitovaná laboratoř umožní katastrofickou, člověkem způsobenou epidemii“, je stále nízká, ale není zanedbatelná a pravděpodobně vyšší než v mnoha jiných scénářích s rizikem X, protože je zapotřebí méně zázraků.

Pravděpodobnost „vyhlazení lidstva touto cestou“ je nižší než „katastrofa/kolaps“, ale ne nulová; riziko hlubokého ocasu přetrvává.

Všechna doporučení GPT stanovila, že lidé by měli být i nadále zapojeni do biologického výzkumu. Ale po tom, co jsme v posledních měsících viděli, jak funguje vibrační kódování, jak si můžeme být jisti, že laboratoře po celém světě – včetně Číny – budou trvat na pokračování v zapojení lidí, když by plná automatizace urychlila produktivitu a zlepšila konkurenceschopnost? Nemůžu říct, že bych v tomto ohledu byl zvlášť optimistický.

Nástup vibračního kódování tak výrazně zesílil mé vlastní obavy z vskutku katastrofického rizika umělé inteligence. Nyní se zdá jasné, že brutální ekonomické síly donutí lidstvo vyloučit lidi z procesu, kdekoli je to možné. A v jakékoli oblasti, kde je dostatek dat, lze výsledky ověřit a neexistují žádná fyzická úzká hrdla, se zdá pravděpodobné, že zapojení lidí do procesu se nakonec ukáže jako neekonomické.

V podstatě je to další příklad toho, jak nadměrná optimalizace vede k nestabilitě. Tento příklad je však obzvláště extrémní a katastrofální. Nevěřím, že lidstvo je odsouzeno k zániku, ale vidím jen málo důkazů o tom, že by naše vlády a další systémy braly hrozbu supervirů s vibračním kódem tak vážně, jak by měly. Ani zdaleka ne.

Takže pokud se mě zeptáte, zda se mé obavy ohledně rizik umělé inteligence v posledních měsících výrazně změnily, odpověď zní „ano“. Stále považuji za velmi nepravděpodobné, že by se Skynet nebo agent Smith v dohledné době objevili a vyhladili lidstvo armádou robotů. Přiznávám ale, že myšlenka na superviry s vibračním kódem mi teď nedá spát.