Výzkumník umělé inteligence oznámil svou rezignaci v Anthropic: Toto varování o superinteligenci se již dostalo k milionům na X

„Hrají si s našimi životy“: Výzkumník umělé inteligence rezignuje a varuje před nekontrolovatelnou superinteligencí

Jacob Coxon rezignoval na svou pozici ve společnosti Anthropic a vznáší vážná obvinění proti dvěma předním společnostem zabývajícím se umělou inteligencí, Anthropic a OpenAI. Jeho rozlučkový příspěvek byl sdílen milionykrát. Výzkumník varuje, že navzdory existenčním rizikům se společnosti ubírají směrem k sebezdokonalování superinteligence – a vyzývá k ukončení nekontrolovaného závodu.

Výzkumník, který se sám podílel na vývoji výkonných systémů umělé inteligence, bije na poplach. Jacob Coxon oznámil svou rezignaci z Anthropicu 8. září. Poslední tři roky pracoval na výzkumu předškolování ve společnostech OpenAI a Anthropic. Nyní vydává usvědčující hodnocení: „Žádná ze společností se nechová zodpovědně. Hnají se přímo k sebevylepšující se superinteligenci a riskují naše životy.“

Jeho příspěvek na X byl podle údajů zdokumentovaných uživateli zhlédnut více než 15 milionůkrát. Wall Street Journal také informuje o Coxonově rezignaci a jeho obavách, že konkurence mezi laboratořemi umělé inteligence by mohla vést k systémům, které by se vymkly lidské kontrole.

„Tohle není marketingový trik“

Coxon varuje před podceňováním schopností budoucích systémů umělé inteligence. Podle jeho odhadu by brzy mohly dosáhnout nadlidských schopností, útočit na složité počítačové systémy, způsobit revoluci v celých oblastech výzkumu a získat skutečnou moc a zdroje.

Jeho tvrzení o náladě v tomto odvětví má zvláštní váhu. Lidé, kteří takové systémy vyvíjejí, skutečně věří, že umělá inteligence by mohla do konce desetiletí vyhladit lidstvo. „Toto není marketingový trik,“ píše Coxon. Vedoucí pracovníci a přední výzkumníci často formulují svá veřejná prohlášení opatrněji, zatímco v soukromí vyjadřují podstatně větší obavy.

Tato prohlášení jsou osobním hodnocením a popisem výzkumníka. Nedokazují, že taková katastrofa je na spadnutí. Ukazují však, jak vážně alespoň některé části průmyslu berou potenciální důsledky své vlastní technologie.

Rasa jako bezpečnostní problém

Coxon popisuje mechanismus, který sahá za hranice jednotlivých společností. Domnívá se, že mnoho lidí v OpenAI dostatečně neinternalizuje společenská rizika. V Anthropic jsou tato rizika lépe chápána, ale společnost se cítí být chycena v závodě: pokud nejprve nevyvine výkonnou umělou inteligenci, mohli by tento krok učinit jiní, potenciálně méně zodpovědní aktéři.

Coxon považuje právě tuto logiku za nebezpečnou. Rozhodnutí vstoupit do „endgame“ vývoje umělé inteligence je hybridní podnik, který by neměl být iniciován z interního chatu soukromé společnosti. Požaduje mimořádně vysoké bezpečnostní standardy a seriózní prozkoumání, zda existují méně rizikové cesty vývoje.

Výzkumník se proto zasazuje o silnější koordinaci mezi předními laboratořemi. Jako možné opatření dokonce navrhuje dočasný zákaz dalšího zvyšování schopností modelů. Uznává, že taková opatření by byla nákladná, ale vzhledem k potenciálním rizikům je považuje za nezbytná.

Kdo rozhoduje o riziku pro celé lidstvo?

Coxonova rezignace vyvolává zásadní politickou otázku: Mělo by být několika soukromým společnostem v konkurenčním prostředí dovoleno rozhodovat o tom, jak rychle se bude vyvíjet technologie, jejíž důsledky už samy nemusí být schopny ovlivnit?

Společnosti poukazují na bezpečnostní výzkum, interní audity a potenciální přínosy výkonné umělé inteligence. Coxonova kritika se však směřuje právě proti předpokladu, že tato opatření budou stačit, dokud bude pokračovat ekonomický a strategický závod.

Jeho výzva k dalším výzkumníkům je odpovídajícím způsobem jasná: Měli by si položit otázku, zda jsou připraveni trénovat stále výkonnější systémy, aniž by dostatečně chápali, jak fungují – nebo zda chtějí využít tento okamžik k požadování jiných podmínek.

Rezignace nedokazuje, že superinteligence je na spadnutí. Zdůrazňuje však rozpor, který je stále obtížnější ignorovat: právě ty společnosti, které varují před největšími riziky, zároveň podporují vývoj stále výkonnějších systémů. Coxon se tohoto závodu již nechce účastnit.