Výzkumník v oblasti bezpečnosti umělé inteligence rezignuje s tajemným varováním

„Svět je v nebezpečí,“ napsal ve své rezignaci vedoucí výzkumného týmu Anthropic pro ochranu zdraví

Přední výzkumník v oblasti bezpečnosti umělé inteligence rezignoval z časopisu Anthropic s tajemným varováním před „propojenými krizemi“ a oznámil své plány stát se „na určitou dobu neviditelným“.

Mrinarnk Sharma, absolvent Oxfordu, který vedl výzkumný tým pro záruky výrobce chatbotů Claude, zveřejnil v pondělí X svou rezignaci, v níž popsal rostoucí osobní zúčtování s „naší situací“.

„Svět je v nebezpečí. A to nejen kvůli umělé inteligenci nebo biologickým zbraním, ale kvůli celé řadě vzájemně propojených krizí, které se odehrávají právě v tomto okamžiku,“ napsal Sharma kolegům.

K odchodu dochází uprostřed rostoucího napětí kolem laboratoře umělé inteligence se sídlem v San Franciscu, která se zároveň snaží vyvíjet stále výkonnější systémy, zatímco její vlastní manažeři varují, že tytéž technologie by mohly lidstvu uškodit.

Rovněž navazuje na zprávy o prohlubující se rozkolu mezi společností Anthropic a Pentagonem ohledně snahy armády nasadit umělou inteligenci pro autonomní zaměřování zbraní bez záruk, které se společnost snažila zavést.

Sharmova rezignace, ke které došlo několik dní poté, co Anthropic vydal Opus 4.6 – výkonnější verzi svého vlajkového nástroje Claude – naznačovala vnitřní tření ohledně bezpečnostních priorit.

„Během svého působení zde jsem opakovaně viděl, jak těžké je skutečně nechat naše hodnoty ovlivňovat naše jednání,“ napsal. „Viděl jsem to v sobě, v organizaci, kde neustále čelíme tlaku odložit stranou to, na čem záleží nejvíc, a také v celé společnosti.“

Výzkumný tým byl založen před něco málo přes rokem s mandátem řešit bezpečnostní hrozby umělé inteligence, včetně „zneužití a nesouladu modelů“, prevence bioterorismu a „prevence katastrof“.

Sharma s hrdostí zmínil svou práci na vývoji obrany proti biologickým zbraním s pomocí umělé inteligence a svůj „závěrečný projekt o pochopení toho, jak by nás asistenti umělé inteligence mohli učinit méně lidskými nebo narušit naši lidskost“. Nyní se hodlá vrátit do Velké Británie, aby „prozkoumal studium poezie“ a „stal se na nějakou dobu neviditelným“.

Generální ředitel společnosti Anthropic Dario Amodei opakovaně varoval před nebezpečími, která představuje samotná technologie, kterou jeho společnost komercializuje. V eseji o rozsahu téměř 20 000 slov minulý měsíc varoval, že systémy umělé inteligence s „téměř nepředstavitelnou silou“ jsou „bezprostřední“ a „prověří, kdo jsme jako druh“.

Amodei varoval před „riziky autonomie“ , kdy by umělá inteligence mohla „se stát darebáckou a přemoci lidstvo“, a naznačil, že tato technologie by mohla umožnit „globální totalitní diktaturu“ prostřednictvím dohledu poháněného umělou inteligencí a autonomních zbraní.