Halucinace umělé inteligence: USA se chystaly zaútočit na čínskou loď
Umělá inteligence vynalezne na čínské lodi komponenty jaderných zbraní – a americká armáda mobilizuje ozbrojené síly. Vojáci se připravují na nástup na loď, vojenská letadla jsou již ve vzduchu. Teprve těsně před náletem vyjde najevo chyba: Zpráva zpravodajských služeb je nepravdivá, údajně výbušný náklad je dezinterpretací chatbota. Zpráva údajně „téměř spustila válku“.
Letadla již vzlétla. Ozbrojení američtí vojáci byli připraveni zabavit čínskou loď, která se nacházela na Blízkém východě na jaře roku 2026, během vrcholící íránsko-irácké války. V té době kolovala v amerických ozbrojených silách alarmující zpravodajská zpráva: loď údajně přepravovala komponenty pro íránský jaderný zbrojní program. Krátce před zahájením operace úředníci znovu prozkoumali podklady zprávy – a nenašli jaderné komponenty, ale halucinace generované umělou inteligencí.
Čtyři zdroje obeznámené s incidentem ho popsaly CNN. Začalo to informacemi o nákladním manifestu čínské lodi. Analytik blízký americkému Velitelství speciálních operací v Pacifiku nechal data analyzovat pomocí chatbota s umělou inteligencí. Systém zkombinoval veřejně dostupné informace s utajovanými signálovými informacemi z amerických archivů a nesprávně identifikoval části nákladu jako materiál pro program jaderných zbraní. CNN nebyla schopna určit, jaký náklad se na palubě skutečně nacházel. Jeden zdroj označil konečnou analýzu za „zcela chybnou“.
Zásadně chybná analýza však byla následně transformována do oficiálně vypadající zpravodajské zprávy. Analytik opět použil umělou inteligenci k přebalení chybných informací do formátu typicky používaného v armádě. Tato zpráva spustila operační řetězec událostí: ozbrojení vojáci se připravovali na nástup na čínskou loď a vojenská letadla vzlétla. Teprve krátce před náletem byl znovu přezkoumán základ operace.
Slepá víra v technologie?
Pokud by operace proběhla, američtí vojáci by ji zastavili a nalodili na čínskou loď na základě falešných zpravodajských informací. To by postavilo americké ozbrojené síly přímo proti čínské lodi – uprostřed již tak napjaté geopolitické situace. Jak by Peking reagoval, je zpětně nemožné určit. Jeden ze zdrojů CNN však nebezpečí jednoznačně uvedl do popředí: falešná zpráva „téměř spustila válku“. Cesta chyby vojenským aparátem vyvolává další otázky. Chatbot zpravodajské informace špatně interpretoval. Tatáž umělá inteligence pak pomohla sestavit profesionálně vypadající zprávu. Tato zpráva zase stačila k mobilizaci ozbrojených sil a vojenských letadel. Pouze pozdní lidská kontrola zastavila operaci jen pár kroků od zajetí lodi.
K tomuto incidentu dochází v době, kdy Pentagon stále více integruje umělou inteligenci do vojenských operací. Více zdrojů CNN informuje o rozdílných systémech, nekonzistentních pravidlech a nedostatku jednotných standardů pro ověřování informací generovaných umělou inteligencí. Zasvěcenci jsou obzvláště znepokojeni jejím rostoucím používáním při výběru potenciálních cílů útoku, kde by chybná data mohla rychle vést ke skutečným úmrtím.
Ars Technica se o případu také věnovala a poukázala na rostoucí využívání umělé inteligence v americké armádě. Generativní systémy se již dlouho používají pro reporting, analýzu dat a operační podporu. Rychlost je považována za výhodu – dokud stroj téměř jistě nevyprodukuje nesmysly a tyto nesmysly skončí ve vojenském velení. V případě čínské lodi přišla kontrola právě včas. Krátce poté by se ozbrojení američtí vojáci ocitli tváří v tvář čínské posádce – vyvolané zpravodajskou zprávou o jaderném nákladu, který existuje pouze v algoritmech stroje.
