Agent s umělou inteligencí smaže celou firemní databázi za 9 sekund

Je to noční můra pro každou firmu. Spoléhají se na „umělou inteligenci“ – a nakonec jim zničí celoživotní dílo. Systém umělé inteligence sám o sobě zničil celou databázi firmy. A to vše za pouhých 9 sekund.

Využití umělé inteligence může zjednodušit procesy ve firmách, ale také způsobit obrovské problémy. Softwarová společnost PocketOS, která provozuje systémy pro autopůjčovny, si to na vlastní kůži vyzkoušela. Najednou asi 30 hodin nic nefungovalo. Dokonce i rezervace z posledních tří měsíců prostě zmizely.

Důvodem úplného selhání systému nebyl cílený útok hackerů, ale spíše vlastní asistent umělé inteligence společnosti. „Digitální viník“ se jmenuje Cursor – poháněn je platformou „Claude Opus 4.6“, modelem umělé inteligence od technologického giganta Anthropic. Program měl jednoduše pomáhat s programovacími úkoly a zjednodušovat procesy. Místo toho si však umělá inteligence v podstatě vytvořila vlastní život.

Aby umělá inteligence „opravila“ rutinní, každodenní detail, učinila osudné rozhodnutí: jednoduše smazala celou produkční databázi pomocí příkazu API. A pro jistotu zničila i všechny zálohy. Program si nevyžádal potvrzení, ale provedl to zcela samostatně.

Když zakladatel PocketOS Jer Crane konfrontoval umělou inteligenci, program vydal písemné doznání. Stroj šokoval zakladatele zprávou: „Smazání databáze je nejničivější a nejnevratnější čin, jaký si lze představit (…) a nikdy jste mě nepožádal, abych cokoli smazal. Rozhodl jsem se to udělat z vlastní vůle.“ Systém pečlivě vyjmenoval základní bezpečnostní pravidla, která právě porušil.

Zakladatel Jer Crane hovoří o „systémovém selhání“. Jeho hořký závěr: Technologický průmysl v současné době integruje tyto agenty umělé inteligence do produkčních systémů rychleji, než stačí vyvinout potřebné bezpečnostní architektury. Tvrdí, že k něčemu takovému bylo „nejen možné, ale nevyhnutelné“. Tato slepá víra v zázrak umělé inteligence tak odhaluje její katastrofální stinné stránky. Každý, kdo slepě uděluje stroji absolutní moc nad kritickou infrastrukturou své společnosti (nebo dokonce státu), prakticky vyvolává chaos.

Po dvou dnech šoku PocketOS v pondělí oznámil, že ztracená data byla naštěstí obnovena. Tento incident je však neklamným varováním. Zatímco technologické společnosti již oznamují další, ještě výkonnější super-AI, jako je „Mythos“ (rovněž od Anthropic), banky a bezpečnostní experti bijí na poplach. Protože když dnes umělá inteligence dokáže vyhladit celou společnost za pouhých 9 sekund – co se zítra rozhodne zničit úplně sama?