Lidská inteligence, umělá inteligence a budoucnost algoritmického válčení

Čím více technologie vzdaluje jednotlivce od důsledků jejich činů, tím větší musí být jejich odpovědnost.

Od osoby k cílovému objektu

Co se stane s lidstvem, až technologie bude schopna rozpoznávat, klasifikovat, sledovat a nakonec i zabíjet lidi, aniž by je ti, kdo útoky provádějí, kdy viděli? Můj přítel Mohammad Reza Dehshiri položil přesně tuto otázku a jeho odpověď je přesvědčivá. Nebezpečí, píše, nespočívá v umělé inteligenci, ale v umělé nelidskosti – v možnosti, že stroje se stanou stále přesnějšími, zatímco lidé se budou cítit čím dál méně zodpovědní za to, co tyto stroje dělají v jejich jménu.

Tímto článkem zahajuji sérii, která vychází z Dehshiriho analýzy a pokouší se ji dále rozvinout. Pokud je problémem „umělá nelidskost“, odpověď nemůže spočívat v „etičtější“ umělé inteligenci, jako by etika byla modulem, který by bylo možné dodatečně zabudovat do již vyvinutého systému. Musíme znovu získat kategorii, která se kvůli technologickému žargonu stala téměř nepopsatelnou: lidskou inteligenci. Nesmí být chápána jako relikt, který je třeba chránit uprostřed složitosti automatizace, ale spíše jako forma poznání s vlastními jedinečnými vlastnostmi, kterou nelze nahradit žádným zvýšením výpočetního výkonu.

Budu to nazývat lidskou inteligencí a tento dvojí význam je záměrný. V žargonu zpravodajských služeb označuje HUMINT nejstarší ze zpravodajských disciplín: tu, která se spoléhá na lidi, zdroje, jazyky a trpělivé setrvání na konkrétních místech. Ve filozofické terminologii tento termín označuje schopnost porozumění. Tezí této první práce je, že tyto dva významy se nyní sbližují a že jejich spojení má geopolitické důsledky, které sahají daleko za debatu o etice zbraňových systémů.

Operační řetězec moderní války můžeme popsat v sedmi fázích: detekce, identifikace, klasifikace, predikce, prioritizace, zacílení a útok. Každý článek v tomto řetězci lze technicky zdokonalit, aniž by se celá sekvence morálně vylepšila. Výsledný jev se nazývá „datafikace lidského života“: jedinec je redukován na identitu, místo, vzorec chování a úroveň ohrožení.

Nejedná se o abstrakci. V dubnu 2024 popsal vyšetřování Yuvala Abrahama pro časopis +972 Magazine a Local Call systém „Lavender“, který používají izraelské obranné síly v Gaze k přiřazení pravděpodobnosti příslušnosti desítek tisíc lidí k ozbrojeným skupinám. Podle interních zdrojů citovaných ve vyšetřování lidská kontrola každého jména často netrvala déle než dvacet sekund – čas potřebný k určení, zda je cílová osoba mužského pohlaví. Izraelské obranné síly tuto verzi popřely a popsaly Lavender jako databázi určenou k pomoci analytikům. I když však přijmeme oficiální verzi, klíčový bod zůstává: byl přítomen lidský operátor a jeho přítomnost nestačila k tomu, aby doporučení systému přeměnila na nezávislý úsudek.

Kognitivní psychologie má pro tento jev název: automatizační zkreslení. Označuje tendenci lidí pracujících s automatizovaným systémem považovat jeho doporučení za náhradu za vlastní ověření a nevyhledávat informace, které by mohly těmto doporučením odporovat. Již v roce 1976 Joseph Weizenbaum – který vyvinul jeden z prvních konverzačních programů v historii – rozlišoval mezi schopností kalkulovat a schopností úsudku. Tvrdil, že existují úkoly, které by neměly být svěřovány počítači, i kdyby je byl schopen vykonat. O půl století později se toto rozlišení stalo ještě důležitějším. Výpočty pracují s tím, co již bylo přeloženo do dat. Úsudek musí určit, zda tento překlad přesně odráží realitu.

Dehshiri stručně shrnuje tento bod pomocí čtyř rozlišení: technická přesnost není etická přesnost; přesnost není spravedlnost; automatizace není odpovědnost; technologická nadřazenost není morální nadřazenost. Dodal bych páté rozlišení epistemologické povahy, na kterém závisí ostatní: korelace není porozumění. Systém strojového učení rozpoznává statistické vzorce v datové sadě. Neví, co je škola, protože neví, co je dítě, a ani neví, že to neví.

Íránec uvádí zajímavou případovou studii: 28. února 2026, v časných ranních hodinách války, byla základní škola Shajareh Tayyebeh v Minabu v provincii Hormozgan během školních hodin několikrát zasažena. Íránské úřady hlásily 150 až 175 obětí, z nichž drtivou většinu tvořily dívky, spolu s desítkami učitelů a několika rodiči; okresní prokurátor nakonec stanovil počet obětí na 156. Washington se nikdy přímo nepřiznal k odpovědnosti ani nezveřejnil výsledky vyšetřování Pentagonu. Amnesty International incident v nejlepším případě popsala jako vážné selhání zpravodajských služeb.

Satelitní snímky odhalily detail, který posouvá analýzu z morální na faktickou úroveň. Podle západních médií se škola nacházela vedle námořní základny Revoluční gardy a dříve byla její součástí. Mezi vysvětleními kolujícími v amerických kruzích je i možnost zastaralých údajů o cílení. Pokud by se tato hypotéza ukázala jako pravdivá, Minab by nebyl případem strojové chyby, ale spíše případem databáze, která by již neodrážela realitu. Budova se změnila. Data ne.

Bez ohledu na to, jak sofistikovaný je klasifikační algoritmus, nedokáže rozpoznat, že se z bývalé vojenské budovy stala škola, pokud tuto změnu nikdo nezaznamenal. Věděl to každý, kdo v Minabu žil: rodiče, kteří každé ráno vozili své dcery do školy, řidič školního autobusu, učitelé. To je přesně ten druh znalostí, které HUMINT shromažďuje a které jsou v dálkovém válčení stále častěji považovány za nadbytečné, protože jsou pomalé, drahé a obtížně se nasazují ve velkém měřítku. Na základě veřejně dostupných zdrojů se odpovědnost USA jeví jako vysoce pravděpodobná, zatímco přesné okolnosti zůstávají nejasné a jistota v tomto bodě je nízká: chyba v databázi, chyba v klasifikaci nebo úmyslné přijetí rizika. Všechny tři hypotézy však vedou ke stejné otázce: Kdo před útokem zkontroloval, zda se v této budově nacházeli lidé?

Více než jen „člověk v cyklu“

Mezinárodní debata se dlouhodobě spokojuje s principem „člověk v cyklu“, kdy je člověk součástí rozhodovacího procesu.

Tento vzorec je nedostatečný: I když se člověk může podílet na rozhodovacím procesu, stále může pouze schvalovat doporučení algoritmu. Navrhuje jej nahradit sofistikovanějším principem, který nazývá „lidskost ve vedení“: skutečná schopnost zpochybňovat, odmítat, potlačovat a zastavovat automatizovaný proces.

Historie studené války nabízí dva příklady, které ilustrují, co to v praxi znamená. Dne 26. září 1983 sovětský systém včasného varování Oko ohlásil odpálení pěti balistických raket ze Spojených států. Službu vykonávající důstojník Stanislav Petrov klasifikoval poplach jako falešný poplach a nehlásil jej jako probíhající útok, protože předpokládal, že americký první úder by nikdy neměl zahrnovat pouze pět raket. Měl pravdu: družice si spletla odraz slunce od mraků s odpálením raket. O dvacet jedna let dříve, 27. října 1962, se sovětská ponorka B-59, izolovaná v Karibiku a napadená signálními hlubinnými pumami, chystala odpálit torpédo s jadernou zbraní. Odpálení vyžadovalo souhlas tří nejvyšších důstojníků na palubě a Vasilij Archipov souhlas odmítl udělit.

Ani v jednom případě člověk nepotvrdil doporučení systému. Vyvrátil ho. A neudělal to proto, že by měl více dat: ve skutečnosti byla problémem data. Udělal to proto, že si mohl položit otázku, kterou žádný postup nepředepisoval: zda to, co viděl, dává smysl v kontextu všeho ostatního, co o světě věděl. Petrov znal americkou jadernou doktrínu; Archipov znal rozdíl mezi útokem a hrozbou. Tuto schopnost porovnat signál s celkovým obrazem a detail s tím, co je věrohodné, nazývám lidskou inteligencí. Je pozoruhodné, že Dena byla potopena ponorkou. Nevíme, jaké otázky byly jejím důstojníkům kladeny ani jaký prostor měli pro svá vlastní rozhodnutí.

Tento návrh vyžaduje upřesnění, protože existuje riziko jeho zredukování na obecný humanistický apel. Lidská inteligence, jak ji chápu já, je strukturována na třech odlišných úrovních, z nichž každá představuje strukturální – a nikoli pouze dočasné – omezení umělé inteligence.

První úroveň má epistemologickou povahu. Scholastická tradice rozlišovala mezi intellectus, aktem, kterým mysl přímo uchopuje pravdu, a ratio, inferenčním procesem, kterým se člověk pohybuje od jednoho prvku k dalšímu. Pro Tomáše Akvinského (Summa Theologiae, I, q. 79, a. 8) se nejedná o oddělené schopnosti, ale o aspekty jediného intelektu, v němž myšlení začíná porozuměním a k porozumění se vrací. Dnešní systémy strojového učení dosahují poměru nebývalé síly, schopné vyvozovat závěry, kombinovat informace a vytvářet předpovědi v rozsahu nedosažitelném lidskou myslí. Chybí jim aspekt intellectus, tedy uchopení významu toho, co zpracovávají. Toto je filozofická teze a musí být jako taková prezentována, ale má konkrétní praktické důsledky: Systém bez porozumění nedokáže rozpoznat, kdy se jeho vlastní model světa stal falešným.

Druhý aspekt je praktické povahy. Prudentia neboli moudrost je podle tomistické definice správný rozum aplikovaný na jednání a jejím specifickým úkolem je aplikovat obecný princip na konkrétní jednotlivý případ. Stroj zobecňuje: jeho hodnota spočívá v zařazení jednotlivce do třídy. Moudrost dělá opak, neboť musí rozpoznat, co v tomto konkrétním případě leží mimo danou třídu. Válka, která je oblastí jedinečného a nepředvídaného, ​​představuje oblast, ve které má tento rozdíl největší váhu. Vatikánská nóta Antiqua et nova z ledna 2025 tuto myšlenkovou linii převzala a zdůraznila vtělenou a relační povahu lidské inteligence, jakož i její neredukovatelnost na pouhou funkci zpracování.

Třetí úroveň je relační a právě zde se filozofický význam protíná s významem zpravodajských služeb. Sherman Kent, který prakticky založil obor zpravodajských studií v poválečných Spojených státech, definoval zpravodajskou činnost primárně jako znalosti, a to ještě předtím, než ji začal považovat za organizaci nebo činnost. HUMINT je forma těchto znalostí, která je předávána prostřednictvím druhé osoby: někoho, kdo mluví jejich jazykem, zná jejich zvyky, dokáže posoudit okolí a dokáže rozlišit festival od politického shromáždění. Během posledních tří desetiletí velmoci stále více přesouvaly své zdroje k technickým disciplínám, od signálového zpravodajství přes satelitní dohled až po platformy pro agregaci dat. Minab ilustruje cenu této nerovnováhy.

Nic z toho neznamená odmítnutí technologie. Lidská inteligence nestojí ve vztahu k umělé inteligenci jako manuál k mechanikovi. Zavádí hierarchii: Algoritmus je nástroj podřízený úsudku, který sám nedokáže vygenerovat. Z toho vyplývá princip formulovaný Dehshirim, který si zaslouží stát se operačním kritériem: Čím více technologie distancuje aktéra od důsledků jeho vlastních činů, tím více se musí vědomá odpovědnost osoby s rozhodovací pravomocí zvyšovat, nikoli snižovat.

Z geopolitického hlediska

Až doposud se otázka může jevit jako problém morální filozofie. Je to však mnohem víc než jen to. Rozdělení schopností algoritmického boje je rozdělením moci a pravidla, která je řídí – pokud vůbec budou psána – budou psána těmi, kteří mají zájem na co nejmenším omezení těchto schopností.

Stav mezinárodního práva to potvrzuje. Skupina vládních expertů zřízená v rámci Úmluvy o některých konvenčních zbraních diskutuje o smrtících autonomních zbraňových systémech od roku 2017, aniž by dosud vytvořila právně závazný nástroj. V listopadu 2023 Spojené státy prosadily politickou deklaraci o odpovědném vojenském využití umělé inteligence, která ze své podstaty není právně závazná. V prosinci téhož roku Valné shromáždění OSN přijalo první rezoluci věnovanou těmto systémům, zatímco Mezinárodní výbor Červeného kříže od roku 2021 vyzývá k zákazu nepředvídatelných autonomních systémů a systémů určených k výběru lidí jako cílů. V červnu 2024 na summitu G7 v Borgo Egnazia papež František prohlásil, že žádný stroj by nikdy neměl mít právo rozhodovat o lidském životě. Rozdíl mezi těmito postoji a realitou na bojištích v roce 2026 se odráží v počtu obětí.

Existuje také hlubší asymetrie. Kdokoli ovládá data, rozhoduje o tom, kdo se stane cílem, a oběti algoritmické války se nacházejí převážně mimo Západ: v pásmu Gazy, Íránu, Sahelu a Jemenu. Pro státy, které ani nevytvářejí platformy, ani nekontrolují své databáze, se tak lidská inteligence stává otázkou suverenity. Země, která si udržuje jazykovou kompetenci, regionální znalosti a sítě lidské inteligence, si zachovává svou nezávislost v úsudku. Naopak země, která svěřuje svůj světonázor systémům vyvinutým jinde – často soukromými společnostmi – se této nezávislosti vzdává spolu se svými daty. Ve světovém řádu, který se stále více směřuje k multipolaritě, toto rozlišení oddělí ty aktéry, kteří soudí, od těch, kteří jsou souzeni.

To vede ke konkrétnímu návrhu, který dále rozvedu v budoucích článcích. Spolu s obecnou zásadou účinné lidské kontroly by mezinárodní humanitární právo mohlo stanovit specifickou povinnost lidského ověření civilního stavu jakékoli pevné infrastruktury uvedené na seznamu cílů. Toto ověření by muselo podléhat datu vypršení platnosti, po kterém by informace staly neplatnými a musely by být aktualizovány s využitím přímých zdrojů. Jedná se o minimální standard. V případě Minab by to vyžadovalo, aby se někdo zeptal, zda budova stále odpovídá popisu v dokumentaci.

Technologie může určit, jak zbraň dosáhne svého cíle, zatímco je odpovědností lidstva rozhodnout, zda by na tento cíl vůbec mělo být zaútočeno. Základní otázkou, která se za tím vším skrývá, je, kdo tuto lidskost uplatňuje v praxi, s jakými prostředky poznání a v rámci kterých institucí. V Minabu měl někdo vědět, že tam existuje škola. Skutečnost, že to nikdo nevěděl, nebo že se nikdo neptal, je bodem, ve kterém musíme začít znovu.