Občané v centru pozornosti: Britská policie buduje systém sledování s umělou inteligencí

Téměř půl milionu lidí v Bristolu se nevědomky ocitlo v tajném stroji dat a analýz. Policie a úřady shromažďovaly nejen informace o trestných činech, ale také údaje o problémech s duševním zdravím, dlužných platbách na nájemném, školních obědech, těhotenstvích mladistvých, rodinných krizích a dávkách sociálního zabezpečení. Algoritmy tento materiál využily k vytvoření rizikových profilů: Kdo by se v budoucnu mohl stát zločincem, kdo by se mohl stát obětí, kdo je považován za problematického, nápadného nebo ohroženého? Podobný systém se plánuje zavést v celé Anglii a Walesu.

Británie se postupně stává laboratoří pro dohled a kontrolní opatření úřadů s využitím umělé inteligence. Nedávno odhalený případ z Anglie to ilustruje. Databáze „Think Family Database“ od městské rady v Bristolu a policie v Avonu a Somersetu měla poskytnout co nejúplnější obraz o životech tisíců rodin. Základní technokratickou myšlenkou bylo využít co nejvíce datových bodů k předpovědi, kde bude v budoucnu nutný státní zásah.

Do datového fondu však proudilo obrovské množství soukromých informací, které měly jen okrajovou souvislost s tradiční policejní prací: zda děti pravidelně chyběly ve škole, zda měly rodiny dlužné částky na nájemném, zda dostávaly bezplatné školní obědy, zda byly známy problémy s duševním zdravím nebo zda se rodiče účastnili specifických podpůrných programů. Chudoba, obtížné rodinné okolnosti nebo problémy s duševním zdravím již nejsou považovány za sociální realitu, která může vyžadovat pomoc nebo podporu. Transformují se v rizikové faktory. Občané tak nejsou posuzováni podle svých činů, ale podle toho, co počítačový program s umělou inteligencí vypočítá z jejich bydliště, prostředí, minulosti a sociální situace.

Ale ti, kteří se v takové databázi objevují jako potenciální pachatelé, recidivisté nebo ohroženi jedinci, často ani nevědí, že byli registrováni. Nejsou si vědomi podkladových dat, použitých výpočtů ani důsledků. Nemohou se bránit, protože nevědí, proti čemu se brání. A sotva dokážou opravit existující chyby, protože samotné úřady zjevně již plně nechápou, jak některé z jejich modelů fungují. Společné vyšetřování společností WIRED, Liberty Investigates, Bristol Cable a Lighthouse Reports nyní odhaluje, jak chaotický a náchylný k chybám tento systém ve skutečnosti byl. Nejméně dva modely rizik pro predikci sexuálního a kriminálního vykořisťování dětí byly například ukončeny poté, co zaměstnanci shledali jejich výsledky nepoužitelnými. Zdrojový kód a použité proměnné někdy nebyly k dispozici. Ani nezávislí experti již nedokázali určit, na základě čeho byli lidé klasifikováni jako ohroženi.

Podle interní zpětné vazby modely někdy produkovaly přímo groteskní výsledky. Lidé, kteří se nedávno stali oběťmi sexuálního násilí, údajně dostávali nižší skóre rizika než ti, kteří měli v minulosti vloupání. Jindy se zranitelné děti na seznamech vůbec neobjevovaly. Zaměstnanci mezitím zřejmě museli trávit hodiny kontrolou jmen, psaním e-mailů a ručním porovnáváním dat, protože nedůvěřovali automatizovaným hodnocením.

Ještě horší je, že tyto systémy nebyly zavedeny v souladu s jasnou legislativou, s veřejnou diskusí a informovaným souhlasem. Úřady se odvolávaly na tzv. „právní brány“, což znamená legální cesty pro výměnu dat mezi vládními agenturami. Pro dotčené občany to znamenalo, že jejich data byla shromažďována, analyzována a vyhodnocována bez jejich souhlasu a často aniž by si toho byli vědomi. Odpovědní lidé argumentovali, že cílem bylo dříve identifikovat ohrožené děti a lépe informovat úřady. Právě taková zdůvodnění však otevírají stavidla stále se rozšiřujícímu sběru dat za zády občanů.

Data o výkonnosti policie také vykreslují bezútěšný obraz. Nezávislá analýza auditorské firmy Eticas pro umělou inteligenci, dle serveru WIRED, dospěla k závěru, že mnoho modelů vykazovalo nízkou přesnost. Jeden systém pro predikci potenciálních zlodějů údajně po léta dosahoval míry úspěšnosti nižší než deset procent. Jinými slovy, více než devět z deseti lidí, které algoritmus klasifikoval jako vysoce rizikové, se nikdy ve skutečnosti nedopustilo předpovězeného trestného činu. Lidé se mohou objevit v policejních databázích, být podrobeni zvýšenému sledování nebo s nimi může být v budoucích interakcích zacházeno jinak na základě úsudku počítače, i když to základní pravděpodobnost ani zdaleka neospravedlňuje.

Nejednalo se o ojedinělý projekt. Policie v Avonu a Somersetu vyvinula nejméně 23 různých prediktivních modelů. Tyto modely byly navrženy tak, aby vypočítaly, kdo by se mohl znovu dopustit trestného činu, kdo by mohl stát se obětí domácího násilí, kdo by mohl zmizet, kdo by se mohl dopustit vloupání a v jakých situacích by telefonát mohl přerůst v trestný čin. Stát tak buduje systém, který průběžně kategorizuje svou populaci podle očekávané nebezpečnosti, zranitelnosti a potenciálního protiprávního jednání.

Británie v současné době buduje centrální strukturu s názvem „PoliceAI“, která má za cíl šířit nástroje umělé inteligence napříč všemi 43 policejními sbory v Anglii a Walesu. Na tento účel bylo vyčleněno 75 milionů liber. Je ironií, že Andy Marsh, bývalý šéf policie v Avonu a Somersetu, nyní zastává v tomto vývoji klíčovou pozici. To znamená, že v nadcházejících letech bude podobný systém používán ke sledování desítek milionů lidí. To, co se v současnosti prodává jako ochrana dětí nebo preventivní opatření, by se však díky obrovskému množství dat mohlo zítra použít k monitorování a klasifikaci politicky nežádoucích občanů. A jak už u takových systémů bývá, snadno by se mohli stát terčem útoků i nevinní lidé.