„Podpora“ jako kamufláž: Jak se umělá inteligence stává totálním dohledem nad chudými

Plán Billa Gatese a jeho přátel na integraci umělé inteligence do veřejných služeb. Veřejné služby se dostávají do technologického pokroku, kterému se nikdo nevyhne.

Není nic lepšího než nová vlna miliardářů pro oživení sektoru sociálních služeb. Nejnovější křížová výprava nese zářivý název (NextLadder Ventures), cenovku v řádu miliard dolarů a nezaměnitelnou vůni filantropického průmyslového komplexu Billa Gatese.

Tentokrát nejde o vakcíny, vzdělávací technologie ani o snahu zastínit slunce. Jde o využití umělé inteligence ve veřejném sektoru, počínaje probačními úředníky a sociálními pracovníky. Podle lidí, kteří nikdy nekročili v kanceláři veřejného bydlení, zoufale potřebují nedostatečně financovaní američtí pracovníci v první linii umělou inteligenci podporovanou Billem Gatesem.

Nový plán navrhuje zalít chaos umělou inteligencí a nazvat to transformací. Během příštích patnácti let investují Gatesova nadace, Ballmer Group, hedgeový magnát John Overdeck a Valhallova nadace 1 miliardu dolarů do neziskových organizací a společností zaměřených na „impakt“.

Filantropická prezentace pro přetížené kanceláře

Oficiální účel? Pomoci poskytovatelům služeb efektivněji sloužit chudým. Neoficiální cíl? Další zlatá hvězdička v Gatesově knize technokratických intervencí.

Brian Hooks, generální ředitel organizace Stand Together, se ze všech sil snažil propagovat toto úsilí jako něco, co je pro lidi zdola. „Řešení, do kterých investujeme, stovky podnikatelů, kteří přinesou špičková technologická řešení, tak budou činit po boku lidí, kteří procházejí některými z ekonomických obtíží,“ řekl.

Nadace Gates se nikdy nespecializovala na naslouchání lidem v podnikání. Dokázala „škálovat“ věci na dálku, ať už se jednalo o Common Core ve školách, neúspěšné vzdělávací experimenty v Africe nebo transformaci veřejného zdraví do tabulky KPI. Nyní s NextLadder dostáváme od konzultantů stejnou přepracovanou prezentaci zaměřenou na přepracované úředníky pro podmínečné propuštění.

Od vzdělávání k dohledu: Technokratický vzorec

Nadace Gatesů po léta zacházela s veřejnými systémy jako sandboxovými modely pro technologické intervence. Nejprve to byl software a standardizované testy pro učitele. Pak to bylo geomapování ohnisek nemocí. Nyní je to umělá inteligence pro sociální rozpad. Společné vlákno? Bez ohledu na kontext, řešení vždy spočívá v nástroji, který poskytuje více dat, aplikaci a dashboard.

A protože žádný projekt spojený s Gatesovou nadací se neobejde bez vágní strukturální fantazie, NextLadder vynechává obvyklou cestu think-tanku a přechází na plně hybridní systém: filantropický investiční hybrid s radou složenou ze zástupců dárců a tří „nezávislých“ členů, jako by nezávislost rady plné peněz Nadace Gatesové mohla být brána vážně mimo její vlastní výroční zprávu.

Investorská fantazie se sociálním nádechem

Kevin Bromer ze společnosti Ballmer Group, který je zároveň členem představenstva, poskytl oficiální mýtus o založení společnosti. „Když jsme diskutovali o oblastech, do kterých jsme investovali, a o tom, kde jsme v tomto odvětví viděli mezery, rychle se ukázalo, že existuje skutečná příležitost spojit se jako skupina investorů a spoluzakladatelů a vytvořit nový druh investiční organizace,“ řekl.

Jistě, viděli „mezeru“. Stejně jako Walmart vidí „mezery“ v infrastruktuře veřejné dopravy před spuštěním kyvadlové dopravy pro zaměstnance. Ve skutečnosti viděli hřiště. Příležitost aplikovat umělou inteligenci na byrokratické selhání bez rizika veškerého tisku a s dostatkem času na přednesení hlavního projevu v Davosu.

Říká se nám, že cílem je podporovat, nikoli nahrazovat lidské pracovníky. Financované nástroje by mohly zefektivnit služby, jako je pomoc při katastrofách nebo zpracování podmínečného propuštění. Mohly by pomoci veřejným obhájcům ušetřit hodiny papírování. Důraz je kladen na „mohl by“, protože nikdo zúčastněný není skutečně schopen zaručit nic víc než několik řešení pracovních postupů poháněných umělou inteligencí a příspěvek na LinkedIn o „designu zaměřeném na člověka“.

Ignorované problémy, nový dohled

Je zaručeno, že se nikdo nebude zabývat základními problémy: stagnujícími rozpočty, nekonečnou administrativou vytvořenou špatnou politikou a vědomým politickým rozhodnutím udržovat sociální systémy nedostatečně financované a chaotické. Proč řešit tyto problémy, když k tomu můžete přidat pár progresivních analýz a prohlásit úspěch?

Toto je Gatesův modus operandi už léta. Obejít demokratické instituce. Najít zkratku pomocí technologií. Než se dostaví výsledky, které jsou obvykle zklamáním a někdy dokonce škodlivé, nadace se již přesunula k dalšímu aktu vysoce přesvědčivého vměšování.

NextLadder Ventures, filantropický oblíbenec koalice miliardářů, kteří hrají SimCity s institucemi reálného světa, nevede nikdo jiný než Ryan Rippel, dříve zodpovědný za program ekonomické mobility Nadace Gatesů. Je to tatáž organizace, která strávila roky prací na vzestupné mobilitě, jako by se jednalo o problém UX, a ne o výsledek desetiletí politiky.

Ripple nyní může provádět beta testování filantropické umělé inteligence v oblasti lidských služeb.

Claude, Fruchterman a mýtus o pomoci

Skutečná struktura této nejnovější „společnosti“ je stále záhadou. Stále pracují na objasnění, kdo bude mít jaké pravomoci a jak se jim podaří vyhnout se tomu, aby vypadali jako private equity firma. Neustále však opakují, že veškeré finanční výnosy budou reinvestovány do „dalších projektů“.

Aby dodali špetku morálky, přizvali Jima Fruchtermana, dlouholetého zastánce „technologie pro dobro“ a zakladatele Tech Matters, aby poskytl jemnou podporu. Fruchterman zopakoval refrén, že jde o pomoc pracovníkům, ne o jejich nahrazování. „Neziskový sektor je o tom, aby lidé pomáhali lidem,“ řekl. „A pokud místo vnucování umělé inteligence chudým nebo potřebným lidem řekneme: ‚Hele, vy jste pracovník v první linii. Co je nejhorší část vaší práce, nejméně produktivní?‘ A oni vám to řeknou, a pokud na tom zapracujete, pravděpodobně budete úspěšnější.“

Claude a spol.: Začíná ofenzíva umělé inteligence

Aby se to dalo rozjet, NextLadder spolupracuje se společností Anthropic, která stojí za rozsáhlým jazykovým modelem Claude. Claude se bude starat o práci s umělou inteligencí, zatímco Anthropic bude ročně poskytovat 1,5 milionu dolarů na podporu partnerství, což zhruba odpovídá nákladům na mírnou lobbistickou kampaň ve Washingtonu.

Elizabeth Kelly, vedoucí týmu „užitečných implementací“ společnosti Anthropic, s vážným výrazem v obličeji řekla: „Chceme podporovat příjemce grantů v používání Claude se stejnou péčí a nasazením, jakou děláme u našich největších podnikových klientů.“

Mezitím se Hooks vrací se svým kázáním o katalytickém kapitálu. „Pokud uspějeme, bude to první kapitál, který ukáže, co je možné,“ řekl v roli našeptávače trhu, který jemně zavádí probační a sociální služby do umělé inteligence, jako by to byli technicky zdatní investoři, a ne zlomené, přetížené přívěsky vlády.

Mýtus o neškodném pilotním testu

Ale představa, že se jedná o neškodný pilotní projekt, je čirá fantazie. Využití umělé inteligence v sociálně citlivých kontextech má již své výsledky a není zrovna inspirativní. V soudní síni existují algoritmy, které předpovídají recidivu se všemi nuancemi kvízu z BuzzFeedu. V bytových projektech se bez souhlasu nasazují systémy rozpoznávání obličeje. V úřadech sociálních služeb existuje digitální triáž, která označuje „podezřelé“ uchazeče rychleji, než byste mohli říct, že jsou zaujatí.

Veřejné instituce již mají ingredience pro nepřetržitý dohled: spisy o dávkách, školní záznamy, inspekce bydlení a záznamy o péči o děti. Když je integrujete do systému umělé inteligence, který kombinuje rozpoznávání obličejů, sledování registračních značek a scraping ze sociálních médií, získáte tak kompletní architekturu dohledu, že sotva potřebuje lidi. Nepotřebujete soudce. Nepotřebujete pravděpodobnou příčinu. Potřebujete jen skóre anomálie. A ani to nemusíte nazývat dohledem. Říkejte tomu prostě „podpora“.

Od skórování k vyloučení

Skutečným trikem je nenápadná funkce. Shromažďovat data pro určení nároku na potravinové lístky a poté je diskrétně vkládat do systému pro detekci podvodů. Nebo algoritmus pro upřednostňování bydlení. Nebo prediktivní policejní model, který klasifikuje někoho jako „vysoce rizikového“, protože zmeškal tři schůzky a žije v PSČ se špatnými trendy kriminality. Neexistuje žádný firewall mezi agenturami ani pevný limit pro opětovné použití.

Jakmile jsou data digitalizována, jsou dále distribuována, a to je dobrá věc.

Jazyk používaný k zmírnění této krádeže je „anonymizace“. To znamená: Neukládáme vaše jméno, pouze vzorce. Ale umělá inteligence vaše jméno nepotřebuje. Dejte jí svůj pobyt, návštěvy nemocnice, školní záznamy a ona zrekonstruuje vaši identitu rychleji než oddělení pro boj s podvody ve vaší bance. Mýtus o anonymitě je marketingový plán. To, co přináší, je systém, který vždy ví, kdo jste, i když tvrdí, že to neví.

Pak přichází část, kdy rozhodnutí učiní umělá inteligence. Modely trénované na datech z trestních případů za posledních deset let se nestanou nestrannými pomocníky. Stávají se zaujatými vymahateli práva maskovanými jako neutrální nástroje.

A jakmile jsou tyto systémy zavedeny, jen tak nezmizí. Stanou se novým normálem. Zaměstnanci služeb se začínají orientovat podle výstupů modelu. Agentury sladí své pracovní postupy s vlajkami modelu. Porotci citují jeho předpovědi. Byrokracie začíná outsourcovat své vnitřnosti.

A kdy se to pokazí? Neexistuje žádné řešení. Chyba sociálního pracovníka je přezkoumána. Chyba systému nikoli. Claudeův model upozorní někoho na „odchylku od vzorce“ a jeho dávky SNAP jsou na neurčito pozastaveny. Nikdo nedokáže vysvětlit proč.

Data, napájení a řízení

Data mezitím jen tak neleží. Cirkulují. A rostou. Centralizované systémy byly vždy návnadou pro hackery, ale když je zkombinujete s umělou inteligencí, jackpot se znásobí. Lékařské údaje, trestní rejstříky, biometrické údaje, psychologická vyšetření – vše je odposloucháváno, uloženo a potenciálně prolomeno. To se nedá vzít zpět. Traumatický příběh se nedá vrátit zpět do trezoru.

Bezpečnostní sliby společnosti Anthropic a jejích konkurentů zůstávají neověřené a rizika jsou vším, jen ne hypotetická.

Suzy Madigan z Care International UK formuluje to, čemu se většina těchto iniciativ pilně vyhýbá: že umělá inteligence, i s nejlepšími úmysly, může zhoršit nerovnost. „Rostoucí využívání umělé inteligence v citlivějších kontextech vyvolává některé skutečně důležité nové etické a správní otázky, protože může ve skutečnosti zhoršovat rostoucí nerovnosti, a to i s dobrými úmysly,“ uvedla.

Lidské utrpení jako výukový materiál

Práce ve veřejné službě je chaotická, lidská a plná informací, které by nikdy neměly být zahrnuty do neověřeného modelu třetí strany. Mluvíme o vystěhování, psychiatrických záznamech, spisech o zneužívání a záznamech o podmínečném propuštění. To jsou druhy záznamů, které vyžadují diskrétnost, nikoli algoritmické zpracování technologickou společností vydávající se za morální autoritu.

Využití umělé inteligence při pomoci při katastrofách, v oblasti péče o děti nebo právní obhajoby nelze srovnávat se zavedením rozpočtové aplikace. Vyžaduje jasné standardy spravedlnosti, externí audity, možnosti veřejného napadení a nápravu v reálném čase, když nástroje nevyhnutelně selžou. Nic z toho zde není přítomno.

Neexistují žádné zveřejněné etické protokoly. Žádná transparentnost ohledně modelového školení. Žádný panel nezávislých auditorů. Pouze skupina investorů se soukromými zájmy a startup, který je odpovědný svým vlastním investorům. Všichni slibují, že algoritmus pomůže.

Stejná taktika

Nadace Gatesů už tento tanec dělala dříve. S Monsantem. Se Common Core. S vakcínami používanými v zemích, které nebyly během zavádění konzultovány. Jejich modelem je jednat rychle, investovat do toho hodně a korigovat kurz později, pokud vůbec. A teď to dělají s umělou inteligencí.

Společnost Anthropic nabízí svůj model Claude jako jediného poskytovatele umělé inteligence pro NextLadder. Toto nastavení s jediným dodavatelem může řídícímu výboru ušetřit čas, ale vystavuje již tak citlivou iniciativu jediné zranitelnosti. Jedna chyba, jedna zkreslenost, jedno narušení bezpečnosti a soukromá data zranitelných osob se stanou vedlejší škodou v dalším dobře míněném pilotním programu, který zapomněl vybudovat firewall.

Roční závazek společnosti Anthropic je ve světě technologické filantropie chybou zaokrouhlování. Přesto tento skromný příspěvek nyní čtyřleté společnosti nějakým způsobem poskytuje přístup k nervovému centru přetížené americké sociální infrastruktury: filantropickému fondu v hodnotě několika miliard dolarů a jedinému poskytovateli umělé inteligence, který zpracovává vše od záznamů o vystěhování až po oznámení o podmínečném propuštění. Jedna společnost, jeden model, jeden datový kanál.

Ovládání bez dohledu

Steve Ballmer, bývalý generální ředitel Microsoftu a současný podporovatel USAFacts, miluje data. Jeho filantropie spočívá ve zveřejňování čísel a rozdělování statistik do krásných přehledů pro tvůrce politik a veřejnost. Existuje však rozdíl mezi otevřenými daty a bezpečnými daty. A Ballmerova společnost se k těm druhým zatím nezavázala.

Není na dohled žádný model s více dodavateli. Žádný plán na decentralizaci rozhodování o umělé inteligenci. Prostě antropické. Pokud má Claude nějakou chybu, nebo ještě hůř, vrozenou zaujatost, ovlivňuje to všechno. Sociální pracovníci, veřejní obhájci a komise pro podmínečné propuštění nemají možnost se odhlásit. Musí se podřídit.

Národní institut pro standardy a technologie se snažil zdvořile bijí na poplach: transparentnost, odpovědnost, správa dat. Je však těžké vynutit „odpovědnost“, když celý rámec vytvářejí soukromé nadace, které fungují bez veřejného dohledu a mají talent na vyhýbání se kontrole.

Vyloučen demokratický vliv

Nepředstírejme, že to není součástí větší strategie. Nadace Gatesů, Ballmerova skupina a zbytek této filantropické skupiny utvářejí budoucnost veřejného sektoru prostřednictvím vlivu pod rouškou benevolence.

Brian Hooks zde propaguje filantropický kapitál jako „první, kdo ukazuje, co je možné“. Co tím myslí: My udáváme tón, vybíráme poskytovatele a určujeme, co se počítá jako „úspěch“.

Debata o tom, zda by se umělá inteligence měla používat ve veřejném sektoru, je tedy u konce. Už se to děje. Otázkou není, zda vaše žádost o sociální pomoc, vaše zkušební doba nebo váš příspěvek na bydlení budou filtrovány přes nějaký model, ale kdy a co je nejdůležitější, jaký model.

Vítejte v Alpha verzi budoucnosti

Nejsme na pokraji spekulativní budoucnosti. Žijeme v její alfa verzi. Papírové překážky, které charakterizují většinu sociálních služeb? Desítky let nedostatečného financování, nedostatku personálu a politické sabotáže? To se nevyřeší větším počtem zaměstnanců. Bude to „zefektivněno“. Lidé s penězi, servery a strategickými filantropickými portfolii se již rozhodli: software nahradí byrokracii, algoritmy nahradí úsudek a umělá inteligence bude klasifikována jako veřejný statek.

Rozhodující by mohlo být , kdo je vlastní, kdo je formuje a kdo smí říct ne.

V tuto chvíli tyto páky nejsou v rukou veřejnosti. Jsou v rukou malé skupiny investorů a technologických společností přesvědčených, že politika je příliš pomalá a demokracie příliš chaotická na to, aby se jimi zabývala. Místo veřejných slyšení tu jsou výzvy zájmových skupin. Místo zákonů tu jsou partnerství. A místo voleného dohledu tu je správa prostřednictvím korporátně financovaných „pískoviště“.

Christina Maas