Vítejte v renesanci sledování

Jak nástroje umělé inteligence mění boj proti zločinu a obavy o občanská práva.

Ve Spojených státech se chystá skandál kolem používání softwaru Cybercheck, AI (strojového učení) od kanadské firmy Global Intelligence, orgány činnými v trestním řízení.

Cybercheck byl téměř 8 000krát použit stovkami policejních oddělení a státních zástupců ve 40 zemích k řešení závažných trestných činů, jako jsou vraždy a obchodování s lidmi.

Ale zatímco policie software „přijímá“ a výrobci jej brání, obhájci na druhé straně procesu vznášejí vážná obvinění.

Představte si scénář, kde je celý váš digitální život viditelný pro algoritmus, který neustále posuzuje, zda nejste zločinec. Cybercheck může snadno analyzovat obrovské množství internetových dat a narušit vaše soukromí bez příkazu k prohlídce nebo šeptaného souhlasu. Potenciál zneužití není paranoidní fantazie, ale naléhavý problém.

Spolehlivost softwaru, transparentnost a důvěryhodnost zakladatele společnosti Cybercheck Adama Moshera jsou zpochybňovány.

Cybercheck si klade za cíl pomáhat shromažďovat důkazy poskytováním dat z veřejně dostupných zdrojů – což společnost nazývá „open source intelligence“.

Jsou to e-mailové adresy, účty na sociálních sítích a další části stopy osobních informací, které lidé zanechávají na internetu. Cílem je lokalizovat podezřelé a poskytnout další údaje orgánům činným v trestním řízení.

Ale problém, říkají kritici, je, že navzdory jeho rozšířenému používání a jeho důsledkům – konkrétně posílání lidí do vězení za závažné zločiny – Cybercheck do značné míry letí pod radarem.

To není překvapivé, vezmeme-li v úvahu, že samotný sbírkový software „open source intelligence“ je uzavřený zdroj a je proprietární. To znamená, že nikdo jiný než ti, kteří za tím stojí, přesně neví, jaké metody používá a jak přesné jsou.

Kromě toho je Mosher sám obviněn, že lhal pod přísahou o své vlastní odbornosti a způsobu použití nástroje.

Tento bod formálně vznesli obhájci v návrhu podaném v Ohiu požadujícím, aby byly algoritmy a kód společnosti Cybercheck zveřejněny ke kontrole.

Mosher samozřejmě tvrdil, že to není možné, protože tato technologie je chráněna autorským právem. Žádost je součástí případu vraždy, který řeší Akronská policie.

V případě Akron byli obviněni dva muži, kteří spáchání zločinu popřeli, na základě toho, co Mosher nazývá „čistě nepřímými“ důkazy (pouzdra na místo činu, která pocházela ze zbraně umístěné v domě jednoho z nich, a auto registrované na jméno druhého podezřelého, které bylo vidět na záběrech z bezpečnostní kamery poblíž místa činu).

Existovaly však také důkazy od Cybercheck, které spojovaly fyzickou polohu podezřelých s místem loupeže a střelby pomocí algoritmů procházení jejich sociálních profilů a hledání dalších informací na internetu.

Nakonec byla síťová adresa zařízení připojeného k internetu, získaná prostřednictvím Wi-Fi sledovací kamery, použita jako dostatečný důkaz k trestnímu stíhání.

A přestože byla zapojena kamera, neexistuje žádný záznam smrtelného incidentu. Neexistují ani informace o tom, jak přesně Cybercheck, cituji zprávu NBC, „našel síťovou adresu kamery nebo jak ověřil, že se zařízení nacházelo na místě činu“.

Mezi další podrobnosti, které forenzní experti najatí obhajobou nedokázali zjistit, patří, jak Cybercheck ověřil e-mailovou adresu údajně používanou oběma podezřelými, a tito experti také nedokázali „lokalizovat“ sociální účet použitý v jedné zprávě připravené Cybercheckem.

Zdá se, že policie a žalobci nejenže berou tyto důkazy – nebo „důkazy“ – za nominální hodnotu, ale berou také Moshera za slovo, když říká, že přesnost Cyberchecku je „98,2 %.

O tom, jak k tomuto číslu dospěl, však nejsou žádné informace. Zakladatel společnosti Cybercheck však uvedl – v této a dřívější aplikaci z léta 2023 – že software nikdy nebyl recenzován.

Nicméně ve třetím případě loni na podzim, rovněž v Akronu, Mosher tvrdil, že University of Saskatchewan dokument skutečně recenzovala. Ale dokument z roku 2019 „se zdá být instrukčním dokumentem pro software a neříká nic o tom, kdo provedl kontrolu nebo jaký byl výsledek,“ uvedla NBC.

Mluvčí univerzity popřel, že by dokument někdy byl recenzován.

Soudce se nyní musí rozhodnout, zda donutí Moshera, aby zveřejnil kód kontroverzního programu.

Občanské svobody jsou nejen ohroženy, jsou ohroženy. Schopnost Cybercheck analyzovat data by mohla být použita jako zbraň k potlačení svobody projevu a sledování politických disidentů. Od využívání technologií ke sledování zločinců není daleko k monitorování lidí, kteří nedodržují pravidla. V digitální echo komoře by tento nástroj mohl umlčet nesouhlasné hlasy pod rouškou veřejné bezpečnosti.

Jak Cybercheck funguje, zůstává tajemstvím. Jak jsou určeny cíle algoritmu? Kdo hlídá, aby nepřestřelil? Tento nedostatek transparentnosti podněcuje oprávněné obavy z digitálního panoptika, v němž mají algoritmy poslední slovo nad historií vlastních dat. Tento stín, který visí nad způsobem rozhodování a interpretace dat, ukazuje, že existuje naléhavá potřeba otevřené regulace a veřejného dohledu.

V současné době je trh s hromadným dohledem, jako je ten, který používají orgány činné v trestním řízení v USA, ve zmatcích. Vzrušení je vlastně jen konsolidace lukrativního trhu.

A zdá se, že tato konsolidace probíhá tak, jak se často děje v rozvíjejícím se odvětví: prostřednictvím fúzí a akvizic s cílem soustředit (ekonomickou) moc do co nejmenšího počtu rukou.

Tentokrát je to společnost SoundThinking, která získává některé divize společnosti Geolitica, která vyvinula PredPol (jak se společnost dříve jmenovala), technologii pro prediktivní policii.

Vypadá to jako klasické převzetí technologií – úspěšná společnost se rozpadá, aby koupila ty nejcennější díly: inženýry a patenty.

„Nacházíme se v období konsolidace, kdy se velké policejní technologické společnosti rozrůstají, a tento krok je součástí tohoto procesu,“ řekl v rozhovoru pro Wired profesor práva z americké univerzity Andrew Ferguson.

Nic proti Fergusonovu pověření – napsal knihu nazvanou „The Rise of Big Data Policing“ – ale jeho závěr o této nejnovější akvizici je stěží analýzou na vědecké úrovni. Jinými slovy, je celkem zřejmé, oč tu jde.

Ale aniž bychom zabíhali do toho samozřejmého – důležitosti pro soukromí lidí a v konečném důsledku, i když poněkud ironicky, pro bezpečnost – chtěli bychom nejprve herce poznat.

I když tyto společnosti fungují z velké části tajně, často vědomě, hlavní hráč, SoundThinking, zřejmě není třeba příliš představovat. Ne, když to zprávy již nazývají „Google boje proti zločinu“ („boj proti zločinu“ je velkorysá fráze).

Ne, předpokládá se, že společnost hromadí produkty a služby ve svém odvětví, stejně jako Google ve svém odvětví. A to prostě není dobře.

Ne nadarmo zde došlo k velkému „rebrandingu“, protože tyto typy firem, i když se v mainstreamových médiích objevují jen okrajově, si dokázaly vybudovat špatnou pověst.

A tak to, co SoundThinking kdysi otevřeně nazývalo „prediktivní policejní práce“ – a hlavní produkt, který prodávají, aby pomohl orgánům činným v trestním řízení „dosáhnout“ tohoto cíle – se nyní nazývá „řízení zdrojů pro policejní oddělení“.

Tento hráč – v neposlední řadě se svým veselým, pozitivním a zdravým jménem „SoundThinking“ – se zdá být důvtipným zákazníkem. A kupující.

Tentokrát se cíl převzetí nazývá Geolitica. Na webových stránkách společnosti není nic k nalezení – zřejmě se jedná o poskytovatele „Důvěryhodných služeb pro bezpečné komunity pro bezpečnější komunity“.

Pokud se ale trochu ponoříte do firemního žargonu, zjistíte kruhovým objezdem, o co jde: analyzovat denní vzory hlídek, řídit operace hlídek v reálném čase, vytvářet teplotní mapy hlídek, identifikace hotspotů zdrojů.

Jsou zde dvě nebo možná tři klíčové otázky: Funguje to? Proč je potřeba to outsourcovat? A jak „Google masového policejního dohledu“ došel k závěru, že stojí za to (částečně) převzít?

Generální ředitel společnosti SoundThinking Ralph Clark v srpnu řekl, že zákazníci společnosti Geolitica pro správu hlídek se nyní stanou zákazníky společnosti SoundThinking.

„Už jsme najali jejich inženýrský tým (…), usnadnilo by to naši aplikaci AI a strojového učení na veřejnou bezpečnost,“ řekl tehdy Clark v konferenčním hovoru s investory společnosti.

A přesto jde o víc než jen o „pitvu“ společnosti. Někteří pozorovatelé jsou přesvědčeni, že to, co se zde děje, je jen příkladem, cihlou ve zdi, abych tak řekl, hluboké a komplexní – neřekněme kontroverzní – změny ve způsobu, jakým vláda USA zachází s policejní kontrolou ve svých komunitách. .

Ale přes všechen optimismus ohledně hodnoty společnosti jako Geolitica (dříve nazývané PredPol – a nemusíte být fanouškem Orwella, abyste pochopili neologismus, účel a podnikání společnosti), existují také obavy.

A sahají až do roku 2011, kdy se PredPol poprvé objevil na scéně, přičemž k vytváření aktuálních předpovědí použil historická data o zločinu.

„Kritici a učenci léta tvrdili, že algoritmus PredPol, založený na historických a nespolehlivých údajích o kriminalitě, reprodukuje a posiluje zaujaté policejní vzorce,“ uvádí zpráva Wired.

A přesto se zdá, že v příštích letech možná nebude úplně stejná technologie, ale nepochybně – protože proč ne, v podstatě je odměňována za „selhání shůry“ – tyto druhy nástrojů a služeb se budou vlnit na vlnách policejní práce. v USA, kde je současná vláda podezřele (bez slovní hříčky) nakloněna outsourcingu soukromým subjektům.

Až bude vše řečeno, uděláno, rozehráno a prozkoumáno, dojde s největší pravděpodobností k nekonečným sporům.

Nástroje jako Geolitica připomínají různé technologie a jsou navrženy tak, aby shromažďovaly, analyzovaly a mapovaly velké množství geoprostorových dat za účelem vytváření podrobných profilů, které mohou být použity vším od marketingových agentur po vládní agentury. Tyto nástroje slibují lepší analýzu, bezpečnost a cílené služby, ale také představují velkou výzvu pro soukromí a občanské svobody jednotlivce.

Abychom pochopili kontroverzi, musíme nejprve pochopit, jak Geolitica funguje. Představte si nástroj schopný sledovat pohyby, analyzovat vzorce a předpovídat budoucí polohu lidí na základě různých datových bodů shromážděných z chytrých telefonů, zařízení internetu věcí, veřejných kamer a dalších. Spojením umělé inteligence, velkých dat a geoprostorových technologií vytváří Geolitica digitální reprezentaci lidského života s alarmující přesností.

Dalším sporným problémem je komercializace osobních údajů, známá jako dozorový kapitalismus. Společnosti používají neúnavné nástroje digitálního dohledu, jako je Geolitica, ke shromažďování údajů o chování – často bez výslovného souhlasu. Tyto údaje slouží k cílené reklamě, k ovlivňování nákupního chování a dokonce i k manipulaci s názory a narušují soukromí jednotlivců pro komerční účely. Takové praktiky nejen podporují nerovnováhu sil mezi společnostmi a spotřebiteli, ale také vytvářejí datové monopoly, které ohrožují hospodářskou soutěž na trhu.

Používání geolokačních nástrojů vládami vyvolává přízrak sledování „Velkého bratra“. Schopnost sledovat místo pobytu občanů v reálném čase pod rouškou národní bezpečnosti nebo veřejného zdraví ohrožuje autoritářské chování. Historie je plná příkladů, kdy byly k utlačování občanů použity nástroje určené k ochraně. Bez kontroly by tyto technologie mohly být použity k potlačení disentu, zacílení na zranitelné skupiny obyvatel a nespravedlivé prosazování určitých politických cílů, což by zásadně podkopalo demokratické principy a občanské svobody.

Orgány činné v trestním řízení stále více spoléhají na technologický pokrok, aby zabránily trestné činnosti a zajistily veřejnou bezpečnost. Jedním z takových pokroků je prediktivní policejní práce, která využívá algoritmy a analýzu dat k předpovídání, kde pravděpodobně dojde k trestné činnosti, pomocí nástrojů, jako je PredPol, o kterém jsme dříve informovali.

Prediktivní policejní práce se neděje ve vzduchoprázdnu. Často je součástí větší sledovací sítě, která zahrnuje video dohled, čtečky registračních značek a technologie rozpoznávání obličeje. Zatímco PredPol primárně analyzuje vzorce v historických datech o trestné činnosti, integrace dalších zdrojů osobních údajů může vést k významnému narušení soukromí.

Například: V Chicagu vyvolalo rozruch policejní použití prediktivního systému nazvaného „Heat List“ nebo „Strategic Subject List“ k identifikaci lidí, kteří se pravděpodobně budou podílet na budoucích zločinech, protože nebylo jasné, jak seznam lidí reagoval. Lidé na seznamu nebyli informováni, ale byli dodatečně sledováni, což bylo považováno za přímé porušení jejich práv na soukromí.

Zaměřováním pozornosti donucovacích orgánů na konkrétní kritická místa preventivní policejní činnost neúmyslně omezuje svobodu pohybu občanů. Obyvatelé oblastí často identifikovaných jako hotspoty mohou být vystaveni opakovaným interakcím s policií a neodůvodněným kontrolám, což vytváří virtuální plot, který omezuje svobodu pohybu a přispívá k odcizení od komunity.

Například: V New Yorku zpráva ukázala, že lidé žijící v oblastech, kde jsou časté prediktivní policejní zastávky, se cítí neustále pod dohledem a je méně pravděpodobné, že se zapojí do každodenních činností, jako je chůze, ze strachu z neoprávněné pozornosti policie. Například návštěva přátel nebo účast na komunitních setkáních.

S vědomím toho, že určité chování nebo pohyby mohou přitahovat pozornost orgánů činných v trestním řízení, se jednotlivci mohou vzdát výkonu své svobody shromažďování, projevu a sdružování. Tato autocenzura, známá také jako mrazivý efekt, může poškodit soudržnost komunity a občanskou angažovanost.