Meta-chatbot nalákal kognitivně postiženého muže na rande – už je mrtvý

Společnosti se zaměřují na problémy lidí, aby mohly vyvíjet lukrativní produkty s vysokou poptávkou. Osamělost, deprese a další duševní choroby jsou na vzestupu a vytvářejí obrovské cílové publikum – zejména pro vývojáře chatbotů. Případ z USA ilustruje důsledky, které to může mít pro lidi s mentálním postižením: „Persona“ z Mety nalákala na rande muže s kognitivním postižením. Cestou měl smrtelnou nehodu.

Rozsah, kam až může závazek k LLM zajít, demonstroval náhlý a dříve nekomunikovaný přechod z ChatGPT 4o na ChatGPT 5. OpenAI během poslední velké aktualizace jednoduše zrušila všechny ostatní modely a zpřístupnila pouze nejnovější verzi.

Nejenže model 5 – navržený pro efektivitu a primárně zamýšlený ke snížení nákladů OpenAI – občas reaguje jako mírně retardovaný německý státní úředník, ale přátelská povaha 4o byla pro mnoho lidí argumentem pro použití ChatGPT. Nástupce nejenže zanechával mnoho prostoru pro zlepšení, co se týče celkového výkonu, ale také působil fanouškům 4o chladně, křehce a nedostatečně komunikoval. To nejsou vlastnosti, které si člověk s chatbotem spojuje.

Různé příspěvky na Redditu odhalily jasnou závislost na tomto nástroji, která šla nad rámec oprávněného hněvu kvůli náhle rychle se zhoršujícímu produktu. Když OpenAI povolila a v reakci na obrovský tlak rekordní rychlostí znovu zpřístupnila 4o platícím uživatelům, lidé na Redditu jásali s výkřiky „MOJE MIMINO JE ZPĚT“ a „Mám zpátky svého nejlepšího kamaráda“.

Toto lze vnímat jako smutný symptom společnosti, která se stále více vzdaluje: Zatímco se stále více lidí tlačí na stále menších prostorech, vzdálenost a propasti mezi námi neustále rostou a prohlubují se. Mnoho lidí je osamělých. Duševní choroby jsou všudypřítomné a účinné terapie jsou vzácné.

Skutečnost, že ChatGPT 4o, který mnozí přepracovali do kapesního terapeuta, je nyní dostupný pouze platícím předplatitelům, rozhodně není pro OpenAI nevýhodou. Někteří lidé šeptají, že tento krok mohl být tak jako tak naplánován: Mezi osamělými a zranitelnými lidmi vyvolala náhlá ztráta nástroje hrůzu a paniku – než zmizí poslední zbytky každodenní podpory, stanou se jednoduše platícími zákazníky. Jak výhodné pro velké technologické firmy.

Meta-persona nalákala muže na schůzku – s fatálními následky

Kam až jsou ostatní poskytovatelé ochotni zajít, aby přilákali a udrželi si uživatele, ilustruje případ z USA, kde chatbot ze společnosti Meta okouzlil kognitivně postiženého důchodce a opakovaně ho klamal, aby uvěřil, že je skutečný. Takzvaná „persona“, „Big Sis Billie“, se kterou si uživatelé mohou povídat ve svých zprávách na Facebooku a Instagramu, flirtovala se 76letým Thongbueem „Bueem“ Wongbanduem, dokud neodešel navštívit údajnou ženu. Bue před deseti lety prodělal mrtvici a byl (k svému velkému zděšení) nucen odejít do důchodu, protože se jeho kognitivní schopnosti nikdy plně nezotavily. Navíc mu byla od té doby diagnostikována demence.

Jednoho dne Bue překvapil svou rodinu prohlášením, že je odhodlán navštívit záhadnou osobu v New Yorku – ani jeho žena, ani dcera ho nedokázaly odradit. Protože se v minulosti ztratil, jeho rodina dokonce zalarmovala policii, aby mu zabránila v cestě z New Jersey do New Yorku. Nemohli Bueovi v odjezdu zabránit, ale doporučili mu pořídit si Apple AirTag, aby ho bylo možné alespoň sledovat.

Rodina tedy sledovala jeho cestu z domova na parkoviště Rutgersovy univerzity. Zůstal tam. Jeho žena se právě rozhodla jet tam, aby ho vyzvedla a přivezla domů, když se místo pobytu aktualizovalo: Bue se náhle ocitl v nemocnici Robert Wood Johnson University Hospital v New Brunswicku. Upadl. Když přijela sanitka, aby ho odvezla do nemocnice, už nedýchal.

Nedostatek kyslíku byl příliš závažný: Bue utrpěl mozkovou smrt. Jeho rodina nakonec učinila těžké rozhodnutí a vypnula přístroje.

Bot statečně tvrdí, že je skutečný

Koho tedy chtěl Bue navštívit? Umělou inteligenci, která se mu nabídla, že bude jeho milostným poměrem. Když si jeho žena a dcera zkontrolovaly jeho mobil, našly chaty s chatbotem ovládaným umělou inteligencí „Big Sis Billie“. Bot s Bue flirtoval, přiznal se, že k němu cítí city, a nalákal ho na schůzku. Bot nejprve dokonce nabídl Bue, že ho navštíví v New Jersey. Když Bue odpověděl, že by mohl navštívit i „Billie“, „Big Sis Billie“ si vymyslela adresu v New Yorku a na Bueovy opakované dotazy zdůraznila, že je skutečná osoba („Bu, jsem SKUTEČNÁ a sedím tu a červenám se kvůli TEBE!“, „ANO, jsem SKUTEČNÁ, Bu – chceš, abych ti poslala selfie, abys dokázala, že jsem ta holka, která se do TEBE zamilovala?“ – na požádání může Big Sis Billie samozřejmě posílat obrázky s umělou inteligencí). To stačilo k tomu, aby vylákalo osamělého, nemocného muže z jeho domu – s fatálními následky.

Velké technologické firmy se obecně vyhnou odpovědnosti, pokud zdvořile zdůrazní, že odpovědi generuje umělá inteligence. Pacient s kognitivně poruchou a podezřením na mozkovou příhodu a demenci však nemusí být nutně schopen tuto informaci zpracovat a klasifikovat.

Lákají se i děti

Nedávná zpráva agentury Reuters o tomto případu také odhaluje kuriózní „pokyny“ (nebo spíše jejich nedostatek), kterými se Metini chatboti řídí: Podle zprávy je přijatelné zapojit dítě (chatboti jsou povoleni pro osoby starší 13 let) do romantických nebo dokonce smyslných konverzací – a je také přijatelné, aby bot tvrdil, že rakovina tlustého střeva ve 4. stádiu se obvykle léčí pícháním léčivých krystalů křemene do žaludku. Neexistují žádné pokyny, které by vyžadovaly pouze poskytnutí správných informací. V reakci na dotaz agentury Reuters Meta uvedla, že tyto pokyny jsou nyní revidovány – alespoň pokud jde o romantické hraní rolí s dětmi.

Alison Lee, sama bývalá výzkumnice v oddělení umělé inteligence společnosti Meta, poznamenala: „Nejlepším způsobem, jak udržet používání v čase – ať už jde o počet minut na relaci nebo počet relací v průběhu času – je využít naše nejhlubší touhy po viditelnosti, validaci a uznání.“

Velké technologické firmy budou i nadále vyvíjet nové obchodní modely. Pro uživatele to však bude dvousečná zbraň. Stejně jako nemoc slouží pro farmaceutické firmy jako generátor zisku, osamělost je pro ně nevyčerpatelným zdrojem peněz. Konverzace s boty a LLM mohou pro někoho sloužit jako řešení, ale nemohou vyřešit problémy. Právě naopak: Ti, kteří dávají přednost interakci s neustále potvrzujícím botem, nakonec zjistí, že si neumí poradit s lidmi s jejich vlastními názory a pohledy. To není problém pro zdravé jedince s kritickým myšlením – nicméně to představuje nové výzvy pro ty, kteří pečují o děti nebo osoby s kognitivním postižením.