OpenAI musí stáhnout Soru: Jak deepfake videa s umělou inteligencí ohrožují nás všechny

OpenAI demonstruje „bezohlednou neúctu“ k bezpečnosti produktů, právu lidí na vlastní image a dokonce i ke stabilitě demokracie, uvádí se v dopise od dozorčí organizace Public Citizen. Videoplatforma Sora se obvykle používá pro krátká videa na sociálních sítích a generuje klipy dostatečně zábavné, aby se jim líbilo a sdílely. Oblíbeným tématem jsou záběry falešných zvonků, na kterých se děje něco trochu neobvyklého, ale přesto působí do jisté míry věrohodně – například klokan objevující se u vchodových dveří nebo bizarně zábavná pouliční scéna. Software by se však velmi rychle mohl stát nebezpečím pro nás všechny.

Public Citizen právě vyzval OpenAI ke stažení Sora z veřejného používání a označil jeho vydání za nezodpovědné – tvrdí, že urychluje deepfakes, krádeže identity a manipulaci s volbami. Je to opravdu tak špatné?

OpenAI demonstruje „bezohlednou neúctu“ k bezpečnosti produktů, právu lidí na vlastní image, stabilitě demokracie a podle Public Citizen vedl její software Sora dokonce k sebevraždám.

Nebezpečí deepfaků

Organizace Public Citizen napsala dopis organizaci OpenAI a americkému Kongresu, v němž požaduje, aby byla aplikace Sora odstavena z provozu, dokud nebudou zavedena robustní a testovatelná ochranná opatření. Organizace tvrdí, že aplikace byla vydána nezodpovědně brzy s cílem získat konkurenční výhodu, aniž by byla zvážena nezbytná bezpečnostní opatření. Hlavními riziky jsou používání nedobrovolných obrázků a rozsáhlé klamání, protože syntetická videa se šíří rychleji, než si veřejnost může ověřit jejich pravost.

JB Branch, expert na technologickou politiku ve společnosti Public Citizen a autor článku, říká:
„Naší největší obavou je potenciální hrozba pro demokracii. Věřím, že vstupujeme do světa, kde lidé už nemohou skutečně důvěřovat tomu, co vidí. A v politice začínáme vidět strategie, kdy si lidé pamatují první zveřejněný obrázek nebo video.“

Branch pokračoval:
„Jedou na plný plyn, bez ohledu na škody. Hodně z toho se dalo předvídat. Ale chtějí vydat produkt, generovat stahování a učinit lidi závislými, místo aby dělali správnou věc, předem testovali tyto věci a starali se o blaho běžných uživatelů.“

Soudní spory tvrdí, že OpenAI způsobila sebevraždy

Sedm nových žalob podaných minulý týden u kalifornských soudů tvrdí, že chatbot vedl lidi k sebevraždě nebo škodlivým bludům – a to i ty, kteří dříve neměli známé problémy s duševním zdravím. Jménem šesti dospělých a jednoho teenagera podalo Centrum pro právo obětí sociálních médií a Projekt práva technologické justice žalobu s tvrzením, že OpenAI úmyslně vydala svou verzi GPT-40 příliš brzy, a to navzdory interním varováním, že je nebezpečně submisivní a psychologicky manipulativní. Čtyři z obětí zemřely sebevraždou.

Public Citizen se do soudních sporů nezapojuje, ale sdílí jejich obavy. Branch říká, že ačkoli OpenAI blokuje nahotu, „ženy se stále setkávají s online obtěžováním jinými způsoby“. Zpráva 404 Media z minulého týdne dokumentovala záplavu videí Sora, která zobrazují škrtení žen.

K čemu se používají videa Sora AI

Sora umožňuje komukoli vytvářet filmové padělky – ať už jde o fiktivní záběry z kamery u dveří, celebrity synchronizující rty nebo fotorealistická mini dramata, která vypadají jako skutečná videa svědků. Tyto klipy jsou navrženy tak, aby byly vtipné, sdílitelné a „neuvěřitelně reálné“ – v konečném důsledku pro nával dopaminu. Když jsou však sdíleny na platformách, kontext se ztrácí a mnoho lidí je vnímá jako skutečné.

Washington Post tuto teorii otestoval. Nahrál falešné video Sora na osm hlavních platforem – s vloženými, neoprávněně manipulovatelnými štítky zdroje. Pouze jedna platforma, YouTube, jej rozpoznala a označila jako falešné – štítek v popisu skryla. Pokud platformy nejsou schopny nebo ochotny poskytnout jasné informace o tom, co je skutečné a co falešné, neexistuje způsob, jak ochránit diváky před zavádějícím obsahem.

Kde by se věci mohly pokazit – a už se pokazí

• Volby: Některé realistické výmysly – jako například vykonstruované policejní střelby, falešná doznání politických kandidátů nebo zmanipulované zprávy o zahraniční politice – mohou ovlivnit volební účast nebo vyvolat nepokoje dlouho předtím, než se začne ověřovat fakta. Public Citizen varuje před Sorovým dopadem na „stabilitu demokracie“.
• Obtěžování a vydírání: Nekonsenzuální sexuální deepfaky, pomluvy a vydírání jsou již problémem u obrázků – videa škody znásobují.
• Podvody týkající se veřejné bezpečnosti: Falešná videa o katastrofách nebo falešné zprávy o mimořádných událostech se šíří rychleji než opravy, což matou záchranné složky i veřejnost. Sorův fotorealistický každodenní efekt je bezkonkurenční a rozdíl od skutečných záběrů je stále obtížnější rozeznat.
• Ekonomické podvody: Syntetická videa generálních ředitelů, celebrit nebo influencerů mohou zesílit klasické podvodné schémata – například falešné pokyny k převodům peněz. Hlasové imitace již klamou banky – představte si dopad realisticky vypadajících videí.

Co OpenAI dělá pro řešení nebezpečí

Společnost OpenAI začala z videí odstraňovat veřejně známé osobnosti a nabízí uživatelům ovládací prvky pro „autoportréty s využitím umělé inteligence“, kde se mohou objevit osobní avatary. Společnost sice riziko uznává, ale tato opatření neřeší celý problém. OpenAI uvedla, že „nadměrná moderace je extrémně frustrující“ a zdůraznila důležitost opatrnosti, „dokud se svět stále přizpůsobuje této nové technologii“.

V říjnu společnost OpenAI oznámila dohody s rodinou Martina Luthera Kinga Jr., které mají zabránit „neuctivému zobrazování“ vůdce hnutí za občanská práva a zároveň pracovat na lepších zárukách. OpenAI rovněž oznámila podobnou dohodu se známými herci, odborovým svazem SAG-AFTRA a agenturami pro vyhledávání talentů.

„To je v pořádku, pokud jste slavní,“ řekl Branch, ale zdůraznil další problém: „U OpenAI je typické, že reagují pouze na pobouření velmi malé části populace. Něco zveřejní a později se omluví. Mnoho z těchto problémů je ale způsobeno designovými rozhodnutími, která mohli učinit před vydáním.“

Širší kontext umělé inteligence

Dopis organizace Public Citizen odráží rostoucí uvědomění si: vytváříme platformy, které klamání usnadňují více než kdy dříve – místo systémů, které před ním chrání. Videa ze Sora mohou být zábavná, ale při rychlosti posouvání jsou téměř k nerozeznání od skutečných záběrů. A bez důvěryhodného označení dovolujeme veřejnosti, aby si zvykla na falešný obsah – a nakonec zapomene, jak rozeznat rozdíl.

OpenAI nevynalezla deepfaky a konkurenti pravděpodobně rychle následují jeho příkladu. Skutečné vůdčí postavení by znamenalo jednat pomaleji, dokud nebudou zavedena nezbytná ochranná opatření – ne spěchat tak rychle, abychom nikdy neměli čas je řádně implementovat. Mezitím budou organizace zabývající se dohledem i nadále požadovat jejich odstranění z veřejné sféry, dokud obyčejní lidé opět nebudou schopni rozlišovat mezi fakty a fikcí.

Závěrečná myšlenka

Myslíte si, že byste dokázali spolehlivě rozlišit mezi nejnovějšími videi s umělou inteligencí a realitou? Jaké je největší riziko, pokud by se tato technologie stala dostupnou všem? A co s tím můžeme dělat? Podělte se o své myšlenky níže.