Pangramový paradox: Problém s umělou inteligencí, která „rozpoznává“ jiné umělé inteligence

„Detektory“ obsahu generovaného umělou inteligencí poháněné umělou inteligencí byly propagovány jako způsob ochrany lidského psaní na internetu v době umělé inteligence jakožto odpadu. Bohužel se to ve skutečnosti neděje.

Názorový článek: Toto je názorový článek publikovaný na Unlimited Hangout . Většina článků publikovaných na UH názorové články nejsou, a proto ty, které názorovými články jsou, jasně označujeme.

Pro čtenáře Unlimited Hangout nebude žádným tajemstvím , že mám velmi negativní názor na dopad umělé inteligence (AI) na nezávislá média a média obecně. Jako někdo, koho AI denně napodobuje na velkých video platformách již několik let, jsem na vlastní kůži zažil, jak se AI stává nebezpečnou silou, která nic netušícím čtenářům/divákům stále více ztěžuje rozlišování mezi tím, co je skutečné, a tím, co je falešné. Nemyslím tím jen ty, kteří chtějí sledovat můj obsah, protože osobní problém, kterému čelím, je mikrokosmem mnohem většího problému.

Proto si možná myslíte, že bych byl potěšen, ne-li přímo ulevený, kdybych viděl, že Substack, významná platforma pro profesionální autory, navázala partnerství s „nástrojem pro rozpoznávání pomocí umělé inteligence“. Nejenže mě to nepotěšilo, ale teď jsem si udělal čas na napsání názorového článku, ve kterém vysvětluji, proč si myslím, že je to špatná věc, a také nastíním, kam podle mě velká část toho směřuje.

Nový partner společnosti Substack a zřejmě nástroj pro detekci umělé inteligence, který v současnosti upřednostňuje většina velkých médií, se jmenuje Pangram. Společnost Pangram, založená v roce 2023, původně pod názvem Checkfor.ai, založili Max Spero a Bradley Emi. Spero i Emi jsou absolventi Stanfordu a před Pangramem pracovali pro společnosti jako Nuro a Tesla, kde oba pracovali na softwaru umělé inteligence pro autonomní vozidla (tj. nahrazovali lidské řidiče softwarem umělé inteligence). Oba zakladatelé „jsou již dlouho nadšeni potenciálem umělé inteligence transformovat společnost“ a vysvětlují, že Pangram založili, „aby zmírnili nové problémy způsobené šířením výkonných generativních modelů umělé inteligence“.

Přijde mi zajímavé, že dva absolventi Stanfordu, kteří byli nadšeni potenciálem umělé inteligence „transformovat společnost“ a následně pracovali na vývoji softwaru pro autonomní řízení s využitím umělé inteligence, se náhle rozhodli změnit kurz a „zmírnit“ problémy způsobené generativní umělou inteligencí. Mnoho problémů způsobených generativní umělou inteligencí bylo ve skutečnosti před lety předpovězeno lidmi, jako byl bývalý generální ředitel Googlu Eric Schmidt (spoluzakladatel Pangramu Max Spero dříve pracoval pro Google). V knize z roku 2021, kterou napsal společně s válečným zločincem Henrym Kissingerem, Schmidt v podstatě předpověděl, že „transformační potenciál“ umělé inteligence povede k tomu, co nazval „kognitivním úpadkem“ mas, což lidem prakticky znemožní rozlišovat mezi tím, co je skutečné, a tím, co není. Možná není překvapením, že preferovaným „řešením“ tohoto problému Schmidta a Kissingera bylo, že bychom se měli spoléhat na umělou inteligenci, aby za nás rozlišila, co je skutečné a co ne – jinými slovy, že se jiná umělá inteligence stane rozhodčím naší reality.

Spoluzakladatel Pangramu Max Spero (vlevo) a Bradley Emi (vpravo)

O této knize Schmidta a Kissingera a jejích předpovědích jsem již dříve psal. V tomto článku jsem poznamenal, že tyto předpovědi a varování – vzhledem k mocenským sítím, do kterých oba muži jsou/byli zapojeni – byly spíše odhalením toho, co již bylo ohledně umělé inteligence plánováno, než varováním před tím, co by se mohlo stát s jejím širokým přijetím . Nicméně „varování“ Schmidta a Kissingera byla neobvykle předvídavá. Jejich navrhované řešení se navíc nápadně podobá tomu, co Pangram v současnosti nabízí – konkrétně využití umělé inteligence k rozlišení textu generovaného umělou inteligencí od textu generovaného člověkem. Pangram se tak stává v současnosti preferovaným arbitrem umělé inteligence v tom, co představuje skutečné lidské psaní.

Nepochybně proběhla úspěšná marketingová kampaň, jejímž cílem bylo přesvědčit nás, že Pangram je „nejpřesnější“ nástroj pro rozpoznávání rukopisu s využitím umělé inteligence na trhu. Titulky článků propagujících Pangram v podstatě naznačují, že vám definitivně řekne, zda něco napsala umělá inteligence. Pokud si přečtete více než jen titulek – což mnoho lidí nedělá – zjistíte, že drobným písmem Pangram označuje něco jako generované umělou inteligencí i tehdy, když umělá inteligence byla použita pouze k úpravě textu napsaného člověkem. Označení Pangramu „generované umělou inteligencí“ mezi těmito dvěma případy ve skutečnosti nerozlišuje, ačkoli spoluzakladatel Max Spero připouští, že toto označení „mění způsob, jakým lidé k textu přistupují“.

Skutečnost, že Pangram nedokáže smysluplně rozlišit mezi textem vygenerovaným výhradně umělou inteligencí a textem, který umělá inteligence pouze zpracovala, ukazuje, že se vůbec nejedná o „detektor umělé inteligence“. Jak již v dubnu poznamenal Tim Requarth:

Termín „detektor“ s využitím umělé inteligence je poněkud zavádějící, protože nástroje jako Pangram neprohledávají databázi známých textů generovaných umělou inteligencí a nehledají shodu; spíše vyvozují závěr o pravděpodobném autorství na základě rozdílů ve vzorcích mezi texty generovanými umělou inteligencí a texty psanými lidmi. Místo detektoru by měl být považován za „nástroj pro odvozování s využitím umělé inteligence“ nebo, hovorově řečeno, za „nástroj umělé inteligence pro vytváření nejlepších možných závěrů“.

Jako nástroj pro inference je Pangram zranitelný vůči všemu, co inference tak ztěžuje: malým velikostem vzorku (jeden článek místo korpusu), malým velikostem efektů (zmenšuje se statistická vzdálenost mezi lidským a umělou inteligencí psaným textem) a matoucím faktorům (člověk čte a napodobuje texty generované umělou inteligencí před napsáním vlastního).

Pangram funguje tak, že vyvozuje závěry o tom, zda daný text obsahuje dostatek slov, frází, větných struktur atd., které jsou v současnosti běžné v textech generovaných umělou inteligencí. Mnoho lidských autorů však mnoho z těchto slov, frází atd. používalo již dávno před generativní umělou inteligencí. V důsledku toho nyní máme autory, kteří mění svůj zcela lidský styl psaní, aby uklidnili bohy Pangramu a doufali, že nebudou mylně označeni za producenty odpadků umělé inteligence.

Dobrým příkladem toho byl nedávno popsán článek Alexe Kirshnera pro Slate . V něm Kirshner píše:

Ať už budoucnost přinese cokoli pro přesnost detektorů s umělou inteligencí, znepokojuje mě, co se mnou v současnosti dělají jak text generovaný umělou inteligencí, tak samotné detektory. Dělá mi starosti, jak text generovaný umělou inteligencí a snahy o jeho detekci zásadně mění lidské psaní. Píšu celý týden, každý týden, a cítím, jak žháři tohoto příběhu (magistři práva, zejména při zneužití) a hasiči (detektory s umělou inteligencí) negativně ovlivňují můj pracovní postup.

Stejně jako mnoho novinářů, i můj styl psaní je zdokonalován knihami, novinovými články, blogy a (ano) příspěvky na sociálních sítích, které se mi v hlavě za ta léta nahromadily. Psaní s využitím umělé inteligence je nyní součástí mých zásob, ať už dokážu identifikovat každý nový doušek, nebo ne. Zdá se nevyhnutelné, že jsem si začal osvojovat jeho zvláštnosti, i ty nejznámější, jako je neustálé používání pomlček a nadužívání struktury „Není to x, je to y“. Na jedné úrovni se obávám, že ze mě udělám horšího spisovatele a že talent dostatečně dobrý na to, aby mi zajistil práci tady (a jinde!), budu stahovat zpět k průměrnosti generované umělou inteligencí. Ještě děsivější je možnost, že si někdo – nebo, nedej bože, nějaký detektor umělé inteligence – může mé psaní spletout s ChatGPT. Začal jsem se monitorovat, abych tomuto výsledku zabránil. V poslední době jsem se přistihl, jak několikrát měním svou vlastní práci, aby zněla „méně jako umělá inteligence“. Přitom jsem pravděpodobně volil slova, která bych jinak nevybral. Působí to dystopicky – a pochybuji, že to bylo úspěšné.

Zašel bych ještě o krok dál než Kirshner a řekl bych, že tento výsledek je rozhodně dystopický. Ještě dystopičtějším se stává, když vezmeme v úvahu, že údajně „prozrazující“ vzorce psaní generovaného umělou inteligencí se mění s tím, jak se objevují nové, vylepšené modely – zejména proto, že tyto modely doslova rozebírají hory obskurních knih psaných lidmi, aby byly vyškoleny k psaní stále více a více jako lidé. Mezitím se skuteční lidé, zoufale snažící si udržet práci ve světě, kde se počet spisovatelských pracovních míst již tak rychle zmenšuje, snaží vyhnout tomu, aby zněli jako něco, co je stále rychleji vyškoleno, aby znělo co nejvíce jako oni. Možná to není záměrně hra, kterou mají lidé vyhrát, a jak vysvětlím později, to znamená, že by spisovatelé měli tuto hru co nejdříve přestat hrát.

Než se k tomu dostaneme, je třeba zvážit ještě několik dalších věcí ohledně Pangramu a dalších společností zabývajících se „detekcí“ umělé inteligence. Jednou z nich je problém falešně pozitivních výsledků. Ano, je pravda, že Pangram je údajně nezávislými výzkumníky (a dokonce i samotným Pangramem) připisován nejnižší mírou falešně pozitivních výsledků v oboru. Vezměme si například tvrzení Pangramu, že pouze 1 z 10 000 označení autorství vygenerovaných umělou inteligencí nebo lidským autorem je falešně pozitivní, což znamená, že text je označen jako generovaný umělou inteligencí, i když jím není.

U Substacku, kde je nyní integrován Pangram, nevíme přesně, kolik příspěvků je v průměru publikováno denně, protože Substack tyto informace nezveřejňuje, ale můžeme to odhadnout. Samotný web tvrdí, že denně „potenciální odběratelé v aplikaci objeví“ více než milion příspěvků. Web má více než dva miliony aktivních publikací, z nichž většina publikuje alespoň jednou týdně. Pro tento příklad předpokládejme, že tyto dva miliony publikací skutečně publikují týdně. Pak na základě míry Pangramu bude 200 z nich každý týden nesprávně označeno jako pozitivní. Během roku (52 týdnů) to znamená, že více než 10 000 článků Substacku je nesprávně označeno jako AI, ačkoli jimi není.

I když je toto číslo jistě stále nižší než u konkurentů Pangramu, za předpokladu, že těchto 10 000 falešně pozitivních výsledků ovlivní různé publikace, mohlo by být 10 000 lidských autorů mylně označeno za producenty umělé inteligence, což by mohlo v daném kalendářním roce poškodit jejich reputaci, výdělky a možná nejdůležitější je, důvěru v jejich publikum. Vnímám to jako pokus oddělit důvěru v autenticitu autora od vztahu autor-publikum a místo toho ji umístit mezi Pangram a autorovo publikum.

I když se jedná o statistiky, které společnost Pangram a její partneři používají k marketingovým účelům, za těmito čísly stojí skuteční lidští autoři, kteří čelí obviněním ze strany umělé inteligence společnosti Pangram, jež by jim mohla zničit podnikání. Pokud se tento efekt bude v průběhu let hromadit, počet lidských autorů, jejichž díla dosud nebyla společností Pangram označena jako díla s umělou inteligencí, by se teoreticky mohl časem zmenšit. Je také třeba poznamenat, že míra falešně pozitivních výsledků uváděná společností Pangram je nejnižší zjištěná ve výzkumu jejího produktu a zároveň nejčastěji citovaná, protože ji společnost považuje za nejvýhodnější pro své zájmy. Je docela pravděpodobné, že skutečná míra falešně pozitivních výsledků je vyšší.

Navíc je tu problém, že pokud stejný text spustíte Pangramem několikrát, pravděpodobně získáte velmi kolísavé – spíše než konzistentní – výsledky, takže Pangramovy úsudky budou spíše připomínat hru náhody než nějakou smysluplnou „detekci“ použití umělé inteligence.

Dalším důležitým aspektem Pangramu, který je třeba v souvislosti s ním zkoumat, je jeho potenciál být použit jako zbraň k cenzuře a/nebo diskreditaci konkrétního novináře či média. Max Spero, spoluzakladatel Pangramu, byl obviněn zejména z toho, že používal svůj twitterový účet k veřejnému odsouzení určitých médií a novinářů za používání umělé inteligence, což v posledních měsících vyvolalo značné titulky a kontroverze.

Nemyslím si, že je pro účely tohoto článku skutečně relevantní zkoumat, zda jsou obvinění proti těmto novinářům a médiím pravdivá, či nikoli. Jak již bylo zmíněno, Pangram produkuje falešně pozitivní výsledky, ale je stejně možné, že tito novináři v nějaké formě použili umělou inteligenci, aniž by ji zveřejnili. Relevantní je však to, že konkrétně Spero využil úsudku „detektoru“ umělé inteligence své společnosti k tomu, aby cílená obvinění proti konkrétním novinářům a médiím zneužil jako zbraň.

Jakožto dlouholetý redaktor pro nezávislá média, který se pravidelně věnuje kontroverzním tématům, než to později bylo bezpečné (viz moje raná práce o Epsteinových vazbách na izraelskou zpravodajskou službu, Petera Thiela a Palantir a další témata), nejsem fanouškem mainstreamových ani „zastaralých“ médií. Vícekrát mě buď pomlouvali, nebo použili můj výzkum a psaní, aniž by mě uvedli jako zdroj. Velkou část své kariéry jsem také strávil rozebíráním často zavádějících narativů, které šíří. Proto mám tendenci být skeptický k autenticitě a pravdivosti článků publikovaných mnoha stejnými významnými médii, na která se Spero zaměřil. Existuje však ještě jeden Sperov citát, který by mohl upoutat vaši pozornost, pokud v posledním desetiletí pozorně sledujete nezávislá média.

V článku na TechCrunch o nedávném kole financování společnosti Pangram ve výši 9 milionů dolarů Spero vysvětlil, že společnost Pangram založil, aby řešil nové problémy, které se objevily po veřejném vydání generativních nástrojů umělé inteligence. Jako příklady takových nových problémů vyplývajících ze zvýšeného používání umělé inteligence Spero uvedl „ruské dezinformační kampaně podporované LLM a kampaně na Twitteru ovlivněné SAE“.

Možná si vzpomenete na období, které začalo asi před deseti lety a pokračuje již mnoho let, kdy jakékoli zprávy nezávislých médií, které ti u moci považovali za nevhodné – zejména o amerických zástupných válkách v zahraničí – byly falešně označeny za „ruskou dezinformaci“.

Možná si z nedávné doby vzpomenete, že proizraelští influenceři a média podobně tvrdili, že kritika Izraele v posledních letech byla údajně živena katarským financováním, spíše než veřejným pobouřením nad izraelskou genocidou Palestinců v Gaze, která byla vysílána v přímém přenosu. Nebo co třeba nedávnější tvrzení, že za rostoucí nedůvěrou Američanů k velkým technologickým společnostem a jejich odporem k datovým centrům stály bot účty z Číny podporované LLM, které neměly prakticky žádný dosah?

Pokud jste to sledovali dostatečně dlouho, možná jste si všimli vzorce, kdy jsou kritici určitých mocenských struktur běžně a falešně označováni za státem financované propagandisty nebo „boty“, a to nejen proto, aby se zdiskreditovali samotní kritikové, ale také aby se zdiskreditoval širší problém – ať už jde o dopad datových center nebo imperiální války. Nevím, jestli je Sperovým záměrem s Pangramem podobným způsobem zneužít produkt své společnosti jako zbraň, ale je to jistě možné.

Nicméně skutečnost, že Speros Pangram spolupracuje s NewsGuard, tuto možnost jistě zvyšuje. Jak jsem psal již v roce 2019, NewsGuard je pochybný „ověřovač faktů“ původně vytvořený k diskreditaci nezávislých médií kritických k americké zahraniční politice, zatímco otevřeně přiznávané americké propagandistické agentury jako VOA zůstaly bez pochybností.

Za zmínku stojí také propojení NewsGuardu s aparátem národní bezpečnosti – například bývalí šéfové CIA a DHS za George W. Bushe byli původně mezi jeho poradci v otázce, co představuje „fake news“. Jedním z jeho hlavních investorů je Jules Kroll, zakladatel Kroll Associates, jehož společnost je často označována jako „soukromá CIA“. Nyní NewsGuard ve spolupráci s Pangramem určuje, co je a co není „AI junk“, a využil Pangram ke spuštění služby pro „detekci farem s obsahem umělé inteligence v reálném čase“.

Původní poradní rada Newsguardu

Co by mohlo být vhodnější pro digitální vyhlazení skupiny reportérů a doprovodné vlny veřejného mínění než použití nyní „důvěryhodného“ detektoru s umělou inteligencí, který označí autory i sentiment za neautentické a generované strojem?

Potenciál spočívá v tom, že by se Pangram mohl stát novou metodou cenzury obsahu generovaného člověkem, ale nepohodlného – zejména pokud bude obsah označený jako generovaný umělou inteligencí nakonec algoritmicky snížen ve srovnání s obsahem, který Pangram klasifikuje jako lidský. Veřejnosti bude řečeno, že „odpad z umělé inteligence“ je pohřbíván, zatímco ve skutečnosti jsou potlačovány disentní názory.

Zdá se mi, že Pangram se momentálně nachází ve fázi normalizace všudypřítomnosti svého produktu a budování „důvěry“ mezi těmi, kteří používají Substack nebo jakoukoli jinou platformu (či rozšíření prohlížeče), která se integruje s Pangramem. Během této fáze se čtenáři učí rozpoznávat označení Pangramu a důvěřovat jeho výsledkům, aniž by potřebovali další informace.

Tímto způsobem může společnost jako Pangram získat 14 milionů dolarů na financování – mimo jiné od jednoho z hlavních investorů Anthropic – na produkt, který je k dispozici zdarma. Jak již bylo řečeno o online produktech: pokud je produkt zdarma, pak jste tímto produktem vy. V tomto případě se domnívám, že vás produkt učí přenést svou „důvěru“ z osoby nebo média, které čtete, na Pangram. Jakmile uvěříte „detektoru“ umělé inteligence, budete důvěřovat i jeho úsudkům – možná ještě více než autorovi, kterému jste důvěřovali dříve.

Spoluzakladatelé Pangramu nevytvořili Pangram proto, aby chránili texty psané lidmi a lidský jazyk. Dlouhodobě jsou nadšení z toho, že umělá inteligence „transformuje společnost“, a těsně před Pangramem vyvíjeli algoritmy, které by nahradily lidské řidiče umělou inteligencí. Jak již bylo zmíněno výše, založili Pangram mimo jiné proto, aby zastavili to, co nazývali státem financovanými ovlivňovacími operacemi, a také další „problémy“, které vznikly po veřejném vydání generativních nástrojů umělé inteligence.

Vzhledem k tomu, že se veřejné mínění obrací proti jejich bývalým zaměstnavatelům z řad velkých technologických firem – ať už kvůli datovým centrům, „chytrým“ brýlím nebo něčemu jinému – mohli by spoluzakladatelé společnosti Pangram nabídnout nový způsob, jak zabránit zmizení účtů, které jsou považovány za příliš kritické vůči „transformaci“ společnosti umělou inteligencí. Nebo možná ne, ale odpusťte mi můj skepticismus.

Závěrem bych se rád vrátil ke knize Schmidta a Kissingera o umělé inteligenci a jejích předpovědích. Mnoho nezávislých médií varuje před hegelovskou dialektikou, známou také jako „problém-reakce-řešení“. To znamená, že ti, kteří jsou u moci, nejprve problém vytvoří, pak čekají na reakci veřejnosti a nakonec jí jako řešení nabídnou přesně ten politický výsledek, který si od začátku přáli.

Je jistě příhodné, že Schmidt a Kissinger – dva velmi hrozní lidé, kteří oba různými způsoby přispěli k vytvoření tohoto chaosu – předvídavě předpověděli, že umělá inteligence povede k tomu, že lidé již nebudou schopni rozlišovat mezi tím, co je skutečné, a tím, co není. Nyní se jejich předpověď stala naší realitou a jako na povel se objevila společnost Pangram, která řeší problém s odpadem umělé inteligence – z něhož profitují její vlastní investoři – tím, že nám nabízí přesně to, co bylo preferovaným „řešením“ Schmidta a Kissingera: aby se lidé spoléhali na rozhodčího z umělé inteligence, který jim řekne, co je skutečné a co ne.

Jak jsem již psal, zřejmou cestou z této dystopické hry je ji nehrát. Nevěřte umělé inteligenci Pangramu jen proto, že vypadá „autoritativně“ a má pozitivní PR. Není to „detektor“, jak tvrdí, a jeho výsledky pro stejný text jsou zřídka konzistentní.

Pokud jste čtenář, požádejte autory, které čtete, aby vám sdělili, jak používají umělou inteligenci. Důvěra by měla být budována přímo mezi autory a jejich čtenáři – bez prostředníka v podobě umělé inteligence nebo arbitra autenticity či „lidskosti“.

V Unlimited Hangouts nikdy nepoužíváme umělou inteligenci k psaní, výzkumu ani úpravám našich článků. Toto je jasně uvedeno v našich Zásadách používání umělé inteligence, které si můžete přečíst na stránce O nás, jakmile bude brzy spuštěn přepracovaný web Unlimited Hangouts . (Mezitím si je můžete přečíst zde.) Tyto zásady jsme vytvořili poté, co jsme se podíleli na vývoji Závazku transparentnosti IMA k umělé inteligenci, který povzbuzuje nezávislé novináře a média k dobrovolnému zveřejnění informací o tom, zda a jak umělou inteligenci používají.

Stejně jako každý jiný lidský autor mohu svým čtenářům nabídnout pouze svůj výzkum, zdroje a autentickou analýzu a v případě tohoto článku i své názory. Nebudu své články posedle prohánět Pangramem a doufat ve výsledek „100% generovaný člověkem“. Nedovolím, aby strach z nepříznivého výsledku Pangramu změnil způsob, jakým píšu, a abych se bál používat slova jako „ponořit se do hloubky“ nebo „do hloubky“, protože by mě za to Pangram mohl penalizovat.

Vím, že píšu bez umělé inteligence, a vybudoval jsem si u čtenářů dostatečnou důvěru, takže i oni vědí, že umělou inteligenci ve svém psaní nepoužívám. Podobně jako instituce, které označily nepohodlné reportéry za ruské/čínské „boty“, i Pangram předpokládá, že si sami nedokážete určit, co je autentické a co neautentické, a že potřebujete, aby vám to Pangram řekl.

I když je kritického myšlení v době umělé inteligence možná nedostatek, nenechte ho u sebe zajít až sem. Nepotřebujete další umělou inteligenci, která by vám „pomáhala“ určit, co se vám zdá autentické a co ne. Nepotřebujete umělou inteligenci, která by vám říkala, co byste měli nebo neměli číst a komu byste měli nebo neměli věřit.

Nikdy není dobrý nápad svěřovat své kritické myšlení a názory jiným – zejména ne umělé inteligenci, která není člověkem.