Boti s umělou inteligencí dohánějí lidi jako zdroj webové návštěvnosti

Internet má přednost předpsiBoti. Agentičtí boti s umělou inteligencí nahrazují lidskou činnost typicky akceleračním způsobem: „Pohybujte se rychle a ničte věci.“ Virtuální asistent OpenClaw je jen špičkou ledovce, když boti s umělou inteligencí interagují s jinými boty s umělou inteligencí bez lidského zásahu. Kdo tohle vůbec čte? Více botů, ale pravděpodobně žádní lidé. Internet je jako odpadkový koš naplněný až po okraj odpadky, který nakonec vzplane a shoří v popelnici. —Patrick Wood, editor.

Virální virtuální asistent OpenClaw – dříve známý jako Moltbot a předtím jako Clawdbot – je symbolem širší revoluce, která by mohla zásadně změnit fungování internetu. Web by brzy mohl být místo primárně obývaného lidmi ovládán autonomními boty s umělou inteligencí.

Nová zpráva měřící aktivitu botů na webu spolu se souvisejícími daty sdílenými s WIRED společností Akamai, která se zabývá internetovou infrastrukturou, odhaluje, že boti s umělou inteligencí již tvoří významnou část webového provozu. Zjištění také osvětlují stále sofistikovanější závod o to nejhorší, kdy boti používají chytré taktiky k obcházení obranných mechanismů, které jim mají bránit v přístupu.

„Většina internetového provozu v budoucnu bude tvořena provozem od botů,“ říká Toshit Pangrahi, spoluzakladatel a generální ředitel společnosti TollBit, která sleduje aktivitu scrapingu webu a zveřejnila novou zprávu. „Nejde jen o problém s autorskými právy, ale o nový typ návštěvníka internetu.“

Většina velkých webových stránek se snaží omezit obsah, který mohou boti scrapingovat a odesílat do systémů umělé inteligence pro účely školení. (Mateřská společnost Wired, Condé Nast, spolu s dalšími vydavateli v současné době žaluje několik společností zabývajících se umělou inteligencí za údajné porušení autorských práv v souvislosti s školením umělé inteligence.)

Ale získává na popularitě i jiný typ scrapingu webových stránek založený na umělé inteligenci. Mnoho chatbotů a dalších nástrojů umělé inteligence nyní dokáže získávat informace z internetu v reálném čase a používat je k rozšíření a zlepšení svých výsledků. Může se jednat o aktuální ceny produktů, seznamy filmů nebo shrnutí nejnovějších zpráv.

Podle údajů společnosti Akamai se provoz botů související s tréninkem od července loňského roku neustále zvyšuje. Zároveň roste i globální aktivita botů, kteří pro agenty s umělou inteligencí získávají webový obsah.

„Umělá inteligence mění internet, jak ho známe,“ řekl serveru WIRED Robert Blumofe, technický ředitel společnosti Akamai. „Výsledný závod určí budoucí vzhled, dojem a funkčnost internetu, stejně jako základy pro podnikání.“

Společnost TollBit odhaduje, že ve čtvrtém čtvrtletí roku 2025 pocházela v průměru každá 50. návštěva webových stránek jejích klientů od bota s umělou inteligencí. V prvních třech měsících roku 2025 to bylo pouze jedna z každých 200. Společnost uvádí, že ve čtvrtém čtvrtletí více než 13 procent požadavků botů obešlo soubor robots.txt, který některé webové stránky používají k určení, kterým stránkám by se boti měli vyhýbat. Podle společnosti TollBit se podíl botů s umělou inteligencí, kteří ignorují soubor robots.txt, zvýšil od druhého do čtvrtého čtvrtletí loňského roku o 400 procent.

Společnost TollBit také oznámila 336% nárůst počtu webových stránek, které se v loňském roce pokoušely blokovat boty s umělou inteligencí. Pangrahi říká, že techniky scrapingu se stávají stále sofistikovanějšími, protože webové stránky se snaží získat kontrolu nad tím, jak boti přistupují k jejich obsahu. Někteří boti se maskují tím, že jejich provoz vypadá, jako by pocházel z běžného webového prohlížeče, nebo odesíláním požadavků, které napodobují běžnou lidskou interakci s webovými stránkami. Studie společnosti TollBit uvádí, že chování některých agentů umělé inteligence je nyní prakticky nerozeznatelné od lidského webového provozu.

TollBit prodává nástroje, které umožňují provozovatelům webových stránek účtovat poplatky scraperům s umělou inteligencí za přístup k jejich obsahu. Podobné nástroje nabízejí i další společnosti, včetně Cloudflare. „Každý, kdo se spoléhá na lidský webový provoz – počínaje vydavateli, ale v podstatě každý – bude postižen,“ říká Pangrahi. „Je potřeba rychlejší způsob, jak tuto strojově založenou, programatickou směnu hodnot umožnit.“

Server WIRED se pokusil kontaktovat 15 společností zabývajících se scrapingem pomocí umělé inteligence, které jsou uvedeny ve zprávě TollBitu, a požádat o komentář. Většina z nich nereagovala nebo se s nimi nepodařilo spojit. Některé uvedly, že jejich systémy umělé inteligence se snaží respektovat technické limity, které webové stránky stanovily k omezení scrapingu, ale poukázaly na to, že taková ochranná opatření jsou často složitá a obtížně vymáhatelná.

Nebo Lenchner, generální ředitel společnosti Bright Data, jedné z největších světových společností zabývajících se scrapingem webu, tvrdí, že boti jeho společnosti neshromažďují neveřejné informace. Společnost Bright Data byla dříve žalována společnostmi Meta a X za údajné nelegální scrapingování obsahu z jejich platforem. (Meta později svou žalobu stáhla a federální soudce v Kalifornii žalobu podanou společností X zamítl.)

Karolis Stasiulevičiu, mluvčí další zmíněné společnosti ScrapingBee, serveru WIRED sdělila: „ScrapingBee funguje podle jednoho ze základních principů internetu: Otevřený web by měl být přístupný. Veřejné webové stránky jsou ze své podstaty čitelné jak pro lidi, tak pro stroje.“

Oxylabs, další společnost zabývající se scrapingem, v nepodepsaném prohlášení uvedla, že její boti „nepřistupují k obsahu za přihlášením, paywally nebo ověřováním. Požadujeme, aby naši zákazníci používali naše služby pouze pro přístup k veřejně dostupným informacím, a na naší platformě vynucujeme dodržování standardů dodržování předpisů.“

Společnost Oxylabs dodala, že existuje mnoho legitimních důvodů, proč firmy scrapingují webový obsah, včetně účelů kybernetické bezpečnosti a investigativní žurnalistiky. Společnost také uvádí, že protiopatření, která některé webové stránky používají, nerozlišují mezi různými případy použití. „Realita je taková, že mnoho moderních systémů proti botům dobře nerozlišuje mezi škodlivým provozem a legitimním automatizovaným přístupem,“ říká Oxylabs.

Války o webový scraping nejen způsobují problémy vydavatelům, ale také vytvářejí nové obchodní příležitosti. Zpráva společnosti TollBit identifikovala více než 40 společností, které v současné době prodávají boty, jež mohou shromažďovat webový obsah pro školení umělé inteligence nebo pro jiné účely. Vzestup vyhledávačů s umělou inteligencí spolu s nástroji, jako je OpenClaw, pravděpodobně dále zvýší poptávku po těchto službách.

Některé společnosti slibují, že firmám pomohou zviditelnit obsah pro agenty umělé inteligence, spíše než se ho snažit blokovat – strategie známá jako generativní optimalizace pro vyhledávače (GEO). „V podstatě jsme svědky vzestupu nového marketingového kanálu,“ říká Uri Gafni, obchodní ředitel společnosti Brandlight, která optimalizuje obsah tak, aby se v nástrojích umělé inteligence zobrazoval prominentně.

„Toto se do roku 2026 zintenzivní a toto zavedení budeme vnímat jako plnohodnotný marketingový kanál, kde se sbíhají vyhledávání, reklama, média a obchod,“ říká Gafni.

Od Willa Knighta prostřednictvím Wired