Co v článku najdete
Dramatický pokles návštěvnosti, ztráta zisků z reklam a hrozící zánik obchodního modelu, pohánějícího online prostor desítky let. To jsou následky působení nových vyhledávačů řízených umělou inteligencí, které procházejí webové stránky, shrnují zjištěné informace a interpretují je ve svých odpovědích, aniž by tazatele odkázaly na původní zdroj. Významný digitální hráč Cloudflare nyní přišel s tím, že využívání obsahu roboty AI by mělo být zpoplatněné. Podívejte se, jak toho chce dosáhnout.
Vydavatelé účtující poplatky robotům
Matthew Prince, generální ředitel americké firmy Cloudflare specializované na internetovou infrastrukturu a bezpečnost, před několika týdny v rozhovoru pro zpravodajskou platformu Axios mimo jiné řekl:
- „Vydavatelé čelí v éře umělé inteligence existenční hrozbě a musí podniknout kroky, aby zajistili spravedlivé odměňování za svůj obsah.“
- „Umělá inteligence zásadně změní obchodní model webu. Tímto modelem bylo posledních 15 let vyhledávání. Ať tak či onak, vyhledávání pohání vše, co se děje online.“
Nedlouho poté Cloudflare představil Pay Per Crawl čili platbu za procházení. Jedná se o další typ monetizační vrstvy stránek umožňující generovat příjmy. Díky tomuto opatření mohou zejména vydavatelé zpravodajských, publicistických nebo vzdělávacích webů účtovat botům řízeným AI poplatky za procházení jejich stránek a za sbírání dat, která byla doteď autorským majetkem.
Přitom není nutné nijak zasahovat do fungování webu, nová vrstva pouze doplní stávající infrastrukturu. Systém je postavený na použití zřídka vídaného kódového značení stránky HTTP 402 Payment required (vyžadována platba), které bude blokovat procházení webových stránek, dokud nedojde k zaplacení.
Tichá dohoda porušena
Vraťme se na chvíli do digitálního ”středověku”. Píše se rok 1996 a dva studenti postgradualu na Stanfordské univerzitě pracují na výzkumu zpětných odkazů nazvaném Backrub. Z této práce následně vzniká PageRank, základní algoritmus Google. Tehdy nešlo jen o zavedení pořádku v chaotickém neorganizovaném vyhledávání. Vznikl obchodní model celého webu, který ze studentského výzkumu udělal jednu z nejvlivnějších, ne-li tu úplně nejvlivnější společnost na planetě.
Po celou tu dobu platila mezi tvůrci obsahu a Google jednoduchá nevyřčená dohoda:
- Vy nás necháte kopírovat váš obsah, abychom ho mohli zobrazovat ve výsledcích vyhledávání, a my vám za to budeme na váš web posílat návštěvníky.
- Jako tvůrce můžete tuto návštěvnost zpeněžit pomocí reklamy nebo předplatného, případně si jen užívat, že vaše texty čte spousta lidí.
Během let pak Google vybudoval ohromný komplexní systém, který tento princip podporuje:
- Vyhledávání Google generovalo návštěvnost.
- Google koupil nástroj na zobrazování reklam AdSense a reklamní společnost DoubleClick.
- Google koupil Urchin a udělal z něj Google Analytics, aby se všechno mohlo měřit.
Tichá úmluva fungovala a udržovala při životě všem otevřený, bezplatný web. Teď se však dohoda začíná bortit. Podíl Google na trhu s vyhledáváním začal poprvé klesat, a kdo myslíte, že jej nahradí? Správně, umělá inteligence.
Upozornění: následující čísla mohou vyvolat závratě a podobné příznaky ohromení.
Matthew Prince prezentoval, jak rychle AI ”vysává” tvůrce a vydavatele:
Před 10 lety Google prošel dvě stránky vašeho webu, potrénoval svůj systém, a za to vám poslal jednoho návštěvníka.
Před 6 měsíci byly tyto poměry takové:
- Google: 6:1
- Open AI: 250:1
- Anthropic: 6 000:1
A dnešní situace:
- Google: 18:1
- OpenAI: 1 500:1
- Anthropic: 60 000:1
Takže vývoj je jasný. Umělá inteligence čte, učí se a velice ”chytře” odpovídá, ale jen málokdy odhalí uživateli své zdroje. Vzájemná výměna hodnot se hroutí jako odpálený komín při demolici, samotní tvůrci obsahu na to koukají a nikoho přitom ani nezajímají.
Jak chce Cloudflare změnit pravidla hry
Je to vlastně úplně jednoduché a chytré řešení. Místo toho, aby si provozovatelé webů museli vybírat mezi dvěma extrémy, tedy úplnou blokací robotů AI, nebo úplným přístupem zdarma, mají ještě třetí možnost: účtovat prohledávačům umělé inteligence poplatky.
V reálu to vypadá tak, že pokaždé, když crawler AI požaduje obsah, server může odpovědět chybovým kódem 402 vyžadována platba s určenou cenou za přístup. Když prohledávač s platbou souhlasí, pošle nový požadavek s hlavičkou potvrzující zaplacení, server mu vrátí odpověď 200 OK a robot může k obsahu. Pokud není platba potvrzená, přístup zůstává zablokovaný.
Prostřednictvím Cloudflare pak bude možné nastavit jedno ze tří pravidel přístupu pro každý jednotlivý crawler řízení umělou inteligencí:
- Povolit: Udělený plný přístup (HTTP 200),
- S poplatkem: Požadavek platby za každý vstup (HTTP 402 + cena),
- Blokovat: Odepřený přístup (HTTP 403) s náznakem možného vyjednání platby v budoucnu.
Je to něco jako zavedení API (soubor pravidel a protokolů) mezi obsah a generativní modely AI. Znalosti nejsou jen volně dostupnými informacemi, ale stávají se z nich zpeněžitelná digitální aktiva.
Aby bylo jasno, Cloudflare není žádný čerstvý startup z garáže, který se rozhodl udělat revoluci na webu. Platforma pohání infrastrukturu sítí pro doručování obsahu (CDN) pro více než 20 % všech webových stránek včetně velkých mediálních domů, vlád různých států nebo renomovaných globálních značek. Přes síť Cloudflare běží třeba The Guardian, Shopify, Reddit a mnoho dalších známých webů.
To znamená, že pokud se Cloudflare rozhodne omezit přístup ke stránkám, může to udělat opravdu ve velkém měřítku. Další věcí je, že přesně ví, kteří boti AI tyto stránky navštěvují a v jaké míře:
- Bytespider: Robot poháněný umělou inteligencí od společnosti ByteDance vlastnící TikTok. Je nejaktivnější a chodí na více než 40 % webů pod ochranou Cloudflare.
- GPTBot: Technologie od Open AI prochází 35,5 % stránek.
- ClaudeBot: Robota firmy Anthropic zajímá přes 11 % stránek.
Spousta vydavatelů si ani neuvědomuje, že roboti řízení umělou inteligenci takto agresivně procházejí jejich stránky. Rozsah tohoto skrytého scrapingu je nejspíš mnohem větší, než byste si kdy mysleli.
Vliv platby za procházení na SEO
Cloudflare ve výchozím nastavení nechce blokovat tradiční vyhledávače tedy Googlebot, BingBot a jiné klasické roboty. Přístup má být zablokovaný pouze pro stroje poháněné AI (GPTBot, ClaudeBot…), a to především u nových webových stránek, které se k platformě připojují.
Každý majitel webu může toto výchozí nastavení změnit, upravit pravidla pro přístup přes Cloudflare a rozhodnout, kterým prohledávačům dá plný přístup, kterým jej zpoplatní, a které na svůj web nepustí vůbec.
Nastavení je zaměřené na modely umělé inteligence od Google, OpenAI nebo Anthropic, které využívají obsah jako tréninková data a řídí velké jazykové modely (LLM). Zároveň ovšem Cloudflare nově umožňuje blokovat přístup nebo jej zpoplatnit i pro klasické prohledávací stroje, což dává vydavatelům ještě větší kontrolu nad obsahem.
Otázkou je, jestli vlastníci obsahu chtějí takové blokování využívat. Většina z nich nejspíš ne, protože v sázce je příliš mnoho. Přestože organická návštěvnost s nástupem vyhledávání pod taktovkou AI citelně poklesla, pořád tvoří 30 až 60 % celkové návštěvnosti (podle typu webu) a její ztrátu nikdo nechce riskovat.
Tento přístup se však začíná měnit. K projektu Cloudflare Pay Per Crawl se připojují další a další významná vydavatelství v USA včetně:
- TIME,
- The Atlantic,
- ADWEEK,
- BuzzFeed,
- Fortune,
- Quora,
- Stack Overflow,
- Web Flow.
Cílem má být celosvětový tlak na společnosti vyvíjející systémy umělé inteligence, aby se otázkou zpoplatnění obsahu začaly vážně zabývat. Pro většinu zúčastněných je klasické SEO pořád příliš cenné na to, aby se jej zbavovali, ovšem poprvé mohou alespoň nesouhlasit s využíváním svého obsahu nebo si za něj nechat zaplatit.
Dopad platby za procházení na generativní SEO
Jak asi víte, prémiová verze ChatGPT dokáže vyhledávat v reálném čase pomocí propojení s platformou Bing. Ve skutečnosti jsou to však dva samostatné procesy:
Učení modelu pomocí tréninkových dat
- Než může model AI něco vyhledávat, musí být nejdřív natrénovaný. Učí se, jak funguje jazyk, a vytváří si znalosti pomocí ohromných datových sad obsahujících texty, kódy, obrázky a další informace získané z celého webu.
- Tento obsah shromažďují speciální roboti vedení umělou inteligencí.
Vyhledávání v reálném čase
- Po natrénování může model stahovat nová data prostřednictvím externích nástrojů, tak jako to dělá ChatGPT s vyhledávačem Bing.
Možná se teď ptáte: Jaký má smysl blokovat procházení pro ChatGPT, když umělá inteligence můj obsah stejně najde pomocí Bing? Rozdíl je v tom, že trénink vytváří modelům AI jejich ”chápání světa”, smysl pro jazyk, souvislosti a odborné znalosti v daném oboru. Zatímco vyhledávání je pouze něco, co má toto porozumění jen doplnit, ale ne nahradit.
A tady vstupuje na scénu platba za procházení webu. Čím více webových stránek bude crawlerům s AI odepírat přístup, tím omezenější budou mít modely tréninkový proces, což se projeví třemi zásadními způsoby:
- Zhoršená kvalita odpovědí: Přestože konkrétně ChatGPT může prostřednictvím Bing vidět, co máte na webu, nebude schopný tyto informace interpretovat, pokud při trénování nedostal podobný materiál.
- Omezování zdrojů: Modely AI upřednostňují zdroje, které poznaly během tréninku a víc jim důvěřují. Pokud obsah nějaké značky nebude zařazený v tréninku, neobjeví se ani v odpovědích generovaných umělou inteligencí, protože modely neznají tón, formát ani autoritu značky.
- Důsledky pro GEO: Objem dat dostupných pro trénování modelů umělé inteligence by se měl postupně zmenšovat s tím, jak bude stále více webů omezovat přístup a požadovat platbu. Stránky, které se nedostaly do tréninku, nebudou zahrnuté v jakési ”mentální mapě” modelů, přestože reálně pořád fungují a technicky jsou z vyhledávání dostupné.
Vyhledávání v reálném čase může fungovat stále dál, ovšem modely AI nebudou bez tréninkového základu vědět, co mají hledat, jak to interpretovat, a proč je váš obsah opravdu důležitý. Generativní SEO (GEO) není už jen o viditelnosti. Jde o to, jestli vás umělá inteligence, zná, rozumí vám a důvěřuje vám. A k tomu potřebuje trénink.
Zdroj: searchengineland.com, searchenginejournal.com, marketingland.com, facebook.com, cpcstrategy.com
Autor: Martin Kulhánek
Foto zdroj: AI, pixabay.com
