Co v článku najdete
Když jazykový model AI nemá o vaší firmě žádné informace, nikomu to neřekne. Neodmítne odpovědět, nevyjádří pochybnosti ani neoznačí místo, kde mu došly podklady. Sáhne po nejbližší dobře zdokumentované alternativě, kterou bývá konkurent, průměr v daném oboru nebo vaše vlastní verze stará tři roky. A tuto náhradu předloží se stejnou jistotou, s jakou odpovídá ve chvíli, kdy skutečně zná fakta.
O tom už se diskutovalo. Co ale dosud nezaznělo, je skutečnost, která by měla znepokojovat každého, kdo se této oblasti věnuje: Tento problém nedokážete odhalit auditem vlastního obsahu. Každý dosud vytvořený audit obsahu zkoumá to, co existuje, tedy stránky, strukturu, pokrytí témat, přesnost a aktuálnost. Toto selhání se však skrývá v tom, co neexistuje, na místě, které nevlastníte.
Audit tedy neodhalí žádné problémy. Stránky jsou v pořádku. Strukturovaná data jsou validní. Pokrytí témat v porovnání s konkurencí vypadá přiměřeně. A přesto v tomto případě jazykový model stále sděluje lidem o vaší firmě něco, co žádná vaše stránka nepodporuje a čemu žádná vaše stránka nemohla zabránit.
Proč jazykový model mezeru v obsahu vyplňuje místo toho, aby ji nechal prázdnou?
Tento mechanismus je dobře zdokumentovaný. Jazykové modely mají problém zejména s méně známými faktickými informacemi. Čím jsou modely větší, tím lépe si obvykle poradí s běžně známými informacemi. U méně známých firem a specifických faktů se ale jejich schopnosti zlepšují jen minimálně.
Ani vývoj stále výkonnějších modelů tak automaticky nepomůže středně velkým výrobcům nebo regionálním poskytovatelům služeb. Pokud o nich existuje jen málo dostupných informací, AI bude mít i nadále problém správně je popsat.
Právě to, co se děje v této málo zastoupené části, je zajímavou otázkou. Longpre a jeho kolegové ve své studii o konfliktech mezi informacemi z roku 2021, publikované na konferenci EMNLP, zkoumali, nakolik se modely spoléhají na zapamatované informace místo toho, aby vycházely z toho, co mají skutečně před sebou. Otázku z pohledu praxe formulovali takto: Má model tendenci si informace vymýšlet, místo aby pracoval s těmi, které má k dispozici? Model se v takových případech nezdrží odpovědi. Naopak sebejistě generuje odpověď na základě toho, co má zrovna uložené ve svých parametrech.
Je důležité tento jev odlišit od halucinací v obvyklém slova smyslu. V oboru se totiž oba problémy často házejí do jednoho pytle, a tím se ztrácí možnost správně určit jejich příčinu.
Obecné halucinace jsou nepředvídatelné. Model například vytvoří falešnou citaci soudního rozhodnutí, vymyslí si statistický údaj, případně uvede věrohodně znějící odbornou studii, která ve skutečnosti neexistuje. Tyto chyby vznikají natolik nepředvídatelně, že jejich výskyt se s příchodem kvalitnějších modelů prokazatelně snižuje.
Problém, který zde ale popisujeme, je jiný. Není náhodný. Je systematický, má určitý směr a lze ho předvídat podle toho, jaké informace má model k dispozici.
Pokud má model o určité firmě jen minimum informací, zatímco o jiné, podobné firmě jich má dostatek, bude se opakovaně přiklánět právě k té lépe zdokumentované. A pokaždé stejným směrem. Důvodem totiž není náhodná chyba při generování odpovědi, ale samotné rozložení informací, na kterých byl model natrénován.
Právě proto zde neplatí obvyklé ujištění, že novější modely mají méně halucinací. Je pravda, že modely se stále lépe učí nevymýšlet si informace. Neznamená to ale, že se zároveň lépe učí rozpoznávat firmy, o kterých ještě nikdo nic nenapsal.
Konkrétní příklad z června letošního roku
V současnosti se šíří článek jednoho z dodavatelů, který se věnuje halucinacím AI při uvádění podrobností o produktech. Je určen týmům odpovědným za značku a varuje je, že modely si vymýšlejí tvrzení o jejich produktech. Je napsaný kvalitně a zabývá se skutečným problémem.
Svou argumentaci začíná přímou citací připisovanou Percymu Liangovi, který je správně označen jako ředitel Stanfordova Centra pro výzkum základních modelů (Center for Research on Foundation Models). Citace se týká toho, jak si modely v komerčním prostředí vytvářejí smyšlené informace.
Tentýž článek obsahuje také citace připisované dvěma známým osobnostem z médií, které se ale nepodařilo dohledat. Dále uvádí rozmezí míry halucinací a odkazuje se přitom na zprávu Stanford HAI AI Index. Odkaz však vede pouze na úvodní stránku projektu, nikoli na konkrétní část zprávy, která by daný údaj potvrzovala.
A pak se totéž opakuje přibližně ještě dvanáctkrát. Zpráva společnosti Nielsen o důvěře spotřebitelů. Zpráva Gartneru o rizicích. Zpráva pracovní skupiny IAB. Studie hodnocení AI z MIT Sloan.
Všechny názvy znějí přesně jako skutečné zprávy. Každý odkaz ale vede pouze na hlavní stránku příslušné organizace, nikdy přímo na konkrétní dokument.
Přečtěte si to znovu s ohledem na to, čeho se celý článek týká. Varuje značky před tím, že systémy AI o nich vytvářejí sebejistá, ale nepravdivá tvrzení. Sám přitom vymýšlí stejně sebejistá tvrzení o výzkumnících a institucích, aby podpořil svou argumentaci. Tento mechanismus nezůstal uvnitř stroje. Dostal se ven, byl publikován a zaindexován a nyní je součástí souboru dat, ze kterého se budou učit další generace modelů.
Autor, který článek sestavoval, potřeboval důvěryhodné podklady pro tvrzení o četnosti halucinací AI na úrovni značek. Jenže důvěryhodné zdroje, které by tato konkrétní tvrzení podpořily v takovém rozsahu, jaký jeho argumentace vyžadovala, neexistují. Vzniklou mezeru proto vyplnil něčím, co jako důkaz pouze vypadá. Skutečné názvy institucí, věrohodně znějící názvy zpráv, funkční odkazy vedoucí na skutečné organizace. Všechny vnější znaky důkladně podložené argumentace, ale žádný skutečný obsah.
A teď si představte marketingového ředitele, který si článek přečte, uvěří uvedeným číslům a zopakuje je v prezentaci pro vedení společnosti. Nepravdivé tvrzení se tak přesune z modelu do článku, z článku k člověku a od něj až k rozhodnutí. A přitom nikdo v celém tomto řetězci neudělá nic, co by na první pohled působilo vyloženě špatně.
4 podoby jednoho problému
Záměna se pokaždé projevuje trochu jinak, což je jeden z důvodů, proč zůstává skrytá. Má čtyři rozpoznatelné podoby a každá z nich bývá obvykle mylně považována za něco jiného.
První podobou je skrytá analogie. Model sáhne po nejbližší dobře zdokumentované podobné firmě a začne popisovat ji, jako by šlo o vás. Váš cenový model zamění za cenový model vašeho největšího konkurenta. Dobu potřebnou k implementaci vašeho řešení nahradí obvyklou dobou implementace v daném odvětví. Nic v odpovědi nenaznačuje, že k záměně došlo, protože z pohledu modelu k žádné záměně nedošlo. Jednoduše vytvořil nejpravděpodobnější popis firmy, jako je ta vaše.
Druhou podobou jsou zastaralé informace vydávané za aktuální. Model si uchovává podobu vaší firmy, která v určitém okamžiku odpovídala skutečnosti, a prezentuje ji v přítomném čase, jako by stále platila. Může jít o produkty, jejichž prodej už skončil, bývalé členy vedení, staré vymezení značky nebo trh, ze kterého jste odešli. Parametrická paměť modelu nemá časové razítko ani upozornění, že platnost uložených informací mohla vypršet.
Třetí podobou je práce s omezeným množstvím podkladů, s nimiž model zachází se stejnou jistotou, jako by jich měl dostatek. Odpověď založená na jediném oborovém článku může znít úplně stejně jako odpověď opřená o čtyřicet nezávislých zdrojů. Model neukazuje, o kolik informací se ve skutečnosti opírá, takže tvrzení vycházející z jediného blogového příspěvku působí, jako by odráželo obecně přijímaný názor.
Čtvrtou podobou je přenášení znalostí o celém odvětví na konkrétní firmu. Model toho ví hodně o vašem oboru, ale jen málo o vaší společnosti. Odpoví proto na základě obecných znalostí o daném odvětví a jednoduše k nim přiřadí název vaší firmy. Tuto podobu problému je nejtěžší odhalit, protože odpověď obvykle skutečně odpovídá tomu, jak dané odvětví funguje. Při zběžné kontrole správnosti tak snadno projde bez povšimnutí.
Proč všechny čtyři typy problémů uniknou auditu obsahu?
A teď to nejdůležitější z praktického hlediska. Audit obsahu kontroluje vaše stránky podle předem stanovených kritérií. Ani jeden z těchto čtyř problémů přitom nesouvisí s vašimi stránkami. Informace, které by každému z nich dokázaly předejít, totiž většinou v průběhu let zveřejňovali jiní lidé, nikoli vy. Žádná míra kontroly vlastního obsahu tento nedostatek neodhalí, protože problém nespočívá ve vašem obsahu.
Přirozenou reakcí je publikovat více obsahu. Vytvořit potřebné stránky, doplnit chybějící informace, zajistit, aby je model dokázal dohledat, a spolehnout se na to, že vyhledávání napraví to, co má model chybně uložené ve svých parametrech. Tento přístup je pochopitelný, ale jeho účinnost je menší, než se na první pohled zdá.
Sciavolino a jeho kolegové ve studii zaměřené na otázky týkající se konkrétních entit, publikované v roce 2021 na konferenci EMNLP, zjistili, že systémy pro vyhledávání relevantních informací, které pracují s hustými vektorovými reprezentacemi, dosahují u otázek obsahujících velké množství konkrétních entit výrazně horších výsledků než metody založené na řídkých reprezentacích. Spolehlivě si navíc poradí především s běžně známými entitami.
Stejný efekt, kvůli kterému jsou méně známé firmy v trénovacích datech zastoupeny jen okrajově, se tak znovu projevuje i při vyhledávání informací. Vyhledávání tedy toto zkreslení nenapravuje, ale uplatňuje ho podruhé. To znamená, že řešení, které dnes doporučuje většina prakticky zaměřených návodů, naráží na stejné omezení jako ostatní přístupy.
Audit je tedy v pořádku, obsah je kvalitní a publikování dalšího obsahu představuje nanejvýš částečné řešení. Problém přesto přetrvává. Dochází k němu při každém jednotlivém dotazu, skrytě, v soukromí a v takovém rozsahu, který nikdo nesleduje.
Jediné místo, kde se tento problém projeví
Záměnu odhalíte sledováním výstupů, nikoli kontrolou vstupů. Právě v tom spočívá zásadní změna přístupu. Je však nepříjemná, protože oblast, kterou potřebujete sledovat, nemáte pod kontrolou a nemůžete ji ani plně pokrýt.
Hledáte konkrétní věc, která nesouvisí se správností odpovědí v obvyklém slova smyslu. Jde o jakékoli tvrzení, které model uvede o vaší firmě, ale které není podloženo žádným z vašich zdrojů. Nemusí jít přímo o nepravdivá tvrzení, i ta se samozřejmě počítají. Jde o tvrzení, jejichž původ nelze dohledat v ničem, co jste sami zveřejnili nebo co o vás zveřejnili ostatní.
Může jít o schopnost, kterou ve skutečnosti nemáte, ale model ji sebejistě a podrobně popisuje. O časový harmonogram, který jste nikdy neuváděli. O srovnání s konkurencí založené na kritériích, která jste nikdy nestanovili. V každém z těchto případů model potřeboval informace o vaší firmě, neměl je k dispozici, a přesto nějakou odpověď vytvořil.
Důležitější než počet testovaných odpovědí je způsob, jakým je vybíráte. Požádat model, aby popsal vaši firmu přímo podle názvu, je nejméně vypovídající test, jaký můžete použít. Samotný název v zadání totiž modelu napovídá, co má vyhledat, a pomáhá mu dostat do kontextu i to málo informací, které o vás existují.
Záměny se projeví spíše u otázek, ve kterých název vaší firmy vůbec nezazní a model ho musí doplnit sám. Například u obecných dotazů na určitou kategorii s bližším upřesněním, u srovnávacích dotazů, které jmenují pouze vašeho konkurenta, nebo u otázek zaměřených na konkrétní schopnost, nikoli na konkrétní firmu.
Právě za těchto podmínek model rozhoduje, zda vaši firmu do odpovědi vůbec zahrne, a pokud ano, co o ní uvede. A právě v tomto okamžiku si může informace vypůjčit od jiné, podobné firmy.
Výsledky pak nevnímejte jako seznam stránek, které je potřeba opravit, ale jako mapu míst, kde chybí informace o vaší firmě od nezávislých třetích stran. Přesně o to totiž jde.
Nepříjemná pravda tedy zní: Ani ten nejlépe provedený audit obsahu, jaký jste kdy realizovali, vám o tomto problému nic neřekne. A nikdy tomu nebylo jinak.
FAQ
Proč AI popisuje firmu nesprávně, i když má kvalitní webový obsah?
Pokud má AI o firmě málo informací, může je nahradit údaji o konkurenci, zastaralými informacemi nebo obecnými znalostmi o daném odvětví.
Jaké jsou nejčastější podoby záměny při odpovědích AI?
AI může zaměnit firmu za konkurenci, prezentovat zastaralé informace jako aktuální, přeceňovat omezené podklady nebo přenášet obecné znalosti o oboru na konkrétní společnost.
Jak odhalit, že AI uvádí o firmě nepodložené informace?
Je potřeba opakovaně testovat odpovědi AI na reálné dotazy zákazníků a sledovat, zda obsahují tvrzení, která nelze doložit dostupnými zdroji.
Zdroj: searchengineland.com, searchenginejournal.com, marketingland.com, facebook.com, cpcstrategy.com
Autor: Vlastimil Malík
Foto zdroj: AI, pixabay.com
