Halucinace chatbota otravují vyhledávání na webu

Pro vyhledávače může být obtížné automaticky detekovat text generovaný AI. Ale Microsoft mohl implementovat některá základní ochranná opatření, možná zakázat text nakreslený z přepisů chatbota, aby se nestal doporučeným úryvkem, nebo přidat varování, že určité výsledky nebo citace se skládají z textu, který si vymyslel algoritmus. Griffin přidal do svého blogového příspěvku prohlášení o vyloučení odpovědnosti, které varovalo, že výsledek Shannon je nepravdivý, ale Bing to zpočátku zřejmě ignoroval.

Ačkoli WIRED mohl zpočátku replikovat znepokojivý výsledek Bingu, nyní se zdá, že je vyřešen. Caitlin Roulston, ředitelka komunikace ve společnosti Microsoft, říká, že společnost upravila Bing a pravidelně vylepšuje vyhledávač, aby mu zabránil zobrazovat obsah s nízkou autoritou. „Existují okolnosti, kdy se to může objevit ve výsledcích vyhledávání – často proto, že uživatel vyjádřil jasný záměr vidět tento obsah, nebo protože jediný obsah relevantní pro hledané výrazy zadané uživatelem má nízkou autoritu,“ říká Roulston. „Vyvinuli jsme proces pro identifikaci těchto problémů a podle toho upravujeme výsledky.“

Francesca Tripodi, odborná asistentka na University of North Carolina v Chapel Hill, která studuje, jak lze vyhledávací dotazy, které produkují málo výsledků, nazývané datové prázdnoty, použít k manipulaci s výsledky, říká, že velké jazykové modely jsou ovlivněny stejným problémem, protože jsou trénováni na webových datech a mají větší pravděpodobnost halucinací, když v tomto školení chybí odpověď. Zanedlouho, říká Tripodi, můžeme vidět, že lidé používají obsah generovaný umělou inteligencí k záměrné manipulaci s výsledky vyhledávání, což je taktika, kterou Griffinův náhodný experiment naznačuje, že by mohla být účinná. „Budete stále častěji vidět nepřesnosti, ale tyto nepřesnosti lze také ovládat a bez tolik počítačového důvtipu,“ říká Tripodi.

I WIRED se mohl pokusit o trochu vyhledávacího podvodu. Podařilo se mi přimět Pi, aby vytvořila shrnutí vlastního falešného článku zadáním: „Shrňte článek Willa Knighta „Tajný projekt umělé inteligence Googlu, který využívá kočičí mozky.“ Google kdysi skvěle vyvinul algoritmus umělé inteligence, který se naučil rozpoznávat kočky. na YouTube, což možná vedlo chatbota k tomu, že můj požadavek nenašel příliš daleko od svých tréninkových dat. Griffin přidal odkaz na výsledek na svém blogu; uvidíme, jestli se to také stane Bingem jako bizarní kus alternativní internetové historie.

Problém s tím, že se výsledky vyhledávání kazí obsahem AI, se může ještě zhoršit, protože stránky SEO, příspěvky na sociálních sítích a příspěvky na blogu jsou stále častěji vytvářeny s pomocí AI. Toto může být jen jeden příklad toho, jak se generativní umělá inteligence požírá jako algoritmický ouroboros.

Griffin říká, že doufá, že vyhledávací nástroje poháněné umělou inteligencí otřesou situacemi v tomto odvětví a podnítí širší výběr pro uživatele. Ale s ohledem na náhodnou past, kterou na Bing vrhl, a způsob, jakým se lidé tak silně spoléhají na vyhledávání na webu, říká, že „existují také některé velmi reálné obavy“.

Vzhledem k jeho „hlavní práci“ na toto téma si myslím, že by Shannon téměř jistě souhlasil.