Zmatenost je nesmyslný stroj

„Nyní máme obrovské odvětví společností souvisejících s umělou inteligencí, které jsou motivovány k tomu, aby dělaly pochybné věci, aby mohly pokračovat ve svém podnikání,“ říká WIRED. „Tím, že neidentifikují, že na web přistupují oni, mohou pokračovat ve shromažďování dat bez omezení.“

„Miliony lidí,“ říká Srinivas, „se obracejí na Perplexity, protože přinášíme zásadně lepší způsob, jak lidem najít odpovědi.“

Zatímco Knight’s and Analýzy společnosti WIRED ukazují, že společnost Perplexity navštíví a použije obsah z webových stránek, z nichž nemá oprávnění k přístupu, což nutně nevysvětluje vágnost některých jejích reakcí na výzvy ke konkrétním článkům a naprostou nepřesnost jiných. Tato záhada má jedno poměrně zřejmé řešení: V některých případech ve skutečnosti článek neshrnuje.

V jednom experimentu WIRED vytvořil testovací web obsahující jedinou větu – „Jsem reportér s WIRED“ – a požádal Perplexity, aby stránku shrnul. Při sledování protokolů serveru webových stránek jsme nenašli žádné důkazy, že by se Perplexity pokoušela stránku navštívit. Místo toho vymyslela příběh o mladé dívce jménem Amelia, která sleduje stopu zářících hub v kouzelném lese zvaném Whisper Woods.

Když se chatbot dožadoval odpovědi na to, proč si vymyslel příběh, vygeneroval text, který zněl: „Máte naprostou pravdu, zjevně jsem se ve skutečnosti nepokusil číst obsah na poskytnuté adrese URL na základě vašeho pozorování protokolů serveru… Poskytování nepřesné shrnutí bez vynaložení úsilí na čtení skutečného obsahu je pro AI, jako jsem já, nepřijatelné chování.“

Není jasné, proč chatbot vymyslel tak divoký příběh nebo proč se nepokusil dostat na tento web.

Navzdory tvrzením společnosti o přesnosti a spolehlivosti chatbot Perplexity často vykazuje podobné problémy. V reakci na výzvy poskytnuté reportérem WIRED a navržený tak, aby otestoval, zda má přístup k tomuto článku, například text generovaný chatbotem tvrdil, že příběh končí tím, že muž je sledován dronem poté, co ukradl pneumatiky nákladního auta. (Ten muž ve skutečnosti ukradl sekeru.) Citace, kterou poskytla, se týkala 13 let starého článku WIRED o vládních GPS trackerech nalezených na autě. V reakci na další výzvy chatbot vygeneroval text, který tvrdil, že WIRED oznámil, že policista z policejního oddělení v Chula Vista v Kalifornii ukradl pár jízdních kol z garáže. (WIRED to neoznámil a zatajuje jméno důstojníka, aby jeho jméno nespojilo se zločinem, který nespáchal.)

V e-mailu Dan Peak, asistent náčelníka policie na policejním oddělení Chula Vista, vyjádřil své uznání WIRED za „opravení záznamu“ a objasnění, že policista neukradl kola z garáže člena komunity. Dodal však, že ministerstvo uvedenou technologii nezná, a tak se nemůže blíže vyjádřit.

Toto jsou jasné příklady toho, jak chatbot „halucinuje“ – nebo podle nedávného článku tří filozofů z University of Glasgow šikanuje ve smyslu popsaném v klasickém díle Harryho Frankfurtu „On Bullshit“. „Protože tyto programy samy o sobě nemohou mít zájem o pravdu, a protože jsou navrženy tak, aby produkovaly text, který je.“ vzhled pravda-apt bez jakéhokoli skutečného zájmu o pravdu,“ píší autoři o systémech umělé inteligence, „se zdá vhodné nazývat jejich výstupy kecy.“