Chatbot zákaznického servisu AI tvořil firemní politiku – a vytvořil nepořádek

V pondělí si vývojář využívající populární kurzor editoru kódu AI všiml něčeho zvláštního: přepínání mezi stroji je okamžitě odhlásilo a porušilo společný pracovní postup pro programátory, kteří používají více zařízení. Když uživatel kontaktoval podporu kurzoru, agent s názvem „Sam“ jim řekl, že se očekávalo chování v rámci nové politiky. Ale žádná taková politika neexistovala a Sam byl robot. Model AI tuto politiku zvýšil a vyvolal vlnu stížností a hrozbů zrušení dokumentovaných ve zprávách o hackerech a Reddit.

To znamená nejnovější instanci konfbulací AI (také nazývaných „halucinace“), což způsobuje potenciální poškození podnikání. Konfabulace jsou typem reakce „kreativní mezery“, kde modely AI vynalézají věrohodné znějící, ale nepravdivé informace. Místo přiznání nejistoty modely AI často upřednostňují vytváření věrohodných, sebevědomých odpovědí, i když to znamená výrobní informace od nuly.

Pro společnosti nasazující tyto systémy v rolích orientovaných na zákazníka bez lidského dohledu mohou být důsledky okamžité a nákladné: frustrovaní zákazníci, poškozená důvěra a v případě kurzoru potenciálně zrušené předplatné.

Jak se to rozvinulo

Incident začal, když uživatel Reddit jménem BrokenTeasteroven si všiml, že při výměně mezi stolním počítačem, notebookem a vzdálenou dev box, kurzorové relace byly neočekávaně ukončeny.

„Přihlášení do kurzoru na jednom počítači okamžitě zneplatňuje relaci na jakémkoli jiném stroji,“ napsal BrokenTateasteroven ve zprávě, která byla později smazána moderátory R/Cursor. „Toto je významná regrese UX.“

Zmatený a frustrovaný, uživatel napsal e -mail na podporu Cursor a rychle obdržel odpověď od SAM: „Kurzor je navržen tak, aby pracoval s jedním zařízením na předplatné jako základní bezpečnostní funkci,“ přečtěte si e -mailovou odpověď. Odpověď zněla definitivní a oficiální a uživatel neměl podezření, že Sam nebyl lidský.

Po počátečním příspěvku Reddit uživatelé zaujali příspěvek jako oficiální potvrzení skutečné změny politiky – ten, který zlomil návyky nezbytné pro každodenní rutiny mnoha programátorů. „Pracovní postupy více zařízení jsou stolní sázky pro Devs,“ napsal jeden uživatel.

Krátce nato několik uživatelů veřejně oznámilo zrušení předplatného na Redditu a jako důvod citovalo neexistující politiku. „Doslova jsem právě zrušil svou ponorku,“ napsal původní plakát Reddit a dodal, že jejich pracoviště bylo nyní „očištěno úplně“. Jiní se připojili: „Jo, také se ruší, tohle je Asinine.“ Brzy poté moderátoři zamkli vlákno Reddit a odstranili původní příspěvek.

„Hej! Nemáme žádnou takovou politiku,“ napsal zástupce kurzoru v odpovědi Reddit o tři hodiny později. „Samozřejmě můžete používat kurzor na více strojích. Bohužel se jedná o nesprávnou odpověď od front-line bota podpory AI.“

Konfabulace AI jako obchodní riziko

Kursorový debakl připomíná podobnou epizodu z února 2024, kdy bylo nařízeno, aby Air Canada byla nařízena ctít politiku vrácení peněz vynalezenou vlastním chatbotem. V tomto incidentu Jake Moffatt kontaktoval podporu Air Canada poté, co jeho babička zemřela, a agent letecké společnosti AI mu nesprávně řekl, že si může rezervovat pravidelný let a požádat o sazby úmrtí zpětně. Když společnost Air Canada později popřela žádost o vrácení peněz, společnost tvrdila, že „Chatbot je samostatnou právnickou osobou, která je odpovědná za své vlastní akce“. Kanadský tribunál tuto obranu odmítl a rozhodl, že společnosti jsou odpovědné za informace poskytnuté jejich nástroji AI.

Spíše než zpochybňující odpovědnost, jak to udělala Air Canada, kurzor uznal chybu a podnikl kroky k provedení změn. Kofounder kurzoru Michael Truell se později omluvil za hackerské zprávy za zmatek o neexistující politice a vysvětlil, že uživatel byl vrácen a problém vyplývá ze změny backendu, která měla zlepšit zabezpečení relace, která neúmyslně vytvořila problémy s neplatností relace pro některé uživatele.

„Jakékoli odpovědi AI používané pro e -mailovou podporu jsou nyní jasně označeny jako takové,“ dodal. „Jako první filtr pro e-mailovou podporu používáme odpovědi pomocí AI-asistovaných.“

Přesto incident vyvolával přetrvávající otázky týkající se zveřejňování uživatelů, protože mnoho lidí, kteří komunikovali se Samem, zjevně věřilo, že je to člověk. „LLMS předstírající, že jsou lidé (pojmenovali jste to Sam!) A není označena jako taková, že je jasně zamýšlena jako klamná,“ napsal jeden uživatel o hackerských zprávách.

Zatímco kurzor stanovil technickou chybu, epizoda ukazuje rizika nasazení modelů AI v rolích orientovaných na zákazníka bez řádných záruk a transparentnosti. Pro společnost, která prodává nástroje produktivity AI pro vývojáře, vymýšlí svůj vlastní systém podpory AI politiku, která odcizila své hlavní uživatele, představuje zvláště nepříjemnou ránu způsobenou vlastním vlastním prostředkem.

„Existuje určitá ironie, že se lidé snaží opravdu tvrdě říci, že halucinace už nejsou velkým problémem,“ napsal jeden uživatel o hackerských zprávách, „a pak společnost, která by z tohoto příběhu měla prospěch, se tím přímo zraní.“

Tento příběh se původně objevil dál ARS Technica.