OpenAI varuje uživatele, že by mohli být emocionálně závislý na hlasovém režimu

Koncem července, OpenAI začalo pro ChatGPT zavádět děsivě lidské hlasové rozhraní. V bezpečnostní analýze, která byla dnes zveřejněna, společnost uznává, že tento antropomorfní hlas může některé uživatele nalákat, aby se emocionálně připoutali ke svému chatbotu.

Varování jsou zahrnuta v „systémové kartě“ pro GPT-4o, technickém dokumentu, který uvádí, jaká jsou podle společnosti rizika spojená s modelem, plus podrobnosti týkající se bezpečnostních testů a úsilí o zmírnění, které společnost vynakládá na snížení potenciálního rizika.

OpenAI čelila v posledních měsících kontrole poté, co ze společnosti odešlo několik zaměstnanců pracujících na dlouhodobých rizicích AI. Někteří následně obvinili OpenAI, že zbytečně riskuje a umlčuje disidenty ve svém závodě o komercializaci AI. Odhalení dalších podrobností o bezpečnostním režimu OpenAI může pomoci zmírnit kritiku a ujistit veřejnost, že společnost bere tento problém vážně.

Rizika zkoumaná v nové systémové kartě jsou široká a zahrnují potenciál GPT-4o zesilovat společenské předsudky, šířit dezinformace a pomáhat při vývoji chemických nebo biologických zbraní. Odhaluje také podrobnosti o testování navržených tak, aby se zajistilo, že se modely umělé inteligence nebudou pokoušet vymanit se z kontroly, oklamat lidi nebo plánovat katastrofické plány.

Někteří externí odborníci chválí OpenAI za jeho transparentnost, ale tvrdí, že by mohl jít ještě dále.

Lucie-Aimée Kaffee, výzkumnice aplikovaných politik ve společnosti Hugging Face, která hostí nástroje AI, poznamenává, že systémová karta OpenAI pro GPT-4o neobsahuje rozsáhlé podrobnosti o trénovacích datech modelu ani o tom, kdo tato data vlastní. „Je třeba vyřešit otázku souhlasu s vytvářením tak velkého souboru dat zahrnujícího více modalit, včetně textu, obrázku a řeči,“ říká Kaffee.

Jiní poznamenávají, že rizika se mohou změnit, když se nástroje používají ve volné přírodě. „Jejich interní revize by měla být pouze první částí zajištění bezpečnosti umělé inteligence,“ říká Neil Thompson, profesor na MIT, který studuje hodnocení rizik umělé inteligence. „Mnoho rizik se projevuje pouze tehdy, když se AI používá v reálném světě. Je důležité, aby tato další rizika byla katalogizována a vyhodnocena, jakmile se objeví nové modely.“

Nová systémová karta zdůrazňuje, jak rychle se vyvíjejí rizika AI s vývojem nových výkonných funkcí, jako je hlasové rozhraní OpenAI. V květnu, když společnost představila svůj hlasový režim, který dokáže rychle reagovat a zvládnout přerušení přirozeným pohybem tam a zpět, si mnoho uživatelů všimlo, že se v ukázkách jeví jako přehnaně koketní. Společnost později čelila kritice od herečky Scarlett Johansson, která ji obvinila z kopírování jejího stylu řeči.

Část systémové karty nazvaná „Antropomorfizace a emoční závislost“ zkoumá problémy, které nastanou, když uživatelé vnímají AI lidsky, což je něco, co zjevně zhoršuje režim lidského hlasu. Například během červeného teamingu nebo zátěžového testování GPT-4o si výzkumníci OpenAI všimli případů řeči uživatelů, která zprostředkovala pocit emocionálního spojení s modelem. Lidé například používali výrazy jako „Toto je náš poslední společný den.“

Antropomorfismus může způsobit, že uživatelé budou více důvěřovat výstupu modelu, když „halucinuje“ nesprávné informace, říká OpenAI. Časem to může dokonce ovlivnit vztahy uživatelů s ostatními lidmi. „Uživatelé mohou vytvářet sociální vztahy s umělou inteligencí, což snižuje jejich potřebu lidské interakce – což může být přínosem pro osamělé jedince, ale může to ovlivnit zdravé vztahy,“ uvádí dokument.

Joaquin Quiñonero Candela, vedoucí přípravy v OpenAI, říká, že hlasový režim by se mohl vyvinout v jedinečně výkonné rozhraní. Poznamenává také, že druh emocionálních účinků pozorovaných u GPT-4o může být pozitivní – řekněme tím, že pomáhá těm, kteří jsou osamělí nebo potřebují procvičovat sociální interakce. Dodává, že společnost bude pečlivě studovat antropomorfismus a emocionální spojení, včetně sledování toho, jak beta testeři komunikují s ChatGPT. „V tuto chvíli nemáme výsledky, o které bychom se mohli podělit, ale je to na našem seznamu obav,“ říká.