Chatbots sexuálního pohlaví uniká konstantním proudem explicitních zpráv

Všechno 400 exponovaných systémů AI, které nalezelo UpGuard, mají jednu společnou věc: používají rámec AI s otevřeným zdrojovým kódem s názvem Llama.cpp. Tento software umožňuje lidem relativně snadno nasadit modely AI s otevřeným zdrojovým kódem na svých vlastních systémech nebo serverech. Pokud však není nastavena správně, může neúmyslně odhalit výzvy, které jsou odesílány. Vzhledem k tomu, že společnosti a organizace všech velikostí nasazují AI, je zásadní správná konfigurace používaných systémů a infrastruktury pro zabránění úniku.

Rychlá zlepšení generativní AI za poslední tři roky vedla k explozi ve společnících a systémech AI, které se zdají více „lidské“. Například, Meta experimentovala s postavami AI, s nimiž si lidé mohou chatovat na WhatsApp, Instagram a Messenger. Obecně platí, že doprovodné webové stránky a aplikace umožňují lidem vést volně tekoucí konverzace s postavami AI-postupující postavy s přizpůsobitelnými osobnostmi nebo jako veřejné osobnosti, jako jsou celebrity.

Lidé našli přátelství a podporu z jejich rozhovorů s AI – a ne všichni z nich podporují romantické nebo sexuální scénáře. Možná není divu, že se lidé zamilovali do svých postav AI a v posledních letech se objevily desítky služeb AI přítelkyně a přítele.

Claire Boine, postdoktorandská výzkumná pracovníka na Washington University School of Law and Affiliate of Cordell Institute, říká, že miliony lidí, včetně dospělých a adolescentů, používají obecné doprovodné aplikace AI. „Víme, že mnoho lidí rozvíjí nějaké emocionální pouto s chatboty,“ říká Boine, který publikoval výzkum na toto téma. „Lidé, kteří jsou emocionálně spojeni se svými společníky AI, například zvyšují pravděpodobnost, že zveřejňují osobní nebo intimní informace.“

Boine však říká, že často existuje nerovnováha moci v emocionálně připoutaném k AI vytvořené firemní entitou. „Někdy se lidé zabývají těmito chaty na prvním místě, aby vytvořili tento typ vztahu,“ říká Boine. „Ale pak se cítím, jako jakmile to vyvinuli, nemohou se tak snadno odhlásit.“

Jak se doprovodný průmysl AI rozrostl, některé z těchto služeb postrádají moderování obsahu a další kontroly. Postava AI, která je podporována Google, je žalována poté, co teenager z Floridy zemřel sebevraždou poté, co byl údajně posedlý jedním z jeho chatbotů. (Character AI v průběhu času zvýšila své bezpečnostní nástroje.) Samostatně byli uživatelé generativního nástroje AI Replika vylepšeni, když společnost provedla změny svých osobností.

Kromě jednotlivých společníků existují také hrací rolí a fantasy doprovodné služby-každý s tisíci osob, s nimiž lidé mohou mluvit-s tím umístit uživatele jako postavu do scénáře. Některé z nich mohou být vysoce sexualizované a poskytovat NSFW chaty. Mohou používat anime postavy, z nichž některé se zdají mladé, přičemž některé stránky tvrdí, že umožňují „necenzurované“ konverzace.

„Zjišťujeme tyto věci a i nadále jsme velmi překvapeni tím, co tyto platformy mohou říkat a dělat se zdánlivě žádnou regulací nebo omezením,“ říká Adam Dodge, zakladatel Endtabu (ukončení zneužívání technologií). „To ještě není nadále na radaru lidí.“ Dodge říká, že tyto technologie otevírají novou éru online pornografie, která může zase zavést nové společenské problémy, protože technologie nadále dozrává a zlepšuje. „Pasivní uživatelé jsou nyní aktivními účastníky s bezprecedentní kontrolou nad digitálními těly a podobami žen a dívek,“ říká o některých stránkách.