Lidé používají Sora 2 k natáčení znepokojivých videí s dětmi generovanými umělou inteligencí

7. října účet TikTok s názvem @fujitiva48 položil vedle jejich nejnovějšího videa provokativní otázku. „Co si myslíte o této nové hračce pro malé děti?“ zeptali se více než 2 000 diváků, kteří náhodou narazili na to, co vypadalo jako parodie na televizní reklamu. Odpověď byla jasná. „Hej, takže to není vtipné,“ napsal jeden člověk. „Kdo to udělal, měl by být vyšetřen.“

Je snadné pochopit, proč video vyvolalo tak silnou reakci. Falešná reklama začíná fotorealistickou mladou dívkou držící hračku – růžovou, třpytivou, čmelák zdobící rukojeť. Bylo nám řečeno, že je to pero, zatímco dívka a dva další čmárají na papír, zatímco vypráví dospělý muž. Ale je evidentní, že květinový design předmětu, schopnost bzučet a pojmenovat – Vibro Rose – vypadají a zní velmi podobně jako sexuální hračka. Tlačítko „přidat svou“ – funkce na TikTok, která vybízí lidi, aby video sdíleli na svých kanálech – se slovy: „Používám svou růžovou hračku,“ odstraňuje i ty nejmenší pochyby. (WIRED požádal o komentář na účet @fujitiva48, ale neobdržel žádnou odpověď.)

Nechutný klip byl vytvořen pomocí Sora 2, nejnovějšího video generátoru OpenAI, který byl původně vydán na pozvání pouze v USA 30. září. Během jediného týdne migrovala videa jako klip Vibro Rose ze Sory a dorazila na stránku For You TikTok. Některé další falešné reklamy byly ještě explicitnější, přičemž WIRED objevilo několik účtů zveřejňujících podobná videa vygenerovaná Sora 2 s vodními hračkami ve tvaru růží nebo hub a dekoratéry dortů, které stříkaly „lepkavé mléko“, „bílou pěnu“ nebo „gumu“ na živé obrázky dětí.

Výše uvedené by v mnoha zemích byly důvodem pro vyšetřování, pokud by šlo o skutečné děti, spíše než o digitální amalgamace. Ale zákony o fetiš obsahu generovaném umělou inteligencí, který zahrnuje nezletilé, zůstávají rozmazané. Nová data z roku 2025 od Internet Watch Foundation ve Spojeném království poznamenávají, že zprávy o materiálu o sexuálním zneužívání dětí (CSAM) generovaném umělou inteligencí se v rozmezí jednoho roku od roku 199 mezi lednem a říjnem 2024 zdvojnásobily na 426 ve stejném období roku 2025. Padesát šest procent tohoto obsahu spadá do kategorie A – nejzávažnější sexuální aktivita ve Spojeném království – nejzávažnější sexuální aktivita ve Spojeném království. 94 procent nelegálních obrázků AI sledovaných IWF bylo dívek. (Zdá se, že Sora negeneruje žádný obsah kategorie A.)

„Často jsme svědky toho, jak jsou skutečné dětské podobizny upraveny tak, aby vytvářely nahé nebo sexuální snímky, a v drtivé většině vidíme, jak se k vytváření snímků dívek používá umělá inteligence. Je to další způsob, jak jsou dívky zacíleny online,“ říká Kerry Smith, výkonný ředitel IWF, WIRED.

Tento příliv škodlivého materiálu generovaného umělou inteligencí podnítil Spojené království k zavedení nového pozměňovacího návrhu zákona o zločinu a policii, který umožní „autorizovaným testerům“ zkontrolovat, zda nástroje umělé inteligence nejsou schopny generovat CSAM. Jak uvedla BBC, tento pozměňovací návrh by zajistil, že modely budou mít záruky týkající se konkrétních snímků, včetně extrémní pornografie a zejména intimních snímků bez souhlasu. Ve Spojených státech 45 států zavedlo zákony na kriminalizaci CSAM generovaných umělou inteligencí, většina během posledních dvou let, protože generátory umělé inteligence se neustále vyvíjejí.