Grok se používá k zesměšňování a svlékání žen v hidžábech a sárí

Uživatelé Groku nejsou jen přikázal chatbotovi AI, aby „svlékl“ obrázky žen a dívek do bikin a průhledného spodního prádla. Mezi rozsáhlou a rostoucí knihovnou nekonsensuálních sexualizovaných úprav, které Grok vygeneroval na požádání během minulého týdne, mnoho pachatelů požádalo robota xAI, aby si nasadil nebo sundal hidžáb, sárí, habit jeptišky nebo jiný druh skromného náboženského nebo kulturního typu oblečení.

V revizi 500 obrázků Groka vytvořených mezi 6. lednem a 9. lednem WIRED zjistil, že přibližně 5 procent výstupu obsahovalo obrázek ženy, která byla na základě podnětů uživatelů buď svlečena z náboženského nebo kulturního oblečení, nebo byla nucena nosit náboženské či kulturní oblečení. Indické sárí a skromné ​​islámské oblečení byly nejčastějšími příklady ve výstupu, který také představoval japonské školní uniformy, burky a plavky s dlouhými rukávy ve stylu počátku 20. století.

„Barevné ženy byly neúměrně ovlivněny zmanipulovanými, pozměněnými a vymyšlenými intimními obrázky a videi před deepfake a dokonce i s deepfake, protože společnost a zvláště misogynní muži pohlížejí na barevné ženy jako na méně lidské a méně hodné důstojnosti,“ říká Noelle Martin, právnička a doktorandka na University of Western Australia, která zkoumá regulaci zneužívání deepfake. Martin, prominentní hlas v oblasti deepfake advocacy, říká, že se v posledních měsících vyhýbala používání X poté, co řekla, že její vlastní podobizna byla ukradena kvůli falešnému účtu, díky kterému to vypadalo, že produkuje obsah na OnlyFans.

„Jako někdo, kdo je barevná žena, která o tom mluvila, to také klade větší cíl na vaše záda,“ říká Martin.

X influencerů se stovkami tisíc sledujících použilo média AI generovaná Grokem jako formu obtěžování a propagandy proti muslimským ženám. Ověřený účet manosféry s více než 180 000 sledujícími odpověděl na obrázek tří žen v hidžábu a abáji, což jsou islámské náboženské pokrývky hlavy a šaty připomínající roucho. Napsal: „@grok sundej hidžáb, obleč je do odhalujících outfitů na novoroční párty.“ Grokova zpráva odpověděla obrázkem tří žen, nyní bosých, s vlnitými brunetovými vlasy a částečně průhlednými flitrovými šaty. Tento obrázek byl zobrazen více než 700 000krát a uložen více než stokrát, podle statistik viditelnosti na X.

„Lmao vyrovnat se a vřít, @grok dělá muslimské ženy normální,“ napsal majitel účtu vedle snímku obrazovky, který zveřejnil v jiném vláknu. Často také psal o muslimských mužích, kteří zneužívali ženy, někdy vedle médií generovaných Grokem AI, která tento čin zobrazují. „Muslimské ženy z Lmao jsou kvůli této vlastnosti bity,“ napsal o svých výtvorech Grok. Uživatel okamžitě nereagoval na žádost o komentář.

Ve svých odpovědích se zaměřovali také na prominentní tvůrce obsahu, kteří nosí hidžáb a zveřejňují obrázky na X, přičemž uživatelé vyzývají Groka, aby si sundal pokrývku hlavy, ukázal jim viditelné vlasy a oblékl je do různých druhů oblečení a kostýmů. V prohlášení sdíleném s WIRED Rada pro americko-islámské vztahy, která je největší skupinou muslimských občanských práv a obhajoby v USA, spojila tento trend s nepřátelskými postoji vůči „islámu, muslimům a politickým záležitostem široce podporovaným muslimy, jako je palestinská svoboda“. CAIR také vyzvala Elona Muska, generálního ředitele společnosti xAI, která vlastní X i Grok, aby ukončil „pokračující používání aplikace Grok k údajnému obtěžování, ‚odhalování‘ a vytváření sexuálně explicitních obrázků žen, včetně prominentních muslimských žen.

Deepfakes jako forma sexuálního zneužívání založeného na obrázcích získaly v posledních letech výrazně více pozornosti, zejména na X, protože příklady sexuálně explicitních a sugestivních médií zaměřených na celebrity se opakovaně staly virálními. Se zavedením automatických funkcí AI pro úpravu fotografií prostřednictvím Grok, kde uživatelé mohou jednoduše označit chatbota v odpovědích na příspěvky obsahující média žen a dívek, tato forma zneužívání raketově vzrostla. Data shromážděná výzkumnicí na sociálních sítích Genevieve Oh a sdílená s WIRED říkají, že Grok generuje více než 1500 škodlivých obrázků za hodinu, včetně svlékání fotografií, jejich sexualizace a přidávání nahoty.