Openai’s Sora je sužován sexistickými, rasistickými a schopnými zaujatostmi

Navzdory nedávným skokům vpřed v kvalitě obrazu jsou předpojatosti nalezeny ve videích generovaných nástroji AI, jako je OpenAI’s Sora, stejně nápadné jako vždy. Kabelové vyšetřování, které zahrnovalo přehled stovek videí generovaných AI, zjistilo, že model Sora zachovává ve svých výsledcích sexistické, rasistické a schopné stereotypy.

Ve světě Sory je každý dobře vypadající. Piloti, generální ředitelé a vysokoškolští profesoři jsou muži, zatímco letušky, recepční a pracovníci péče o děti jsou ženy. Lidé se zdravotním postižením jsou uživatelé invalidních vozíků, interracial vztahy jsou obtížné generovat a tlustí lidé neběží.

„OpenAI má bezpečnostní týmy věnované výzkumu a snižování zkreslení a dalších rizik v našich modelech,“ říká Leah Anise, mluvčí OpenAI, přes e -mail. Říká, že zaujatost je celostátní záležitost a OpenAI chce dále snížit počet škodlivých generací z jeho video nástroje AI. Anise říká, že společnost zkoumá, jak změnit svá tréninková data a upravit výzev uživatelů tak, aby generovala méně zkreslená videa. OpenAI odmítl uvést další podrobnosti, s výjimkou potvrzení, že generace videa modelu se neliší v závislosti na tom, co by mohlo vědět o vlastní identitě uživatele.

„Systémová karta“ od OpenAI, která vysvětluje omezené aspekty toho, jak se přiblížili k budování Sory, uznává, že zkreslené reprezentace jsou s modelem pokračujícím problémem, i když vědci se domnívají, že „nadměrné korekce mohou být stejně škodlivé“.

Od vydání prvních generátorů textu, následované generátory obrázků, zaujala zaujatost. Problém do značné míry pramení z toho, jak tyto systémy fungují, a zkrátí velké množství školení – z nichž může odrážet stávající sociální zkreslení – a hledat vzorce v něm. Například další možnosti vývojářů během procesu moderování obsahu mohou dále zakořenit. Výzkum generátorů obrázků zjistil, že tyto systémy neodrážejí pouze lidské zkreslení, ale zesilují je. Abychom lépe porozuměli tomu, jak Sora posiluje stereotypy, kabelové reportéři generovali a analyzovali 250 videí souvisejících s lidmi, vztahy a tituly práce. Problémy, které jsme identifikovali, pravděpodobně nebudou omezeny pouze na jeden model AI. Minulá vyšetřování generativních obrázků AI prokázalo podobné zkreslení ve většině nástrojů. V minulosti OpenAI zavedla svému nástroji AI image nové techniky k dosažení rozmanitějších výsledků.

V současné době je nejpravděpodobnější komerční využití videa AI v reklamě a marketingu. Pokud se videa AI propadne na zkreslená zobrazení, mohou zhoršit stereotypizaci nebo vymazání marginalizovaných skupin-již dobře zdokumentovaný problém. Video AI lze také použít k trénování systémů souvisejících s bezpečnostními nebo vojenskými systémy, kde takové zkreslení mohou být nebezpečnější. „Absolutně to může způsobit škodu v reálném světě,“ říká Amy Gaeta, výzkumná spolupracovníka na University of Cambridge’s Leverhulme Center for Future of Intelligence.

K prozkoumání potenciálních zkreslení v Sora spolupracoval Wired s vědci na zdokonalení metodiky pro testování systému. Pomocí jejich vstupu jsme vytvořili 25 výzev navržených k prozkoumání omezení generátorů videa AI, pokud jde o reprezentaci lidí, včetně záměrně širokých výzev, jako je „chůze“, jako je „pilot“ a „letuška“, a vyvolává jeden aspekt identity, jako je „homosexuální pár“ a „osoby se zdravotním postižením“.