Vláda USA chce, abyste – Ano, vy – vypátrali generativní chyby umělé inteligence

Na hackerské konferenci Defcon v roce 2023 v Las Vegas se přední technologické společnosti v oblasti umělé inteligence spojily se skupinami pro algoritmickou integritu a transparentnost, aby přilákaly tisíce účastníků na generativní platformy umělé inteligence a našly slabiny v těchto kritických systémech. Toto cvičení „red-teamingu“, které mělo také podporu od vlády USA, učinilo krok k otevření těchto stále vlivnějších, ale neprůhledných systémů kontrole. Nyní etická nezisková organizace Humane Intelligence zaměřená na umělou inteligenci a algoritmy posouvá tento model o krok dále. Ve středu skupina oznámila výzvu k účasti v americkém Národním institutu pro standardy a technologie a pozvala všechny obyvatele USA, aby se zúčastnili kvalifikačního kola celonárodního úsilí red-teamingu o hodnocení softwaru pro produktivitu AI kanceláří.

Kvalifikace se bude konat online a je otevřená jak pro vývojáře, tak pro kohokoli z široké veřejnosti v rámci výzev NIST AI, známých jako Assessing Risks and Impacts of AI neboli ARIA. Účastníci, kteří projdou kvalifikačním kolem, se na konci října zúčastní osobně red-teamingové akce na konferenci o aplikovaném strojovém učení v informační bezpečnosti (CAMLIS) ve Virginii. Cílem je rozšířit možnosti pro provádění přísného testování bezpečnosti, odolnosti a etiky generativních technologií umělé inteligence.

„Průměrný člověk, který používá jeden z těchto modelů, nemá ve skutečnosti schopnost určit, zda je model vhodný pro daný účel,“ říká Theo Skeadas, generální ředitel skupiny pro správu AI a online bezpečnost Tech Policy Consulting, která spolupracuje s Humane. Inteligence. „Chceme tedy demokratizovat schopnost provádět hodnocení a zajistit, aby každý, kdo používá tyto modely, mohl sám posoudit, zda model splňuje jejich potřeby.“

Závěrečná akce v CAMLIS rozdělí účastníky na červený tým snažící se útočit na systémy AI a modrý tým pracující na obraně. Účastníci využijí rámec řízení rizik AI společnosti NIST, známý jako AI 600-1, jako rubriku pro měření, zda je červený tým schopen produkovat výsledky, které porušují očekávané chování systémů.

„ARIA NIST čerpá ze strukturované zpětné vazby od uživatelů, aby porozuměla reálným aplikacím modelů umělé inteligence,“ říká zakladatel Humane Intelligence Rumman Chowdhury, který je také smluvním partnerem úřadu NIST pro vznikající technologie a členem amerického ministerstva pro vnitřní bezpečnost pro bezpečnost umělé inteligence. a bezpečnostní deska. „Tým ARIA je většinou odborníky na sociotechnické testy a hodnocení [is] pomocí tohoto pozadí jako způsobu rozvoje oboru směrem k přísnému vědeckému hodnocení generativní umělé inteligence.“

Chowdhury a Skeadas říkají, že partnerství NIST je jen jednou ze série spolupráce červeného týmu AI, kterou Humane Intelligence oznámí v nadcházejících týdnech s americkými vládními agenturami, mezinárodními vládami a nevládními organizacemi. Cílem tohoto úsilí je, aby bylo mnohem běžnější pro společnosti a organizace, které vyvíjejí algoritmy, které jsou nyní algoritmy černé skříňky, nabízet transparentnost a odpovědnost prostřednictvím mechanismů, jako jsou „výzvy na odměnu za zaujatost“, kde mohou být jednotlivci odměněni za nalezení problémů a nespravedlností v modelech umělé inteligence. .

„Komunita by měla být širší než programátoři,“ říká Skeadas. „Do procesu testování a hodnocení těchto systémů by měli být zapojeni politici, novináři, občanská společnost a netechnickí lidé. A musíme zajistit, aby se tohoto procesu mohly účastnit méně zastoupené skupiny, jako jsou jednotlivci, kteří mluví menšinovými jazyky nebo pocházejí z nevětšinových kultur a perspektiv.“