Bolesti hlavy generativní AI

Generativní umělá inteligence zachycuje titulky a konverzace v odborné komunitě specializované na kybernetickou bezpečnost již měsíce. Mnoho profesionálů využívá tuto technologii ke zlepšení psaní svých e-mailů nebo dokonce k psaní článků na blogy nebo sociální sítě, ale bezpečnostní manažeři organizací, ve kterých tito odborníci pracují, se stále více obávají možnosti začlenění umělé inteligence do vašeho rutiny ochrany firemního majetku.

Obavy ze strany CISO jsou normální. Generativní umělá inteligence vyvolává smíšené pocity: na jedné straně je snadné rozpoznat její schopnost zlepšovat produktivitu nebo dokonce pomáhat technologickým nebo bezpečnostním týmům v jejich rutinách, protože vidí, jak se jejich odpovědnosti zvyšují, aniž by navyšovaly zdroje nutné k reakci na ně. Ale na druhou stranu je také mnoho rizik této transformační technologie.

První obava je velmi základní. Většina těchto nástrojů je hostována online a pro jejich využití je nutné zasílat svá vlastní nebo klientská data. Pokud si přečteme podmínky služby nástroje, který jsme si vybrali, je pravděpodobné, že existuje jen málo informací o důvěrnosti, bezpečnosti, souladu s předpisy… a najdeme však údaje o použití informací, které se chystáme sdílet, trénovat nástroj, to znamená, že firemní informace budou uloženy pro zlepšení obecných modelů.

Pokud budeme pokračovat ve výčtu obav, další by byla platnost odpovědí, které nám tento typ nástrojů dává. Modely AI mají tendenci „halucinovat“, to znamená předpokládat určité chybné informace. Vaším cílem je poskytovat odpovědi, které se zdají být přesné, ne že jsou přesné. Příkladem této situace, aniž bychom zacházeli dále, je použití ChatGPT, které skupina právníků provedla v procesu, aby našli argumenty a bránili svého klienta… s případy, které se ukázaly jako fiktivní. Velmi populární byla také stížnost Getty Images na vývojáře nástroje Stability AI za to, že zkopírovali 12 milionů obrázků bez povolení trénovat jejich model.

Generativní umělá inteligence vyvolává smíšené pocity: na jedné straně je snadné rozpoznat její schopnost zvyšovat produktivitu, na druhé straně je však také mnoho rizik této transformativní technologie.

Pokud se nakonec technologický tým rozhodne začlenit generativní nástroj umělé inteligence jako součást jednoho z produktů organizace, první věcí, kterou je třeba zvážit, je proces nákupu: pokud inženýři začnou nakupovat produkty pomocí vlastních kreditních karet, problémy bude čelit bude velmi nebezpečné. Pokud se rozhodneme pro otevřený model, je také nezbytné, aby právní tým společnosti pečlivě přezkoumal podmínky smlouvy, protože mnoho licencí se na první pohled jeví jako open source, ale pak tomu tak není a omezuje mnoho dostupných utilit.

Může se také stát, že se rozhodneme trénovat vlastní model přesně z open source nástroje. K tomu je důležité vzít v úvahu, jaký typ dat používáme a zda jsou vhodné pro naše cíle, protože mohou ovlivnit výsledky, jakmile se nástroj dostane do výroby, a reagovat skutečnými daty z předchozích testů, které by mohly být důvěrný.o některých klientech. Jinými slovy, je velmi snadné, aby data unikla mezi modely a způsobila organizaci právní problémy.

Generativní AI

Generativní nástroje umělé inteligence, konkrétněji související s kybernetickou bezpečností, vytvořily svůj vlastní útočný prostor, zejména s nepřímými pohotovými injekcemi: pokud je kyberzločinec schopen ovládat vkládání textu v generativním jazykovém modelu, můžete být zmateni modelem a pravidly. používá.

A nakonec musíte být velmi dobře informováni o předpisech, které se schvalují po celém světě a které se velmi rychle mění také kvůli rychlosti vývoje tohoto typu nástrojů. Aniž bychom zacházeli dále, alespoň pro tuto chvíli je nezbytné hluboce porozumět zákonu EU o AI, rámci řízení rizik NIST AI nebo projektu Bílého domu na listině práv AI.

Alespoň jedna věc je jasná: generativní umělá inteligence tu zůstane a jak profesionálové v naší organizaci, tak naši klienti se budou chtít dozvědět více o potenciálu tohoto typu nástrojů. Jako vedoucí bezpečnostních oddělení je nezbytné udržovat vysokou úroveň ochrany pro zodpovědné přijetí této technologie, aby se předešlo tomu, že se současné nadšení změní v budoucí lítost. Pouze přijetí umělé inteligence konzistentním a klidným způsobem pomůže společnostem jakékoli velikosti a odvětví udělat krok vpřed a urychlit podnikání bez rizik.

Autor: Miguel de Castro, prodejní inženýr společnosti CrowdStrike Španělsko