Jediný otrávený dokument by mohl uniknout „tajný“ data prostřednictvím chatgptu

Nejnovější generativní Modely AI nejsou jen samostatnými chatboty, které vytvářejí text-místo toho lze snadno připojit k vašim datům, aby na vaše otázky poskytly personalizované odpovědi. Chatgpt OpenAI může být propojen s vaší doručenou poštou Gmail, oprávněný zkontrolovat váš kód GitHub nebo najít schůzky v kalendáři Microsoft. Tato spojení však mají potenciál k zneužívání – a vědci prokázali, že k tomu může trvat pouze jeden „otrávený“ dokument.

Nová zjištění od vědců v oblasti bezpečnosti Michael Bargury a Tamir Ishay Sharbat, odhalená na konferenci Black Hat Hacker Conference v Las Vegas dnes, ukazují, jak slabost v Openaiových konektorech umožnila extrahování citlivých informací z účtu Google Drive pomocí nepřímého útoku na vstřikování. V demonstraci útoku, dabovaný agentflayer, Bargury ukazuje, jak bylo možné extrahovat tajemství vývojářů ve formě klíčů API, která byla uložena na demonstračním účtu.

Zranitelnost zdůrazňuje, jak propojení modelů AI s externími systémy a sdílení více dat napříč nimi zvyšuje potenciální povrch útoku pro škodlivé hackery a potenciálně znásobuje způsoby, jak lze zavést zranitelnosti.

„Neexistuje nic, co uživatel musí udělat, aby byl ohrožen, a není nic, co uživatel musí udělat, aby data vyšla ven,“ říká Bargury, CTO v bezpečnostní firmě Zenity, Wired. „Ukázali jsme, že to je zcela nulové kliknutí; potřebujeme jen váš e-mail, dokument s vámi sdílíme a to je vše. Takže ano, to je velmi, velmi špatné,“ říká Bargury.

OpenAI neodpověděl okamžitě na žádost Wireda o komentář k zranitelnosti v konektorech. Společnost představila konektory pro ChatGPT jako funkci beta na začátku tohoto roku a její webové stránky uvádějí nejméně 17 různých služeb, které lze propojit s jeho účty. Říká se, že systém umožňuje „přivést vaše nástroje a data do chatgptu“ a „vyhledávací soubory, vytahovat živá data a referenční obsah přímo v chatu.“

Bargury říká, že na začátku tohoto roku oznámil, že zjištění společnosti OpenAi nahlásila a že společnost rychle zavedla zmírnění, aby zabránila technice, kterou použil k extrahování dat prostřednictvím konektorů. Způsob, jakým útok funguje, znamená pouze omezené množství dat, které by bylo možné extrahovat najednou – plné dokumenty nemohly být v rámci útoku odstraněny.

„I když tento problém není pro Google specifický, ilustruje to, proč je důležitá vývoj robustní ochrany proti rychlým útokům na vstřikování,“ říká Andy Wen, vedoucí ředitel bezpečnostního produktového managementu v Workspace Google, a ukazuje na nedávno vylepšená bezpečnostní opatření společnosti.