Jediná věc, která stojí mezi lidstvem a AI apokalypsou, je… Claude?

Společnost Antropic je uzavřena v paradoxu: Mezi špičkovými společnostmi s umělou inteligencí je nejvíce posedlá bezpečností a vede smečku ve výzkumu, jak se modely mohou pokazit. Ale i když bezpečnostní problémy, které identifikoval, nejsou zdaleka vyřešeny, Anthropic tlačí stejně agresivně jako jeho soupeři k další, potenciálně nebezpečnější úrovni umělé inteligence. Jeho hlavním posláním je zjistit, jak tento rozpor vyřešit.

Minulý měsíc společnost Anthropic zveřejnila dva dokumenty, které oba uznaly rizika spojená s cestou, na které se ubírá, a naznačily cestu, kterou by se mohla vydat, aby unikla paradoxu. „The Adolescence of Technology“, obsáhlý blogový příspěvek generálního ředitele Daria Amodeie, je nominálně o „konfrontaci a překonání rizik výkonné umělé inteligence“, ale věnuje více času prvnímu než druhému. Amodei tuto výzvu taktně popisuje jako „odstrašující“, ale jeho vylíčení rizik AI – mnohem hrozivějších, jak poznamenává, díky vysoké pravděpodobnosti, že technologii zneužijí autoritáři – představuje kontrast k jeho optimističtější předchozí proto-utopické eseji „Machines of Loving Grace“.

Ten příspěvek hovořil o národu géniů v datovém centru; nedávné odeslání evokuje „černá moře nekonečna“. Paging Dante! Přesto, po více než 20 000 většinou pochmurných slovech, Amodei nakonec udeří do noty optimismu a říká, že i za těch nejtemnějších okolností lidstvo vždy zvítězilo.

Druhý dokument Anthropic vydaný v lednu, „Claude’s Constitution“, se zaměřuje na to, jak lze tento trik provést. Text je technicky zaměřen na jedno publikum: samotného Clauda (stejně jako budoucí verze chatbota). Je to poutavý dokument, který odhaluje vizi Anthropic o tom, jak se Claude a možná jeho kolegové s umělou inteligencí vypořádají se světovými výzvami. Sečteno a podtrženo: Anthropic se plánuje spolehnout na samotného Clauda, ​​aby rozpletl svůj firemní gordický uzel.

Trhovým diferenciátorem společnosti Anthropic je již dlouho technologie zvaná Constitutional AI. Jedná se o proces, při kterém jeho modely dodržují soubor zásad, které sladí jeho hodnoty se zdravou lidskou etikou. Původní Claudeova ústava obsahovala řadu dokumentů, které měly tyto hodnoty ztělesňovat – věci jako Sparrow (soubor protirasistických prohlášení a prohlášení proti násilí vytvořený DeepMind), Všeobecná deklarace lidských práv a smluvní podmínky společnosti Apple (!). Aktualizovaná verze z roku 2026 je jiná: Je to spíše jako dlouhá výzva nastiňující etický rámec, kterým se bude Claude řídit, a sám o sobě objeví nejlepší cestu ke spravedlnosti.

Amanda Askell, doktorka filozofie, která byla hlavní autorkou této revize, vysvětluje, že přístup Anthropic je robustnější, než jednoduše říkat Claudovi, aby se řídil souborem stanovených pravidel. „Pokud lidé dodržují pravidla pro nic jiného, ​​než že existují, je to často horší, než když pochopíte, proč je pravidlo na místě,“ vysvětluje Askell. Ústava říká, že Claude má uplatňovat „nezávislý úsudek“, když čelí situacím, které vyžadují vyvážení jeho mandátů vstřícnosti, bezpečnosti a poctivosti.

Ústava to říká takto: „Chceme, aby byl Claude rozumný a přísný, když uvažuje výslovně o etice, zároveň chceme, aby byl Claude intuitivně citlivý na širokou škálu úvah a byl schopen tyto úvahy rychle a rozumně zvážit v živém rozhodování.“ Intuitivně je zde výmluvná volba slova – zdá se, že se předpokládá, že pod Claudovou pokličkou je víc než jen algoritmus, který vybírá další slovo. „Claudeova instituce“, jak by se to dalo nazvat, také vyjadřuje naději, že chatbot „může stále více čerpat ze své vlastní moudrosti a porozumění“.

Moudrost? Jistě, mnoho lidí si nechává poradit od velkých jazykových modelů, ale něco jiného je tvrdit, že tato algoritmická zařízení skutečně mají gravitaci spojenou s takovým pojmem. Askell neustoupí, když to zavolám. „Myslím, že Claude je určitě schopen jistého druhu moudrosti,“ řekla mi.