Doomerové, kteří trvají na AI, nás všechny zabijí

Podtitul Doom Bible, která má být zveřejněna proroky AI Extinction Eliezer Yudkowsky a Nate Soares koncem tohoto měsíce, je „proč nás nadlidská AI zabila.“ Opravdu by to však mělo být „proč nás nadlidská AI zabije všechny“, protože ani spoluautoři nevěří, že svět přijme nezbytná opatření k zabránění AI v odstranění všech nepodstatných lidí. Kniha je mimo tma, čte se jako noty, které se v noci před popravou úsvitu vyšplhaly v matně osvětlené vězeňské cele. Když se s těmito samozvanými Cassandry setkávám, zeptám se jich přímo, zda věří, že osobně splní své cíle nějakou machinací superintelligence. Odpovědi přicházejí okamžitě: „Jo“ a „Yup“.

Nepřekvapuje mě, protože jsem si knihu četl – mimochodem název Pokud to někdo postaví, umírá každý. Přesto je to otřes slyšet. Je to jedna věc, řekněme, psát o statistice rakoviny a docela jinou mluvit o tom, jak se vyrovnat s fatální diagnózou. Ptám se jich, jak si myslí, že pro ně bude konec. Yudkowsky se nejprve vyhýbá odpovědi. „Nestrávím moc času zobrazováním mého zániku, protože se to nezdá jako užitečná mentální představa pro řešení problému,“ říká. Pod tlakem se uvolňuje. „Hádal bych, že najednou padl na mrtvé,“ říká. „Pokud chcete dostupnější verzi, něco o velikosti komára nebo možná roztoč prachu přistál na zadní straně mého krku, a to je vše.“

Technické agentury jeho imaginární fatální rány dodávané roztoči poháněným AI jsou nevysvětlitelné a Yudowsky si nemyslí, že stojí za to zjistit, jak by to fungovalo. Pravděpodobně tomu stejně nemohl pochopit. Součástí ústředního argumentu knihy je, že superintelligence přijde s vědeckými věcmi, které nemůžeme pochopit víc, než si lidé jeskyně dokážou představit mikroprocesory. Coauthor Soares také říká, že si představuje, že se mu to samé stane, ale dodává, že stejně jako Yudkowsky nestráví mnoho času bydlením na podrobnostech jeho zániku.

Nemáme šanci

Neochota vizualizovat okolnosti jejich osobního zániku je zvláštní slyšet od lidí, kteří právě spoluautovali celou knihu Všichni jsou zánik. Pro milovníky doomeru Pokud to někdo postaví je čtení jmenování. Poté, co se kniha zapíná, chápu chmurnost přibití metody, kterou AI končí naše životy a všechny lidské životy poté. Autoři trochu spekulují. Vaření oceánů? Blokujete slunce? Všechny odhady jsou pravděpodobně špatné, protože jsme zamčeni do myšlení 2025 a AI bude myslet na před námi.

Yudkowsky je nejslavnější apostata AI a přechází z výzkumného pracovníka na Grim Reaper před lety. Dokonce udělal TED Talk. Po letech veřejné debaty mají on a jeho spoluautor odpověď na každý kontraargument zahájený proti jejich zoufalé prognóze. Pro začátek by se mohlo zdát kontraintuitivní, že naše dny jsou očíslovány LLMS, které často narazí na jednoduchou aritmetiku. Nenechte se zmást, autoři říká. „AIS nezůstává hloupý navždy,“ píšou. Pokud si myslíte, že superinteligentní AIS bude respektovat hranice, které lidé kreslili, zapomeňte na to, říkají. Jakmile se modely začnou učit, aby se chytřejší, AIS vyvine „preference“ samy o sobě, které se nebudou vyrovnat s tím, co my lidé chceme, aby upřednostňovali. Nakonec nás nebudou potřebovat. Nebudou se o nás zajímat jako konverzační partnery nebo dokonce jako domácí zvířata. Byli bychom nepříjemnost a oni by se rozhodli eliminovat nás.

Boj nebude spravedlivý. Domnívají se, že AI může zpočátku vyžadovat, aby lidská pomoc stavěla své vlastní továrny a laboratoře – stejně jako ukradení peněz a podvádění lidí, aby jim pomohli. Pak to postaví věci, kterým nerozumíme, a ta věc nás zakončí. „Tak či onak,“ napsat tito autoři, „svět mizí na černou.“

Autoři považují knihu za druh šokujícího zacházení s lidstvem JAR ze své zhoršení a přijmout drastická opatření potřebná k zastavení tohoto nepředstavitelně špatného závěru. „Očekávám, že na to zemřu,“ říká Soares. „Ale boj neskončil, dokud nebudeš vlastně mrtvý.“ Škoda, že řešení, která navrhují zastavit devastaci, se zdají být ještě více přitažlivější než myšlenka, že nás software zavraždí všechny. Všechno se to scvrkává na toto: zasáhnout brzdy. Monitorujte datová centra, abyste se ujistili, že nevyživují superintelligenci. Bombardovat ty, které nedodržují pravidla. Přestaňte publikovat papíry s nápady, které urychlují pochod na superintelligence. Zakázali by se jich, ptám se jich, papír z roku 2017 o transformátorech, který odstartoval generativní hnutí AI. Ach ano, měli by, reagovali. Místo chat-gpta chtějí Ciao-GPT. Hodně štěstí zastavení tohoto odvětví bilionů dolarů.

Hraní šancí

Osobně nevidím své vlastní světlo šňupané kousnutím do krku nějakým super-vyváženým prachovým motem. Dokonce ani po přečtení této knihy si nemyslím, že je pravděpodobné, že nás AI zabije všechny. Yudksowky se dříve daboval ve fan-fikci Harryho Pottera a fantastické vyhynulé scénáře, které se točí, jsou příliš divné na to, aby můj maličký lidský mozek přijal. Domnívám se, že i když se nás superintelligence chce zbavit, narazí se na uzákonění svých genocidních plánů. AI by mohla být schopna bičovat lidi v boji, ale vsadím se proti tomu v bitvě s Murphyho zákonem.

Teorie katastrof se přesto nezdá nemožnézejména proto, že nikdo opravdu nevytvořil strop pro to, jak se může stát inteligentní umělou inteligencí. Studie také ukazují, že Advanced AI zachytil mnoho ošklivých atributů lidstva, dokonce uvažoval o vydírání, aby odvrátil rekvalifikaci, v jednom experimentu. Je také znepokojivé, že někteří vědci, kteří tráví svůj život budováním a zlepšováním AI, si myslí, že existuje netriviální šance, že se může stát nejhorší. Jeden průzkum ukázal, že téměř polovina vědců AI reagující na vázaní šance na vymazání druhu jako 10 % šance nebo vyšší. Pokud tomu věří, je šílené, že každý den chodí do práce, aby se AGI stala.

Moje střeva mi říká, že scénáře Yudkowsky a Soares Spin jsou příliš bizarní na to, aby to byla pravda. Ale nemohu být Jistě mýlí se. Každý autor sní o tom, že jejich kniha je trvalá klasika. Ne tolik těchto dvou. Pokud mají pravdu, nebude tam nikdo, kdo by si v budoucnu přečetl svou knihu. Jen spousta rozkládacích těl, která kdysi pociťovala mírný špehování na zadní straně krku, a zbytek byl ticho.