Jak vztah Petera Thiela s Eliezer Yudkowsky zahájil revoluci AI

Dva členové extrapické komunity, internetových podnikatelů Brian a Sabine Atkins – kteří se v roce 1998 setkali na extrapickém seznamu adresátů a byli se vzali tímto zprávou tak, že v roce 2000 bankolovali think tank pro Yudkowsky, institut pro umělou inteligenci. Ve 21 letech se Yudkowsky přestěhoval do Atlanty a začal kreslit neziskový plat kolem 20 000 $ ročně, aby kázal jeho poselství benevolentní superintelligence. „Myslel jsem, že velmi chytré věci budou automaticky dobré,“ řekl. Během osmi měsíců si však začal uvědomovat, že se mýlil – špatně. Rozhodl se, že AI může být katastrofou.

„Vzal jsem.“ Peníze někoho jiného a já jsem člověk, který cítí docela hluboký pocit povinnosti vůči těm, kteří mi pomáhají, “vysvětlil Yudkowsky.„ V určitém okamžiku, místo toho, aby přemýšlel: „Pokud superintelligence automaticky neurčují, co je správné a dělá to, co znamená, že není skutečné právo nebo špatné, v tom případě, koho to zajímá?“ Byl jsem rád: „No, ale Brian Atkins by pravděpodobně raději nezabil superintelligence.“ „Myslel si, že Atkins by mohl mít“ plán zálohy „, ale když se posadil a pokusil se ho vypracovat, s hrůzou si uvědomil, že to není možné.“ To mě přimělo, abych se skutečně zapojil do základních problémů, a pak jsem si uvědomil, že jsem se o všem úplně mýlil. „

Atkinses byli pochopeni a mise institutu se otočila od vytváření umělé inteligence až po přátelskou umělou inteligenci. „Část, kde jsme potřebovali vyřešit přátelský problém AI, se dostala překážkou na cestu účtování přímo na pronájem vědců AI, ale také jsme to určitě neměli finanční prostředky,“ řekl Yudkowsky. Místo toho vymyslel nový intelektuální rámec, který daboval „racionalismus“. (Zatímco na jeho tváři, racionalismus je vírou, že lidstvo má moc používat důvod k tomu, aby přišel na korekci odpovědí, v průběhu času přišlo k popisu hnutí, které, podle slov spisovatele Ozy Brennanové, zahrnuje „redukcionismus, materialismus, morální nerealismus, utilitarismus, opravdové, že je to, že je to smyšlející hnutí, že je to, že je to, že je to, že je to, že je to smyšlenost, to, že je to smyšlenost, jo. že „Eliezer Yudkowsky je oprávněná Kalifornie.“)

V příspěvku z roku 2004 „Koherentní extrapolovaná vůle“ Yudkowsky tvrdil, že přátelská AI by měla být vyvinuta nejen na tom, co si myslíme, že chceme AI udělat nyní, ale co by vlastně bylo v našem nejlepším zájmu. „Inženýrským cílem je zeptat se, co lidstvo“ chce, „nebo spíše to, co bychom se rozhodli, jestli jsme věděli víc, mysleli jsme rychleji, byli více lidé, o kterých jsme si přáli, abychom byli, vyrostli dále společně atd.,“ Napsal. V příspěvku také použil nezapomenutelnou metaforu, kterou pochází Bostrom, pro to, jak by se AI mohla pokazit: pokud je vaše AI naprogramována tak, aby produkovala papírové klipy, pokud si nejste opatrní, může to nakonec naplnit sluneční soustavu papírovými klipy.

V roce 2005 se Yudkowsky zúčastnil soukromé večeře v restauraci v San Franciscu pořádanou Institutem pro předpověď, technologický think tank založený v 80. letech, aby prosadil nanotechnologii vpřed. (Mnoho z jejích původních členů pocházelo ze společnosti L5, která se věnovala tlaku na vytvoření kosmické kolonie, která se vznáší těsně za Měsícem, a úspěšně lobovala, aby zabránila Spojeným státům v podepsání dohody o Měsíci Spojených států z roku 1979 z roku 1979 kvůli svému ustanovení proti jejímu ustanovení, které si myslela, že je to v době, kdy si myslela, že je to v době, kdy si myslel, že je to v té době, protože si myslel, že je to v účasti, a to, že by si myslel, že je to v účasti, že je to v účasti, je to, že je to v účasti, že je to v účasti. po. Yudkowsky, který netušil, kdo je Thiel, k němu po večeři přistoupil. „Kdyby byl váš přítel spolehlivým signálem o tom, kdy se aktivum sestoupí dolů, museli by dělat nějaký druh poznání, který porazil efektivní trh, aby je spolehlivě korelovali s akciemi dolů,“ řekl Yudkowsky, v podstatě připomínají Thiel ohledně hypotézy na trhu, což je, že všechny rizikové faktory již nechají peníze, aby si vydělaly peníze od nic, co by mělo za to, že je nic, co by mělo za to, že je nic, co by mělo za to, že je třeba vydělat na trzích, od ničeho, co by mělo za to, že je nic, co by mělo za to, že je nic, co by mělo za to, že je třeba vydělat peníze, než je nic, co by mělo za to, že je třeba vydělat peníze, než aby vydělali peníze. Thiel byl okouzlen.