AI Security Donkey Leaves: Joshua Achiam opouští OpenAI

Joshua Achiam odešel.

Působil jako hlavní futurista v OpenAI, což je titul, který zní trochu vágně, dokud si neuvědomíte, že to byl právě on, kdo musel zabránit společnosti ve ztrátě duše. V úterý oznámil kolegům, že na konci měsíce svůj post opustí. Ve firmě pracoval devět let. Takové období je pro Silicon Valley věčnost.

Nebyl to žádný výbušný skandál. Alespoň ne v plném slova smyslu. Prostě stará myšlenka se změnila v činy. Zaměstnanci řekl, že o tom nějakou dobu přemýšlel a nereagoval na konkrétní událost. “Svět nyní zná tajemství,” napsal a naznačil, že již není nutné být uvnitř špičkových laboratoří, abychom mohli bojovat za bezpečnost AI. To lze provést i zvenčí.

“Svět si je nyní tohoto tajemství vědom,” napsal.

Stále věří v utopický plán: mír, prosperita, nekonečné možnosti. Bude to dál pronásledovat. Jen ne uvnitř těchto zdí.

Kdo zaujme jeho místo? OpenAI zatím nehlásilo. Jeho role překračovala tenkou hranici mezi týmy pro politiku a bezpečnost a analyzoval, co šlo dobře a co by mohlo být katastrofální, když se AI škálovala. Spolupracoval s Chrisem Lehane, vedoucím globálních záležitostí, na prosazování vládních předpisů, které by byly v souladu s neziskovým posláním společnosti prospívat celému lidstvu. Není to snadný úkol, když se společnost stala monstrem se skutečnými penězi.

Po explozivní popularitě ChatGPT v roce 2022 připomínala organizační struktura OpenAI balíček karet, který někdo aktivně míchal. Reorganizace, fúze, zániky. V roce 2024 vedl Achiam na krátké, ale intenzivní období tým pro zarovnání mise. Tým byl poté v únoru rozpuštěn. Místo toho dostal novou pozici: hlavní futurista. A tak odešel.

Společnost se snaží překlenout propast mezi výzkumem a politikou a spěchá s vytvářením pravidel dříve, než je technologie všechny porazí. Boaz Barak, Noam Schneider a další se aktivně zapojili do práce s politikou a ještě více stírali hranice. Na scénu přichází Dean Ball, bývalý poradce Bílého domu pro umělou inteligenci. Tento týden začíná pracovat jako vedoucí strategických perspektiv. On a Achiam budou na několik dní spojeni předáním štafety v dešti.

Ale podívejme se na šňůru odchodů. To je parada.

Achiam se připojuje k seznamu bezpečnostních vůdců, kteří vyskočili z lodi před zahájením IPO. Dan Lake? Spoluzaložil projekt superalignment a odešel do Anthropic. Miles Brundage a Stephen Edmes společně odešli, aby založili neziskové organizace požadující přísnější bezpečnostní standardy. Andrea Vallone následoval Lake.

Proč tento výsledek? Možná proto, že je stále těžší zůstat uvnitř. Nebo možná jednoduše proto, že nesouhlasí se zvolenou vývojovou trajektorií.

Achiam nebyl jen bezpečnostní jestřáb – byl také kontroverzní postavou. Občas kritizoval vlastní komunitu. Proslul také svou přímočarostí.

Pamatujete na rok 2018? Elon Musk opustil OpenAI. Přednesl řeč na rozloučenou o vytvoření AGI v Tesle. Achiam ho přerušil a poukázal na bezpečnostní rizika v Muskově plánu. Musk ho nazval “srabem”.

Viděl jsi ten konec? Darico Amodei a David Luan, nyní z Anthropic a Amazon AGI, darovali Achiamovi za jeho statečnost zlatou sochu zadního konce osla. Nikdy nepřestávej být debil.

Achiam to zachránil. Asi to visel vysoko.

Nyní odchází jako OpenAI soukromě na IPO, v patách podobného kroku od Anthropic. Hra se změnila. Hráči jsou unavení.

A co se stane, až ze dveří vyjdou poslední strážci?