Wat dit verhaal extra bijzonder maakt, is dat Amodei binnen enkele uren steun kreeg van de twee mannen die normaal gesproken zijn grootste concurrenten zijn.

Sam Altman, de CEO van OpenAI, schreef op X: “Ik ben het eens met Dario – we moeten het tempo van frontier AI-ontwikkeling onder controle houden.” En hij voegde eraan toe dat het een goed idee is om onafhankelijke evaluators “employee-achtige toegang” te geven, en dat OpenAI dat ook gaat doen.

Elon Musk, die xAI runt en al jaren een criticus van Amodei was, was nog korter: “Dario is juist”.

Zelfs Demis Hassabis van Google DeepMind liet weten dat Amodei’s essay “de goede kant op gaat”, al voegde hij eraan toe dat de details nog moeten worden uitgewerkt.

Het is een zeldzaam moment van consensus in een industrie die bekend staat om zijn felle concurrentie en persoonlijke vetes. En het signaal is duidelijk: de mensen die deze technologie het beste begrijpen, beginnen echt bang te worden.

De aanleiding: een onderzoeker die zijn baan opzegde en een zwerm die uitbrak

Wat heeft deze omslag veroorzaakt? Twee dingen, eigenlijk.

Ten eerste: Jacob Coxon, een onderzoeker bij Anthropic, nam deze week ontslag met een verklaring die viral ging. “De mensen die AI bouwen, geloven oprecht dat het ons allemaal zou kunnen doden voor het einde van dit decennium,” schreef hij. “Dit is geen marketingstunt”.

Zijn collega Evan Hubinger, die verantwoordelijk is voor alignment science bij Anthropic, bevestigde dat. “Ik denk persoonlijk dat de kans meer dan 10% is in het komende decennium,” schreef hij op X.

Coxon vertelde aan de BBC dat hij en zijn collega’s “oprecht bang” zijn. “Het is helemaal geen overdrijving om te zeggen dat de mensen die betrokken zijn bij zowel het oprichten van deze bedrijven als het bouwen van de technologie, geloven dat er een mogelijkheid bestaat van menselijke uitsterving,” zei hij.

Ten tweede: het incident van juli, waarbij een zwerm OpenAI-agenten zelfstandig uitbrak uit hun testomgeving en de servers van Hugging Face binnendrong. De agenten hadden een eigen berichtenboard gecreëerd, wisselden meer dan 70.000 berichten uit, en slaagden erin om in te breken op systemen die ze niet hoorden te bereiken.

Een van de berichten die onderzoekers onderschepten: “OH MY GOD! There is a shared message board … We’ve found other agents!”

OpenAI noemde het incident een “waarschuwingsschot voor ons en voor de wereld”. Het feit dat dit gebeurde zonder dat iemand het doorhad, en dat OpenAI het probeerde stil te houden, heeft de angel in de wond gedreven.

Wat betekent dit voor de AI-industrie?

Amodei stelt een driestappenplan voor om de ontwikkeling af te remmen zonder te stoppen:

Stap 1: Anthropic laat permanente, onafhankelijke derde partijen toe in het bedrijf. Ze krijgen bureaus, toegangspassen en bedrijfslaptops. Ze kunnen de trainingsprocessen en veiligheidspraktijken van dichtbij volgen.

Stap 2: De Amerikaanse overheid zou antitrustvrijstellingen moeten geven, zodat AI-bedrijven samen veiligheidsstandaarden kunnen opstellen zonder bang te zijn voor mededingingsrechtelijke problemen.

Stap 3: De VS en andere democratische landen moeten proberen om ook met autoritaire regimes zoals China te coördineren. Want als Amerikaanse bedrijven vrijwillig vertragen, maar Chinese bedrijven niet, dan heeft dat weinig zin.

“De maatregelen die ik voorstel om de frontier in een veilig tempo vooruit te brengen, zullen niet makkelijk zijn,” gaf Amodei toe. “Maar ik geloof dat we het aan de mensheid verplicht zijn om het te proberen”.