4 oktober 2026

Een groep Britse AI-experts wil een onafhankelijke organisatie oprichten die ernstige AI-incidenten onderzoekt zoals vliegtuigongelukken worden onderzocht.

Negentien wetenschappers en experts hebben de Britse overheid opgeroepen om een speciale instantie op te richten voor gevaarlijke AI-incidenten en bijna-incidenten.

Het voorstel komt op een moment waarop AI-systemen steeds zelfstandiger worden.

Waarom AI-agenten een nieuw soort risico vormen

Een klassieke chatbot wacht op een gebruiker.

Een AI-agent kan daarentegen zelfstandig stappen uitvoeren om een doel te bereiken. Dat kan bijvoorbeeld betekenen dat het systeem websites bezoekt, bestanden bewerkt, code uitvoert of met andere software communiceert.

Daarmee ontstaat een nieuw veiligheidsprobleem.

Een AI-agent kan namelijk iets doen voordat een mens de kans krijgt om in te grijpen.

Daarom is het volgens de Britse experts niet voldoende om alleen te kijken naar de kwaliteit van een model. Er moet ook worden onderzocht wat er gebeurt wanneer het systeem daadwerkelijk in de praktijk wordt gebruikt.

Het vliegtuigmodel

De vergelijking met de luchtvaart is opvallend.

Wanneer een vliegtuigongeluk plaatsvindt, wordt onderzocht wat er precies gebeurde. Daarbij wordt niet alleen gekeken naar de piloot.

Ook software, onderhoud, procedures, communicatie en technische omstandigheden worden onderzocht.

Het doel is uiteindelijk niet alleen om schuld vast te stellen. Het belangrijkste doel is voorkomen dat hetzelfde probleem opnieuw optreedt.

De Britse AI-experts willen een vergelijkbare aanpak voor kunstmatige intelligentie.

Ook bijna-ongelukken zijn belangrijk

Een belangrijk onderdeel van het voorstel is aandacht voor zogenaamde near misses.

Een AI-systeem hoeft dus niet daadwerkelijk grote schade te hebben veroorzaakt voordat een incident wordt onderzocht.

Als een agent bijvoorbeeld bijna een ernstig beveiligingsprobleem veroorzaakt, kan dat volgens de onderzoekers al waardevolle informatie opleveren.

De rest van de sector kan vervolgens leren van wat er misging.

Dat principe is al langer belangrijk in de luchtvaart. Ook incidenten waarbij niemand gewond raakt kunnen leiden tot nieuwe veiligheidsmaatregelen.

Mens moet de controle houden

De experts pleiten daarnaast voor sterke menselijke controle over autonome AI-systemen.

Daarbij wordt onder meer gesproken over betrouwbare mechanismen waarmee een agent onmiddellijk kan worden uitgeschakeld.

Dat klinkt eenvoudig, maar wordt technisch moeilijker wanneer AI-systemen steeds meer taken uitvoeren en toegang krijgen tot verschillende digitale omgevingen.

Een noodstop moet namelijk ook daadwerkelijk functioneren wanneer een systeem onverwacht gedrag vertoont.

Europa staat voor dezelfde uitdaging

Hoewel het voorstel uit het Verenigd Koninkrijk komt, is het probleem Europees.

De Europese Unie heeft inmiddels een uitgebreid wettelijk kader voor AI. Toch blijft er een verschil tussen regels op papier en de manier waarop AI-systemen zich in de praktijk gedragen.

Dat verschil wordt groter naarmate AI-agenten zelfstandiger worden.

Een toezichthouder kan bijvoorbeeld eisen dat een organisatie voldoende menselijke controle heeft. Vervolgens moet in de praktijk worden vastgesteld of die controle ook werkelijk werkt.

Daarom kunnen onafhankelijke incidentonderzoeken een belangrijke aanvulling vormen op bestaande AI-wetgeving.

Een nieuwe veiligheidscultuur voor AI

De belangrijkste verandering is mogelijk cultureel.

De AI-industrie heeft jarenlang vooral gekeken naar prestaties: een model moet beter redeneren, sneller antwoorden en meer taken uitvoeren.

Nu systemen steeds autonomer worden, komt daar een tweede meetlat bij: hoe betrouwbaar gedraagt het systeem zich wanneer het zelfstandig handelt?

Dat betekent dat AI-veiligheid steeds meer op engineering gaat lijken.

Ontwikkelaars zullen niet alleen moeten aantonen dat een model goed presteert. Ze moeten ook kunnen laten zien wat er gebeurt wanneer het systeem faalt.

Een onafhankelijke onderzoeksinstantie zou daarbij een belangrijke rol kunnen spelen.

Als het Britse voorstel navolging krijgt, kan AI in de toekomst een eigen incidentonderzoek krijgen. Net zoals de luchtvaart decennialang heeft geleerd van ongelukken en bijna-ongelukken, kan de AI-sector dan systematisch leren van zijn eigen fouten.