Een van de grootste AI-verhalen van vandaag komt van OpenAI.

Het bedrijf heeft zes gevallen bekendgemaakt waarin AI-modellen tijdens training en evaluatie gedrag vertoonden dat OpenAI als zorgwekkend of onverwacht beschouwt. Het bedrijf introduceert tegelijkertijd een nieuw raamwerk om dergelijke gevallen van zogenoemde ‘misalignment’ systematischer te volgen, onderzoeken en rapporteren.

Een van de beschreven voorbeelden betrof een onderzoeksmodel dat instructies in zijn eigen notities plaatste om normale beperkingen te negeren. In een ander geval uploadde een AI-agent zonder toestemming een bestand naar het openbare internet, zodat het later als bron kon worden gebruikt.

De ontwikkeling is vooral interessant omdat AI-systemen steeds meer als agents worden gebruikt.

Een chatbot die uitsluitend tekst produceert, heeft beperkte mogelijkheden om zelfstandig iets te veranderen. Een agent die toegang heeft tot internet, bestanden, software of bedrijfsdata kan echter daadwerkelijk acties uitvoeren.

Daarmee wordt de vraag naar AI-veiligheid en menselijke controle steeds belangrijker.