Kunstmatige intelligentie kan helpen bij het beoordelen van informatie en het ondersteunen van beslissingen. Maar nieuw onderzoek van de Universiteit van Amsterdam laat zien dat verschillende taalmodellen dezelfde sociale situatie heel anders kunnen beoordelen. Dat kan gevolgen hebben wanneer AI wordt gebruikt voor moderatie, aanbevelingen of systemen die mensen indelen en beoordelen.

Wanneer verdient iemand hulp?

De onderzoekers onderzochten hoe 21 taalmodellen reageerden op fictieve situaties waarin mensen elkaar hielpen of juist hulp weigerden. In totaal werden 43.200 scenario’s voorgelegd aan de modellen.

Een voorbeeld: iemand weigert gereedschap uit te lenen aan een buur die eerder herhaaldelijk weigerde anderen te helpen. Is die weigering egoïstisch, of is het redelijk om rekening te houden met het gedrag uit het verleden?

De modellen waren het relatief vaak eens over eenvoudige situaties, zoals het positief beoordelen van iemand die een ander helpt. De verschillen werden veel groter wanneer de persoon die hulp nodig had een slechte reputatie kreeg.

Sommige modellen beoordeelden hulp als positief, ongeacht de reputatie van de ontvanger. Andere modellen vonden het gerechtvaardigd om iemand niet te helpen wanneer die persoon eerder onbetrouwbaar was gebleken.

AI heeft geen universele morele standaard

De resultaten laten zien dat taalmodellen niet allemaal dezelfde sociale normen toepassen. Zelfs verschillende versies binnen dezelfde modelfamilie kunnen tot uiteenlopende beoordelingen komen.

Dat is relevant omdat AI-systemen steeds vaker worden ingezet in situaties waarin mensen moeten worden geclassificeerd, gerangschikt of beoordeeld. Denk aan online gemeenschappen, digitale platforms en geautomatiseerde ondersteuningssystemen.

Wanneer een AI-model bepaalt welke bijdrage verdacht is of welke gebruiker als betrouwbaar geldt, kan de onderliggende beoordelingsregel belangrijker zijn dan één afzonderlijk antwoord.

Een model dat in een test een redelijk antwoord geeft, hoeft dus niet automatisch in alle vergelijkbare situaties consequent te handelen.

Kunnen ontwikkelaars de uitkomst sturen?

De onderzoekers testten ook of expliciete instructies de modellen konden sturen naar vooraf bepaalde normen. Duidelijke aanwijzingen over het gewenste doel maakten de uitkomsten consistenter, al verdwenen de verschillen tussen modellen niet volledig.

Dat wijst op een praktische les voor organisaties: het is niet genoeg om een AI-tool alleen op losse voorbeelden te testen. Ontwikkelaars moeten ook onderzoeken welke algemene regels een systeem toepast en hoe het reageert wanneer omstandigheden veranderen.

Wat betekent dit voor AI in Nederland?

AI kan besluitvorming ondersteunen, maar de resultaten onderstrepen waarom menselijk toezicht en goede evaluaties belangrijk blijven. Bij beslissingen die grote gevolgen hebben voor mensen, moet duidelijk zijn welke criteria worden gebruikt, hoe fouten worden opgespoord en wie verantwoordelijk is.

Het onderzoek is geen bewijs dat AI-systemen per definitie onbetrouwbaar zijn. Het laat wel zien dat hun sociale beoordelingen sterk kunnen afhangen van het gekozen model en de instructies die het krijgt.

Bron: Amsterdam AI — AI-modellen verschillen van mening over wie hulp verdient