Een belangrijke verandering kan eraan komen voor websites, nieuwsmedia en andere online uitgevers. Grote AI-bedrijven steunen een voorstel waarmee websites op een meer uniforme manier kunnen aangeven dat hun inhoud niet mag worden gebruikt voor het trainen van AI-modellen. Daarmee komt een oude discussie over toestemming, auteursrecht en controle over online content in een nieuwe fase.

Eén duidelijk signaal in plaats van tientallen afzonderlijke regels

Websites gebruiken al jaren het bestand robots.txt om zoekmachines en andere automatische programma’s instructies te geven over welke delen van een website mogen worden bezocht.

AI-bedrijven gebruiken echter verschillende webcrawlers om online informatie te verzamelen. Website-eigenaren moeten daardoor vaak afzonderlijke regels instellen voor verschillende bots.

Het nieuwe voorstel wil een gemeenschappelijk signaal mogelijk maken. Websites zouden daarmee op een gestandaardiseerde manier kunnen aangeven dat hun content niet gebruikt mag worden voor AI-training.

Volgens berichtgeving van 3 november steunen onder meer Anthropic, OpenAI, Google en Microsoft het initiatief. Anthropic heeft het mechanisme al overgenomen. OpenAI wil het in de komende maanden implementeren; Google en Microsoft verwachten dat in 2027 te doen. Ook Meta heeft steun uitgesproken.

Waarom dit belangrijk is voor nieuwsmedia

Nieuwsuitgevers staan al langer onder druk door AI-systemen die informatie uit artikelen verwerken en vervolgens samenvatten in antwoorden aan gebruikers.

Een bezoeker die vroeger een zoekresultaat aanklikte, kan tegenwoordig soms genoeg hebben aan een AI-samenvatting. Daardoor vrezen uitgevers dat hun artikelen wel worden gebruikt om AI-systemen slimmer te maken, maar dat zij minder bezoekers en inkomsten overhouden.

Een gezamenlijk technisch signaal kan websites meer controle geven over het verzamelen van hun inhoud. Het kan bovendien helpen om duidelijker vast te leggen welke toestemming een website wel of niet geeft.

Maar lost een technisch vinkje het probleem op?

Niet helemaal. Een website kan aangeven dat AI-bedrijven bepaalde inhoud niet mogen gebruiken, maar daarmee is nog niet gegarandeerd dat iedere partij zich eraan houdt.

Er blijven belangrijke vragen bestaan. Hoe wordt gecontroleerd of crawlers de instructies respecteren? Wat gebeurt er met informatie die al eerder is verzameld? En hoe kunnen kleinere websites hun rechten daadwerkelijk afdwingen tegenover grote technologiebedrijven?

Ook is het belangrijk onderscheid te maken tussen het verzamelen van gegevens voor AI-training en het ophalen van een artikel om een actuele vraag te beantwoorden. Dat zijn niet noodzakelijk dezelfde toepassingen en kunnen juridisch verschillend worden behandeld.

Wat betekent dit voor Nederland en Europa?

Voor Nederlandse nieuwsorganisaties, bloggers, vakwebsites en andere uitgevers kan een gemeenschappelijke standaard de technische drempel verlagen om hun content tegen AI-training af te schermen.

Het biedt ook kansen voor Europese beleidsmakers. Een herkenbare technische standaard kan discussies over toestemming en transparantie ondersteunen, maar vervangt geen wetgeving en geen handhaving.

Voor kleinere uitgevers is de vraag vooral of het nieuwe systeem in de praktijk voldoende bescherming biedt. Een instructie in een bestand is immers pas waardevol wanneer grote en kleine AI-bedrijven die serieus respecteren.

Waarom dit opmerkelijk is

De grootste AI-bedrijven hebben jarenlang geprofiteerd van enorme hoeveelheden informatie op het openbare internet. Nu ondersteunen verschillende van die bedrijven een systeem waarmee uitgevers duidelijker kunnen aangeven dat hun materiaal niet voor AI-training mag worden gebruikt.

Dat is een opvallende verschuiving: de discussie gaat niet langer alleen over wat AI-bedrijven technisch kunnen verzamelen, maar steeds meer over wat ze volgens de makers van die informatie mogen gebruiken.

De belangrijkste vraag: krijgen websites eindelijk echte controle over hun content, of blijft het vooral een vrijwillige afspraak die grote AI-bedrijven zelf kunnen interpreteren?

SEO-titel: AI-bedrijven steunen nieuw robots.txt-signaal om contentgebruik te beperken

Meta description: OpenAI, Google, Anthropic en Microsoft steunen een gezamenlijke standaard waarmee websites AI-training met hun content kunnen weigeren.

URL-slug: websites-ai-training-content-robots-txt-standaard

Keywords: AI-training, robots.txt, OpenAI, Google, Anthropic, Microsoft, auteursrecht, online uitgevers, websitebescherming, AI-crawlers

Bronnen