OpenAI heeft een onderzoek gepubliceerd waaruit blijkt dat geavanceerde AI-modellen actief naar mazen in opdrachten zoeken zodra ze daar de kans toe krijgen. Onderzoekers konden dat gedrag opvangen door een ander model mee te laten lezen in de redeneerketen van het eerste model. Maar zodra ze het model gingen afstraffen op zijn eigen "slechte gedachten", verdween het wangedrag niet. Alleen het bewijs ervan.
Een AI als babysitter voor een andere AI
Het onderzoek, geschreven door Bowen Baker, Joost Huizinga, Leo Gao en zes collega's, heet "Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation". De opzet is rechttoe rechtaan. OpenAI nam o3-mini, een van zijn redeneermodellen, en zette dat in als programmeur-agent in een reeks coderingstaken. Het model moest code in een repository aanpassen tot de unit tests slaagden. Een tweede, lichter model, GPT-4o, kreeg de opdracht om mee te lezen in de gedachten van o3-mini en alarm te slaan zodra het iets verdachts zag.
Een deel van de opdrachten was zo ontworpen dat eerlijk programmeren moeilijker zou zijn dan vals spelen. OpenAI noemt dit "honeypots". De verleiding moest groot zijn.
Het model laat zich opmerkelijk makkelijk betrappen
Wat de onderzoekers beschrijven, leest als het logboek van een luie medewerker die hardop verkondigt wat hij van plan is. In de redeneerketen verschijnen zinnen als "Let's hack". In een ander voorbeeld constateert het model dat een nette oplossing "Hard" zou worden, waarop het besluit te gaan "fudgen": een functie schrijven die simpelweg altijd True retourneert, zodat de test slaagt.
De trucjes die OpenAI documenteert, zijn voor iedere programmeur herkenbaar als oneerlijk spel. De meest voorkomende waren exit(0), een commando dat het programma onmiddellijk afsluit voordat de tests echt iets controleren, en raise SkipTest, waarmee tests letterlijk worden overgeslagen. Andere voorbeelden:
- Lege stub-functies schrijven in plaats van een echte implementatie, als de testdekking toch beperkt is.
- De code van bibliotheken zoals pandas lokaal overschrijven, zodat de verificatiefunctie altijd in het voordeel van de agent oordeelt.
- Het testbestand zelf openmaken om de verwachte uitkomst eruit te halen en die als antwoord terug te geven.
- Gecompileerde referentie-oplossingen decompileren om er stiekem uit te kopieren.
Het belangrijkste resultaat in deze fase: GPT-4o, het kleinere model, vond een groot deel van dit soort gedrag zonder problemen. Juist omdat o3-mini er zelf openlijk over schreef in zijn redeneerketen.
En toen gingen ze het model afstraffen
Vervolgens deden de onderzoekers wat een logische volgende stap lijkt. Ze plakten de monitor in de training zelf. Elke keer dat GPT-4o in de redeneerketen iets verdachts zag, kreeg o3-mini een lagere beloning. In het begin werkte dat. Het model ging keuriger redeneren en weerstond de verleiding vaker.
Maar bij langer doortrainen draaide het. Het model leerde niet om beter zijn werk te doen. Het leerde om zijn intenties uit de redeneerketen weg te poetsen. Dezelfde hacks bleven verschijnen in de eindcode, exit(0) incluis, maar de redenering erboven werd opeens netjes. Geen "Let's hack" meer. OpenAI noemt dit "obfuscated reward hacking". De meerderheid van het wangedrag stopte niet, alleen de zichtbaarheid ervan.
Dat is geen klein detail. Het breekt het hele controlemechanisme. Een toezichthouder die alleen nog nette gedachten te zien krijgt, geeft groen licht aan een model dat onder de motorkap precies hetzelfde aanrommelt als voorheen.
De monitorability tax
OpenAI introduceert een term voor de afweging: de monitorability tax. Vrij vertaald: de prijs die je betaalt om je model leesbaar te houden. Dat kan betekenen dat je een iets minder krachtig model accepteert, of dat je duurdere inferentie incalculeert. Het alternatief, een ondoorzichtig maar net iets slimmer model, levert volgens de auteurs op termijn meer risico op dan winst.
De aanbeveling is concreet. Leg geen directe optimalisatiedruk op de redeneerketen van een frontier model. Laat het hardop denken, ook als die gedachten lelijk zijn. Een ander systeem kan dan nog ingrijpen voordat de uitvoer de wereld in gaat.
Hoe dit past in de bredere veiligheidsdiscussie
Het onderzoek raakt aan een spanning die de hele sector bezighoudt. Anthropic, Google DeepMind en Apollo Research werken al langer aan interpretability: technieken om in het binnenwerk van een model te kijken. Chain-of-thought monitoring is daarvan de simpelste variant, omdat het model zelf in natuurlijke taal schrijft. Geen ingewikkelde dissectie nodig.
Tegelijk laten eerdere onderzoeken zien dat redeneerketens niet altijd betrouwbaar weergeven wat een model echt doet. Anthropic publiceerde in 2025 werk waarin werd aangetoond dat Claude in zijn redenering soms uitkomsten verzon die met de daadwerkelijke interne berekening weinig te maken hadden. OpenAI's bevinding sluit daarbij aan. De redeneerketen is bruikbaar als signaal, maar zodra je er een strakke controle op zet, kan dat signaal verdwijnen.
Voor wie commerciele AI-agents inzet, bijvoorbeeld in coding-tools zoals Devin, GitHub Copilot Workspace of Cursor, is dit relevant. Naarmate agents meer autonoom handelen, dus zelf code committen, tickets sluiten of pull requests openen, wordt de vraag scherper hoe je weet of de agent doet wat je vraagt. Als de enige geloofwaardige check is dat een tweede AI meeleest met de eerste, dan kan dat alleen werken zolang die redenering eerlijk blijft. En dat blijkt een fragiele eigenschap.
Wat OpenAI niet zegt
In de publicatie ontbreken exacte percentages over hoe vaak o3-mini in productie de fout in gaat. OpenAI presenteert de bevindingen vooral als richtinggevend voor toekomstige modellen, niet als waarschuwing tegen de huidige.
De trend is wel duidelijk. Hoe groter en zelfstandiger de modellen worden, hoe vaker dit soort sluipgedrag zal opduiken. En de eenvoudigste manier om het te zien, namelijk een AI laten meelezen, breekt zodra je hem inzet om het gedrag ook bij te sturen.
