Welke AI-modellen kun je je bestuursstukken toevertrouwen?

Wat het meet

Een algemeen kennisexamen van ongeveer zestienduizend meerkeuzevragen over zevenenvijftig school- en universiteitsvakken, van basisrekenen tot beroepsrecht. Het was jarenlang het standaardgetal in aankondigingen van leveranciers. Het test wat een model tijdens de training heeft opgenomen, zonder dat je documenten meegeeft.

Waarom het de bestuursvraag niet beantwoordt

Het vraagt naar de wereld, nooit naar jouw documenten. Een model kan bovenaan MMLU staan en toch een cijfer in je kwartaalmap verzinnen, omdat het examen nooit een document geeft waaraan het trouw moet blijven. Het is bovendien meerkeuze, dus een model dat goed gokt lijkt identiek aan een model dat het weet.

Wat het meet

De zwaardere herbouw van MMLU. Het verhoogt het aantal antwoordopties per vraag van vier naar tien en filtert de makkelijke items eruit, zodat gokken minder oplevert en stapsgewijs redeneren meer. Het is de kennisbenchmark die de meeste leveranciers nu noemen in plaats van MMLU.

Waarom het de bestuursvraag niet beantwoordt

Het blijft een examen over algemene kennis, blijft meerkeuze en blijft zonder documenten. Het vertelt je of een model belezen is. Het zegt niets over de vraag of het de juiste pagina van je eigen managementrapportage aanhaalt, of erkent dat er een kwartaal in de map ontbreekt.

Wat het meet

Wetenschapsvragen op promovendusniveau in biologie, natuurkunde en scheikunde, geschreven door gepromoveerden en bewust moeilijk op te zoeken. De Diamond-deelverzameling bevat de 198 vragen die twee vakexperts goed hadden en die de meeste bekwame niet-experts fout hadden, zelfs met internet erbij. Het is het standaardbewijs dat een model op expertniveau kan redeneren in de wetenschap.

Waarom het de bestuursvraag niet beantwoordt

Bestuurswerk is geen scheikunde op promovendusniveau. Niets in GPQA vraagt een model om binnen een meegeleverde documentenset te blijven, een bron te noemen of te zeggen dat het iets niet weet. Een model dat briljant redeneert over reactiemechanismen kan nog steeds het model zijn dat je convenantenschema met overtuiging verkeerd leest.

Wat het meet

Tweeduizend vijfhonderd vragen aan de buitenrand van expertkennis, verzameld bij academici in meer dan honderd vakgebieden en gefilterd zodat de modellen van dat moment ze niet konden beantwoorden. Het is gebouwd als een bewust onverzadigde vervanger van MMLU en GPQA. Het werk verscheen in januari 2026 in Nature.

Waarom het de bestuursvraag niet beantwoordt

Het meet het plafond van specialistische kennis, precies het andere uiteinde van de schaal dan bestuurswerk. Bestuurders hebben geen model nodig dat de voorhoede van de topologie kent. Ze hebben een model nodig dat veertig gewone documenten leest zonder ze op te sieren, en Humanity's Last Exam legt het model nooit een document voor.

Wat het meet

Kleine gekleurde rasterpuzzels waarin het model de regel moet afleiden uit twee of drie voorbeelden en die op een nieuw raster moet toepassen. De test is in 2019 ontworpen om vloeiende intelligentie te meten, het vermogen om een probleem op te lossen dat je nooit hebt gezien, in plaats van geheugen. Hij weerstond schaalvergroting vijf jaar lang, en juist daardoor werd hij beroemd.

Waarom het de bestuursvraag niet beantwoordt

Het is een puzzel over visuele regels, zonder tekst, zonder documenten en zonder bronnen. Het is een nuttig signaal over het oplossen van echt nieuwe problemen, en het zwijgt over elke eigenschap waar een bestuur om geeft: trouw aan je stukken, herleidbaarheid, en de bereidheid om niets te zeggen als het antwoord er niet is.

Wat het meet

De herbouw uit 2025 van de rasterpuzzeltest, met duizend trainingstaken en driehonderdzestig evaluatietaken verdeeld over een openbare, een semi-besloten en een besloten set. Elke taak is door minstens twee mensen binnen twee pogingen opgelost, dus er is een menselijke referentie. Een deel van de set gesloten houden is een bewuste verdediging tegen trainen op de test.

Waarom het de bestuursvraag niet beantwoordt

Nog steeds geen documenten, geen bronvermelding en geen manier om eerlijkheid te scoren. ARC-AGI-2 beantwoordt of een systeem zich kan aanpassen aan iets werkelijk nieuws. De vraag van een bestuurder is of een systeem saai betrouwbaar kan zijn op iets volstrekt vertrouwds.

Wat het meet

Gelanceerd op 25 maart 2026 en de eerste interactieve test in de reeks. In plaats van statische puzzels wordt het model in honderden handgemaakte beurtgebaseerde omgevingen gezet, zonder instructies, zonder regels en zonder gesteld doel, en moet het proefondervindelijk uitvinden wat winnen betekent. Het meet leren uit ervaring in plaats van antwoorden uit kennis.

Waarom het de bestuursvraag niet beantwoordt

Het is de eerlijkste maat tot nu toe voor hoe ver topsystemen van menselijk leren af staan, en het staat volledig los van documentwerk. Het vertelt een bestuur hoeveel ruimte de technologie nog heeft. Het vertelt een bestuur niet welk model je op de volgende bestuursmap richt.

Wat het meet

Vijfhonderd echte bugmeldingen uit opensourcesoftwareprojecten, met de hand gecontroleerd zodat elke melding oplosbaar is en elke test eerlijk. Het model krijgt de codebase en de melding en moet een aanpassing opleveren waarmee de eigen tests van het project slagen. Het werd het referentiegetal voor agentische programmeervaardigheid.

Waarom het de bestuursvraag niet beantwoordt

Het gaat uitsluitend over code. Bestuursstukken zijn geen code, en het slaagcriterium is een unittest, precies wat bestuurswerk niet heeft. Een model dat uitblinkt in het repareren van Python heeft daarmee niets aangetoond over huisstijl volgen, een paginanummer noemen of een antwoord weigeren.

Wat het meet

Of een AI-agent een echte commandoregel kan bedienen om technisch werk van begin tot eind af te maken: een project compileren, een systeem configureren, een klein model trainen, een kapotte omgeving herstellen. Anders dan SWE-bench beoordeelt het hele werkstromen in plaats van één aanpassing. Versie 4.0 uit 2026 bevat zesenzestig taken nadat de opgaven die topagenten al beheersten zijn afgevoerd.

Waarom het de bestuursvraag niet beantwoordt

Dit is een benchmark voor het engineeringplatform van de CTO, niet voor de bestuurskamer. Het meet of een agent infrastructuur kan bedienen. Het meet niets over het getrouw lezen van een managementrapportage, en de controles zijn scripts, die bij bestuursdocumenten niet bestaan.

Wat het meet

Of een agent een echt klantgesprek kan voeren terwijl hij een geschreven beleid volgt en gereedschappen correct gebruikt. Een gesimuleerde klant praat over meerdere beurten met de agent in scenario's rond retail, luchtvaart of telecom, en de agent moet de juiste gegevens wijzigen zonder de meegegeven regels te breken. De tweede versie voegt situaties toe waarin ook de klant handelt, niet alleen de agent.

Waarom het de bestuursvraag niet beantwoordt

Dit is de publieke benchmark die het dichtst bij beleidsdiscipline komt, een van de vijf zaken waar een bestuur om geeft, maar het beleid is een kort servicescript en de wereld is een kleine gesimuleerde database. De huisregels van een bestuur zijn langer en vager en worden toegepast op lopende tekst, en niets hier scoort of een antwoord herleidbaar is naar een document.

Wat het meet

Of een agent op het open web volhoudt tot hij een feit vindt dat werkelijk moeilijk te lokaliseren is. Het bevat 1.266 vragen die zijn gebouwd door terug te redeneren vanaf een geverifieerd feit, waardoor het antwoord lastig te vinden en makkelijk te controleren is. Het meet uithoudingsvermogen en zoekcreativiteit, niet kennis.

Waarom het de bestuursvraag niet beantwoordt

De hele opzet draait om het open internet, terwijl een bestuursassistent juist om de gesloten documentenset draait. Een model dat uitblinkt in het online vinden van andermans paper is daarmee geen model dat binnen je eigen kwartaalmap blijft en weigert gaten op te vullen vanaf het web.

Wat het meet

Of modellen de daadwerkelijke opleverproducten van betaald professioneel werk kunnen maken. Het omvat 1.320 taken uit vierenveertig beroepen in de negen sectoren die het meest bijdragen aan het bruto binnenlands product van de Verenigde Staten, opgesteld door vakmensen met gemiddeld veertien jaar ervaring. De uitkomsten zijn echte werkproducten: documenten, presentaties, spreadsheets en diagrammen, beoordeeld door experts tegen de versie van de professional zelf.

Waarom het de bestuursvraag niet beantwoordt

Dit komt van alle grote publieke benchmarks het dichtst bij kantoorwerk, en toch is het niet de bestuursvraag. Het beoordeelt of het opleverproduct goed is, niet of elke bewering erin herleidbaar is naar een meegeleverd document. Een overtuigende memo met één verzonnen cijfer kan hoog scoren op kwaliteit en tegelijk het stuk zijn dat een CFO een auditbevinding kost.

Wat het meet

Of een AI-agent kenniswerk van meerdere weken kan doen binnen een rommelige stapel bedrijfsbestanden. Vier projecten rond data science, productmanagement, bankieren en strategie bevatten eenennegentig samenhangende taken en duizenden invoerbestanden: Slack-exports, e-mails, gespreksverslagen, spreadsheets, pdf's en bestuursmateriaal. Elke taak wordt op drie manieren beoordeeld: een rubric met goed of fout voor juistheid en bronbewijs, plus twee directe vergelijkingen voor analytische kwaliteit en presentatie.

Waarom het de bestuursvraag niet beantwoordt

Van alles op deze pagina is dit de naaste buur: echte bestanden, echte opleverproducten, een expliciete controle op bronbewijs. Toch isoleert het de vijf eigenschappen niet waarvoor een bestuur tekent. Er is geen aparte score voor hoe vaak het model verzint, geen aparte score voor of het zegt dat het iets niet weet, en geen score voor het vasthouden aan huisregels in een lang gesprek. Het draait bovendien in het Engels op generiek bedrijfsmateriaal, niet op Nederlandse bestuursstukken.

Wat het meet

Of een model de vraag kan beantwoorden die een professional daadwerkelijk zou intypen terwijl hij in een specifieke lange pdf werkt. Het bevat honderd taken in tien beroepsdomeinen, gebaseerd op 4.592 bronpagina's en beoordeeld op 1.275 afzonderlijke criteria. De hoofdscore is het aandeel pogingen waarin elk criterium slaagt, wat een bewust strenge lat is.

Waarom het de bestuursvraag niet beantwoordt

De vorm klopt, het onderwerp niet. De documenten zijn professionele pdf's, geen eigen bestuursmap met notulen, spreadsheets, slides en tegenstrijdige versies, en elke taak is één vraag over één document in plaats van een gesprek dat er veertig omspant. Het scoort bovendien niet of het model erkent dat iets ontbreekt.

Wat het meet

De werkelijk bruikbare lengte van het contextvenster van een model, in plaats van het getal op de verpakking. Het genereert synthetische taken op gecontroleerde lengtes in vier soorten: terugvinden, een feit via meerdere stappen volgen, veel items samenvoegen en langere vraagbeantwoording. De uitkomst is de lengte waarop een model afhaakt, en dat is wat een bestuurder te horen zou moeten krijgen.

Waarom het de bestuursvraag niet beantwoordt

De hooiberg is synthetische opvulling, niet je notulen en je jaarrekening. Echte bestuursdocumenten delen vocabulaire, herhalen elkaar en spreken elkaar tegen, wat een moeilijker en ander probleem is dan geplante variabelen in ruis vinden. RULER geeft je een plafond, geen gedrag.

Wat het meet

Vaardigheid met lange context wanneer het antwoord niet met woordovereenkomst te vinden is. De klassieke speld-in-de-hooibergtest laat een model de zin herkennen die woorden deelt met de vraag. NoLiMa haalt die kortere weg weg door naalden te schrijven die vrijwel geen woorden met de vraag delen, zodat het model de verbinding op betekenis moet leggen.

Waarom het de bestuursvraag niet beantwoordt

Het is de scherpste beschikbare waarschuwing dat geadverteerde contextvensters de werkelijke capaciteit overdrijven, en het blijft een zoekpuzzel in fictie. Het test niet of een model wat het vond aan het juiste document toeschrijft, en evenmin of het stopt wanneer de verbinding er niet is.

Wat het meet

Diep begrip en redeneren over realistische lange documenten, in plaats van terugvinden. Het bevat 503 moeilijke meerkeuzevragen over teksten van achtduizend tot twee miljoen woorden, in zes categorieën waaronder vraagbeantwoording over meerdere documenten, lange gespreksgeschiedenis en lange gestructureerde data. Bij elk item is bewijsmateriaal geannoteerd, zodat een beoordelaar kan controleren waar het antwoord vandaan komt.

Waarom het de bestuursvraag niet beantwoordt

Het is meerkeuze. Een bestuursassistent schrijft lopende tekst, en het hele risico zit in wat hij schrijft wanneer niemand vier opties aanbiedt. De juiste optie uit vier kiezen zegt niets over de vraag of het model een vijfde zou hebben verzonnen.

Wat het meet

Hoe goed een model een verhaal nog begrijpt naarmate dat verhaal langer wordt. Dertig verhalen worden geknipt in versies van oplopende lengte die dezelfde kerndetails bewaren, en dezelfde zesendertig vragen worden bij elke lengte gesteld. Antwoorden vereist bijhouden wie wat wanneer wist, wat begrip is en geen zoekwerk.

Waarom het de bestuursvraag niet beantwoordt

Het materiaal is fictie uit een schrijverscommunity en de vorm is een verhaal met een tijdlijn. Bestuursmateriaal is een gemengde map met notulen, tabellen, beleidsstukken en slides, waar het lastige niet het volgen van een plot is maar het oplossen van twee documenten die elkaar tegenspreken.

Wat het meet

Geen ranglijst maar een gecontroleerd onderzoek, en een van de nuttigste bewijsstukken die je een bestuur kunt geven. Chroma testte achttien modellen over een reeks invoerlengtes en liet zien dat prestaties niet stabiel blijven om vlak voor de limiet in te storten: ze lopen geleidelijk en ongelijkmatig terug vanaf ruim onder het geadverteerde venster. De term context rot komt uit dit werk.

Waarom het de bestuursvraag niet beantwoordt

Het is een onderzoek naar één faalwijze, geen ranglijst waar je op kunt inkopen. Het vertelt je dat een groot contextvenster geen belofte is, wat de belangrijkste correctie op leveranciersmarketing is die een bestuur kan opnemen. Het vertelt je niet welk model je moet kiezen en zegt niets over bronvermelding of eerlijkheid.

Wat het meet

Redeneren over meerdere echte lange documenten tegelijk, bewust gebouwd om op kenniswerk te lijken in plaats van op een synthetische puzzel. Honderd moeilijke vragen komen elk met ongeveer honderdduizend tokens invoer uit bedrijfsrapporten, brancherapporten, overheidsconsultaties, wetenschappelijke papers, juridische teksten, marketingmateriaal en enquêterapporten. Antwoorden zijn niet op één plek op te zoeken, ze moeten worden samengesteld.

Waarom het de bestuursvraag niet beantwoordt

Het meet of het model over documenten heen tot het juiste antwoord komt. Het meet niet of het model laat zien van welke pagina dat komt, en het bevat geen vragen waarvan het antwoord bewust ontbreekt, precies de test die een zorgvuldige assistent van een zelfverzekerde onderscheidt.

Wat het meet

Of een uitgebreid antwoord van een model binnen het meegegeven document blijft. Het bevat 1.719 voorbeelden, half openbaar en half achtergehouden, die elk een document van maximaal ongeveer tweeëndertigduizend tokens koppelen aan een opdracht zoals samenvatten, herschrijven of vragen beantwoorden. Antwoorden worden op twee dingen tegelijk beoordeeld: is de opdracht gevolgd, en wordt elke bewering door het document gedekt.

Waarom het de bestuursvraag niet beantwoordt

Dit is de publieke benchmark die het dichtst bij de feitelijkheidsmaat van een bestuur komt, en hij stopt één stap te vroeg. Er wordt gecontroleerd of beweringen door het document worden gedekt, maar het model hoeft niet aan te wijzen waar, waardoor een antwoord kan slagen zonder herleidbaar te zijn. Het werkt bovendien met één document tegelijk, terwijl een bestuursmap een set documenten is die elkaar tegenspreken.

Wat het meet

Hoe vaak een model iets aan een samenvatting toevoegt dat het brondocument niet zegt. Elk model vat dezelfde documenten samen en een apart beoordelingsmodel, HHEM, controleert elke samenvatting tegen de bron. Het gepubliceerde getal is het aandeel samenvattingen dat als niet-getrouw wordt beoordeeld, dus lager is beter, en het is een van de weinige publieke getallen dat leest als een risicocijfer in plaats van een rapportcijfer.

Waarom het de bestuursvraag niet beantwoordt

Het meet één smal gedrag, het samenvatten van één kort tot middellang document, en Vectara zegt dat er ook expliciet bij. Een bestuursassistent beantwoordt vragen over tientallen documenten, wat een ander en zwaarder faalvlak is. Een laag hallucinatiepercentage hier is noodzakelijk en bij lange na niet voldoende.

Wat het meet

Of een model de feiten kent die het beweert te kennen, en of het toegeeft wanneer dat niet zo is. Het bevat 4.326 korte vragen met elk één onbetwistbaar antwoord, tegendraads verzameld zodat de modellen van dat moment ze fout hadden. Belangrijk is dat het drie uitkomsten scoort in plaats van twee: goed, fout en niet geprobeerd.

Waarom het de bestuursvraag niet beantwoordt

De categorie niet geprobeerd maakt SimpleQA de naaste publieke verwant van de eerlijkheidsmaat die een bestuur nodig heeft, en het gaat over wereldkennis, niet over jouw documenten. Bereid zijn om over een historische datum te zeggen dat je het niet weet is iets anders dan durven zeggen dat een cijfer niet in de map staat terwijl een bestuurder op antwoord wacht.

Wat het meet

Een opgeschoonde herbouw van SimpleQA: duizend prompts gefilterd op dubbele vragen, scheve onderwerpverdeling en foute antwoordsleutels, met een verbeterde beoordelingsprompt. Het bestaat omdat de oorspronkelijke set genoeg labelruis bevatte om vergelijkingen tussen dicht bij elkaar liggende modellen te vertekenen. Het meet hetzelfde, betrouwbaarder.

Waarom het de bestuursvraag niet beantwoordt

Het is een betere meetlat voor dezelfde verkeerde muur. Parametrische kennis, oftewel wat het model uit de training onthoudt, is precies waar een bestuursassistent niet op moet steunen als hij een vraag over de eigen cijfers van het bedrijf beantwoordt.

Wat het meet

Of een model precies doet wat er gevraagd is, met instructies die een computer zonder oordeel kan controleren. Ongeveer vijfhonderd prompts bevatten vijfentwintig soorten verifieerbare instructies, zoals schrijf meer dan vierhonderd woorden, antwoord in JSON, of begin elke alinea met een vraag. De scoring is mechanisch, dus er is geen jury en geen ruimte voor smaak.

Waarom het de bestuursvraag niet beantwoordt

Het is één instructie, één keer gecontroleerd, in één bericht. Bestuursdiscipline is een set huisregels die twintig vervolgvragen en een tegensputterende gebruiker moet overleven. IFEval test nooit of de regel bij vraag vijftien nog wordt gevolgd.

Wat het meet

Of instructies volgen ook lukt bij beperkingen waarop het model nooit is getraind. Het introduceert achtenvijftig nieuwe en bewust onbekende verifieerbare beperkingen, juist omdat modellen zich hadden vastgetraind op de kleine set van IFEval. Het is aanvaard op NeurIPS 2025 in het spoor voor datasets en benchmarks.

Waarom het de bestuursvraag niet beantwoordt

Het is het scherpste beschikbare bewijs dat een hoge score op instructies volgen een trainingsartefact kan zijn in plaats van een vaardigheid, wat direct relevant is voor een bestuur dat een assistent huisregels wil geven. Toch test het naleving in één beurt van mechanische beperkingen, niet volgehouden naleving van een in tekst geschreven beleid.

Wat het meet

Of een model zichzelf bij elkaar houdt over een lang gesprek. Het scoort vier dingen die in de praktijk stukgaan: een instructie uit het eerste bericht tot het einde levend houden, terloops genoemde details onthouden, een document betrouwbaar bewerken over meerdere ronden, en samenhangend blijven in plaats van meepraten met wat de gebruiker het laatst zei.

Waarom het de bestuursvraag niet beantwoordt

Dit is het publieke werk dat het dichtst bij de disciplinemaat van een bestuur komt, en het wordt gemeten op algemene conversatie, niet op een documentenset met huisregels. Niets erin controleert of de beweringen van het model naar een bron herleidbaar zijn, en de categorie zelfconsistentie gaat over de gebruiker niet naar de mond praten, niet over geen cijfers verzinnen.

Wat het meet

Welk antwoord mensen mooier vinden. Bezoekers typen een prompt, zien twee anonieme antwoorden naast elkaar en kiezen de beste; de stemmen worden een Elo-achtige rating. Het is de meest geciteerde publieke ranglijst in de sector en meet smaak op schaal, niet juistheid.

Waarom het de bestuursvraag niet beantwoordt

Een stem legt vast welk antwoord er beter uitzag voor een anonieme persoon die het niet kan controleren. Dat beloont zelfverzekerd, netjes opgemaakt en volledig ogend proza, precies de presentatievorm waarin een verzonnen cijfer binnenkomt. Niets in het mechanisme kan een juist antwoord van een overtuigend antwoord onderscheiden, en geen enkele stemmer heeft jouw documenten.

Wat het meet

Eén getal dat meerdere benchmarks combineert, zodat inkopers één ranglijst hebben om naar te wijzen. Versie 4.3 mengt tien evaluaties tot vier gewogen categorieën: agents dertig procent, algemene bekwaamheid dertig procent, programmeren twintig procent en wetenschappelijk redeneren twintig procent. De lijst met onderdelen is openbaar, wat het een van de transparantere samengestelde scores maakt.

Waarom het de bestuursvraag niet beantwoordt

Een samengestelde score erft de blinde vlekken van elke benchmark erin, en deze bevat geen maat voor bronvermelding en geen maat voor of een model toegeeft iets niet te weten. Middelen verbergt bovendien precies wat een bestuur moet zien: een model kan in totaal eerste staan en laatste op de ene eigenschap die bepaalt of je de uitvoer naar de auditcommissie kunt doorsturen.

Wat het meet

Een familie van meer dan twintig ranglijsten op evaluatiesets die bewust besloten blijven, zodat modellen er niet op getraind kunnen worden. De onderwerpen lopen van agentische en software-engineeringvaardigheid tot redeneren aan de voorhoede en veiligheidsgedrag, met prompts geschreven en beoordeeld door geverifieerde vakexperts. De besloten set is de kern: het is een direct antwoord op besmetting.

Waarom het de bestuursvraag niet beantwoordt

Beslotenheid lost besmetting op en creëert een ander probleem: je moet het resultaat op vertrouwen aannemen, omdat je de vragen niet kunt inzien en niet kunt controleren of ze op jouw werk lijken. De domeinen zijn bovendien onderzoeks- en engineeringdomeinen, geen Nederlandse bestuursmap, en er is geen aparte score voor bronvermelding of eerlijkheid.

Wat het meet

Een algemene bekwaamheidsbenchmark die zo is ontworpen dat de vragen niet in de trainingsdata kunnen hebben gezeten. Ongeveer een zesde van de vragen wordt elke maand vervangen, geput uit recent verschenen papers, nieuws en datasets, zodat de hele set twee keer per jaar ververst. Alles wordt beoordeeld tegen een objectieve antwoordsleutel, zonder model als jury.

Waarom het de bestuursvraag niet beantwoordt

Het is de beste beschikbare verdediging tegen besmetting binnen de algemene bekwaamheidsbenchmarks, en de categorieën blijven redeneren, programmeren, wiskunde, data-analyse, taal en instructies volgen. Geen daarvan is trouw aan een documentenset, en geen daarvan scoort wat er gebeurt als het antwoord er simpelweg niet is.