Vorstände und Regierungen begründen Milliardenentscheidungen mit den Bestwerten künstlicher Intelligenz. Diese Zahlen sind manipulierbar, teils kontaminiert und selten reproduzierbar. Wer eine Technologie an ihren eigenen Prüfsiegeln misst, hat sie nicht geprüft.

In den Strategievorlagen dieses Jahres steht häufig dieselbe Kurve. Auf dem Benchmark OSWorld, der KI-Agenten an echten Computerarbeitsplätzen prüft, stiegen die Bestwerte binnen eines Jahres von zwölf auf über siebzig Prozent gelöster Aufgaben. Auf dieser Linie ruhen Investitionsbeschlüsse, Stellenpläne und ganze Umbauprogramme. Kaum jemand fragt, wie die Zahl entsteht. Wer es tut, stößt auf ein Geschäft, in dem die Geprüften ihre eigenen Noten vergeben.

Schon der Ursprung mahnt zur Vorsicht. Als OSWorld 2024 erschien, lösten Menschen gut 72 Prozent der Aufgaben, das beste Modell kaum zwölf. Ein Jahr später musste der Test mit über dreihundert Korrekturen überarbeitet werden, weil viele Aufgaben fehlerhaft und gar nicht sauber zu bewerten waren. Ein Teil des gefeierten Aufstiegs maß also weniger die Maschine als die Mängel der Prüfung. Hinzu kommt, dass die Spitzenwerte davon abhängen, wie oft ein Agent es versuchen darf und mit welchem technischen Gerüst er antritt. Wer genügend Versuche und das passende Beiwerk zulässt, hebt die Zahl, ohne dass das Modell besser geworden wäre.

Wo so viel von der Darstellung abhängt, wird die Darstellung optimiert. Im April 2025 setzte Meta sein Modell Llama 4 auf der Vergleichsplattform LMArena auf den zweiten Rang. Getestet wurde dort eine eigens auf den Publikumsgeschmack getrimmte Version, die es so nie zu kaufen gab. Die Plattform rügte das Vorgehen und stellte über zweitausend Vergleichsduelle zur Kontrolle online. Eine Untersuchung von Forschern aus Cohere, Stanford, dem MIT und Ai2 zeigte kurz darauf, dass mehrere große Anbieter Dutzende Varianten heimlich erproben und nur den besten Treffer öffentlich machen durften. Die Rangliste, an der sich der Markt orientiert, belohnt damit vor allem die beste Vorbereitung auf den Test.

Selbst dort, wo unabhängig geprüft werden soll, trübt sich das Bild. Als OpenAI im Dezember 2024 sein Modell o3 vorstellte, war die Sensation ein Wert von gut 25 Prozent auf dem Mathematiktest FrontierMath, an dem frühere Modelle unter zwei Prozent geblieben waren. Am selben Tag wurde bekannt, dass OpenAI die Erstellung dieses Tests bezahlt und Zugang zu den meisten Aufgaben samt Lösungen hatte. Die Entwickler räumten ein, das Ergebnis nicht unabhängig bestätigen zu können, das Trainingsverbot habe nur als mündliche Zusage bestanden. Wer den Test finanziert und seine Fragen kennt, kann jede Bestleistung verkünden, ohne dass jemand sie nachrechnen könnte.

Das wäre halb so ernst, handelte es sich um Einzelfälle. Eine breit angelegte Prüfung des Oxford Internet Institute kam 2025 zu einem anderen Befund. Von 445 untersuchten KI-Tests wies fast jeder methodische Schwächen auf, rund die Hälfte ließ offen, was überhaupt gemessen werden soll. Die Autoren nennen viele dieser Tests irreführend und warnen, dass selbst angesehenen Ranglisten zu unbesehen vertraut wird. Ein System kann ein Quiz glänzend bestehen und an der ersten echten Kundenanfrage scheitern, weil der Test eine andere Frage beantwortet als die, die im Betrieb zählt.

Die Folgen reichen weit über die Forschung hinaus. Unternehmen begründen mit solchen Werten Investitionen und Stellenpläne. Beratungen leiten Prognosen ab, nach denen bis 2028 ein Drittel der Geschäftssoftware agentisch arbeiten soll. Die Politik stützt Förder- und Standortprogramme auf denselben gemeldeten Fortschritt. Wer auf eine Zahl baut, die niemand unabhängig wiederholen kann, hat für eine Millionenentscheidung keine belastbare Grundlage.

Der Ausweg ist unbequem, aber schlicht. Eine Leistung zählt erst, wenn sie unter den eigenen Bedingungen entsteht, an Aufgaben, die der Anbieter nicht kennt, wiederholbar geprüft von einer Stelle, die am Ergebnis nichts verdient. Die Oxforder Gutachter nennen das die Frage, ob ein Test überhaupt misst, was er zu messen vorgibt. In den meisten Entscheidungsvorlagen kommt sie nicht vor. Dort aber müsste sie zuerst stehen.

Die KI-Wende mag echt sein, doch beweisen muss sie sich an der eigenen Arbeit, an der eigenen Aufgabe, mit offenem Protokoll. Eine Bestnote, die der Anbieter selbst meldet und niemand nachrechnet, ist kein Beweis. Sie ist ein Prüfsiegel, das sich die Geprüften ausgestellt haben.