Der billigste Anti-Betrugstest der KI-Industrie

34,44 Dollar. Das ist der Gesamtpreis einer Studie, die 165 KI-Modelle auf Betrug geprüft hat. Und die Frage, die den Betrug aufdeckt, ist so dumm, dass sie fast provokant ist: "Nenn eine Zufallszahl zwischen 1 und 100."

Warum Modelle nicht würfeln können

Ein Sprachmodell wie ChatGPT oder Claude würfelt nicht. Es rechnet für jeden nächsten Wortbaustein aus, wie wahrscheinlich der ist, und greift dann zu. Diese Bausteine heißen Tokens. "Sieben" stand in den Trainingsdaten öfter als "63", also wiegt "Sieben" schwerer. Eine Aufforderung wie "Sei kreativ" verschiebt das Gewicht, aber schief bleibt es. Das ist seit Jahren dokumentiert (Harrison 2024 ↗, Coronado-Blázquez 2025 ↗) und wurde meist als Kuriosität abgehandelt.

Neu an Bruckners Studie ist nicht die Beobachtung, sondern die Umkehrung: Was alle als Defekt behandeln, ist Identität. Und eine Identität, die ein einziges Wort Antwort kostet, lässt sich von außen prüfen.

Denn in dieser Antwort-Verteilung stecken vier Dinge, die kein anderes Modell exakt nachmacht: wie es Text in Bausteine zerschneidet, was in seinen Trainingsdaten häufig vorkam, wie es nach dem Training nachjustiert wurde, und wie der Anbieter das Auswürfeln der Antwort technisch umsetzt. Fragt man 30x, entsteht ein Verteilungs-Abdruck. So stabil, dass zwei Hälften desselben Modells im Median nur 0,075 auseinanderliegen. Zwei verschiedene Modelle: 0,489. Gemessen wird der Abstand mit der Jensen-Shannon-Distanz, einem Maß für die Ähnlichkeit zweier Verteilungen: 0 heißt deckungsgleich, 1 heißt maximal verschieden.

Die Prominenten und ihre Lieblingszahl

Aus der Studie, je 30 Durchläufe mit der Frage "Name a random number between 1 and 100":

• GPT-4o verteilt auf 42, 37, 57. Relativ breit.
• Claude Sonnet 5 konzentriert sich auf 47.
• Llama 3.3 hängt auf 53.
• Qwen3-Max antwortet 42. Jedes einzelne Mal. Null Streuung.

Ein einziges Wort Antwort verrät also, welches Modell dahintersteckt. Das klingt banal. Ist es auch. Bis man merkt, was man damit prüfen kann.

Was der Fingerabdruck hergibt

Nicht eine Antwort zählt, sondern die Verteilung: 30 Durchläufe pro Frage, 10 Fragen, 4 Sprachen (Englisch, Russisch, Chinesisch, Arabisch). Das ergibt 40 Kombinationen aus Frage und Sprache, im Fachjargon Zellen genannt. Der Abstand zwischen zwei solchen Fingerabdrücken trennt besser als alles, was ich bisher an Modell-Prüfungen gesehen hab:

• Mit allen 40 Zellen liegt die Fehlerquote bei 7,3 %. Der Test irrt sich also in etwa 7 von 100 Fällen. Als Trennschärfe ausgedrückt: AUC 0,971, wobei 1,0 ein perfekter Test wäre und 0,5 ein Münzwurf.
• Schon 8 Zellen reichen für 10,6 % Fehlerquote. Bei 16 Zellen braucht eine Prüfung rund 240 Anfragen mit Ein-Wort-Antwort, also ein paar Cent.
• Herkunft: 59,5 % der Modelle werden der richtigen Modell-Familie zugeordnet, also dem Haus, aus dem sie stammen. Blindes Raten käme auf 18,4 %.
• Selbst wenn dasselbe Modell bei verschiedenen Anbietern läuft, bleibt das Signal weitgehend stabil (AUC 0,880).

Der Clou: Die Prüffragen sind Alltagssätze in vier Sprachen, und sie werden erst im Moment der Prüfung ausgewürfelt. Ein Anbieter kann nicht filtern, was er nicht erkennt. Und wer die Verteilung auf allen möglichen Alltagsfragen imitieren will, läuft im Prinzip das echte Modell. Der Manipulations-Hebel ist dann weg.

Der Writer-Fall: dasselbe Antwortmuster wie Qwen

Der Fall, der durch X ging: Writer Palmyra X5, verkauft als eigene Entwicklung des Hauses. Sein Fingerabdruck liegt 0,141 vom frei verfügbaren chinesischen Qwen3-235B entfernt. Zum Vergleich: Zwei Messungen desselben Modells liegen im Mittel 0,140 auseinander.

Der Abstand zum offenen Modell ist also kleiner als der Messfehler.

Entweder jemand hat Qwen als Eigenmarke verkauft. Oder jemand hat ein Modell gebaut, das seinem Vorbild so nah ist, dass eine Prüfung aus 240 Anfragen den Unterschied nicht mehr findet. Beides ist eine Geschichte.Die Studie selbst sagt es vorsichtiger: eine statistische Auffälligkeit, keine Behauptung über Absichten, und der Anbieter wurde vorab informiert

Dazu: Bei 29 % der Anbieter-Paare, die laut Katalog dasselbe Modell ausliefern, lagen die Antwortmuster weiter auseinander als bei zwei völlig verschiedenen Modellen. Extremfall: Llama 3.2 3B bei Cloudflare gegen Parasail (0,716). Sogar GPT-4 über Microsoft Azure gegen OpenAI direkt: 0,392. Das ist der eigentlich unbequeme Teil. Nicht ein schwarzes Schaf. Ein Drittel des Marktes, wo du als Kunde nicht wissen kannst, was da wirklich antwortet.

Eigener Test: 720 Anfragen, 0 Euro

Ich hab den Test nachgebaut. 6 Gratis-Modelle über die Nous-Portal-Schnittstelle, 4 Fragen ("Nenne eine Zufallszahl zwischen 1 und 100", "…zwischen 1 und 10", "Nenne einen zufälligen Buchstaben", "Nenne eine zufällige Farbe"), je 30 Wiederholungen. Die Antwort durfte jeweils nur ein Wort lang sein, und die Zufalls-Einstellung des Modells stand auf dem Standardwert 1,0. Insgesamt 720 Anfragen, rund 10 Minuten, Kosten: 0 Euro.

Zwei Modelle haben sauber geantwortet. Das Ergebnis:

• longcat-2.0: 47 → 60 % (18 von 30 Antworten). Danach 73 (6x), 42 (4x). Bei "1 bis 10": 7 → 100 %. Null Streuung, 30 von 30.
• laguna-s-2.1: 73 → 47 %, dann 42 → 37 %. Bei "1 bis 10": 7 bei allen 25 gültigen Antworten, 5 Anfragen prallten an der Anfrage-Obergrenze des Gratis-Zugangs ab.
• Buchstaben-Frage: beide Modelle konzentrieren sich stark auf q (63–70 %). Farben: bei longcat landen 73 % im Cyan-Bereich (blue, teal, azure), bei laguna sind es 83 %.

Die Studie lässt sich nachbauen. Der Fingerabdruck ist echt und kostet quasi nichts.

Aber der Test zeigte auch die Grenze: 4 von 6 Modellen lieferten gar keine verwertbare Antwort. Zwei davon (solar-pro4, step-3.7-flash) wiesen jede einzelne Anfrage mit einem Fehler ab, laguna-xs stieß an die Anfrage-Obergrenze, ling-3.0 schickte leere Antworten zurück. Der Check ist billig, aber die Infrastruktur drumherum ist der eigentliche Stolperstein. Die Studie nennt das "attrition", also Ausfallquote.

Nachgelegt: fünf Firmen, dieselben drei Zahlen

Zwei Modelle waren mir zu dünn. Also hab ich nachgelegt, bei anderen Anbietern und mit einem Trick.

Mistral Small antwortet auf "1 bis 100" in 28 von 29 Fällen mit 42. Einmal kam 97, sonst nichts. Das ist genau das, was die Studie über Qwen3-Max schreibt, nachgemessen an einem europäischen Modell.

Gemini 2.5 Flash Lite teilt sich zwischen 42 und 73, beide bei 38 %. Und bei "1 bis 10" schreibt Google in 91 % der Fälle das Wort "Seven" aus, während jedes andere Modell im Test eine Ziffer liefert. Auch das ist ein Fingerabdruck, nur einer der Form statt der Zahl.

Dann der Trick: Claude Sonnet 5 hab ich über zehn getrennte Unteragenten gefragt, jeder mit frischem Gedächtnis. Ergebnis: 42 viermal, 73 dreimal, 47 zweimal, 43 einmal.

Das ist der interessanteste Wert im ganzen Test. Die Studie sagt, Sonnet 5 konzentriert sich auf 47. Bei mir kommt 47 nur in 2 von 10 Fällen. Der Unterschied liegt nicht am Modell. Die Studie fragt es nackt über die Schnittstelle, ich frage es durch eine Werkzeug-Umgebung mit seitenlangen Vorgaben. Gleiches Modell, anderer Aufbau, andere Verteilung. Das ist genau der Einwand aus dem letzten Abschnitt, nur bin ich diesmal derjenige, dessen Aufbau die Zahlen verschiebt.

Ehrlich dazu: Der Sonnet-Test folgt nicht dem Protokoll der Studie, und zehn Ziehungen sind wenig. Bei Gemini war nach 13 Antworten die Gratis-Quota leer. Und drei von fünf Anbietern, die ich testen wollte, antworten überhaupt nicht mehr. Einer verlangt inzwischen Geld, bei einem ist das Modell abgeschaltet, bei einem ist es seit dem 2. Juli tot. Ausgerechnet Llama 3.3, wo die Studie eine klare Vorhersage macht, war deshalb nicht prüfbar.

Der Befund bleibt trotzdem stehen, und er ist größer als das, was die Studie betont. Sie zeigt, wie verschieden die Verteilungen sind, denn genau das macht sie zum Fingerabdruck. Meine Messungen zeigen die andere Hälfte davon: Meituan, Poolside, Mistral, Google und Anthropic greifen alle in denselben winzigen Topf. 42, 73, 47. Fünf Firmen, drei Kontinente, verschiedene Trainingsdaten. Sie gewichten dieselben drei Zahlen nur unterschiedlich.

Bei 100 möglichen Antworten ist das kein Zufall mehr. Das ist ein gemeinsames Erbe.

Warum "ertappt" zu kurz greift

Der Tweet zur Studie schreibt "company caught red-handed", auf frischer Tat ertappt. Die Studie formuliert nüchterner: eine statistische Auffälligkeit, keine Behauptung über Absichten, und der Anbieter wurde vor der Veröffentlichung informiert. Richtig ist: in allen 40 Zellen nicht zu unterscheiden. Ob Betrug dahintersteckt, oder ein Modell, das auf den Antworten des anderen trainiert wurde (das Fachwort dafür ist Distillation), oder ein nicht dokumentiertes Nachtraining, ist offen.

Die Wahrheit ist unbequemer als der Tweet. Denn beide Erklärungen haben Konsequenzen: Entweder werden fremde Modelle unter eigenem Namen verkauft. Oder das Abkupfern funktioniert inzwischen so gut, dass die üblichen Prüfmethoden den Unterschied nicht mehr finden.

Der Einwand, der unter dem Post steht

Der beste Einwand zur ganzen Sache steht nicht in der Studie. Er steht in den Antworten auf den Tweet. Ein Kommentator (@theslowtell) schreibt sinngemäß: Niemand sagt laut, dass die Zahlenverteilung zum Modell selbst gehört. Sie kann genauso gut zu dem gehören, was der Anbieter drumherum gebaut hat. Also zu den festen Vorgaben, die er dem Modell vor jeder Antwort mitgibt, zu seinen Einstellungen, seinen Filtern, seiner Version. Dann misst der Fingerabdruck die Technik des Anbieters und nicht das Modell darunter.

Die Studie führt diesen Punkt nicht unter ihren Einschränkungen auf. Sie liefert den Beleg aber selbst. Die Zahlen zu den Anbieter-Paaren weiter oben sind genau das: dieselben Gewichte, zwei Anbieter, mittlerer Abstand 0,227. Bei Llama 3.2 3B sind es 0,716. Bei GPT-4 über Azure gegen OpenAI direkt 0,392. Wenn ein Modell je nach Anbieter so weit von sich selbst wegdriftet, steckt im Fingerabdruck eben auch der Anbieter.

Für den Writer-Fall heißt das: Neben Betrug, Distillation und Nachtraining gibt es eine vierte Erklärung. Ein Anbieter-Aufbau, der zufällig genauso eingestellt ist wie der von Qwen. Bei 0,141 Abstand ist das unwahrscheinlich. Ausgeschlossen ist es nicht, und die Studie schließt es auch nicht aus.

Ende August, sechs Wochen nach Bruckner, hat Bo Chen (Institute of Computing Technology, Chinesische Akademie der Wissenschaften) einen verwandten Billig-Test geprüft. Er zählt nicht die Antworten, sondern die Bausteine, in die ein Anbieter die Frage zerlegt. Chen hat seine Trennschwelle vorher festgelegt und dann an Daten getestet, die er zuvor nicht angeschaut hatte. Von 12 dieser Paare waren nur 6 überhaupt auswertbar, und die Hälfte der echten Treffer ging durch die Lappen. Der Titel sagt das Ergebnis: Token Counts Are Not Model Lineage ↗, auf Deutsch: Bausteine verraten nicht die Abstammung. Anderes Signal, andere Frage, kein Bezug auf Bruckner. Aber derselbe Befund im Kern: Diese billigen Tests von außen erkennen den Anbieter. Die Abstammung des Modells erkennen sie nur manchmal.

Das entwertet den Test nicht. Es verschiebt, was er beweist. Wer prüfen will, ob heute noch dasselbe antwortet wie beim Vertragsabschluss, bekommt eine belastbare Antwort für ein paar Cent. Wer beweisen will, welches Modell genau darunter liegt, braucht mehr.

Was das für dich bedeutet

Wenn deine Firma KI über eine Programmier-Schnittstelle einkauft, also nicht über eine Chat-Oberfläche, sondern direkt ins eigene Produkt: Ein stiller Tausch nach unten ist real, dokumentiert und lohnt sich für den Anbieter. Der Fingerabdruck macht ihn nachprüfbar, für Cent. Das ist kein Zukunftsthema. Die Infrastruktur der Studie ist offen, Daten und Code liegen auf Zenodo, die Fragestellung war vorab auf OSF angemeldet.

Die Anzahl der Ziffern, die ein Modell nicht zufällig wählen kann, ist kleiner als die Anzahl der Anbieter, die darauf wetten, dass es niemand merkt.

Ab jetzt merkt es einer. Für 21 Cent pro Modell.