Model Pulse live

Wie oft ist die Antwort eines Modells die beste, wenn es im Lauf dabei ist?

Jeder consens.io-Lauf schickt eine Frage an mehrere Modelle. Ein Prüfmodell wählt dann die stärkste einzelne Antwort. Hier siehst du für jede Modellfamilie, wie oft diese Wahl auf sie fiel – gemessen an den Läufen, in denen sie tatsächlich dabei war.

Siegquote

Anteil der Läufe einer Familie, in denen das Prüfmodell ihre Antwort gewählt hat. Basis- und Pro-Modelle zählen als eine Familie.

Zeitraum 7 days 30 days 90 days All time

Läufe Alle Konsens Agent

Nur Läufe mit Sortieren nach

01 OpenAI / ChatGPT 233 von 416 runs · 3.1× fair share 56%
02 DeepSeek 68 von 441 runs · 0.8× fair share 15%
03 Google / Gemini 70 von 500 runs · 0.7× fair share 14%
04 Meta / Muse 28 von 210 runs · 0.7× fair share 13%
05 Moonshot AI / Kimi 17 von 134 runs · 0.7× fair share 13%
06 Z.ai / GLM 32 von 291 runs · 0.6× fair share 11%
07 Anthropic / Claude 28 von 266 runs · 0.6× fair share 10%
08 xAI / Grok 29 von 371 runs · 0.4× fair share 8%
09 Mistral 3 von 142 runs · 0.1× fair share 2%

Zu wenige Läufe für eine Wertung (under 10): Qwen 3

508 bewertete Läufe since 2026-08-11 · im Schnitt 5.5 Antworten pro Lauf. Weder Fragetexte noch Nutzeridentitäten fließen in diese Zählung ein.

So liest du ihn

01

Eine Quote, keine Stimmenzahl

Eine Familie, die in mehr Läufen dabei ist, wird öfter gewählt, ohne besser zu sein. Deshalb teilen wir, wie oft eine Familie gewählt wurde, durch die Zahl ihrer Läufe: 30-mal gewählt in 100 Läufen ergibt eine Siegquote von 30 %.

02

Der Strich ist der Zufall

Bei sechs Antworten pro Lauf würde eine blinde Auslosung jede in etwa 17 % der Fälle treffen. Der Strich auf jedem Balken markiert diesen fairen Anteil für die Läufe, in denen die Familie dabei war. „2,8× fairer Anteil“ heißt: 2,8-mal so oft gewählt wie per Zufall.

03

Breites Band, wenige Läufe

Das schattierte Band ist der Bereich, in dem die wahre Quote plausibel liegt. Familien mit weniger als 10 Läufen werden aufgeführt, aber nicht gewertet.

04

Gegner wählen

„Nur Läufe mit“ beschränkt die Übersicht auf Läufe, an denen eine bestimmte Familie beteiligt war, und zeigt für jede andere Familie den direkten Vergleich mit ihr.

05

Ehrliche Grenzen

Die Fragen sind echt und unkontrolliert, und die Wahl ist ein Urteil, kein geprüfter Lösungsschlüssel. Das ist weder eine Beliebtheitsabstimmung noch ein Benchmark für Trefferquoten.

Zwei verschiedene Blickwinkel

Live-Verhalten und kontrollierte Trefferquote beantworten verschiedene Fragen.

Model Pulse

Wessen Antwort sticht in alltäglichen Läufen heraus?

Fragen: Echte, wechselnde Prompts
Signal: Wahl des Prüfmodells je Lauf, in dem eine Familie dabei war
Am besten für: Produktverhalten und Formkurve der Modelle

MMLU-Pro-Benchmark

Was ist unter festen Bedingungen richtig?

Fragen: 314 Prüfungsfragen mit bekannter Lösung
Signal: Gemessene Trefferquote
Am besten für: Kontrollierter Vergleich von Modellen und Konsens

Ganzen Benchmark öffnen

Dein eigener Vergleich

Kein Modell gewinnt jedes Mal. Frag also mehrere.

App öffnen