01 · Fragen
Sechs Modelle, unabhängig voneinander
Dieselbe Frage geht parallel an alle sechs Konsens-Modelle. Jedes antwortet für sich, mit abgeschalteten Tools und ohne Webzugang.
Benchmark · MMLU-Pro
Wir haben den Konsens auf die Probe gestellt.
consens.io schickt eine Frage an sechs führende Modelle und führt ihre Antworten zu einem einzigen Konsens zusammen. Also haben wir die naheliegende Gegenfrage gestellt: Schlägt dieser Konsens wirklich die Modelle, aus denen er entsteht? Hier ist der Lauf, gemessen an bekannten richtigen Antworten – nichts verborgen.
Wenn die Modelle uneins sind
Trefferquote bei den strittigen Fragen · MMLU-Pro
72.1%
70.6%
69.1%
64.7%
58.8%
44.1%
39.7%
Der hervorgehobene Balken ist der Konsens von consens.io – vorn bei den Fragen, bei denen sich die Modelle nicht einig werden.
So lief der Test
Eine Frage, sechs Antworten, ein Konsens.
MMLU-Pro ist eine schwere Multiple-Choice-Prüfung auf Expertenniveau. Jede Frage läuft Closed-Book: keine Websuche, keine Tools, keine externen Quellen, nur das, was jedes Modell selbst weiß.
02 · Zusammenführen
Der Konsens entsteht
Genau dieselbe Konsens-Logik wie in der App führt die sechs Antworten zu einer finalen Antwort zusammen, mit Gemini 3.5 Flash als zusammenführendem Modell – derselbe Weg, den ein echter Prompt nimmt.
03 · Bewerten
An der richtigen Lösung gemessen
Jede Antwort (jedes Modell, ein einfacher Mehrheitsentscheid und der Konsens) wird an der bekannten richtigen Option des Datensatzes gemessen.
Die zentrale Zahl
Trefferquote über alle 314 Fragen.
Der Konsens liegt vorn, aber nur knapp. An der Spitze sind die Abstände winzig, und die 95-%-Konfidenzintervalle (die Fehlerbalken) überlappen stark. Ehrlich gelesen liegen die führenden Systeme statistisch gleichauf. Die Erkenntnis ist nicht „wir gewinnen jede Frage“, sondern dass der Konsens verlässlich mit den besten Modellen mithält, statt Richtung Durchschnitt abzurutschen.
Gesamt-Trefferquote bei MMLU-Pro
Anteil der 314 Fragen, die richtig beantwortet wurden · Fehlerbalken zeigen das 95-%-Konfidenzintervall
Trefferquote
100%
75%
50%
25%
0%
consens.ioKonsens
ClaudeOpus 4.8
GPT-5.5ΣMehrheits-
entscheid
entscheid
Gemini3.5 Flash
Grok 4.3DeepSeekV4 Pro
MistralMedium 3.5
Konsens von consens.io Einzelnes Modell Mehrheitsentscheid (Basislinie) 95-%-Konfidenzintervall
Wo es spannend wird
Wenn die Modelle uneins sind, setzt sich der Konsens ab.
Bei den meisten Fragen sind sich die Modelle ohnehin einig, das Kombinieren ändert also wenig. Der eigentliche Test sind die 68 Fragen, bei denen sie auseinanderliegen. Hier kostet die Wahl des falschen Modells, und die Abstände wachsen. Der Konsens landet wieder vorn, und zwar deutlich vor einem naiven Mehrheitsentscheid. Die Fehlerbalken sind breit (nur 68 Fragen), nimm das also als starkes Signal, nicht als gesicherte Tatsache.
Trefferquote bei den 68 strittigen Fragen
Nur Fragen, bei denen die sechs Modelle nicht einstimmig waren · Fehlerbalken zeigen das 95-%-Konfidenzintervall
Trefferquote
100%
75%
50%
25%
0%
consens.ioKonsens
ClaudeOpus 4.8
GPT-5.5ΣMehrheits-
entscheid
entscheid
Gemini3.5 Flash
Grok 4.3DeepSeekV4 Pro
MistralMedium 3.5
Konsens von consens.io Einzelnes Modell Mehrheitsentscheid (Basislinie) 95-%-Konfidenzintervall
Was das bedeutet
Drei ehrliche Lesarten.
#1Der Konsens liegt insgesamt und bei den schweren Fragen auf Platz eins, auch wenn die Spitze innerhalb der Fehlerspanne liegt.
+32 Pkt.Bei strittigen Fragen liegt der Konsens (72,1 %) weit über dem schwächsten Modell (39,7 %): Falsch zu wählen ist teuer.
0Fehler und Enthaltungen beim Konsens: Er lieferte bei jeder einzelnen Frage eine saubere, auswertbare Antwort.
Nie das schwächste Glied
Er folgt den Besten, nicht dem Durchschnitt
Sechs Antworten zusammenzuführen führt nicht zur Regression zur Mitte. Der Konsens bleibt an der Spitze, statt von schwächeren Modellen nach unten gezogen zu werden.
Besser als eine Abstimmung
Antworten lesen schlägt Antworten zählen
Der Konsens wägt die sechs Antworten inhaltlich ab und schlägt einen einfachen Mehrheitsentscheid – am deutlichsten genau dann, wenn die Modelle uneins sind.
Keine Übertreibung
Die Abstände an der Spitze sind nicht signifikant
Bei 314 Fragen überlappen die Konfidenzintervalle. Wir behaupten keinen K.-o.-Sieg, nur dass Kombinieren besser ist, als auf ein einzelnes Modell zu setzen.
Das Kleingedruckte
Wie genau gemessen wurde.
Aufbau
- Datensatz: 314 Fragen aus MMLU-Pro, einem Multiple-Choice-Benchmark auf Expertenniveau, zusammengeführt aus drei Läufen mit unterschiedlichen Stichprobenverfahren (mit strittigen Fragen angereichert, nach Kategorien ausgewogen und zufällig).
- Closed-Book: Websuche, Retrieval und Tools waren für jedes Modell abgeschaltet. Jedes antwortete nur aus eigenem Wissen.
- Modelle: GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash, Mistral Medium 3.5, DeepSeek V4 Pro und Grok 4.3 – dieselben sechs, die auch die App nutzt.
- Konsens: gebildet mit der Konsens-Logik, die die App im Betrieb nutzt; zusammengeführt hat in diesem Lauf Gemini 3.5 Flash.
- Bewertung: ein Versuch pro Frage, gemessen an der laut Datensatz richtigen Option (Ground Truth). Der Mehrheitsentscheid ist die einfache relative Mehrheit der sechs Modellantworten.
Die Zahlen lesen
- Die Fehlerbalken sind 95-%-Konfidenzintervalle. Wo sie sich überlappen, ist der Unterschied nicht statistisch signifikant – und an der Spitze der Gesamtgrafik überlappen sie stark.
- Die Teilmenge der strittigen Fragen umfasst nur 68 Fragen, ihre Intervalle sind daher breit. Die Reihenfolge ist ein starkes, konsistentes Signal, aber kein bewiesenes Ergebnis.
- Das ist eine Momentaufnahme mit einem eingefrorenen Prompt und einer festen Modellauswahl. Wir halten den Prompt unverändert, damit der Lauf über die Zeit weiter vergleichbare, unverzerrte Daten sammelt.
Probier es selbst