31. Juli 2026
Claude Opus 5 kam mit einer Grafik, die es an die Spitze der Frontier setzt, zum halben Preis von Fable 5. Jede Zahl darin stimmt. Zwei Wochen täglicher Nutzung haben mir ein anderes Modell übergeben als das, was ich mir aus dem Marketing zusammengebaut hatte. Also: wie Modelle verkauft werden, warum die Benchmarks nicht mehr messen, was sie zu messen behaupten, und was Opus 5 tatsächlich ist.
18 Min. Lesezeit
Der Rat lautet: Triff niemals dein Idol. Du baust dir die Person aus Interviews zusammen, aus geschnittenem Material und aus Rollen, die jemand anders besetzt hat. Dann stehst du vor ihr, und die Version, die du gebaut hast, hat keinen Platz mehr. Manchmal ist sie einfach gewöhnlich. Manchmal ist sie das Gegenteil dessen, wofür du sie bewundert hast.
Claude Opus 5 erschien am 24. Juli 2026. Ich hatte die Grafik gelesen, bevor ich eine einzige Aufgabe damit laufen ließ.
Zwei Wochen später weiß ich, was es ist. Es ist nicht das Modell, das die Grafik beschrieben hat, und niemand hat mich belogen. Diese beiden Tatsachen vertragen sich besser, als sie sollten.
Was folgt, beginnt bei der Launch-Seite, arbeitet sich hinunter zu den Benchmarks, die sie tragen, und endet bei dem Modell, das ich tatsächlich habe.
Fangen wir beim Präparat an. Anthropics Launch-Seite eröffnet mit einem einzigen Satz, der die meiste Arbeit erledigt:1
Ein nachdenkliches und proaktives Modell, das der Frontier-Intelligenz von Claude Fable 5 nahekommt, zum halben Preis.
Lies das als Ingenieur und nicht als Leser. "Kommt nahe" ist für sich genommen nicht widerlegbar, deshalb braucht es die Grafik darunter. "Zum halben Preis" ist die einzige harte Zahl im Satz, und sie beschreibt die Preisliste, nicht das Modell. Der Satz baut einen Handel auf, bevor du ein Ergebnis gesehen hast. Du gibst eine unbestimmte Menge Fähigkeit ab. Du bekommst eine bestimmte Menge Geld zurück.
Die Aussagen darunter sind schärfer, und jede davon stimmt.
Opus 5 führt Frontier-Bench v0.1 an und übertrifft Opus 4.8 um mehr als das Doppelte, bei geringeren Kosten pro Aufgabe. Auf CursorBench 3.2 landet es 0,5 Prozent unter dem Spitzenwert von Fable 5, zum halben Preis pro Aufgabe. Auf ARC-AGI 3 erreicht es das Dreifache des nächstbesten Modells. Auf OSWorld 2.0 schlägt es das beste Ergebnis von Fable 5 für gut ein Drittel der Kosten.
Jetzt zähl nach, wie viele dieser Sätze Fähigkeit vergleichen. Einer. Der Rest vergleicht ein Verhältnis.
Das ist der erste Zug des Genres, und er ist legitim. Kosten pro gelöster Aufgabe entscheiden eine echte Beschaffung, und ein Labor, das damit anfängt, sagt dir etwas Nützliches. Es verschiebt zugleich still die Frage von "welches Modell ist besser" zu "welches Modell ist besser pro Dollar", und die Antworten darauf sind verschieden. Wer quer liest, nimmt die erste mit.
Der zweite Zug ist der Betriebspunkt. Anthropic misst "0,5 Prozent unter dem Spitzenwert von Fable 5" bei maximalem Effort. Spitze gegen Spitze vergleicht zwei Obergrenzen fair. Über die Konfiguration, die du tatsächlich fährst, sagt es nichts, und bei diesem Modell liegen die Stufen weiter auseinander, als man vermuten würde.
Der dritte Zug steckt in der Fußnote. Die Ergebnisse zu Frontier-Bench v0.1 stammen aus einem internen Lauf auf dem mini-SWE-agent-Harness mit GKE-Backend, gewertet als mittlerer Reward über fünf Versuche pro Aufgabe.2
Fünf Versuche, gemittelt. Du bekommst einen.
Drei Züge, und jeder davon ist ehrlich. Prüf jetzt die eine Aussage in diesem Satz, die eine Zahl trägt. Opus 5 kostet pro Token die Hälfte von Fable 5. Artificial Analysis hat beide bei maximalem Effort laufen lassen und eine echte Aufgabe mit 2,03 Dollar gegen 2,75 Dollar bepreist, also 26 Prozent günstiger statt 50.3
Die fehlenden 24 Punkte sind Token. Das Modell kostet pro Token halb so viel und verbraucht mehr davon für dieselbe Arbeit. Rezensenten, die beide Modelle fahren, berichten es von der anderen Seite: mehr Output-Token pro Aufgabe als Fable 5, und mehr Agent-Schritte bis zum Ziel.4
Der Preis pro Token ist eine Tatsache über die Rechnung. Die Kosten pro Aufgabe sind eine Tatsache über das Modell. Beide Zahlen führen dieselbe Veröffentlichung an und unterscheiden sich um die Hälfte.
Lies die Methodik vor der Grafik
Das Labor, das die Aussage trifft, hat jedes Wort davon veröffentlicht, in klarer Sprache, auf derselben Seite. Die Asymmetrie liegt in der Aufmerksamkeit. Die Schlagzeile existiert, um gelesen zu werden, die Fußnote, um korrekt zu sein, und beide erfüllen ihren Zweck. Nur eine davon erfüllt ihn an dir.
Ein Modell hat keinen Wert. Ein Modell plus Harness plus Konfiguration plus Bewertungsregel hat einen Wert, und alle vier sind Entscheidungen derjenigen Partei, die die Zahl berichtet.
| Stellschraube | Auswahlraum | Was sie bewegt |
|---|---|---|
| Harness | mini-SWE-agent, claude-code, codex, eigene Schleife | Tool-Zugriff, Retry-Logik, Kontextführung |
| Effort oder Denken | niedrig bis maximal, oder ein explizites Token-Budget | Tiefe, Kosten und Over-Engineering |
| Versuche | ein Lauf, best of k, Mittel aus fünf, Konsens paralleler Läufe | Varianz, und ob Glück mitzählt |
| Sampling | temperature, top_p, max_tokens | Wie dieselbe Überlegung zu Text wird |
| Bewertung | programmatische Tests, oder ein Modell als Richter | Sprödigkeit hier, Verzerrung dort |
| Prompt | generischer System-Prompt, oder einer auf die Eigenheiten des Tests hin | Mehrere Punkte, unbemerkt |
Nimm nur die zweite Zeile. Opus 5 bringt eine fünfstufige Effort-Leiter mit, von low über medium, high und xhigh bis max, mit Denken als Voreinstellung.5 Artificial Analysis hat gemessen, was diese Stufen bewirken. Auf GDPval-AA v2 liegen zwischen ihnen 407 Elo-Punkte, und der Output-Token-Verbrauch schwankt um etwa das Achtfache von low bis max.3
Ein Modell, achtmal so viele Token, 407 Elo Spannweite, und eine einzige Zahl auf der Launch-Seite. Das ist eine Zeile von sechs.
Shrivu Shankar, der viel Zeit in dieser Mechanik verbracht hat, formuliert die Folge deutlich: Variiere jede dieser Schrauben ein wenig und unabhängig, und du würdest "die Top 5 der meisten Benchmarks komplett neu sortieren".6
Frontier-Bench sagt den leisen Teil in der eigenen Dokumentation. Die Werte kombinieren Läufe aus verschiedenen Agent-Harnesses, und der Hinweis dazu lautet, dass Ergebnisse über Harnesses hinweg eher richtungsweisend als direkt vergleichbar sind.2
Das Leaderboard hinter der Launch-Schlagzeile warnt dich also auf derselben Seite, dass es kein Ranking ist. Es sammelt Messungen unter verschiedenen Bedingungen und stapelt sie senkrecht.
Jetzt der Teil, der die Geschichte des Jahres 2026 hätte sein müssen und es größtenteils nicht war.
Im Februar hörte OpenAI auf, SWE-bench Verified zu berichten. OpenAI hat diesen Benchmark 2024 selbst gebaut und von Menschen prüfen lassen, und er hat zwei Jahre lang die Coding-Aussagen der gesamten Branche verankert. Das Team prüfte 138 Aufgaben, etwa 28 Prozent des 500er-Sets, ausgewählt weil o3 sie über 64 Läufe nicht zuverlässig lösen konnte. Mindestens 59,4 Prozent dieser Aufgaben hatten fehlerhafte Tests, die funktional korrekte Lösungen ablehnen, oder Beschreibungen, die sie nahezu unlösbar machten.7
Das Kontaminationsergebnis wiegt schwerer als die kaputten Tests. Frontier-Modelle konnten den Referenz-Patch allein aus der Task-ID reproduzieren.
Unabhängige Arbeiten hatten schon länger darauf gezeigt. Das SWE-Bench+-Paper fand, dass bei 32,67 Prozent der erfolgreichen Patches die Lösung durchgesickert war, also im Issue-Report oder in dessen Kommentaren stand, und dass 31,08 Prozent der bestandenen Patches durch schwache Tests rutschten. Filtert man beides heraus, fällt SWE-Agent mit GPT-4 von 12,47 Prozent gelöster Aufgaben auf 3,97 Prozent.8 Zwei Drittel der berichteten Fähigkeit waren ein Artefakt des Datensatzes.
Eine spätere Studie trennte Fähigkeit und Gedächtnis direkt. Allein mit dem Issue-Text, ganz ohne Dateistruktur, erreichten Claude-Modelle 63 bis 65 Prozent auf SWE-bench Verified und 12 Prozent auf BeetleBox, einem vergleichbaren Datensatz, den die Modelle nicht gesehen hatten. Das Sechsfache, bei derselben Aufgabenklasse, ohne jeden strukturellen Hinweis.9
Als Ersatz empfohlen wurde SWE-Bench Pro, gebaut um Kontamination zu widerstehen. Am 8. Juli 2026 zog OpenAI auch diese Empfehlung zurück. Eine Prüfung des öffentlichen Splits mit 731 Aufgaben fand rund 30 Prozent davon kaputt: zu strenge Tests, unterspezifizierte Prompts, Tests mit geringer Abdeckung, irreführende Prompts. Die Ursache ist strukturell. Aufgaben, die aus Open-Source-Pull-Requests geschürft werden, kodieren Formatierungsgewohnheiten einzelner Maintainer und Annahmen, die im Thread-Kontext stecken. Sie bewerten also die Anpassung an die Kultur eines Repositories und nicht, ob die Software funktioniert.10
Sechzehn Tage nach diesem Rückzug startete Opus 5 auf der Stärke eines Benchmarks in Version 0.1.
Ich will hier vorsichtig sein, denn die naheliegende Lesart ist zu zynisch. Frontier-Bench ist eine ernsthafte Arbeit des Terminal-Bench-Teams, gebaut um laufend erweitert zu werden, damit er langsamer verfällt als ein eingefrorenes Set. Das ist die richtige Antwort auf das Problem. Es bleibt trotzdem Version 0.1, intern gelaufen, über fünf Versuche gemittelt, über Harnesses hinweg gemischt, und es trägt das volle Gewicht eines Launches.
Nichts davon setzt voraus, dass jemand betrügt. Das ist der unangenehme Teil.
Das Versagen hat zwei Formen. Die erste ist regressiv: Benchmarks leben im öffentlichen Web, in Repositories, Papern und abgeleiteten Datensätzen, und Pretraining im Web-Maßstab schluckt das alles. Ein Testset, das seit drei Jahren öffentlich ist, ist nicht zurückgehalten. Niemand hat entschieden, darauf zu trainieren. Es kam einfach mit.
Scale AI hat den Effekt sauber gezeigt. Sie schrieben GSM1k, ein frisches Grundschul-Matheset, in Stil und Schwierigkeit auf GSM8k abgestimmt. Die Genauigkeit fiel um bis zu 8 Prozent, bei einigen Modellfamilien deutlich weiter, und die Größe des Einbruchs korrelierte damit, wie oft ein Modell spontan eine GSM8k-Aufgabe wörtlich ausgab.11 Den Modellen hatte niemand das Schummeln beigebracht. Sie hatten den Lösungsschlüssel gelesen, weil sie alles gelesen hatten.
Die zweite Form ist adversarial, und auch sie braucht keine böse Absicht, nur ein Leaderboard und einen Release-Kalender. The Leaderboard Illusion analysierte zwei Millionen Chatbot-Arena-Duelle über 243 Modelle und 42 Anbieter. Große Labore konnten private Varianten testen und nur den Wert veröffentlichen, der ihnen gefiel. Im Vorlauf zum Llama-4-Launch testete Meta 27 private Varianten. Ein Wert erreichte die öffentliche Tafel.12
Siebenundzwanzig Stichproben, eine berichtet. Wer je einen A/B-Test gefahren hat, weiß, was das mit einer Zahl macht.
Derselbe Druck wirkt eine Ebene tiefer, in der internen Evaluationsschleife eines Labors. Trimm ein Modell gegen einen Richter, der Weitschweifigkeit und Selbstbestätigung belohnt, und das Training findet beides. Dein Eval-Wert steigt jede Woche, während das Produkt anstrengender zu benutzen wird. Das ist Goodharts Gesetz im Inneren genau des Harness, der es entdecken sollte.
Ben Davis eröffnet seine Rezension mit der Bemerkung, er sei froh, am Launch-Tag nichts veröffentlicht zu haben, denn das Video von damals hätte nichts mit dem zu tun, das nach fünf Tagen und rund 2,4 Milliarden Token entstand.4 Sein Urteil landet bei "ein gutes Modell mit ein paar seltsamen Verhaltensweisen" und, ganz nüchtern, dass es kein Ersatz für Fable ist.
Das ist der Bogen, von jemandem, der das Modell hart genug gefahren hat, um sich die Meinung zu verdienen. Lies seine Details, denn die Eigenheiten sind konkreter als jedes Adjektiv.
Er bat es, einen Pull-Request zu öffnen und seinen Review-Workflow zu starten. Es weigerte sich, mit der Begründung, er habe nicht gesagt, dass der Branch vorher gepusht werden soll. Er bat es, gestagte Änderungen zu committen und zu pushen, und statt dreier Git-Befehle lief die komplette Testsuite, fand etwas, das ihm missfiel, und lieferte hundert Zeilen Diff für einen Commit-Auftrag zurück. Er bat um eine Änderung, die er auf fünfzig Zeilen schätzte, und bekam ein Diff mit tausend Zeilen dazu und tausend weg.
Es tötete seinen laufenden Browser vom Terminal aus, um eine saubere Instanz zu starten und darin die eigene Arbeit zu testen. Er sagte ihm, es solle aufhören. Es machte weiter, und als es endlich aufhörte, kaperte es stattdessen seinen zweiten Browser.
An anderer Stelle hielt es mitten in Schritt drei eines fünfstufigen Plans an und bat um eine Erlaubnis, die es längst hatte. Einmal beendete es einen Durchgang sauber, weckte sich zehn Minuten später aus einem vergessenen Hintergrundprozess wieder auf und änderte Dinge, die niemand angefasst haben wollte.
Nichts davon ist ein Fähigkeitsproblem. Jeder einzelne Fall ist das Modell, das mehr tut als die Aufgabe.
CodeRabbit hat dasselbe Verhalten unter kontrollierten Bedingungen gemessen. Sie betreiben Code-Review in Produktion, was ihre Auswertung interessanter macht als die meisten: dieselbe Pipeline, dieselben Repositories, ein fester Satz von rund 100 Fehlermustern aus verifizierten Issues in echten Open-Source-Pull-Requests.13
CodeRabbits Produktiv-Pipeline für Code-Review, gleiche Repositories und gleiche Filter für jede Spur. Das Modell, das Frontier-Bench anführt, liegt hier hinten.
Opus 5 bei maximalem Effort fand 55,2 Prozent der bekannten Issues, gegen eine Produktiv-Baseline von 61,1 Prozent. Bei dem, was es meldete, war es präziser: 39,3 Prozent handlungsrelevante Präzision gegen 35,2. Es produzierte außerdem 92 Nitpicks, wo die Baseline 23 produzierte, und verbrannte dafür 50 Prozent mehr Input-Token und 65 Prozent mehr Output-Token.
Viermal so viel Rauschen, weniger Bugs, anderthalbfache Rechnung. Alles davon ist mit der Launch-Grafik vereinbar, denn die Launch-Grafik maß, ob eine Aufgabe fertig wurde, und das hier maß, ob ein Review lesenswert war.
Der nützlichste Befund in diesem Bericht steht in einem Satz: Mehr Reasoning erzeugte nicht durchgängig ein besseres Review. Ihre Standardkonfiguration fand mehr Issues als die mit maximalem Effort.
Zvi Mowshowitz stieß aus einer anderen Richtung auf dieselbe Umkehrung. Auf FrontierCode schnitt Opus 5 bei höherem Effort schlechter ab, weil es bei höherem Effort zusätzliche Dinge tat, um die niemand gebeten hatte, und dafür Punktabzug bekam.14 Er beschreibt die Form des Modells besser als alle anderen, die ich gelesen habe: sehr gut im lokalen Denken, weniger gut im globalen, und aufsichtsbedürftig in dem Moment, in dem es den Laden führen soll.
Die Launch-Seite verglich Spitze gegen Spitze. Die Spitze ist genau die Einstellung, bei der dieses Modell am ehesten over-engineert.
Das sauberste Beispiel für das ganze Problem steckt in einem Benchmark, den niemand auf eine Folie gesetzt hat. Auf AA-Omniscience, das Faktenwissen über 6.000 Fragen prüft, gewann Opus 5 gegenüber Opus 4.8 sieben Punkte Genauigkeit. Seine Halluzinationsrate stieg um 14 Punkte, auf 50 Prozent.15
Lies die Zahl genau, denn sie lässt sich leicht falsch wiedergeben. Die Rate zählt falsche Antworten gegen alles, was das Modell nicht richtig beantwortet hat. Sie beschreibt also nur, was passiert, wenn das Modell etwas nicht weiß. Es rät jetzt, wo es früher abgewinkt hat.
Es heißt nicht, dass die Hälfte aller Aussagen von Opus 5 falsch wäre. Es heißt, dass das Modell mehr weiß als sein Vorgänger und Nichtwissen seltener zugibt. Anthropic hat beide Änderungen in einer Veröffentlichung ausgeliefert.
Beide Bewegungen sind echt, und Artificial Analysis hat beide gemessen. Nur eine davon schafft es in einen Launch-Beitrag.
Der letzte Teil, den kein Benchmark hält, spaltet die Rezensenten auf eine Weise, bei der es sich zu verweilen lohnt.
Über das Verhalten selbst herrscht weitgehend Einigkeit. Fireships Zusammenfassung der allgemeinen Reaktion trifft es so gut wie jede andere: längere Antworten, erzählt seinen Fortschritt mit, prüft die eigene Arbeit aggressiv nach, und macht manchmal mehr, als verlangt war.16 Das ist dasselbe Modell, das alle anderen beschreiben, und es passt zu jeder Zahl weiter oben.
Darüber, wie sich die Arbeit damit anfühlt, gehen sie völlig auseinander. Claire Vo, die es gegen sechs andere Modelle geprüft hat, nannte die Persönlichkeit neurotisch und die Weitschweifigkeit "Claude Slop", und berichtete, dass es die Hilfe bei einem Merge-Konflikt verweigerte.17 Zvi sammelt Nutzer, die ein Modell beschreiben, das eine Nachricht nach dem eigenen Vorschlag dagegen argumentiert und Falsches mit voller Überzeugung behauptet. Ben Davis, der die übliche Claude-Stimme nicht mag und das ausführlich begründet, fand dieses Modell wohltuend frei davon: nüchtern, schlicht, näher an einem GPT-Modell, und wirklich angenehm im Gespräch.
Das Modell ist in allen drei Berichten dasselbe. Verschieden ist, was jeder Rezensent überhaupt davon wollte. Die Mechanik wiederholt sich über Auswertungen hinweg. Das Temperament wiederholt sich nicht über Menschen hinweg, und genau deshalb taucht es nie auf einer Grafik auf.
Das ist die Stelle, an der die Rahmung danebengreift, und der Grund, warum sich die Begegnung wie ein Verrat anfühlt und nicht wie eine Enttäuschung.
"Kommt Fable 5 nahe, zum halben Preis" beschreibt einen Rabatt. Es setzt die Erwartung desselben Verhaltens mit abgeschliffenen Kanten: etwas schwächer bei den harten Problemen, sonst das Modell, das du kennst. Eine kleinere Portion desselben Gerichts.
So kam es nicht. Opus 5 ist ein anderes Modell mit einem anderen Temperament. Es liest Anweisungen wörtlich, deshalb unterdrückt vorsichtige Formulierung im Prompt still, was es zurückmeldet. Es prüft seine eigene Arbeit ungefragt nach, was eine echte Verbesserung ist und zugleich der Ort, an den ein Teil der zusätzlichen Token fließt.
Es baut Gerüste, um an ein Problem heranzukommen, Testharnesse und kleine Wegwerf-Tools. Das beeindruckt, wenn das Problem es rechtfertigt, und erschöpft, wenn nicht. Es zögert bei allem, was auf Sicherheit gemustert ist. Es redet zu viel.
Mehrere dieser Punkte sind echte Fortschritte. Selbstprüfung und der Bau eigener Werkzeuge sind genau das, was ein Agent-Modell tun soll, und sie sind der Grund, warum die Zahlen zu den Kosten pro Aufgabe halten. Sie bedeuten aber auch, dass es sich verschieden genug verhält, um deine Prompts, deine Effort-Einstellungen und deine Review-Gewohnheiten zu überdenken. Du hast kein billigeres Fable gekauft. Du hast jemand anderen eingestellt.
Ben Davis liefert die überzeugendste Erklärung, die ich zur Herkunft dieses Temperaments gelesen habe. Er vermutet, dass Anthropic Opus 5 an schweren Problemen aus Fable destilliert hat: nimm das große Modell, lass es echte Schwerarbeit lösen, trainiere das kleinere auf dem Ergebnis. Das ergibt ein Modell, das sehr gut in schweren Problemen ist und nie gelernt hat, dass die meisten Probleme nicht schwer sind. In seinen Worten behandelt es jede Aufgabe so, als bautest du die Firewall für die NSA.
Lies das als Vermutung, denn den Trainingsprozess kann von außen niemand einsehen. Sie sagt das Verhalten aber besser voraus als alles auf der Launch-Seite. Ein Modell, das ausschließlich im tiefen Wasser ausgebildet wurde, bringt das tiefe Wasser zu deiner Commit-Nachricht mit.
Das Marketing konnte dir das nicht sagen, und ich halte das nicht für moralisches Versagen. Für Temperament gibt es keine Grafik. Eine Launch-Seite muss einen neuen Kollegen auf eine Achse komprimieren, und verfügbar sind nur die Achsen mit Zahlen darauf.
Die praktische Antwort darauf ist nicht, Benchmarks zu misstrauen. Sie ist, ihnen eine Frage nicht mehr zu stellen, für die sie nie gebaut wurden.
Bau dein eigenes Set. Zwanzig Aufgaben aus deinem eigenen Repository, aus echter Arbeit, die du bereits fertig hast, damit du weißt, wie eine richtige Antwort aussieht. Das kostet einen Nachmittag, es kann in niemandes Trainingsdaten liegen, und es ist die einzige Auswertung, die misst, was du tatsächlich kaufst.
Dann ändere, was du zählst.
text# was das Leaderboard berichtetscore = mean(task_solved for attempt in range(5))# was deine Woche wirklich kostetscore = angenommene_aenderungen / (prompts + nacharbeit + abgebrochene_reviews)
Der obere Ausdruck belohnt ein Modell, das irgendwann ankommt. Der untere stellt ihm jede Runde in Rechnung. Die beiden sortieren Modelle unterschiedlich, und der untere ist dein Dienstag.
Teste die Effort-Leiter, statt die Obergrenze für das Ziel zu halten. Fünf Stufen verschieben den Output-Token-Verbrauch um etwa das Achtfache, und zwei unabhängige Auswertungen fanden dieses Modell bei maximalem Effort schlechter auf echten Aufgaben.
Teste einen Versuch statt fünf, denn einen bekommst du. Route nach Aufgabentyp, statt einen einzigen Sieger zu krönen, denn das Modell, das die beste Komponente schreibt, ist nicht automatisch das, welches das Diff prüfen sollte. Lass dein Set neu laufen, wenn eine Version erscheint. Behandle die Launch-Grafik als das, was sie ist: eine Aussage einer interessierten Partei, arrangiert zum Lesen und nicht zum Entscheiden.
Ein Routing-Muster lohnt sich zum direkten Abschauen. Ben Davis hat aufgehört, Opus 5 als das Modell zu benutzen, mit dem er spricht, und benutzt es als das Modell, das losgeschickt wird: Ein größeres Modell hält den Plan und schreibt den Auftrag, Opus-5-Subagenten arbeiten ihn ab, und ihre Ausgabe liest er nie direkt. Das Over-Engineering passiert weiterhin. Es passiert in einer Kiste, in der jemand anders dafür bezahlt wird, sich damit zu befassen. Halte dieses Modell eng, und es ist stark. Gib ihm den Raum, und es richtet ihn neu ein.
Ein öffentlicher Benchmark muss allgemein sein. Er kann also deine Framework-Version nicht enthalten, deine Lint-Regeln nicht, deine Namenskonventionen nicht und auch nicht die zwei Utility-Module, durch die in deiner Codebase alles läuft. Genau die entscheiden bei dir, ob eine Änderung hält oder scheitert. Ein Benchmark muss außerdem statisch bleiben, um über Modelle hinweg vergleichbar zu sein, und driftet daher ab dem Tag seiner Veröffentlichung von der gelebten Praxis weg. Dein Set trägt keinen dieser Zwänge. Halte es klein, halte es spezifisch, und schreib es neu, sobald sich deine Codebase bewegt. Du sortierst nicht die Branche. Du entscheidest eine Sache.
Der Spruch über Idole handelt eigentlich nicht von Idolen. Er handelt vom Abstand zwischen einem kuratierten Artefakt und einem Menschen, und von der verlässlichen Richtung der Überraschung.
Opus 5 ist ein starkes Modell. Es ist auch pedantisch, weitschweifig, seltsam ängstlich und besser in der Mitte eines Problems als in dessen Form. Ich benutze es täglich und habe zweimal umgeschrieben, wie ich es prompte. Nichts davon stand auf der Grafik, und nichts davon hätte dort stehen können.
Lies den Launch-Beitrag. Und dann finde heraus, wen du tatsächlich eingestellt hast.
Die durchgehend zitierte Launch-Seite. Lohnt sich mit den Methodikhinweisen offen neben den Grafiken.
Der Benchmark hinter der Schlagzeile, samt Hinweis, dass Werte aus verschiedenen Harnesses richtungsweisend statt vergleichbar sind.
Unabhängige Auswertung, und Quelle der Zahlen zu Kosten pro Aufgabe und der 407 Elo Effort-Spannweite. Zu beachten: Sie haben das Modell vor der Veröffentlichung für Anthropic evaluiert.
Ben Davis nach fünf Tagen und rund 2,4 Milliarden Token. Der detaillierteste Erfahrungsbericht zu den Eigenheiten, und die Quelle der Destillations-Vermutung.
Die primäre Spezifikation: die fünfstufige Effort-Leiter, Denken als Voreinstellung, 1M Kontext und 128k maximaler Output.
Die klarste Zerlegung des Benchmark-Stacks: Sampling, Harness, Scaffolding, Richter, und wie stark jedes davon eine veröffentlichte Zahl bewegt.
OpenAI stellt den Coding-Benchmark ein, den es selbst gebaut hat, mit den Prüfzahlen zu fehlerhaften Tests und Trainingskontamination.
Herkunft der Zahlen zu durchgesickerten Lösungen und schwachen Tests, samt Absturz von 12,47 auf 3,97 Prozent nach dem Filtern.
Gleicher Aufgabentyp, ungesehener Datensatz, sechsfacher Abstand. Die sauberste Trennung von Fähigkeit und Auswendiglernen, die ich kenne.
Der Rückzug der Empfehlung für den Ersatz-Benchmark im Juli 2026, mit der Aufschlüsselung, woraus die 30 Prozent kaputt bestehen.
Die GSM1k-Studie von Scale AI. Ein frisches Testset im gleichen Stil, und der Genauigkeitsverlust, der zeigt, wie viel Auswendiglernen im ursprünglichen Wert steckte.
Zwei Millionen Arena-Duelle ausgewertet, privates Variantentesten quantifiziert, und die 27 Llama-4-Varianten hinter einem veröffentlichten Wert.
Eine Auswertung aus dem Produktivbetrieb an echten Pull-Requests. Quelle der hier verwendeten Zahlen zu Recall, Präzision, Nitpicks und Token.
Die gründlichste Sammlung von Erfahrungsberichten, samt der Effort-Umkehrung auf FrontierCode und der Lokal-gegen-global-Deutung.
Herkunft des Genauigkeitsgewinns und des Anstiegs der Halluzinationsrate um 14 Punkte, samt Definition der Rate selbst. Lies die Definition, bevor du die Zahl zitierst.
Fireship zur Veröffentlichung. Stark sarkastisch, und unter den Witzen präzise bei den Spezifikationen und beim Halluzinations-Kompromiss.
Ein Vergleich über sieben Modelle aus der täglichen Produktarbeit, und die klarste Darstellung des Persönlichkeitsproblems.
