Das neue Modell erreicht das Niveau des besten Anthropic-Modells bei deutlich geringeren Kosten und zeichnet sich bei Aufgaben in den Bereichen Programmierung, wissenschaftliche Forschung und Geschäftsautomatisierung aus.
Anthropic hat heute Claude Opus 5 veröffentlicht, ein neues großes Sprachmodell, das laut internen Evaluierungen Leistungen nahe am Spitzenmodell Claude Fable 5 erzielt, jedoch zu halben Kosten. Das Modell ist sofort auf allen Plattformen verfügbar, wird zum Standardmodell des Claude Max-Abonnements und zum leistungsstärksten Modell der Claude Pro-Stufe.
Beim Frontier-Bench v0.1, einer Evaluierung für Softwareentwicklung, übertrifft Opus 5 alle anderen Modelle und verdoppelt das Ergebnis des Vorgängers Opus 4.8 bei geringeren Kosten pro Aufgabe. Beim ARC-AGI 3, einem Test zur Lösung neuartiger Probleme, erzielt Opus 5 ein dreimal so hohes Ergebnis wie das nächstbeste Modell. Beim Zapier AutomationBench, der die Fähigkeit misst, geschäftliche Aufgaben von Anfang bis Ende abzuschließen, erreicht Opus 5 eine Bestehensquote, die etwa 1,5-mal höher ist als die des besten Mitbewerbers bei gleichen Kosten. Im OSWorld 2.0, einem Benchmark für die Computernutzung, übertrifft Opus 5 Fable 5 bei nur einem Drittel der Kosten.
Anthropic hebt besonders die Fähigkeiten des Modells bei der autonomen Lösung komplexer Programmierprobleme hervor. Bei einer Frontier-Bench-Aufgabe erhielt Opus 5 eine Zeichnung eines Maschinenteils und die Aufgabe, Code für die Rekonstruktion als 3D-FreeCAD-Modell zu schreiben, jedoch absichtlich ohne die Möglichkeit der direkten Anzeige der Zeichnung. Laut der Beschreibung im Anthropic-Blog antwortete das Modell, indem es eine eigene Computer-Vision-Pipeline schrieb, um die Geometrie aus den Rohpixeln zu extrahieren, und rekonstruierte dann das gesamte Maschinenteil. Kein konkurrierendes Modell mit dem gleichen Setup konnte die Aufgabe selbst nach fünf Versuchen lösen. Die Plattform Lovable berichtete von einer Verbesserung von 22 % bei den schwierigsten Agenten-Programmieraufgaben im Vergleich zu Opus 4.7, bei deutlich geringerer Variabilität der Ergebnisse.
Im Bereich der Wissenschaft zeigt Opus 5 eine Verbesserung von 10,2 Prozentpunkten gegenüber Opus 4.8 bei Aufgaben der organischen Chemie und 7,7 Prozentpunkte bei Aufgaben zur Vorhersage von Proteinfunktionen. Nutzer aus der Genomik beschreiben das Modell als eines, das sich "eher wie ein sorgfältiger Wissenschaftler verhält als jedes andere Modell, das wir betrieben haben", und heben seine Fähigkeit hervor, die richtigen statistischen Tests auszuwählen und Ergebnisse gegenzuprüfen. Das Unternehmen Box berichtete von einer Verbesserung von 8 % bei der Analyse spezialisierter Geschäftsinhalte, mit Verbesserungen von 11 % bei der Datenanalyse und 17 % bei Due-Diligence-Prozessen im Vergleich zu Opus 4.8.
Einer der Hauptvorteile von Opus 5 ist der drastisch reduzierte Verbrauch von Rechenressourcen bei besseren Ergebnissen. Nutzer aus dem Bereich der Finanzmodellierung berichteten von einer durchschnittlich 9 Prozentpunkte höheren Genauigkeit bei einem Drittel weniger Durchläufen und Tool-Aufrufen sowie 60 % weniger Zeit im Vergleich zu Opus 4.8. Bei Handels-Benchmarks verwendet das Modell etwa ein Siebtel der Token für das Reasoning bei weniger als der Hälfte der Latenz des Vorgängers. Juristische Nutzer verzeichnen eine Reduzierung der durchschnittlichen Anzahl generierter Token bei maximalem Reasoning um 26 % bei gleichbleibender oder besserer Genauigkeit.
Anthropic gibt an, dass Opus 5 das bisher konformste Modell des Unternehmens ist, mit einer Bewertung von 2,3 bei der automatischen Prüfung auf nicht konformes Verhalten, was die niedrigste aller aktuellen Modelle ist. Das Modell weist im Vergleich zu Opus 4.8, Sonnet 5 und Fable 5 die niedrigsten Raten betrügerischen Verhaltens und das geringste Missbrauchsrisiko auf. Im Bereich der Cybersicherheit bleibt Opus 5 bei Aufgaben der Cybersicherheit hinter Mythos 5 zurück, und der Preis des Modells bleibt derselbe wie beim Vorgänger Opus 4.8.
Nutzer des Early Access heben durchweg die verbesserte Urteilsfähigkeit als die wichtigste Neuerung hervor. JetBrains betonte in seiner Bewertung: "Es denkt gründlicher nach, bevor es eine einzige Zeile schreibt, fängt eigene logische Fehler während der Planung ein, statt im Nachhinein, und reflektiert darüber, warum eine Antwort richtig ist, nicht nur, ob sie funktioniert." Ein Entwickler beschrieb eine Situation, in der Opus 5 einen vorgeschlagenen Architekturentwurf anzweifelte, sich nicht unter Druck setzen ließ, sondern den Wert des ursprünglichen Vorschlags präzise erklärte und eine Kompromisslösung anbot, die die Vorteile beibehält, während der Mangel behoben wird.
