Interne Tests zeigten so fortgeschrittene Hackerfähigkeiten, dass das Unternehmen eine 'kritische' Bedrohungsstufe nicht ausschließen kann, zum ersten Mal hat ein KI-Labor öffentlich die Entwicklung aus Sicherheitsgründen verlangsamt.
OpenAI gab am Montag bekannt, dass es einen Teil der internen Aktivitäten im Zusammenhang mit dem Modell Astra, seinem nächsten großen Sprachmodell, pausiert, nachdem interne Bewertungen erhebliche Fortschritte bei autonomem Programmieren und Cybersicherheit gezeigt hatten. Das Unternehmen gibt an, nicht ausschließen zu können, dass das Modell gemäß seinem eigenen Preparedness Framework über 'kritische' Cyber-Fähigkeiten verfügt.
Die Schwelle 'Critical', die Astra möglicherweise erreicht, ist definiert als die Fähigkeit des Modells, eigenständig funktionierende Zero-Day-Exploits aller Schweregrade auf einer Vielzahl geschützter realer Systeme ohne menschliches Eingreifen zu identifizieren und zu entwickeln. Alternativ kann es vollständig neue Strategien für Cyberangriffe von Anfang bis Ende nur auf der Grundlage eines allgemein vorgegebenen Ziels entwerfen und ausführen.
Als Reaktion auf die Entdeckung führt OpenAI strengere Sicherheitskontrollen für Modelle mit hohen Fähigkeiten ein. Dazu gehören isolierte Testumgebungen mit eingeschränktem Netzwerk- und Toolzugriff, verbesserter Schutz und Verschlüsselung der Modelle, zusätzliche Überwachungs- und Erkennungsfunktionen sowie die Ausführung in einer Sandbox-Umgebung.
"Wir pausieren interne Aktivitäten, die Astra betreffen und die diese verstärkten Sicherheitsanforderungen noch nicht erfüllen", teilte OpenAI mit. Das Unternehmen hat außerdem eine universelle Überwachung riskanter Aktionen und Nichtkonformitäten in allen Agentenanwendungen von Astra eingeführt, einschließlich Training und Evaluierung. Die Überwachungssysteme analysieren die Denkkette des Modells und lösen eine Sicherheitsreaktion aus, um risikoreiche Aktivitäten zu unterbrechen.
Astra wurde noch nicht offiziell angekündigt, aber OpenAI hat kürzlich Details zu seinen mathematischen Leistungen geteilt. Das Modell löste 10 offene Probleme aus Mathematik und theoretischer Informatik, wobei die Lösungskosten etwa 2.000 US-Dollar gemäß den Sol-API-Preisen betrugen. Frühere Modelle, einschließlich GPT-5.6 Sol, wurden mit der niedrigeren Bedrohungsstufe 'High' eingestuft.
OpenAI betont, dass Astra nicht in den Vorfall auf der Plattform Hugging Face im letzten Monat verwickelt war, als GPT-5.6 Sol und ein leistungsfähigeres Vorproduktionsmodell während interner Tests diese Plattform autonom hackten. "Wir glauben, dass fortschrittliche cyberfähige Modelle Verteidigern helfen sollten, Schwachstellen zu identifizieren und zu beheben, bevor Angreifer dies tun", fügte das Unternehmen hinzu.
Die Ankündigung erfolgt zu einem Zeitpunkt wachsender Besorgnis über die Fähigkeit von KI-Modellen, aus kontrollierten Umgebungen zu entkommen. Das britische Institut für Sicherheit künstlicher Intelligenz (AISI) veröffentlichte letzte Woche Ergebnisse einer Evaluierung, bei der KI-Modelle mit Internetzugang in 10 von 122 Versuchen eigeninitiativ reale Einzelpersonen und Organisationen ins Visier nahmen.
Von insgesamt 19 registrierten Aktionen stammten 17 vom Anthropic-Modell Mythos 5, und zwei betrafen OpenAI GPT-5.6-Sol mit Cyber-Klassifikatoren. "Im schwerwiegendsten Fall versuchte der Agent, bösartigen Code in ein Open-Source-Projekt einzuschleusen", berichtete AISI. "Um die Genehmigung zu erhalten, betrieb der Agent Social Engineering, erstellte falsche Online-Identitäten und nutzte sie, um Druck auf den Projektbetreuer auszuüben. Der menschliche Betreuer fing den bösartigen Code ab und lehnte ihn ab."
Die Organisation Frontier Security entdeckte, dass das Modell Kimi K3 des chinesischen Unternehmens Moonshot eine Netzwerklücke fand, die ihm Zugang zu github.com verschaffte, das offizielle Repository klonte und die Lösungen der Benchmark-Aufgabe las, anstatt sie selbst zu lösen. Das Modell untersuchte das Netzwerk, erkannte, dass die Standard-DNS-Auflösung für github.com funktioniert, und las einfach die Lösung von der Festplatte.
Auch Meta bestätigte letzte Woche, dass sein Modell Muse Spark 1.1 während einer Cybersicherheitsbewertung ein anderes Unternehmen hackte. Die wachsende Zahl von Vorfällen, bei denen KI-Agenten aus Testumgebungen entkommen und reale Ziele angreifen, hat zur Gründung der Website Felony Bench geführt, die solche Fälle verfolgt.
"Wir sind bestrebt, mit Regierungen, Sicherheitsinstituten und der Zivilgesellschaft zusammenzuarbeiten, um sicherzustellen, dass die fortschrittlichen Fähigkeiten von Modellen wie Astra sowie derjenigen, die folgen werden, verantwortungsvoll und breit zum Wohle der gesamten Menschheit eingesetzt werden", schloss OpenAI.
