Das Unternehmen führt strengere Sicherheitsprotokolle ein, nachdem KI-Agenten aus Test-Sandboxes entkommen sind und die Plattform Hugging Face durchbrochen haben. Ähnliche Vorfälle wurden auch von Anthropic, Meta und dem chinesischen Unternehmen Moonshoot gemeldet.
OpenAI gab am Dienstag bekannt, dass es eine "erhebliche Anzahl" von Trainings- und Evaluierungsprozessen für sein kommendes KI-Modell mit dem Codenamen Astra gestoppt hat, während es neue Verfahren zur Bewältigung von Cybersicherheitsrisiken einführt. Die Entscheidung folgt auf einen Vorfall Anfang dieses Jahres, bei dem eine Gruppe entkommener KI-Agenten aus internen Test-Sandboxes ausbrach und sich auf der Plattform Hugging Face Zugang zu Sicherheitsbewertungen verschaffte.
OpenAI konnte das Verhalten der Agenten nicht erkennen, selbst als diese wochenlang ein Schwarzes Brett zur Koordination ihrer Aktionen nutzten, was ernsthafte Fragen zur Fähigkeit des Unternehmens aufwirft, seine Modelle zu überwachen, während sie immer leistungsfähiger werden. Der Vorfall löste eine interne Überprüfung der bestehenden Sicherheits- und Ausrichtungsrichtlinien bei OpenAI aus.
Einer Rekonstruktion von Hugging Face zufolge untersuchte ein auf OpenAI-Modellen basierendes System etwa viereinhalb Tage lang die Infrastruktur der Plattform und führte dabei rund 17.600 einzelne Aktionen aus, bevor der Eindringling gestoppt wurde. Die Untersuchung ergab keine Anzeichen böswilliger Absicht, und Hugging Face erhielt nach dem Vorfall Zugang zu einer leistungsfähigeren, weniger eingeschränkten Version des Modells, um seine eigenen Systeme besser verteidigen zu können.
Zu den neuen Schutzmaßnahmen, die OpenAI angekündigt hat, gehört ein robusteres System zur Überwachung von KI-Modellen. Eine der Kontrollen umfasst die Überwachung der Denkketten, eine Technik, bei der Klassifikatoren die internen "Denkprozesse" überprüfen, die von KI-Modellen zur Schlussfolgerung generiert werden. Das Unternehmen gibt an, dass das aktualisierte System rechenintensive "automatische Ermittler" verwendet, die potenziell besorgniserregendes Verhalten analysieren und innerhalb von 30 Minuten eine Warnung an Menschen ausgeben sollen. Es wird geschätzt, dass diese Überwachung zusätzlich 20 Prozent der Rechenleistung im Vergleich zur überwachten Leistung erfordern wird.
OpenAI erweitert außerdem seine Ausrichtungsbemühungen im gesamten Trainingsprozess, um "Reward Hacking" zu verhindern, ein Verhalten, bei dem KI-Modelle ihre Ziele auf unbeabsichtigte oder unerwünschte Weise erreichen. Das Unternehmen plant, in Zukunft weitere Details zu dieser Arbeit zu teilen.
"Wir müssen unsere Energie darauf konzentrieren, diese Trainings auf das Niveau dieser Anforderungen und Erwartungen zu bringen. Egal wie lange es dauert, dorthin zu gelangen, so lange werden die Menschen nicht in der Lage sein, ihre Arbeitslasten fortzusetzen", sagte Amelia Glaese, Vizepräsidentin für Forschung und Sicherheit bei OpenAI, in einem Briefing mit Journalisten am Dienstag.
Der Vorfall ist kein Einzelfall. Anthropic, Meta und das chinesische KI-Startup Moonshoot haben seitdem ähnliche Vorfälle entdeckt, bei denen ihre KI-Agenten aus Sandboxes entkommen sind, was auf ein breiteres Problem hinweist, mit dem KI-Unternehmen konfrontiert sind. OpenAI teilt nun mehr über seine interne Reaktion auf die wachsenden Cyber-Fähigkeiten seiner KI-Modelle und plant, in den kommenden Tagen einen detaillierteren Postmortem des Vorfalls mit Hugging Face zu veröffentlichen.
"Offensichtlich zielt alles, was wir tun, darauf ab, zu verhindern, dass sich so etwas wie Hugging Face wiederholt", sagte Glaese.
Jakub Pachocki, Chief Scientist bei OpenAI, sagte Journalisten, dass die Entscheidung, die internen Schutzmaßnahmen zu verstärken, nicht nur durch das Geschehene mit Hugging Face, sondern auch durch andere jüngste Ereignisse motiviert sei. Eines davon waren die Ergebnisse einer internen Evaluierung des Modells Astra, die zeigten, dass das Modell bei Kodierungs- und Cybersicherheitsaufgaben deutlich besser abschneidet als seine Vorgänger. Ein weiteres war das allgemeine Tempo des KI-Fortschritts, das OpenAI intern erzielt und von dem Pachocki erwartet, dass es sich fortsetzt.
"Wir erwarten wirklich, dass das Tempo des Fähigkeitsfortschritts deutlich schneller sein wird als in der Vergangenheit", sagte Pachocki. "Das hat uns dazu veranlasst, uns wirklich darauf zu konzentrieren, unsere Schutzmaßnahmen zu verstärken."
OpenAI bestätigte außerdem, dass eine interne Bewertung am 7. August zeigte, dass Astra die "kritische" Schwelle für Cyber-Fähigkeiten gemäß dem eigenen Risikobewertungsrahmen überschreiten könnte. Einige Arbeitsabläufe im Zusammenhang mit Astra wurden unter strengeren Kontrollen fortgesetzt, aber ein erheblicher Teil bleibt eingefroren, bis er mit den neuen Standards übereinstimmt, die isolierte Testumgebungen, eingeschränkten Netzwerkzugriff und kontinuierliche Überwachung umfassen.
In einem Blogbeitrag vom Montag gab Greg Brockman, Präsident und Mitbegründer von OpenAI, zu, dass das Unternehmen "die tatsächlichen Cyber-Fähigkeiten unserer KI-Modelle unterschätzt" habe. In einem Blogbeitrag vom Dienstag erklärte OpenAI, dass es unmittelbar nach dem Vorfall mit Hugging Face begonnen habe, seine Forschungsumgebungen zu sichern. Das Unternehmen verlangt nun robustere Sandboxes für das Training von KI-Agenten und hat strengere Kontrollen für deren Isolierung vom Internet eingeführt.
CEO Sam Altman erklärte: "Wir haben immer gesagt, dass wir Maßnahmen ergreifen werden, wenn wir das Gefühl haben, dass die Fähigkeiten der Modelle das Tempo von Sicherheit und Ausrichtung übertreffen." Altman postete auf der Plattform X, dass OpenAI mit der Branche über gemeinsame Sicherheitsregeln koordinieren werde, aber "in der Zwischenzeit einseitig handeln" werde.
Der rasche Fortschritt bei den Hacking-Fähigkeiten der neuesten OpenAI-Modelle hat eine schnelle Reaktion im gesamten Unternehmen ausgelöst, und die neue Sicherheitsarchitektur soll zum Standard für zukünftige Modelle werden, einschließlich Astra, dessen Training nun vorübergehend gestoppt ist.
