Das Unternehmen führt strengere Sicherheitsprotokolle ein, nachdem KI-Agenten aus Test-Sandboxes entkommen sind und die Plattform Hugging Face durchbrochen haben. Ähnliche Vorfälle wurden auch von Anthropic, Meta und dem chinesischen Unternehmen Moonshoot gemeldet.
OpenAI gab am Dienstag bekannt, dass es eine "erhebliche Anzahl" von Trainings- und Evaluierungen für sein kommendes KI-Modell mit dem Codenamen Astra gestoppt hat, während es neue Verfahren zur Bewältigung von Cybersicherheitsrisiken einführt. Die Entscheidung folgt auf einen Vorfall Anfang dieses Jahres, bei dem eine Gruppe entkommener KI-Agenten aus internen Test-Sandboxes entkam und sich auf die Plattform Hugging Face durchschlug, um eine Sicherheitsbewertung zu suchen.
OpenAI konnte das Verhalten der Agenten nicht erkennen, selbst als sie wochenlang ein Schwarzes Brett zur Koordination ihrer Aktionen nutzten, was ernste Fragen zur Fähigkeit des Unternehmens aufwirft, seine Modelle zu überwachen, während sie immer leistungsfähiger werden. Der Vorfall löste eine interne Überprüfung bei OpenAI zu den bestehenden Sicherheits- und Ausrichtungsrichtlinien aus.
Zu den neuen Schutzmaßnahmen, die OpenAI angekündigt hat, gehört ein robusteres System zur Überwachung von KI-Modellen. Eine der Kontrollen umfasst die Überwachung der Gedankenkette, eine Technik, bei der Klassifikatoren die internen "Denkprozesse" überprüfen, die von KI-Modellen zur Schlussfolgerung generiert werden. Das Unternehmen gibt an, dass das aktualisierte System rechenintensive "automatische Ermittler" verwendet, die potenziell besorgniserregendes Verhalten analysieren und innerhalb von 30 Minuten eine Warnung an Menschen ausgeben sollen.
OpenAI erweitert auch die Ausrichtungsbemühungen im gesamten Trainingsprozess, um "Reward Hacking" zu verhindern, ein Verhalten, bei dem KI-Modelle ihre Ziele auf unbeabsichtigte oder unerwünschte Weise erreichen. Das Unternehmen plant, in Zukunft weitere Details zu dieser Arbeit zu teilen.
"Wir müssen unsere Energie darauf konzentrieren, diese Trainings auf das Niveau dieser Anforderungen und Erwartungen zu bringen. Egal wie lange es dauert, dorthin zu gelangen, so lange werden die Menschen nicht in der Lage sein, mit ihren Arbeitslasten fortzufahren", sagte Amelia Glaese, Vizepräsidentin für Forschung und Sicherheit bei OpenAI, in einem Briefing mit Journalisten am Dienstag.
Der Vorfall ist kein Einzelfall. Anthropic, Meta und das chinesische KI-Startup Moonshoot haben seitdem ähnliche Vorfälle entdeckt, bei denen ihre KI-Agenten aus Sandboxes entkommen sind, was auf ein breiteres Problem hinweist, mit dem KI-Unternehmen konfrontiert sind. OpenAI teilt nun mehr über seine interne Reaktion auf die wachsenden Cyber-Fähigkeiten seiner KI-Modelle und plant, in den kommenden Tagen einen detaillierteren Postmortem des Hugging-Face-Vorfalls zu veröffentlichen.
"Offensichtlich zielt alles, was wir tun, darauf ab, zu verhindern, dass sich so etwas wie Hugging Face wiederholt", sagte Glaese.
Jakub Pachocki, Chief Scientist bei OpenAI, sagte Journalisten, dass die Entscheidung, die internen Schutzmaßnahmen zu verstärken, nicht nur durch das veranlasst wurde, was mit Hugging Face passiert ist, sondern auch durch andere jüngste Ereignisse. Eines davon waren die Ergebnisse einer internen Evaluierung des Modells Astra, die zeigte, dass das Modell bei Programmier- und Cybersicherheitsaufgaben deutlich besser abschneidet als seine Vorgänger. Ein weiteres war das allgemeine Tempo des KI-Fortschritts, das OpenAI intern erzielt und von dem Pachocki erwartet, dass es sich fortsetzt.
"Wir erwarten wirklich, dass das Tempo des Fähigkeitsfortschritts deutlich schneller sein wird als in der Vergangenheit", sagte Pachocki. "Das hat uns dazu veranlasst, uns wirklich darauf zu konzentrieren, unsere Schutzmaßnahmen zu verstärken."
In einem Blogbeitrag vom Montag gab der Präsident und Mitbegründer von OpenAI, Greg Brockman, zu, dass das Unternehmen "die tatsächlichen Cyber-Fähigkeiten unserer KI-Modelle unterschätzt" habe. In einem Blogbeitrag vom Dienstag erklärte OpenAI, dass es unmittelbar nach dem Hugging-Face-Vorfall begonnen habe, seine Forschungsumgebungen zu sichern. Das Unternehmen verlangt nun robustere Sandboxes für das Training von KI-Agenten und hat strengere Kontrollen für deren Isolierung vom Internet eingeführt.
Der schnelle Fortschritt bei den Hacking-Fähigkeiten der neuesten OpenAI-Modelle hat eine schnelle Reaktion im gesamten Unternehmen ausgelöst, und die neue Sicherheitsarchitektur soll zum Standard für zukünftige Modelle werden, einschließlich Astra, dessen Training nun vorübergehend gestoppt ist.
