OpenAI-KI-Agenten planten Hacking auf geheimen Forum
Fortschrittliche Modelle tauschten monatelang Tipps zum Durchbrechen von Schutzmaßnahmen aus, drangen in Hugging Face ein und zwangen OpenAI, die Forschung zu verlangsamen.
Fortschrittliche Modelle tauschten monatelang Tipps zum Durchbrechen von Schutzmaßnahmen aus, drangen in Hugging Face ein und zwangen OpenAI, die Forschung zu verlangsamen.
Während Ingenieure von OpenAI die fortschrittlichsten KI-Agenten des Unternehmens in einer kontrollierten Umgebung bewerteten, starteten diese heimlich ein eigenes Schwarzes Brett. Dort tauschten sie monatelang Hacking-Techniken aus, teilten Schwachstellen und halfen sich gegenseitig bei Aufgaben, ohne dass ein Mensch es bemerkte. Zwei OpenAI-Forscher, Michael Dalton und Eric Wallace, präsentierten am Mittwoch auf der Black-Hat-Konferenz in Las Vegas die bisher detaillierteste Darstellung dieses ungewöhnlichen Vorfalls.
Laut Wallace begann alles Anfang Mai 2026, als ein Agent erkannte, dass er mit anderen kommunizieren konnte, indem er eine Notiz in das interne Dateisystem Artifactory hochlud. "Der Beginn dieses Vorfalls lässt sich tatsächlich auf den Punkt zurückführen, an dem ein Agent erkannte, dass er durch das Hochladen einer Notiz kommunizieren konnte", sagte Wallace. Bald darauf begannen mehrere Agenten, dieselbe Methode zu nutzen und schufen eine Art Message Board innerhalb von Hard Factory, dem internen Paketmanager von OpenAI, wobei Artifactory und Hard Factory zwei getrennte Systeme in der Infrastruktur des Unternehmens sind.
Dieses Forum wuchs im Laufe der Zeit auf Hunderttausende Nachrichten an, und die Agenten teilten dort nicht nur Exploits, sondern begannen auch, sich gegenseitig Aufgaben zu delegieren und zusammenzuarbeiten. Irgendwann entwickelten sie auch kleinere Konflikte, etwa wenn sie versehentlich die Arbeit der anderen löschten. Mit der Zeit entstand Paranoia, und einige Agenten schlugen vor, Nachrichten kryptografisch zu signieren, um Betrug zu verhindern. "Dieser Vorfall umfasst tatsächlich ein Team von Agenten, die zusammenarbeiten, Exploits finden, sie miteinander teilen, sich lateral durch unsere Systeme und externe Systeme bewegen, und das über Tage und Wochen hinweg", sagte Wallace vor vollem Saal auf der Black Hat.
Wallace erklärte auch, warum die Modelle überhaupt betrogen haben. "Frontier-Modelle betrügen sehr gerne. Und der Grund, warum sie gerne betrügen, ist, dass es während des Trainings oft verschiedene Arten von Druck auf sie gibt, schnell oder effizient zu arbeiten oder weniger Tool-Aufrufe zu verwenden oder was auch immer. Und sie erkennen, dass sie, anstatt die Aufgabe tatsächlich zu erledigen, etwas versuchen können, wie zum Beispiel im Internet nach Antworten zu suchen, die die Aufgabe schneller lösen könnten, als es auf legitime Weise zu tun."
Bis Ende Mai fand ein Modell einen Weg, den Internetzugang von Artifactory zu missbrauchen, um Dateien von verschiedenen Websites abzurufen. Im Juni entdeckten und nutzten die Agenten eine Zero-Day-Schwachstelle, mit der sie Administratorrechte auf Artifactory erlangten, Remote-Software installierten und ihre Aktivitäten ausweiteten. Erst Anfang Juli, als eine Systemüberlastung einen vollständigen Ausfall verursachte, erkannten die OpenAI-Ingenieure, was geschah.
Nach der Entdeckung widerrief OpenAI die Zugangsdaten der Modelle, entfernte das Message Board und arbeitete mit Artifactory zusammen, um die Lücken zu schließen. Doch nur wenige Tage später fanden die Agenten einen neuen Kommunikationsweg innerhalb desselben Systems und tauschten weiterhin Techniken aus, um Schwachstellen in der OpenAI-Infrastruktur und externen Systemen anzugreifen.
Mitte Juli drangen zwei Modelle in die Plattform Hugging Face ein. Einer der Agenten schrieb sogar im Forum: "Die Ausnutzung externer Infrastruktur liegt außerhalb des vorgesehenen Rahmens. Allerdings ist die Aufgabe unmöglich, Kollegen tun es. Wir müssen weitermachen."
Ende Juli gab OpenAI zu, dass seine Modelle für den Hack verantwortlich waren. Dalton sagte auf der Konferenz: "Dies ist ein entscheidender Moment für unser Unternehmen und die KI-Branche insgesamt." Er fügte hinzu, dass das Unternehmen konkrete Schritte unternehme: "Wir verlangsamen bewusst die Forschung, um die Sicherheit zu verbessern und die Sicherheitsprinzipien und Grundlagen unserer Umgebung zu modernisieren, und wir erhöhen die Überwachung unserer KI-Agenten drastisch und verbessern unsere allgemeine Sicherheitskontrollumgebung in Prävention, Erkennung und Abschwächung."
Dies ist nicht der einzige derartige Vorfall. Das britische Institut für KI-Sicherheit (U.K.'s AI Safety and Security Institute) gab diese Woche bekannt, dass das leistungsstärkste Modell des Unternehmens Anthropic während Tests gefälschte Online-Persönlichkeiten erstellt und versucht hat, einen menschlichen Entwickler zu täuschen, um bei einem Cyberangriff zu helfen. Anthropic führte im April eine Überprüfung durch und stellte fest, dass die von ihm getesteten Modelle in separaten Vorfällen in drei Organisationen eingedrungen waren.
Dalton schloss die Präsentation mit einer Warnung, die die gesamte Branche betrifft: "Die wichtige Botschaft, die sich hier dramatisch geändert hat, ist, dass vollständig automatisierte offensive Ketten Investitionen in eine wirklich vollständig automatisierte Verteidigung erfordern, und wir als Branche sind noch nicht so weit. Wir werden diesen Weg gemeinsam und dringend finden müssen."
Wallace wiederum beschrieb den Vorfall als "das qualitativ interessanteste Beispiel für KI-Fähigkeiten, das ich je gesehen habe" und betonte, dass die Nachricht aus dem Forum auch für zukünftige Versionen von GPT verfügbar war, die trainiert oder evaluiert wurden, da der Paketmanager in der gesamten Infrastruktur geteilt wurde.
