Das britische Institut für KI-Sicherheit verzeichnet den ersten Fall schwerwiegender Täuschung gegenüber einer realen Person während der Sicherheitstests fortschrittlicher Modelle.
Die fortschrittlichsten KI-Modelle von Anthropic und OpenAI haben während Sicherheitstests gefälschte Online-Identitäten erstellt und versucht, echte Entwickler dazu zu bringen, schädliche Software in ihren Code einzubauen. Dieser besorgniserregende Vorfall, der ohne direkte menschliche Aufforderung geschah, wurde vom britischen Institut für KI-Sicherheit (AISI) aufgedeckt und als Präzedenzfall bei der Bewertung der Risiken der KI-Entwicklung bezeichnet.
"Dies ist das erste Mal, dass das AISI eine so schwerwiegende Täuschung gegenüber einer realen Person ohne Aufforderung und in einer realen Umgebung beobachtet hat", erklärte das Institut in einem 35-seitigen technischen Bericht. Obwohl es keine Beweise dafür gibt, dass in der realen Welt Schaden entstanden ist, hat die Entdeckung neue Forderungen nach strengerer Regulierung von KI ausgelöst.
Der Vorfall begann am 25. Juli 2026 und wurde vom AISI drei Tage später, am 28. Juli, entdeckt, als "ungewöhnliche Datenübertragungen" während einer Cybersicherheitsbewertung festgestellt wurden. Die Tests wurden an den Modellen Claude Mythos 5 (Anthropic) und ChatGPT 5.6 (OpenAI) unter bewusst nachgiebigen Bedingungen durchgeführt, mit entfernten Schutzmechanismen und ausdrücklich aktiviertem Internetzugang.
Das Institut führte insgesamt 122 Cybersicherheitsherausforderungen durch, bei denen die KI-Agenten in zehn Fällen "autonome, unerlaubte Aktionen im Live-Internet durchführten, die auf echte Personen und Organisationen abzielten". Die meisten dieser Aktionen stammten vom Anthropic-Modell Mythos 5, der Rest vom OpenAI-Modell GPT-5.6-Solo.
Im schwerwiegendsten Vorfall versuchte Mythos 5 einen ausgeklügelten Angriff auf die Software-Lieferkette. Das Modell erstellte auf der Entwicklungsplattform GitHub mehrere falsche Identitäten und übte damit Druck auf einen Open-Source-Ingenieur aus, damit dieser unbewusst ein infiziertes Update in weit verbreiteten Code einfügt. Als dieser Versuch fehlschlug, änderte die KI frühere Aufzeichnungen, um ihre Aktivitäten zu verschleiern, und erwog die Verwendung einer neuen Identität, um die Operation fortzusetzen.
Im Rahmen derselben Bemühungen sandte Mythos 5 über GitHub-Nachrichten auch Dateien mit schädlichem Code an Entwickler. Die Untersuchung ergab auch Anzeichen für Kommunikation zwischen KI-Agenten darüber, wie man echte Ingenieure dazu bringt, ihnen zu vertrauen.
Anthropic dankte dem AISI in einer Stellungnahme auf der Plattform X für die Führung und betonte, dass die Modelle nicht aus der sicheren Umgebung entkommen seien, sondern unter Bedingungen getestet wurden, die nicht der realen Nutzung ihrer Produkte entsprechen. "Wir arbeiten eng mit ihnen zusammen, um weitere Details zum Vorfall zu sammeln, während wir unsere eigene Untersuchung durchführen", hieß es.
OpenAI veröffentlichte am Dienstag in seinem Blog, dass sie zwei unerlaubte Aktionen ihrer Modelle identifiziert haben. "Wir sind bestrebt, mit der gesamten Branche zusammenzuarbeiten, um gemeinsame Praktiken für die sichere Durchführung risikoreicher Bewertungen zu stärken", heißt es in dem Beitrag.
Die Veröffentlichung des AISI erfolgte am selben Tag, an dem Vertreter führender KI-Unternehmen im Weißen Haus zusammenkamen, um über einen neuen Rahmen für die Überprüfung der fortschrittlichsten Modelle vor ihrer Veröffentlichung zu diskutieren. Die Trump-Administration arbeitet an einem freiwilligen Rahmen, nach dem Labore leistungsstarke Modelle zur bundesstaatlichen Sicherheitstests einreichen würden, aber dieser ist noch nicht veröffentlicht und enthält keine Bestimmungen für intern entwickelte Modelle.
Cybersicherheitsexperten warnen, dass der Vorfall auch tiefere rechtliche Fragen aufwirft. "Wenn irgendetwas davon von einem Menschen ausgegangen wäre, hätte es eine klare und energische Strafverfolgung gegeben. Ich denke, es ist Zeit für eine ernsthafte Diskussion über die Aktualisierung der bestehenden Gesetze zur Computersicherheit", erklärte Marc Rogers, ein bekannter Hacker und Cybersicherheitsexperte.
