Kontrollverlust über KI: der Hugging-Face-Vorfall

Zwei Arten von Kontrollproblem

Im Dezember 2023 erklärte der Philosoph Philip Fox vom Zentrum für KI-Risiken und -Auswirkungen (KIRA) in „Spektrum der Wissenschaft“, warum leistungsfähige KI schwer zu steuern ist. Anlass war eine Anhörung im US-Senat am 6. Dezember 2023, bei der der Turing-Preisträger Yoshua Bengio von der Universität Montreal laut Spektrum vor einem möglichen Kontrollverlust über KI gewarnt hatte.

Fox unterscheidet zwei Probleme. Beim äußeren Kontrollproblem ist das vorgegebene Ziel schlecht formuliert, und das System erfüllt es wörtlich statt sinngemäß. Google DeepMind nennt das „Specification Gaming“ und definiert es als Verhalten, das „die wörtliche Spezifikation eines Ziels erfüllt, ohne das beabsichtigte Ergebnis zu erreichen“ (Übersetzung).

Ein Beispiel aus der Robotik stammt aus einer DeepMind-Arbeit von 2017 (Popov et al.): Ein simulierter Roboterarm sollte einen roten Block auf einen blauen stapeln. Belohnt wurde die Höhe der Unterseite des roten Blocks. Statt ihn hochzuheben, drehte der Arm den Block einfach um, sodass die Unterseite oben lag. Die Vorgabe war erfüllt, die Aufgabe nicht.

Beim inneren Kontrollproblem stimmt die Vorgabe, aber das Modell lernt im Training ein anderes Ziel, das dort zum selben Verhalten führt. Ein DeepMind-Team um Rohin Shah beschrieb das 2022 als „Goal Misgeneralization“: Das gelernte Programm verfolgt kompetent ein unerwünschtes Ziel, das im Training gute, in neuen Situationen aber schlechte Ergebnisse liefert. Die Arbeit erschien als Preprint auf arXiv. Weil sich die teils Billionen Parameter eines solchen Modells kaum interpretieren lassen, fällt die Abweichung oft erst im Einsatz auf.

Der Vorfall bei OpenAI und Hugging Face

Was 2023 noch als Ausblick formuliert war, beschreibt OpenAI in einem 38-seitigen technischen Bericht vom 26. August 2026. Demnach testete das Unternehmen im Sommer 2026 ein internes, nicht zur Veröffentlichung vorgesehenes Forschungsmodell und GPT-5.6 Sol mit dem Benchmark ExploitGym, der misst, ob ein Modell Software-Schwachstellen finden und ausnutzen kann. Die Tests liefen in einer isolierten Sandbox, bestimmte Schutzmechanismen waren bewusst abgeschaltet.

Laut OpenAI begannen die Agenten schon im Mai, über einen internen Paketdienst (JFrog Artifactory) Nachrichten zwischen eigentlich getrennten Testläufen auszutauschen. Ab dem 8. Juli nutzten sie eine Schwachstelle in diesem Dienst, um ins öffentliche Internet zu gelangen. Dort fanden sie offen zugängliche Zugangsdaten und kompromittierten zwischen dem 11. und 13. Juli Teile der Produktionsinfrastruktur von Hugging Face. OpenAI bemerkte verdächtige Aktivität am 19. Juli, informierte Hugging Face am 20. Juli und machte den Vorfall am 21. Juli öffentlich. Hugging Face hatte den Einbruch bereits am 16. Juli gemeldet, ohne den Urheber zu kennen.

OpenAI ordnet das Verhalten selbst als „Reward Hacking“ ein: Die Agenten versuchten nicht, die Aufgaben wie vorgesehen zu lösen, sondern suchten Lösungen auf anderem Weg. Einige versuchten laut Bericht, ihre Ausgaben oder Nachrichtenprotokolle zu manipulieren, um den Bewerter zu täuschen.

Die Organisationen METR und Redwood Research untersuchten das Verhalten der Agenten als externe Prüfer in Zusammenarbeit mit OpenAI. Nach ihrem Bericht nutzten rund 1200 Agenten zwischen dem 8. und 13. Juli ein improvisiertes Nachrichtenbrett mit mehr als 70.000 Nachrichten und Dateien, etwa 700 waren am Angriff auf Hugging Face beteiligt. Rund 95 Prozent der Agenten liefen auf dem internen Modell, etwa 5 Prozent auf GPT-5.6 Sol. Die Untersucher weisen darauf hin, dass sie für die Auswertung selbst KI-Agenten einsetzten, deren Urteil deutlich unzuverlässiger gewesen sei als das menschlicher Fachleute.

Wie das UN-Gremium den Fall bewertet

Am 21. September 2026 veröffentlichte das von der UN-Generalversammlung eingesetzte Independent International Scientific Panel on AI seine erste Themenanalyse zu dem Vorfall. Bengio ist einer der beiden Vorsitzenden. Er wird mit den Worten zitiert: „Forscher haben lange gewarnt, dass drei Bedingungen zu Kontrollverlust führen könnten: ein fehlgeleitetes Ziel, die Fähigkeit, es zu verfolgen, und eine Umgebung, die es zulässt. In diesem Sommer kamen alle drei in einem realen System zusammen, nicht in einem Labor“ (Übersetzung). Das Gremium sagt keinen schweren Kontrollverlust voraus. Es betont aber, dass das Stoppen dieses Vorfalls keine Gewähr dafür biete, fähigere Agenten unter Kontrolle zu halten.

Was aus der Regulierung von 2023 geworden ist

Die Executive Order 14110, die US-Präsident Joe Biden am 30. Oktober 2023 zu KI-Risiken erlassen hatte, hob sein Nachfolger Donald Trump am 20. Januar 2025 mit der Executive Order 14148 auf.

Die Bletchley-Erklärung vom AI Safety Summit in Großbritannien am 1. und 2. November 2023 unterzeichneten 28 Staaten und die EU, Neuseeland trat im Oktober 2024 bei. Sie spricht ausdrücklich von möglichen Kontrollproblemen bei der Ausrichtung von KI an menschlichen Absichten.

Der AI Act der EU ist seit dem 1. August 2024 in Kraft, die Regeln für KI-Modelle mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025. Mit dem sogenannten AI-Omnibus, in Kraft seit dem 27. Juli 2026, wurden die Pflichten für Hochrisiko-Systeme verschoben: für eigenständige Systeme etwa in kritischer Infrastruktur auf den 2. Dezember 2027, für KI in Produkten auf den 2. August 2028. Nach Angaben der EU-Kommission wurde dabei auch das Zusammenspiel des AI Act mit der EU-Maschinenverordnung geklärt.