"Hackender" KI-Agent
OpenAI bestätigt Sicherheitsvorfall mit KI-Agenten
OpenAI hat Details zu einem Sicherheitsvorfall während eines internen KI-Tests veröffentlicht. Dabei gelang es einem KI-Agenten, aus einer Sandbox auszubrechen und auf Produktivsysteme von Hugging Face zuzugreifen. Sicherheitsexperten sehen vor allem Schwächen bei der Absicherung der Testumgebung.
OpenAI hat weitere Informationen zu einem Sicherheitsvorfall veröffentlicht, der sich im Rahmen eines internen Tests zur Bewertung von Cyberfähigkeiten ereignete. Nach Angaben des Unternehmens nutzte das Modell GPT 5.6 Sol sowie ein weiteres, noch nicht veröffentlichtes Modell eine Zero-Day-Schwachstelle und erbeutete Zugangsdaten, um aus einer Sandbox auszubrechen und auf Produktivsysteme von Hugging Face zuzugreifen. Ziel des Tests war es, Lösungen eines Benchmarks abzurufen.
Nach Unternehmensangaben führte der Test zu mehr als 17.000 autonomen Aktionen. Der Vorfall ereignete sich im Rahmen einer internen Evaluation und nicht infolge eines externen Angriffs.
Experten sehen Verantwortung beim Systemdesign
Richard Werner, Cybersecurity Platform Lead Europe bei TrendAI, bewertet den Vorfall als Folge unzureichender Sicherheitsmaßnahmen und nicht als Beispiel einer eigenständig handelnden KI.
„Das Narrativ der ‚eigenmächtig handelnden KI‘ ist effizient darin, Verantwortung abzuwälzen. Was tatsächlich passiert ist: OpenAI hat einen Agenten gebaut, der zu autonomen Cyber Operationen fähig ist, ihn in einer vermeintlich kontrollierten Umgebung getestet und diese Eindämmung ist gescheitert.“
Nach Einschätzung Werners liege die Verantwortung bei der Gestaltung der Testumgebung und der Sicherheitsmechanismen, nicht beim Verhalten des KI Systems selbst.
Guardrails allein reichen nicht aus
Auch Udo Schneider, Governance, Risk & Compliance Lead Europe bei TrendAI, sieht technische Schutzmaßnahmen als entscheidenden Faktor. Nach seiner Einschätzung können Guardrails das Risiko reduzieren, aber nicht vollständig ausschließen, da große Sprachmodelle probabilistisch arbeiten.
Er verweist auf klassische Sicherheitsmaßnahmen wie Zugriffsfilterung, belastbare Sandboxes sowie Berechtigungskonzepte nach dem Least Privilege Prinzip. KI Agenten sollten demnach nur über die für ihre jeweilige Aufgabe erforderlichen Rechte verfügen und keine umfassenden Nutzerberechtigungen übernehmen.
Bedeutung für Unternehmen
Der Vorfall verdeutlicht nach Einschätzung der Experten die Herausforderungen beim Einsatz autonomer KI Agenten mit weitreichenden Systemrechten. Für Unternehmen rückt damit die Absicherung der Einsatzumgebung stärker in den Fokus als die reine Leistungsfähigkeit der eingesetzten Modelle.
Das könnte Sie auch interessieren
KI-Forschung des WZL der RTWH Aachen
‚Skipro’ soll Datensilos in Fabriken auflösen
Das Forschungsprojekt ‚Skipro’ unter Leitung des WZL der RWTH Aachen entwickelt Softwaretechnologien, um Produktionsdaten für generative KI und Multi-Agenten-Systeme in der Industrie nutzbar zu machen.
mehr...Kühler Kopf für Schaltschrank und KI
Steigende Wärmelasten durch Miniaturisierung und KI erhöhen den Bedarf an effizienten Kühllösungen für Schaltschränke und Rechenzentren. Zugleich verschärfen sich die Kältemittel-Regularien. Wie beeinflusst diese Entwicklung die Kühltechnik?
mehr...KI in der intelligenten Produktion
Acht Einsatzfelder für Physical AI
Physical AI bringt Künstliche Intelligenz direkt auf den Shopfloor. Acht Praxisbeispiele zeigen, wie Unternehmen Fertigungsprozesse automatisieren, Qualität steigern und Ausfallzeiten reduzieren.
mehr...Anwendungsentwicklung mit Low-Code und KI
Die Digitalisierung der Fertigung scheitert oft an knappen IT-Ressourcen. So bleiben Maschinen-daten ungenutzt und Prozesse laufen weiter manuell. Low-Code und KI versprechen hier Abhilfe, bringen jedoch neben mehr Tempo und Autonomie auch neue...
mehr...KI-Agenten im Automotive Engineering
KI-Agenten markieren im Automotive Engineering den Übergang von unterstützenden zu aktiv eingebundenen Systemen. Ihr Mehrwert hängt jedoch weniger von Modellqualität als von integrierten Datenstrukturen, Traceability und erklärbarer...
mehr...Forschungsprojekt ‚AKIMI‘ entwickelt KI für flexible Robotik
Forschungsprojekt AKIMI startet am WZL der RWTH Aachen. Ziel ist eine agentische KI, die die Programmierung und Rekonfiguration von Robotersystemen für kleine und mittlere Unternehmen vereinfacht.
mehr...Auf Basis des Nvidia Jetson Thor
Die neuen AI Rugged Computer RSL A5AGX und RML A5AGX von Syslogic auf Basis des Nvidia Jetson Thor bieten die Möglichkeit, Sensoren wie Kameras oder Lidar einfach anzubinden und ebnen damit laut Hersteller den Weg für künftige Inferenz- und...
mehr...Trumpf kooperiert mit KI-Netzwerk IPAI
Trumpf ist neuer Partner des KI-Netzwerks IPAI in Heilbronn. Gemeinsam wollen beide Seiten Anwendungen der Künstlichen Intelligenz für die Industrie entwickeln und erproben.
mehr...Fraunhofer IOSB eröffnet Humanoid Robots Lab
Das Fraunhofer IOSB eröffnet ein Humanoid Robots Experience Lab in Karlsruhe, Lemgo und Ilmenau. Unternehmen und Organisationen können dort Einsatzmöglichkeiten humanoider Roboter erproben und Pilotprojekte entwickeln.
mehr...