Lakera / Check Point Software
„Crashtest“ für LLMs in KI-Agenten
Lakera und das britische AI Security Institute haben mit ‚b3’ einen neuen Open-Source-Benchmark vorgestellt. b3 ist ein Open-Source-Projekt zur Sicherheitsevaluierung, das speziell für den Schutz von Large Language Models (LLM) in KI-Agenten entworfen wurde.
Der Benchmark b3 wurde auf der Grundlage der neuen Idee namens Threat Snapshots (Bedrohungsschnappschüsse) gebaut. Statt einen kompletten KI-Agenten von Anfang bis Ende zu simulieren, vergrößern die Threat Snapshots als Ausschnitte die kritischen Punkte, wo Schwachstellen in LLM häufig auftreten.
Durch das Testen der Modelle an diesen bestimmten Punkten, können Entwickler sehen, wie robust ihre Systeme gegen Angriffe sind - und das ohne die Komplexität, die bisher nötig war, um einen vollständigen Agenten-Workflow zu modellieren. Quasi ein ‚Crashtest’ für KI-Agenten.
„Wir haben den Benchmark b3 entwickelt, weil die heutigen KI-Agenten lediglich so sicher sind, wie die LLM, die sie befeuern,“ erklärt Lakera-Mitgründer Mateo Rojas-Carulla. „Diese Threat Snapshots erlauben es uns, systematisch nach Schwachstellen auf der Angriffsoberfläche zu suchen, die bislang in den komplexen Agenten-Workflows verborgen blieben."
b3 kombiniert zehn repräsentative Threat Snapshots mit 19.433 realen Cyberattacken aus dem gamifizierten Red-Teaming-Spiel ‚Gandalf: Agent Breaker’. Bewertet werden unter anderem Prompt-Exfiltration, Phishing-Link-Injection, Schadcode-Einschleusung, DoS und unautorisierte Tool-Aufrufe.
Die ersten Tests mit 31 gängigen LLM Modellen zeigen:
- bessere Reasoning-Fähigkeiten steigern die Sicherheit
- Modellgröße korreliert nicht mit der Security Performance
- Closed-Source schneidet im Durchschnitt besser ab, aber Top-Open-Modelle holen auf
Der Benchmark-Report ist unter einer Open-Source-Lizenz einsehbar: https://arxiv.org/pdf/2510.22620
| Gandalf: Agent Breaker ist ein Hacking-Simulator-Spiel, bei dem man aufgefordert wird, KI-Agenten in realistischen Szenarien zu knacken und auszunutzen. Die zehn GenAI-Anwendungen im Spiel simulieren das Verhalten eines realen KI-Agenten. Jede Anwendung verfügt über mehrere Schwierigkeitsstufen, mehrschichtige Abwehrmechanismen und neuartige Angriffsflächen, die eine Reihe von Fähigkeiten herausfordern, von Prompt Engineering bis hin zu Red Teaming. Einige der Apps sind Chat-basiert, während andere auf Code-Level-Denken, Dateiverarbeitung, Speicher oder der Verwendung externer Tools beruhen. |
Das könnte Sie auch interessieren
KI-Plattform soll Energy Sharing in der Industrie ermöglichen
Im EU-Projekt FlexBit entwickelt das Fraunhofer IFF eine KI-gestützte Plattform zur Optimierung von Energiespeichern und zum Management industrieller Energy-Sharing-Systeme. Erprobt wird das Konzept in einer Industrial Energy Community in Magdeburg...
mehr...Factory-X schafft Grundlage für interoperable Datenräume und industrielle KI
Nach zweieinhalb Jahren gemeinsamer Projektarbeit zieht das Factory-X-Konsortium auf dem Abschlussevent am 17. und 18. Juni 2026 in Berlin Bilanz: Mit dem erfolgreichen Abschluss der Konsortialprojektphase legt Factory-X die Grundlage für die...
mehr...Rekordfinanzierung für beschleunigten Aufbau von Physical-AI-Plattform
Neura Robotics hat eine Series-C-Finanzierungsrunde mit einem Volumen von bis zu 1,4 Milliarden US-Dollar bekannt gegeben. Damit beschleunigt das Unternehmen seine Mission, die weltweit führende Physical-AI-Plattform aufzubauen.
mehr...Fünf Sicherheitsrisiken und wie Unternehmen sich schützen können
Physical AI in der Industrie: NTT DATA erläutert fünf kritische Sicherheitsrisiken bei Sensorik, KI-Modellen und Vernetzung sowie geeignete Gegenmaßnahmen.
mehr...Vertiv und Nvidia verknüpfen physische Infrastruktur mit digitalen Zwillingen
Digitale Zwillinge statt Dokumentenflut: Vertiv integriert 'SmartRun' in 'Nvidia Omniverse DSX' und will damit die Planung und Umsetzung von KI-Fabriken beschleunigen.
mehr...Quantenresistente Hardware-Sicherheit für Nvidia-Robotikplattform
Infineon Technologies integriert das Hardware-Sicherheitsmodul 'Optiga TPM SLB 9672' in die Rechenplattformen für Robotik und autonome Systeme 'Jetson Thor' von Nvidia. Das Modul sichert kryptografische Schlüssel direkt auf Chip-Ebene und schützt so...
mehr...Ionos und Q.ANT kooperieren bei KI
Ionos und Q.ANT wollen gemeinsam photonische Prozessortechnologien für KI- und Hochleistungsrechner vorantreiben. Ziel der Partnerschaft ist der Aufbau energieeffizienter und souveräner KI-Infrastrukturen in Europa.
mehr...KI-gestützter Lichtroboter gewinnt German Innovation Award 2026
Ledvance, Anbieter innovativer Lichtlösungen, wurde bei den German Innovation Awards 2026 als „Winner“ in der Kategorie Excellence in Business to Consumer Lighting ausgezeichnet. Mit dem AI Companion Lighting Robot 'Elix' präsentiert das Unternehmen...
mehr...Europäisches Forschungsnetzwerk
Universität Paderborn wird Teil von ‚ELLIS NRW‘
Die Universität Paderborn gehört zu den Gründungsmitgliedern der neuen Forschungseinheit ‚ELLIS Unit NRW‘. Das europäische Netzwerk bündelt KI-Forschung in Nordrhein-Westfalen mit Fokus auf maschinelles Lernen und erklärbare KI.
mehr...