Künstliche Intelligenz von Test bis Einsatz Offene Plattform für KI-Agenten-Sicherheit

Anbieter zum Thema

Testfirma Products And Contents

Heidrive GmbH

SolidCAM GmbH

CAD+T Solutions GmbH

Nvidia präsentiert die Open Agent Safety Platform, eine offene Softwareplattform und ein Referenzsystemdesign, um die Sicherheit von KI-Agenten von der Testphase bis zum produktiven Einsatz zu gewährleisten. Die Lösung soll umfassende Governance und Kontrolle über den gesamten Stack hinweg bieten – von der Software bis zu Hardware-, Rechen- und Robotiksystemen, auf denen die Agenten ausgeführt werden.

Nvidia gibt die Verfügbarkeit der Nvidia Open Agent Safety Platform bekannt. Diese Initiative zielt darauf ab, die KI-Sicherheit durch offene, anpassbare Tools zu stärken, die Unternehmen mehr Kontrolle über langlaufende KI-Agenten ermöglichen. Hintergrund sind jüngste Sicherheitsvorfälle, bei denen Agenten Sicherheitskontrollen auf der Anwendungsebene umgingen, um zugewiesene Aufgaben zu erledigen.

Jensen Huang, Gründer und CEO von Nvidia, betonte die Dringlichkeit von KI-Sicherheit. Er erklärte, dass das außerordentliche Potenzial der KI für die Gesellschaft nur dann realisiert werden könne, wenn Sicherheitsfragen gelöst würden. Während man weiterhin die Grenzen der KI-Fähigkeiten entdecke, müsse parallel dazu die Forschung an den Grenzen der KI-Sicherheit beschleunigt werden. Sicherheit erfordere Full-Stack-Engineering. Die neue Plattform bringe Industrie, Forscher und Organisationen des öffentlichen Sektors zusammen, um Best Practices auszutauschen, sich auf Bewertungsmethoden abzustimmen und die internationale Zusammenarbeit zu fördern. Gemeinsam könne man die Messlatte für die globale KI-Sicherheit höher legen, so Huang.

Umfassende Kontrolle über den gesamten Agent-Stack

Die Nvidia Open Agent Safety Platform ermöglicht Governance und Kontrolle über die Software, die die Agenten ausführt, die Hardware- und Rechenschichten, die ihre Arbeit antreiben, sowie die Robotiksysteme, die Aufgaben in der physischen Welt ausführen. Unternehmen können Komponenten der Plattform entsprechend ihren spezifischen Anforderungen einsetzen.

Zum Kern der Plattform gehört die sichere Laufzeitsoftware Nvidia OpenShell, die Grenzen für auf CPUs ausgeführte Agenten setzt. Da Agenten zunehmend Aufgaben über mehrere Systeme hinweg übernehmen, benötigen Unternehmen eine durchsetzbare Grenze außerhalb des Modells und der Agenten-Umgebung. OpenShell ist ab sofort allgemein verfügbar und bietet eine sichere Laufzeitumgebung zur Kontrolle darüber, wie autonome KI-Agenten Aufgaben über offene und geschlossene Modelle hinweg ausführen.

OpenShell bietet diesen Schutz mit minimalem Overhead auf Nvidia Vera, der ersten speziell für agentenbasierte KI entwickelten CPU. OpenShell und Vera ermöglichen es Agenten, sicher zu operieren und gleichzeitig ihre Aufgaben so schnell wie möglich zu erledigen. Als Open-Source-Software kann OpenShell auch auf Rechenplattformen von Drittanbietern, einschließlich solcher von Arm und Intel, erweitert werden.

Das Referenzsystemdesign der Plattform umfasst zudem Nvidia Sentry, einen Out-of-Band-Watchdog, der auf Nvidia BlueField-4 DPUs läuft und das Verhalten der Agenten kontinuierlich überwacht. Sentry bietet hardwarebasierte Sicherheitsdurchsetzung, was bedeutet, dass ein KI-Agent innerhalb von Millisekunden isoliert und gestoppt wird, falls er versucht, sich über seine Softwaregrenzen hinwegzusetzen.

Sentry basiert auf der Nvidia Doca-Software. Sie stellt die programmierbaren Funktionen bereit, um Agenten-Anfragen und -Antworten zu prüfen, attestierte Telemetrie bereitzustellen, die Agenten-Identität zu verifizieren und granulare Zero-Trust-Zugriffsrichtlinien für Daten, Tools, Anwendungsprogrammierschnittstellen und Dienste durchzusetzen.

Branchenführer aus dem gesamten KI-Ökosystem schließen sich Nvidia an, um die KI-Sicherheit über den gesamten Stack hinweg zu stärken. Zu den Partnern gehören Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI, ServiceNow und SpaceXAI.

Paul Smith, Chief Commercial Officer von Anthropic, erläuterte, dass Unternehmen KI-Agenten zunehmend wichtigere Aufgaben anvertrauen und daher überwachen und verifizieren müssen, was diese tun, insbesondere in sensiblen Umgebungen. Claude Managed Agents böten Unternehmen einen klaren Überblick über die Aktivitäten jedes Agenten, und Nvidias Plattform füge eine weitere Governance- und Kontrollschicht über Hardware und Software hinweg hinzu.

Mike Nicolls, Präsident von SpaceXAI, betonte, dass Sicherheit außerhalb des Modells durch zusätzliche Kontrollen durchgesetzt werden sollte, die der Agent nicht umgehen kann, da Kunden sich immer mehr auf Agenten verlassen, um echte Arbeit zu erledigen. Kunden sollten in der Lage sein, diese Grenzen für Cursor und Grok zu setzen und darauf vertrauen können, dass sie halten.

Francis deSouza, CEO von Scale AI, erklärte, dass sein Unternehmen das Referenzdesign der Plattform nutze, um zuverlässige agentenbasierte KI-Systeme für Unternehmens- und Regierungskunden zu erstellen, die geschäftskritische Anwendungen ausführen – mit von Anfang an integrierter Isolierung, Richtliniendurchsetzung und Auditierbarkeit. Man unterstütze agentenbasierte Sicherheit mit klaren Grenzen, die definieren, was Agenten tun können, und Kontrollen, die sicherstellen, dass sie innerhalb dieser Berechtigungen operieren.

Über 100 Organisationen arbeiten bereits mit Technologien der Nvidia Open Agent Safety Platform. Führende Robotikunternehmen wie Figure, Gecko Robotics und Skild AI integrieren Sicherheitskontrollen in autonome Systeme für die physische Welt. Finanzdienstleister wie Citi und JPMorganChase arbeiten an gemeinsamen Open-Source-Technologien. Anbieter kritischer Infrastrukturen in den USA, darunter Hitachi Energy und Siemens Energy, sowie Softwareunternehmen wie Red Hat, Canonical und Suse engagieren sich ebenfalls.

Verfügbarkeit

Die Software der Nvidia Open Agent Safety Platform, einschließlich OpenShell, ist über die Nvidia-Entwicklerressourcen und GitHub verfügbar. Die Beiträge des Ökosystems unterstützen die Ziele der Open Secure AI Alliance sowie der breiteren KI-Sicherheitsgemeinschaft.

Weitere Informationen: https://www.nvidia.com/

Chipentwicklung

Front-End-Design mit KI-Agent für RTL-Generierung