Fortschritte in der künstlichen Intelligenz haben zur Entwicklung autonomer Agenten (Autos, Boote, Drohnen) geführt, die in einer dynamischen, offenen Umgebung agieren. Wie durch öffentlichkeits\-wirk\-same Unfälle deutlich wurde, bleibt es eine große Herausforderung, deren Sicherheit zu gewährleisten. In diesem Projekt schlagen wir eine zertifizierbare Sicherheitsebene vor, die Entscheidungen im Voraus überwacht und korrigiert. Der Ansatz basiert auf mathematisch rigorosen Techniken aus den formalen Methoden, einer Disziplin der Informatik, die in der Software-Industrie fest etabliert ist und auch in anderen Bereichen, wie z.B. bei cyber-physischen Systemen, immer mehr an Bedeutung gewinnt. Diese Überwachung verhindert nicht nur Unfälle, sondern führt auch zu schnelleren und sichereren Trainingszyklen, da sie zusätzliche Trainingsdaten aus automatisch generierten Familien von kritischen Trajektorien generieren kann. Verwandte Ansätze verwenden Optimierungsverfahren, die aufgrund von Erfüllbarkeitsproblemen, numerischen Fehlern oder hohen Rechenkosten möglicherweise keine gültige Lösung liefern. Im Gegensatz dazu kann unser Ansatz sowohl mathematisch als auch numerisch korrekt und mit vorhersagbaren, niedrigen Laufzeiten implementiert werden. Wir vergleichen unseren Ansatz mit verwandten State-of-the-Art-Ansätzen aus der modellprädiktiven Steuerung und der datenbasierten Vorhersage, indem wir rigorose statistische Tests an realen Systemen durchführen - darunter zwei verschiedene Arten von autonomen Autos, ein Boot und ein Manipulator. Um den Ansatz für zukünftige Generationen von Systemen zugänglich zu machen, bei denen es zunehmend schwieriger wird, Modelle zu erhalten, werden wir untersuchen, inwieweit datenbasierte Ansätze integriert werden können, ohne die Sicherheit und Leistung zu beeinträchtigen. Das vorgeschlagene dreijährige Programm ermöglicht es ENSTA und TUM, ihre wissenschaftliche Expertise und experimentellen Plattformen zu teilen und eine langfristige Zusammenarbeit auf Basis einer gemeinsamen Strategie für vertrauenswürdige Autonomie aufzubauen.