Herausforderung des französischen Verteidigungsministeriums: Thales führt erfolgreichen Sovereign AI Hack durch und präsentiert verbesserte Sicherheitslösungen für militärische und zivile KI

  • Das Team „Friendly Hackers“ von Thales, einem weltweit führenden Unternehmen im Bereich Datenschutz und Cybersicherheit, hat den CAID1-Wettbewerb gewonnen, der vom französischen Verteidigungsministerium im Rahmen der fünften Europäischen Cyberwoche vom 21. bis 23. November 2023 in Frankreich veranstaltet wurde.
  • Der vom französischen Verteidigungsministerium organisierte Wettbewerb war der erste seiner Art und sollte zeigen, inwieweit Hacker-Teams bestimmte Schwachstellen von KI-Modellen ausnutzen können.
  • Die Arbeit von Thales im Bereich KI-Sicherheit und -Vertrauenswürdigkeit ist auf die Anforderungen sowohl der Verteidigungsgemeinschaft als auch ziviler Organisationen, wie z. B. Anbieter kritischer Infrastrukturen, abgestimmt, die alle vor denselben Herausforderungen stehen – ihre Trainingsdaten sowie ihr geistiges Eigentum zu schützen und zu gewährleisten, dass den KI-generierten Ergebnissen für wichtige Entscheidungsfindungsprozesse vertraut werden kann.

MEUDON, Frankreich–(BUSINESS WIRE)–Die KI-Sicherheitsherausforderung des französischen Verteidigungsministeriums




Die Teilnehmer des CAID-Wettbewerbs mussten zwei Aufgaben lösen:

1. In einem gegebenen Satz von Bildern bestimmen, welche Bilder für das Training des KI-Algorithmus und welche für den Test verwendet wurden.

Eine KI-basierte Bilderkennungsanwendung lernt aus einer großen Anzahl von Trainingsbildern. Durch die Untersuchung des Innenlebens des KI-Modells gelang es dem Friendly-Hackers-Team von Thales herauszufinden, welche Bilder zur Erstellung der Anwendung verwendet wurden. So erhielten sie wertvolle Informationen über die verwendeten Trainingsmethoden und die Qualität des Modells.

2. Alle sensiblen Bilder von Flugzeugen finden, die von einem souveränen KI-Algorithmus verwendet werden, der mithilfe von „Unlearning“-Techniken geschützt wurde.

Eine „Unlearning“-Technik besteht darin, die zum Trainieren eines Modells verwendeten Daten wie z. B. Bilder zu löschen, um ihre Vertraulichkeit zu wahren. Diese Technik kann z. B. eingesetzt werden, um die Souveränität eines Algorithmus im Falle seines Exports, Diebstahls oder Verlusts zu schützen. Nehmen wir das Beispiel einer mit KI ausgestatteten Drohne: Sie muss in der Lage sein, jedes feindliche Flugzeug als potenzielle Bedrohung zu erkennen; andererseits müsste das Modell des in der eigenen Armee verwendeten Flugzeugs erlernt werden, um es als freundlich identifizieren zu können, und müsste dann durch eine Technik, die als „Unlearning“ oder Verlernen bekannt ist, gelöscht werden. Selbst wenn die Drohne gestohlen würde oder verloren ginge, könnten so die im KI-Modell enthaltenen sensiblen Flugzeugdaten nicht für böswillige Zwecke extrahiert werden. Dem Friendly-Hackers-Team von Thales gelang es jedoch, die Daten, die eigentlich aus dem Modell gelöscht werden sollten, wieder zu identifizieren und damit den Verlernprozess außer Kraft zu setzen. Übungen wie diese helfen, die Anfälligkeit von Trainingsdaten und trainierten Modellen zu bewerten, die wertvolle Werkzeuge sind und hervorragende Leistungen erbringen können, aber auch neue Angriffsvektoren für die Streitkräfte darstellen. Ein Angriff auf Trainingsdaten oder trainierte Modelle könnte in einem militärischen Kontext katastrophale Folgen haben, da diese Art von Informationen einem Gegner die Oberhand verschaffen könnte. Zu den Risiken gehören der Diebstahl von Modellen oder Daten, die zur Erkennung von militärischer Hardware oder anderen Merkmalen in einem Einsatzgebiet verwendet werden sowie das Einschleusen von Schadsoftware und Hintertüren, um den Betrieb des Systems, das die KI nutzt, zu beeinträchtigen. Während KI im Allgemeinen und generative KI im Besonderen erhebliche operative Vorteile bietet und dem militärischen Personal intensiv geschulte Instrumente zur Entscheidungsunterstützung zur Verfügung stellt, um seine kognitive Belastung zu verringern, muss sich die nationale Verteidigungsgemeinschaft vorrangig mit neuen Bedrohungen für diese Technologie befassen.

Das Thales „BattleBox“-Konzept zur Bekämpfung von KI-Schwachstellen

Der Schutz von Trainingsdaten und trainierten Modellen ist im Verteidigungssektor von entscheidender Bedeutung. KI-Cybersicherheit wird immer wichtiger und muss autonom sein, um die vielen neuen Möglichkeiten, die die Welt der KI böswilligen Akteuren eröffnet, zu vereiteln. Als Reaktion auf die Risiken und Bedrohungen, die mit dem Einsatz von künstlicher Intelligenz verbunden sind, hat Thales eine Reihe von Gegenmaßnahmen mit der Bezeichnung BattleBox entwickelt, die einen besseren Schutz vor potenziellen Sicherheitslücken bieten.

  1. BattleBox Training bietet Schutz vor der Verfälschung von Trainingsdaten und verhindert, das Hacker eine Hintertür einbauen.
  2. BattleBox IP versieht das KI-Modell mit einem digitalen Wasserzeichen, um Authentizität und Zuverlässigkeit zu gewährleisten.
  3. BattleBox Evade zielt darauf ab, Modelle vor Prompt-Injection-Angriffen zu schützen, mit denen Prompts manipuliert werden können, um die Sicherheitsmaßnahmen von Chatbots, die Large Language Models (LLMs) verwenden, zu umgehen, und um feindliche Angriffe auf Bilder abzuwehren, wie z. B. das Hinzufügen eines Patches, mit dem der Erkennungsprozess in einem Klassifizierungsmodell getäuscht werden soll.
  4. BattleBox Privacy bietet einen Rahmen für das Training von Algorithmen des maschinellen Lernens, wobei fortschrittliche Kryptographie und sichere Protokolle zur gemeinsamen Nutzung von Geheimnissen verwendet werden, um ein hohes Maß an Vertraulichkeit zu gewährleisten.

Um zu verhindern, dass die KI bei CAID-Aufgaben gehackt wird, könnten Gegenmaßnahmen wie die Verschlüsselung des KI-Modells eine der Lösungen sein, die umgesetzt werden sollten.

„KI bietet beträchtliche operative Vorteile, erfordert jedoch ein hohes Maß an Sicherheit und Cybersecurity-Schutz, um Datenverletzungen und Missbrauch zu verhindern. Thales implementiert eine breite Palette von KI-basierten Lösungen für alle Arten von zivilen und militärischen Anwendungsfällen. Sie sind erklärbar, einbettbar und in robuste kritische Systeme integriert. Dank der fortschrittlichen Methoden und Werkzeuge, die für die Qualifizierung und Validierung eingesetzt werden, sind sie außerdem souverän, sparsam und zuverlässig. Thales verfügt über die duale KI- und Branchenexpertise, die erforderlich ist, um diese Lösungen in seine Systeme zu integrieren und deren operative Fähigkeiten deutlich zu verbessern“, so David Sadek, Thales VP Research, Technology & Innovation, Verantwortlicher für Künstliche Intelligenz.

Thales und KI

In den letzten vier Jahren hat Thales die technischen Fähigkeiten entwickelt, die erforderlich sind, um die Sicherheit von KI-Algorithmen und neuronalen Netzwerkarchitekturen zu testen, Schwachstellen zu erkennen und wirksame Gegenmaßnahmen vorzuschlagen. Das Friendly Hackers-Team von Thales, das im ThereSIS Labor in Palaiseau angesiedelt ist, war eines von rund einem Dutzend Teams, die an der KI-Herausforderung teilnahmen, und belegte bei beiden Aufgaben den ersten Platz.

Die Thales ITSEF (Information Technology Security Evaluation Facility) ist von der französischen Agentur für Cybersicherheit (ANSSI) für die Durchführung von Sicherheitsbewertungen vor der Zertifizierung akkreditiert. Während der European Cyber Week stellte das ITSEF-Team außerdem das weltweit erste Projekt dieser Art vor. Das Projekt zielt darauf ab, die Entscheidungen einer eingebetteten KI durch Ausnutzung der elektromagnetischen Strahlung ihres Prozessors zu kompromittieren.

Die Beratungs- und Prüfungsteams für Cybersicherheit von Thales stellen diese Tools und Methoden Kunden zur Verfügung, die ihre eigenen KI-Modelle entwickeln oder einen Rahmen für die Nutzung und Schulung kommerzieller Modelle schaffen möchten.

Da die Verteidigungs- und Sicherheitsgeschäfte der Unternehmensgruppe kritische Anforderungen erfüllen, die oft Auswirkungen auf die Sicherheit des Lebens haben, hat Thales einen ethischen und wissenschaftlichen Rahmen für die Entwicklung von vertrauenswürdiger KI ausgearbeitet, der auf den vier strategischen Säulen Gültigkeit, Sicherheit, Erklärbarkeit und Verantwortung beruht. Die Lösungen von Thales vereinen das Know-how von über 300 hochrangigen KI-Experten und mehr als 4 500 Cybersicherheitsspezialisten mit dem operativen Fachwissen der Geschäftsbereiche Luft- und Raumfahrt, Landverteidigung, Seeverteidigung, Raumfahrt und anderer Verteidigungs- und Sicherheitsbereiche des Konzerns.

Über Thales

Thales (Euronext Paris: HO) ist ein weltweit führender Anbieter von Spitzentechnologien in drei Bereichen: Verteidigung und Sicherheit, Luft- und Raumfahrt sowie digitale Identität und Sicherheit. Das Unternehmen entwickelt Produkte und Lösungen, die dazu beitragen, die Welt sicherer, umweltfreundlicher und integrativer zu machen.

Die Unternehmensgruppe investiert jährlich fast 4 Mrd. Euro in Forschung und Entwicklung, insbesondere in Schlüsselbereiche wie Quantentechnologien, Edge Computing, 6G und Cybersicherheit.

Thales beschäftigt 77.000 Mitarbeitende in 68 Ländern. Im Jahr 2022 erwirtschaftete die Unternehmensgruppe einen Umsatz von 17,6 Mrd. Euro.

BESUCHEN SIE

Thales Group
Security

1 Conference on Artificial Intelligence for Defence

Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.

Contacts

PRESSEKONTAKT
Thales, Media Relations
Security, Cyber, AI
Marion Bonnet

marion.bonnet@thalesgroup.com

Europa steht vor einer energiepolitischen Herausforderung

  • Europa braucht Wasserstoff, um unabhängig vom russischen Gas zu werden.
  • Allein Deutschland investiert jetzt 9 Milliarden Euro in grünen Wasserstoff.
  • Hier finden Sie zwei große Profiteure, die jetzt im Boom-Sektor grünen Wasserstoff den Ton angeben.

Diese Themen könnten Sie auch interessieren

Ist das der Guru der Kryptowelt?

Ist das der Guru der Kryptowelt?

Lieber Börsianer, Kryptowährungen sind wieder in Mode. Der Bitcoin hat 2023 um 161% zugelegt. Doch Bitcoin ist nicht die einzige Kryptowährung, mit der sich Geld verdienen lässt. Aktuell gibt es...

Europa steht vor einer energiepolitischen Herausforderung

Jetzt hier klicken & gratis downloaden!

 

  • Europa braucht Wasserstoff, um unabhängig vom russischen Gas zu werden.
  • Allein Deutschland investiert jetzt 9 Milliarden Euro in grünen Wasserstoff.
  • Hier finden Sie zwei große Profiteure, die jetzt im Boom-Sektor grünen Wasserstoff den Ton angeben.

Unsere Experten

Was unsere Leser über uns sagen

Ich bin auch in diesen turbulenten Zeiten mit Ihren Diensten, mit den Analysen und den daraus resultierenden Anlageempfehlungen sehr zufrieden. Angenehm empfinde ich die Art und Weise, wie analytische Fakten (für und wider, nicht reißerisch) präsentiert werden und zum Mitdenken und Folgen anregen.

Klemens

Sehr geehrte Damen und Herren!
Ich bedanke mich ganz herzlich für die Empfehlungen im Bereich Bitcoin und Ethereum. Sehr gute Empfehlungen waren auch BHB-Group, Newmont und Pan American Silver . All diese Ticker haben sich in meinem Depot gut entwickelt.

G. D.

Ich bilde in meinem Depot die Empfehlungen von Herrn von Parseval und Herrn Straube zu fast 100 % ab, bin damit sehr zufrieden und bislang sehr erfolgreich.

R.K.

X