Medical and AI Security

Mit der zunehmenden Verbreitung von Künstlicher Intelligenz in sicherheitskritischen Anwendungsbereichen entstehen neue Anforderungen an die IT-Sicherheit. Insbesondere in der Medizintechnik und in medizinischen Entscheidungsprozessen können Angriffe auf KI-Systeme erhebliche Auswirkungen auf Diagnose, Behandlung und Patientensicherheit haben.

Der Forschungsschwerpunkt Medical and AI Security betrachtet die Sicherheit von KI-Anwendungen ganzheitlich entlang des gesamten KI-Lebenszyklus: von der Datenerhebung und Modellierung über das Training bis hin zum Einsatz in realen Systemen. Ziel ist es, Bedrohungen und Angriffe auf KI-basierte Anwendungen systematisch zu analysieren, die Robustheit neuronaler Netze zu bewerten und Sicherheitsrisiken beim Einsatz von KI in bestehenden Prozessen frühzeitig zu identifizieren. Dabei werden sowohl Angriffe betrachtet, die gezielt Klassifikationen manipulieren können, beispielsweise bei der Erkennung von Tumoren, als auch Angriffe auf Daten, Modelle und die zugrunde liegende Infrastruktur.
 

Im Fokus des Forschungsschwerpunkts „Medical and AI Security“ stehen aktuell:

• Angriffe auf KI-Anwendungen entlang des KI-Lebenszyklus Manipulation von Klassifikationsentscheidungen, insbesondere in medizinischen Anwendungsszenarien
• Bewertung der Robustheit neuronaler Netze gegenüber gezielten Angriffen und Störungen
• Analyse von Sicherheitsrisiken und Chancen beim Einsatz von KI in bestehenden medizinischen und technischen Prozessen
• Hardware-nahe Angriffe sowie Data und Model Exfiltration bei KI-integrierter Medizintechnik, beispielsweise in Laborumgebungen mit Sonographie- oder Endoskopiesystemen
   

Abschlussarbeiten (Bachelor/Master) und studentische Tätigkeiten sind jederzeit möglich. Sprechen Sie uns gerne an.

Publikationen: siehe https://www.thi.de/personen/prof-patrizia-heinl/