Die Erkennung von Personen in Fahrzeugen umfasst nicht nur die Bestimmung der Anzahl der Fahrgäste, sondern auch ihre genaue Positionierung und die ausgeführten Gesten. Diese Informationen sind wichtig für die Erkennung von out of position (OOP) Situationen und die gezielte Aktivierung neuer, angepasster Sicherheitssysteme zum Schutz der Fahrgäste unabhängig von ihrer Position. Es ist bekannt, dass die Fahrer beim manuellen Fahren zusätzliche Aufgaben (sogenannte Nebenaufgaben oder Fahrfremdenaufgaben) ausführen. Abgesehen davon, dass diese Aufgaben ein Sicherheitsrisiko darstellen können (der Fahrer muss seine Aufmerksamkeit zwischen dem Fahren und anderen Tätigkeiten aufteilen), bewegen die Fahrer zu deren Ausführung Kopf, Arme und Oberkörper, wobei sie manchmal die ideale aufrechte Position verlassen, die für einen optimalen Schutz im Falle einer Airbag-Auslösung erforderlich ist.
Mit der zunehmenden Automatisierung der Fahrzeuge werden die Fahrer nicht mehr kontinuierlich die Umgebung überwachen müssen. Sie werden mehr Freiheit haben, um mit anderen Fahrgästen zu interagieren und bestimmte Aktivitäten auszuführen. Infolgedessen wird die Anzahl der out of position-Situationen exponentiell zunehmen, was eine Herausforderung für neue adaptive Sicherheitssysteme darstellt. Unsere Arbeiten zur Erkennung von Fahrgästen, Objekten und Tieren im Inneren von Fahrzeugen (Personenwagen und öffentliche Verkehrsmittel) zielen daher darauf ab, deep learning convolutional neural network Architekturen zur Posenerkennung und -schätzung zu testen und zu optimieren. Der Schwerpunkt liegt dabei auf der Erstellung eines Graphen der menschlichen Körpersegmente zur genauen Positionierung von Fahrgästen. Vor allem der Abstand der verschiedenen Körpersegmente in Bezug auf einen bestimmten Punkt oder eine bestimmte Region im Fahrzeuginnenraum ist von großer Bedeutung. Die Forschungsgruppe arbeitet auch an der Bewältigung der Herausforderungen einer genauen und robusten Echtzeit-Positionsbestimmung in verschiedenen Szenarien (unterschiedliche Anzahl von Fahrgästen, Kleidungsmerkmale und Bewegungsamplitude).
Innenraumerfassung
Die Forschungsgruppe für passive Sicherheit von CARISSMA verfügt über Kompetenzen auf dem Gebiet der human centered artificial intelligence, indem sie Fachwissen im Bereich des maschinellen Lernens mit Wissen über die Mensch-Maschine-Interaktion in der Verkehrssicherheit kombiniert. Das erweiterte Know-how in den Bereichen der Computer-Vision-Systeme, der Anwendung von Methoden der künstlichen Intelligenz für die Bildverarbeitung, des Fahrerverhaltens und der Verhaltensänderungen durch die Interaktion mit automatisierten Funktionen sowie der Anthropometrie und Biometrie hat es der Gruppe in den letzten Jahren ermöglicht, mit der Industrie in Projekten zusammenzuarbeiten, die sich auf den Fahrzeuginnenraum konzentrieren.
Die bisherige Arbeit konzentrierte sich auf die zwei Hauptbereiche der Erkennung von Fahrgästen und der Bewertung des Zustands der Fahrgäste.
Erkennung von Fahrgästen
Bewertung des Zustands der Fahrgäste
Die Arbeit, die sich auf den Zustand der Fahrgäste und deren Fahrtüchtigkeit konzentriert, beruht auf der Entwicklung und Verbesserung von (hauptsächlich nicht-invasiven) Techniken zur Messung von physiologischen Verhaltensparametern, die helfen können, auf den Zustand der Fahrgäste wie Schläfrigkeit, Ablenkung oder Stress zu schließen. Diese Zustände können den Fahrer daran hindern, die Fahraufgabe manuell auszuführen, oder im Falle eines höheren Automatisierungsgrades eine angemessene Fahrzeugüberwachung oder Übernahme von Kontrollaktionen behindern. Moderne Methoden der künstlichen Intelligenz werden auf Daten von Sensoren wie Kamera oder Radar angewendet. Diese Ergebnisse werden dann mit klassischen Bewertungsverfahren verglichen (z.B. EKG), die normalerweise als Goldstandard gelten.
Neulich hat die Gruppe eine private Datenbank (100 Fahrstunden, 130 TB) erstellt, die Daten aus dem Realverkehr von Berufspendlern und Fernfahrern sammelt. Diese Datenbank enthält Videos von den Gesichtern der Fahrer (von RGB- und IR-Kameras) und der vorausfahrenden Straßenumgebung (Dashboard Camera), physiologische Daten (von Smartwatch und EKG) und subjektive Bewertungen von Stress und Schläfrigkeit während der Fahrten. Die derzeit durchgeführten Arbeiten zur Bildverarbeitung unter Verwendung dieser Datenbank zielen darauf ab, Algorithmen zu entwickeln, welche die geeigneten Merkmale zur Bestimmung der Fitness des Fahrers bewerten. Die realistische Natur der Daten, die sich daraus ergibt, dass die Fahrten unter verschiedenen äußeren Umweltbedingungen (unterschiedliches Licht, Straßenlayout und Verkehrsveränderungen) stattgefunden haben, erlaubt es, die Angemessenheit und Robustheit der verwendeten Algorithmen zu testen.
Ansprechpartner: Prof. Dr. Thomas Brandmeier
