Sensorfusion – Architekturen und Algorithmen

Ingenieurwissenschaften und Informatik

Version 11.0 vom 28.02.2023

11B1805

Sensor Fusion – Architectures and Algorithms

• Informatik - Technische Informatik (B.Sc.)
• Informatik - Medieninformatik (B.Sc.)
• Mechatronik (B.Sc.)
• Elektrotechnik (B.Sc.)

2

Ähnlich wie unsere Sinne nehmen Sensoren eines Roboters oder eines Fahrzeuges die Umwelt wahr. Mit einem durchdachten Sensorset, das mittels intelligenter echtzeitfähiger Algorithmen die Umwelt einer Maschine wahrnimmt, können Anwendungen wie z. B. Smart-Homes, automatisiertes Fahren und Mensch-Roboter-Kollaborationen realisiert werden.

Die grundlegenden Architekturen und Algorithmen der Sensorfusion kennen, bewerten und umsetzen zu können, ist Ziel dieser Veranstaltung. Bei der Entwicklung der Architektur müssen unter anderem die Dimensionen der funktionalen Sicherheit (Safety), der Cyber-Sicherheit (Security), Sensorkosten, Softwarekosten und Echtzeitanforderungen berücksichtigt werden. Mit der Architektur als Grundlage können gezielt Algorithmen ausgewählt und implementiert werden, die alle Sensorinformationen beispielsweise in einer Karte der Umgebung zusammenführen und auf der alle Objekte zuverlässig lokalisiert und erkannt werden können.

Im vorlesungsbegleitenden Praktikum erfolgt die praktische Anwendung, in der z. B. mittels eines Beschleunigungssensors und eines GPS-Empfängers in einem Smartphon Indoor Navigation realisiert oder durch eine Kamera und LiDAR Objekte Fahrzeuge lokalisiert werden.

• Architekturdesign für Soft- und Hardwaresysteme
• Sensorsynchronisierung, eventbasierte Datenverarbeitung
• virtuelle Sensoren oder wie aus mehreren Sensoren ein „Super“-Sensor wird
• funktionale Sicherheit (Safety) und Cyber-Sicherheit (Security) vs. Software- und Hardwarekosten
• klassische Verfahren zur Sensorfusion, physikalische Zusammenhänge in definierten Algorithmen
• KI-basierte Verfahren zur Sensorfusion, datensatzbasiertes Lernen von Zusammenhängen

Wissensverbreiterung
Die Studierenden besitzen ein Grundwissen über die Soft- und Hardwareanforderungen der Sensorfusion und können Architekturen systematisch für unterschiedliche Anwendungsfälle bewerten. Neben den theoretischen Kompetenzen können die Studierenden Software entwickeln, die mindestens zwei Sensoren zu einem virtuellen Sensor fusionieren.
Wissensvertiefung
Die Studierenden beherrschen die grundsätzlichen Schritte von der Entwicklung der Architektur über die Bewertung bis zur Implementierung der Sensorfusion.
Können - instrumentale Kompetenz
Die Studierenden sind in der Lage, mittels geeigneter Programmiersprachen wie Python und C++, Sensoren z. B. für die zuverlässige Objekterkennung oder Positionsbestimmung zu konzipieren und zu implementieren.
Können - kommunikative Kompetenz
Die Studierenden können anwendungsbezogen Vor- und Nachteile der Sensorfusion argumentativ in verschiedenen Dimensionen (Safety, Security, Kosten, …) vertreten.
Können - systemische Kompetenz
Die Studierenden besitzen einen elementaren Überblick über die Sensordatenverarbeitung und können Anwendungsbeispiele wie die Formula Student Driverless umsetzen.

Die Veranstaltung gliedert sich in einen Vorlesungs- und einen Praktikumsteil. Die Studierenden fusionieren unter Anleitung mehrere Sensoren zu einem virtuellen Sensor und analysieren dessen Schwachstellen. Ab dem zweiten Drittel des Semesters entwickeln die Studierenden einen eigenen virtuellen Sensor, der mindestens die Daten von zwei Sensoren fusioniert, und evaluieren die Qualität des entwickelten virtuellen Sensors für das gewählte Anwendungsgebiet.

Objektorientierte Programmierung (OOP), Lineare Algebra, starkes Interesse an Algorithmen

Schöning, Julius

• Schöning, Julius
• Stiene, Stefan

5

Fourati, Hassen, ed. Multisensor data fusion: from algorithms and architectural design to applications. CRC press, 2017.

Hahn, Hernsoo. Multisensor fusion and integration for intelligent systems. Eds. Sukhan Lee, and Hanseok Ko. Springer, 2009.

Blum, Rick S., and Zheng Liu, eds. Multi-sensor image fusion and its applications. CRC press, 2018.

Thomas, Ciza, ed. Sensor fusion and its applications. BoD–Books on Demand, 2010.

Más, Francisco Rovira, Qin Zhang, and Alan C. Hansen. Mechatronics and intelligent systems for off-road vehicles. Springer Science & Business Media, 2010.

• Mündliche Prüfung
• Projektbericht, schriftlich

Experimentelle Arbeit

1 Semester

Unregelmäßig

Deutsch und Englisch