Konzeption und Entwicklung eines autonomen Vehikels mit Bild- und Sprachkommandoerkennung durch neuronale Netze auf einem weltraumtauglichen FPGA

Wir untersuchen, wie man neuronale Netze auf feldprogrammierbaren Gate-Arrays (FPGAs) am besten nutzen kann, wenn diese so leistungsbeschränkt wie strahlungsfeste FPGAs in der Raumfahrt sein müssen (und etwas allgemeiner entsprechend neuronale Netze auf FPGAs für Edge-Computing). Ein autonomes Modellauto als konkretes Vehikel dient uns dabei als Stellvertreter für ein autonomes Raumfahrzeug. An der Architektur, Hardware und Software dafür haben wir vieles verbessert. Darüber hinaus gibt eine Literaturrecherche zu Hardware-bedingten Rechenfehlern in neuronalen Netzen, motiviert durch die Problematik der Weltraumstrahlung, einen Überblick über die aktuelle Forschung zu schaltungstechnischen Maßnahmen zur Eindämmung der Fehlerwirkungen sowie zu Meßansätzen, um den Erfolg solcher Maßnahmen nachzuweisen. Und die experimentelle Untersuchung systematischer Fehler beim Erkennen von Sprachkommandos ergab Einsichten, worauf beim Training eines neuronalen Netzes dafür zu achten ist. Schließlich identifizieren wir interessante verbliebene Aufgaben und Herausforderungen im Kontext unserer Forschungsfrage.