Immersive Medical VR Training Simulators with Haptic Feedback

Abstract

Virtuelle Realität und haptisches Feedback sind Technologien, die die medizinischen Ausbildung, insbesondere in den Bereichen der Orthopädie und Zahnmedizin, revolutionieren werden. Diese neuartigen Technologien ermöglichen die Erschaffung virtueller Trainingssimulatoren, welche eine risikofreie Umgebung zu der Verbesserung der Fähigkeiten von medizinische Auszubildende. Damit präsentieren solche Simulatoren eine Lösung für die ethischen Dilemmas, die häufig mit patientenbasierten Ausbildungsmethoden verbunden sind. Die Herausforderung besteht jedoch darin, Simulatoren zu entwickeln, die nicht nur immersiv, sondern auch realistisch und effektiv in der Übertragung von gelernten Fähigkeiten von virtuellen auf reale Szenarien sind. Diese Dissertation präsentiert ein bahnbrechendes modulares System für VR-basierte Physiksimulation mit haptischem Feedback, das entwickelt wurde, um diesen Herausforderungen zu begegnen. Es integriert kontinuierliche, realistische Kraftrückkopplung mit sechs Freiheitsgraden und Materialabtrag, welche eine authentische Interaktion mit virtuellen anatomischen Strukturen und Werkzeugen gewährleistet. Zentral für dieses System sind neuartige Algorithmen für Kollisionserkennung, Kraftrendering und eine volumetrische Darstellung, welche gemeinsam den Realismus und die Leistung von VR-haptischen Simulatoren auf ein beispielloses Niveau verhelfen. Diese Algorithmen wurden in eine Bibliothek implementiert, welche im Zusammenhang mit einer Vielzahl von Game-Engines, Haptikgeräten und virtuellen Werkzeugen verwendet werden kann. Praktische Anwendungen dieser neuartigen Simulationsbibliothek wurden durch die Entwicklung von zwei modernen medizinischen Ausbildungssimulatoren demonstriert: einem für die totale Hüftendoprothese und einem anderen für zahnmedizinische Eingriffe, mit Fokus auf Wurzelbehandlung und Kariesentfernung. Diese Simulatoren werden durch weitere innovative Funktionen, wie automatischer VR-Registrierung, Klangsynthese basierend auf Materialentfernung, VR-Zoom und genauem Eye-Tracking, verbessert. Diese Zusatzfunktionen tragen zu einem noch immersiveren Trainingserlebnis bei. Bei rigorosen Tests haben diese Simulatoren einen signifikanten Lerneffekt gezeigt, der es den Studenten ermöglicht, die in einer virtuellen Umgebung erlernten Fähigkeiten nahtlos auf reale medizinische Verfahren zu übertragen. Der Hüftchirurgiesimulator wurden von 18 Orthopäden erprobt, welche das System im aktuellen Zustand kollektiv als bereits nützlich bewerten. Außerdem gaben die Experten an, dass sie es Medizinstudenten und sogar Assistenzärzten empfehlen mit dem Simulator zu üben. Der Zahnmedizinsimulator wurde innerhalb von zwei Experimenten mit einer größeren Anzahl von Zahnmedizinstudenten (40 und 30) evaluiert. Die tatsächlichen Fähigkeiten der Zahnmedizinstudenten wurden dafür vor und nach dem Training durch unabhängige Experten beurteilt. Die Datenauswertung hat ergeben, dass eine signifikanter Lernfortschritt, gemessen an tatsächlichen Fähigkeiten, festgestellt wurde, welcher auf das Training mit meinem VR-Simulator zurückzuführen ist. Das erste Experiment lieferte außerdem aufschlussreiche Daten darüber, wie spezifische technologische Aspekte von VR in Head-Mounted Displays die Lerneffektivität und die Übertragbarkeit der Ausbildung beeinflussen. Meine Ergebnisse zeigen, dass die Überlagerung von realen und virtuellen Werkzeugen, sowie Stereoskopie, entscheidend dafür sind, um den Lerneffekt und die Nutzbarkeit von VR-Simulatoren zu verbessern. Darüber hinaus hat das zweite Experiment neue Perspektiven auf das Trainingsverhalten von Zahnmedizinstudenten eröffnet, insbesondere in Bezug auf die Nutzung von indirekter Sicht und deren Zusammenhang mit Leistung und Lerneffektivität. Diese Erkenntnisse wurden auch ermöglicht, durch die Konzeption von neuartigen Metriken für indirekte Sicht in komplexen, beidhändigen Tätigkeiten. Durch das Erweitern der Möglichkeiten von VR- und haptischer Technologie in der medizinischen Ausbildung leistet diese Dissertation einen bedeutenden Beitrag zum Forschungsfeld und bietet fortschrittliche Werkzeuge, die ermöglichen, die Art und Weise, wie medizinische Fachkräfte ausgebildet werden, zu revolutionieren. Die entwickelten Simulatoren machen die Ausbildung nicht nur effizienter und effektiver, sondern eröffnen auch neue Forschungsfelder in der medizinischen Bildung, mit dem letztendlichen Ziel, die Patientenversorgung und Behandlungsergebnisse zu verbessern.