Attention-aware interaction systems for augmented reality

Abstract

In dieser Dissertation habe ich mich mit interaktiven Systemen auseinandergesetzt, die den Aufmerksamkeitszustandes des Benutzenden erkennen und Anpassungen am System vornehmen, um die Benutzbarkeit zu erhöhen (z.B. durch das Ausblenden von Informationen oder gezieltes Lenken der Aufmerksamkeit). Hierzu wurden vor allem Augmented Reality Szenarien untersucht und für verschiedene Paradigmen verwendet, da die Technologie hier einen besonders großen Nutzen verspricht. Bei dem vorgeschlagenen System werden sensorische Benutzerdaten wie Gehirnaktivität oder Augenbewegungen gesammelt und mit Hilfe des maschinellen Lernens (z.B. künstliche neuronale Netze) zur Klassifikation verschiedener Aufmerksamkeitszustände verwendet. Das Hauptziel ist es dabei die multimodalen Daten optimal zu verwerten und darauf basierende effektive Veränderungen am System vorzunehmen. Hierzu wurden im Laufe der Dissertation mehrere Studien durchgeführt, die bisher in 15 Veröffentlichungen und Preprints festgehalten wurden. Diese Arbeiten konzentrieren sich jeweils auf verschiedene Aufmerksamkeitszustände, Paradigmen und Methoden des maschinellen Lernens, um eine möglichst ganzheitliche Sicht auf das hier entworfene Interaktionssystem für Augmented Reality zu ermöglichen. Dabei standen die generelle Unterscheidbarkeit der Zustände, die Zuverlässigkeit und Effektivität, sowie die Benutzbarkeit von End-to-End Systemen im Vordergrund. Ich schlage in dieser Arbeit also vor, Systeme mit einer hohen Immersivität besser an die Nutzenden anzupassen, indem eine implizite Schnittstelle anhand von passiven, multimodalen Nutzerdaten erstellt wird.