Multimodal Interaction in Smart Environments: A Model-based Runtime System for Ubiquitous User Interfaces

Abstract

Die wachsende Verbreitung des Computers in allen Bereichen des Lebens birgt neue Herausforderungen für Wissenschaftler und Programmierer in verschiedensten Fachrichtungen der Informatik. Vernetzte Geräte bilden intelligente Umgebungen, die unterschiedlichste Geräte, Sensoren und Aktoren integrieren und leiten allmählich einen Paradigmenwechsel in Richtung des “Ubiquitous Computing” ein. Mit der wachsenden Durchdringung unserer Lebensbereiche durch Computer-Technologie, nimmt auch das Bedürfnis zu, die steigende Komplexität über neuartige Benutzerschnittstellen einerseits handhabbar zu machen und andererseits vor dem Nutzer zu verbergen. Diese Arbeit prägt den Begriff Ubiquitous User Interface (Allgegenwärtige Benutzerschnittstelle) um Schnittstellen zu bezeichnen, die einer Vielzahl von Nutzern erlauben mit verschiedenen Geräten über mehrere Modalitäten mit einem Satz von Diensten in wechselnden Situationen zu interagieren. Die Entwicklung und Bereitstellung solcher Benutzerschnittstellen stellt neue Anforderungen an Design und Laufzeit. Der Einsatz von Modellen und Modellierungstechnologien ist ein vielversprechender Weg um der steigenden Komplexität von Software Herr zu werden. Diese Arbeit beschreibt einen modell-basierten Ansatz, der ausführbare Modelle von Benutzerschnittstellen mit einer Laufzeitarchitektur verbindet, um die wachsende Komplexität von Benutzerschnittstellen zu adressieren. Ausführbare Modelle identifizieren dabei die gemeinsamen Bausteine von dynamischen, in sich geschlossenen Modellen, die Design- und Laufzeitaspekte kombinieren. Die Überbrückung der Kluft zwischen Design- und Laufzeit innerhalb eines Modells ermöglicht die Heranziehung von Designinformationen für Laufzeitentscheidungen sowie Schlussfolgerungen über die Semantik von Interaktion und Präsentation. Basierend auf dem Konzept von ausführbaren Modellen wird ein Satz von Metamodellen eingeführt, der Designaspekte aktueller Benutzerschnittstellenbeschreibungssprachen aufgreift und zusätzliche Laufzeitaspekte wie Zustandsinformation und dynamisches Verhalten integriert. Die definierten Metamodelle umfassen dabei Kontext-, Dienst- und Aufgabenmodelle, ebenso wie abstrakte und konkrete Interaktionsmodelle. Sie ermöglichen die Definition der Elemente Allgegenwärtiger Benutzerschnittstellen auf verschiedenen Abstraktionsebenen. Beziehungen zwischen den Modellen ermöglichen den Austausch von Informationen zur Zustandssynchronisierung und den Datenaustausch zur Laufzeit. Die Integration der Konzepte in die Multi-Access Service Platform, einer Architektur für die Interpretation von Benutzerschnittstellenmodellen, stellt einen neuartigen Ansatz zur Nutzung dieser Modelle zur Erstellung und Verwaltung Allgegenwärtiger Benutzerschnittstellen dar. Die Architektur bietet Unterstützung für die Anpassung der Präsentation in Abhängigkeit der Geräteeigenschaften, multimodale Interaktion, Verteilung von Benutzerschnittstellen über mehrere Geräte und die dynamische Anpassung an Kontextinformationen. Die Integration zustandsbehafteter Benutzerschnittstellenmodelle mit der Welt außerhalb dieser Modelle wird durch die Projektion des Modellzustandes auf die Darstellung als Benutzerschnittstelle und die Stimulation von Zustandswechseln auf Basis von Benutzereingaben erreicht. Modelle für die Verteilung, multimodale Informationsverarbeitung (Fusion) und Adaption der Benutzerschnittstelle verbinden die äußere Welt mit der modellierten Benutzerschnittstellenbeschreibung. Verschiedenste Interaktionsgeräte werden unterstützt, um dem Nutzer den internen Zustand des Benutzerschnittstellenmodells, mit Hilfe von multimodaler Interaktion, über verschiedene Interaktionsressourcen zu präsentieren. Die Implementierung der Laufzeitarchitektur der Multi-Access Service Platform wurde als Teil des Service Centric Home Projektes in eine intelligente Heimumgebung integriert und diente als Plattform für die Implementierung verschiedener Applikationen für das intelligente Heim. Fallstudien wurden durchgeführt um die entwickelten Konzepte zu evaluieren. Die Umsetzung durch verschiedene ausführbare Modelle ermöglichte dabei die Kombination der Modelle in einem komplexen Netz zur Laufzeit und zeigte die Anwendbarkeit der entwickelten Lösung.