IUI Logo

Automotive IUI


Multimodale Interaktion im Fahrzeug

Anwendungen im Fahrzeug sind schon lange nicht mehr auf Fahrzeugführung und Radio beschränkt. Vielfältige Fahrassistenz- und Informationssysteme steigern den Komfort und liefern einen bedeutsamen Mehrwert. Um trotz zunehmender Vielfalt an Funktionen eine intuitive und sichere Bedienung zu gewährleisten, betrachten wir neuartige Interaktionsformen, die verschiedene Modalitäten wie Berührung, Sprache, Blicksteuerung und Fingergesten kombinieren. Dabei geht es nicht nur um die Steuerung der Systeme im eigenen Fahrzeug, sondern auch um die Interaktion mit der Umgebung.

 

Ein wesentlicher Bestandteil unserer Forschung in diesem Bereich ist der Entwurf einer multimodalen Dialogplattform, mit deren Unterstützung sich wissenschaftliche Fragestellungen beantworten lassen und die eine solide Basis zur einfachen Erstellung von Dialogapplikationen fürdas Fahrzeug darstellt. Die herausragenden Eigenschaften unserer Dialogplattform SiAM-dp (Situationsadaptive Multimodale Dialogplattform) umfassen

  • Integrierte Umsetzung von Multimodalitäts-Konzepten (Fusion und Fission)
  • Geräte für viele typische Modalitäten werden direkt unterstützt
  • Intelligentes Verhalten des Dialogsystems durch semantische Interpretation von Benutzereingaben
  • Situationsadaptivität durch dynamisches Verhalten je nach Benutzer und Kontext (Personalisierte Fahrerassistenz)
  • Berücksichtigung von Ressourcen des Benutzers (z.B. kognitive Auslastung, Zeit)
  • Offline-Auswertung von Dialogabläufen liefert frühe Erkenntnisse ohne Benutzerstudie
  • Mehrpersonen-Fähigkeit, um auch Beifahrer und weitere Mitfahrer in den Dialog zu integrieren
  • Unterstützung dynamischer externer Geräte, wie z.B. elektronische Straßenschilder und Billboards, als Ausgabegeräte.
 

 

Sprachdialogsysteme

soundwaves

Der Sprache als Ein- und Ausgabemodalität kommt im Fahrzeugkontext eine besondere Bedeutung zu, da sie eine vollständig „hands-free, eyes-free“ nutzbare Modalität darstellt. Auch zahlreiche Studien belegen, dass Sprache (im Ausgabefall auch genereller akustische Ausgabe) von den üblichen Modalitäten die geringste Ablenkung von der eigentlichen Fahraufgabe bedeutet und damit in vielen Situationen standardmäßig genutzt werden sollte.

Das DFKI verfügt über langjährige Erfahrung bei der Entwicklung kommandobasierter und natürlichsprachlicher Dialogsysteme. Letztere sind besonders durch Smartphones ins Bewusstsein der Benutzer gerückt, so dass nun ähnliche Ansprüche auch an Schnittstellen im Fahrzeug gestellt werden. Durch die Zusammenarbeit mit Nuance, IBM und weiteren Sprachtechnologie-Partnern in verschiedenen Projekten können wir die besten Sprach-Engines (Spracherkennung und Sprachsynthese) mit fortschrittlicher Dialogsystem-Technologie verbinden.

Neben dem eigentlichen Dialog haben wir auch schon erfolgreich paralinguistische Informationen eingesetzt, um Dialoganwendungen zu personalisieren. So sind in der Sprache Informationen über Geschlecht, Alter, Emotion, Stress usw. enthalten, die sich mittels geeigneter Mustererkennungsverfahren annäherungsweise bestimmen lassen.

  • Weitere Herausforderungen sehen wir u.a. in folgenden Bereichen:
  • Nutzung statistischer Sprachmodelle für die Modellierung natürlichsprachlicher Interaktion
  • Situationsadaptive Sprachausgabe, z.B. in Hinblick auf Wortwahl oder Stimmparameter
  • Modalitätsübergreifende Korrektur von Fehlerkennungen bei der Spracheingabe
  • Kontextabhängiger Umgang mit Spracherkennungsfehlern je nach Inhalt

 

Gesture Control

photo series of someone using gesture at the steering wheel

Micro gestures, i.e. gestures where the hands stay on the steering wheel and only individual fingers are moved, can be viewed in a similarly positive light as language when it comes to vehicle guidance. Thanks to progress in hardware over the last few years, recognition of micro gestures can be implemented into cars with minimal space requirements. The main challenge in expanding use and acceptance now consists of developing a cohesive overall concept for gesture control in vehicles. The Automotive IUI Group is currently examining studies that focus on usability, including the following questions

  • Which vehicle functions are useful to control?
  • Which gestures can be used intuitively, and how can the gesture set be expanded?
  • How can gestures be multimodally combined with other modalities, e.g. gestures and language?
  • Which physical interaction parameters need to be considered when used on the steering wheel (e.g. finger span)?
  • How distracting is gesture interaction?