Aware UI

Aware UI ist ein Konzept für ein Interface das durch Machine Learning natürliche Interaktionen ermöglicht. Es versteht, ob ein User anwesend ist, in welcher Entfernung er sich befindet und ob der Nutzer zum System sieht. Das UI verfügt über einen Touchscreen und eine Sprachsteuerung. Diese Ausgabemedien passen sich anhand der getrackten Parameter an und lassen sich so optimal nutzen. Durch diese technischen Erweiterungen entsteht eine Interaktion die einer Konversation zwischen Menschen nahe kommt.

Machine Learning

Aware UI läuft browserbasiert und wurde unter anderem mit der ML5 Library gecodet. Zum tracken des Nutzers werden die Informationen der Webcam und des Mikrofons mit Facemash, Object detection und Teachable Machine verarbeitet.

Voice User Interface

Aware UI verwendet eine Sprachsteuerung, da das Gespräch eine sehr natürliche Art der Kommunikation ermöglicht. Des Weiteren kann sich der Nutzer während der Interaktion frei im Raum bewegen und seine Hände für andere Tätigkeiten gebrauchen. Um Gender Bias verzubeugen hat Aware UI eine genderneutrale Stimme. Ziel dabei ist die Denkweise zu durchbrechen, wonach die weibliche Stimme im Allgemeinen für unterstützende Aufgaben und die männliche Stimme für befehlende Aufgaben bevorzugt wird.

Graphical User Interface

Das Smarte System wird durch ein Punktraster auf dem Screen visualisiert. Durch Variation der Amplituden der Punkte lassen sich bewegte Formen auf dem Screen abbilden. Um Aware UI einen Charakter zu geben entsteht eine animierte Kreisfläche. Dieser Kreis zeigt an, ob Aware UI zuhört, spricht oder einfach nur aktiviert ist. Das Raster kann auch dynamisch Platz für Informationen freigeben indem die Rasterpunkte schrumpfen. Der Screen wird für Informationen verwendet die über Sprachausgabe schlecht vermittelt werden können, beispielsweise komplexere Listen und Tabellen, Karten und Videos. Die Darstellung variiert in Informationsgehalt und Größe in Abhängigkeit zur Entfernung des Nutzers, sodass der Screen immer optimal ausgenutzt werden kann und gleichzeitig lesbar bleibt.

Use Case

Für Aware UI sind viele Nutzungskontexte denkbar. In diesem Projekt wurde ein Szenario in Verbindung mit Smart Home ausgearbeitet. Aware UI befindet sich auf einem Device in der Küche des Nutzers. Sobald der Nutzer die Küche betritt, wird die Aktivität von Aware UI durch eine Animation des Kreises angedeutet. über Sprachsteuerung wird Musik gestartet. Der Nutzer merkt, dass er eine Zutat zum kochen vergessen hat und fragt kurzerhand Aware UI nach Einkaufsmöglichkeiten. Er schaut zum System, gleichzeitig wird die Lautstärke der Musik reduziert, sodass er beim Fragen nicht schreien muss. Der Kreis ändert die Animation, sodass zusätzliches Feedback entsteht und klar wird, dass Aware UI in diesem Moment zuhört. Aware UI antwortet, während dessen erscheint eine Listenansicht mit geöffneten Supermärkten. Die Liste ist in einem großen Schriftgrad gesetzt, sodass der Nutzer die Inhalte aus der Entfernung lesen kann. Der Nutzer kommt näher um mehr zu erfahren. Die Schriftgröße wird kleiner, und es kommen Detailinformationen hinzu. Sobald der Nutzer auf Armeslänge heran gekommen ist, erscheinen Buttons um Routen anzuzeigen.