Nicht jede Erfindung (Invention) führt zu sinnvollen Produkten. Und manche sinnvollen Produkte kamen zu früh, als die Technologie noch nicht reif war. Zumindest der im Titelbild gezeigte Roller aus dem Jahr 1916 (zunächst mit Verbrennungsmotor, später auch als E-Scooter angeboten) erlebt gerade seine Renaissance. In Invention Design verfolgen wir einen Designprozess, der neue Technologien und Nützlichkeit vereint.
Sich schnell entwickelnde Technologien erweitern die Möglichkeiten für Produkte die wir gestalten können. In Invention Design II begeben wir uns an den Tellerrand des Jetzt, verstehen was gerade möglich wird und suchen dafür sinnvolle Anwendungsmöglichkeiten. Was können wir Nützliches schaffen, wenn Computer Sprache verstehen? Wenn Maschinen Objekte in Bildern erkennen? Wenn sie Text erzeugen können? In diesem Kurs navigieren wir von Technologie-Verständnis zu einem sinnvollen Produktkonzept.
Ada – Prototyping Data Visualisations without Coding
Ada ist ein Machine-Learning gestütztes Prototyping Tool für Tablets, mit dem Datenvisualisierungskonzepte schnell und einfach validiert werden können. In Zusammenarbeit mit der smarten Assistentin Ada gelangt man in kurzer Zeit durch intuitives Skizzieren und Erklären von der Idee zur fertigen Datenvisualisierung. Der abstrakte Prozess des Codens wird dabei durch natürliche Sprach- und Gestenbefehle ersetzt.
Matching von Technologie und Problem
Der Prozess einer Datenvisualisierung lässt sich in zwei Schwerpunkte unterteilen. Zuerst erfolgt die Datenanalyse und Konzeptentwicklung. Für gewöhnlich ist dieser Part recht schnell erledigt, schließlich ist das eine der Kernkompetenzen von GestalterInnen. Das Validieren des Konzepts mit den Echtdaten ist für GestalterInnen oftmals der aufwändigere, zeitintensive und sicherlich an mancher Stelle auch nervenaufreibende zweite Part.
Wir haben uns Frage gestellt:
Was wäre, wenn wir überhaupt nicht mehr programmieren müssten, sondern die Fähigkeiten wie Zeigen und Erklären nutzen, die wir als Menschen ohnehin beherrschen und so innerhalb kürzester Zeit unser Konzept validieren könnten?
Dies ist möglich durch die Kombination verschiedener Komponenten von Machine Learning wie Voice-to-Text, Natural Language Processing und Computer Vision.
Kommunikation mit Maschinen
Programmieren ist nichts anderes, als die Kommunikation mit Maschinen. Dafür müssen wir als Menschen unser Ziel in logische Einheiten herunterbrechen und der Maschine als Anleitung in Form von Code mitteilen. Momentan sind wir deshalb gezwungen, die Denk- und Arbeitsweise eines Computers, sowie dessen Sprache anzunehmen.
Mithilfe unseres ML gestützten Smart Assistant (Ada) wird dieser abstrakte Prozess des Codens durch natürliche Sprach- und Gestenbefehle ersetzt. Anstatt also als Mensch die Sprache der Maschine lernen zu müssen, versteht die Maschine die Sprache des Menschen.
Hybrid-Interface
Die Verschiebung hin zu einer menschlicheren Interaktion hat zur Folge, dass sich die Gestaltung des Interfaces von Konventionen, Mustern und der Art- und Weise, wie klassische visuelle Anwendungen gestaltet werden, loslösen muss.
Durch Sprache als Schnittstelle rutschen viele Funktionen und Informationen in das Gespräch – also in den Kontext der Kommunikation – und müssen daher nicht mehr visuell abgebildet werden.
Auch das Denken in statischen Screens, auf denen alle Inhalte immer sichtbar sein müssen, fällt weg. Stattdessen nähert sich die Kommunikation mit der Maschine der zwischen zwei Menschen an.
Das alles resultiert in einem auf wenige visuelle Elemente reduzierten Hybrid-Interface, bei dem die klassische visuelle Komponente durch eine auditive Ebene ergänzt wird.
Zusammenspiel von Mensch und Maschine
Durch die Technologie passiert viel im Hintergrund. Im Folgenden wird kurz auf einzelne Aspekte aus der obigen Grafik eingegangen.
Zeichnen
Zu Beginn skizziert der User sein Konzept. Hierbei ist der Smart Assistant zwar inaktiv, jedoch werden bereits hier Informationen für die spätere Umsetzung der Visualisierung gesammelt. So wird durch CV und ML eine Mustererkennung zur Bestimmung der skizzierten Formen durchgeführt. Konkret bedeutet dies, dass getrackt wird, was der User nacheinander skribbelt. Daraus kann eine eventuelle Animationsabfolge abgeleitet oder andere Aspekte miteinander in Zusammenhang gebracht werden.
Erklären
Beim nächsten Schritt – dem Erklären des Konzeptes – ist hauptsächlich NLP im Spiel. Konkret kommt während diesem Schritt V2T zum Tragen. Das heißt, das vom User gesprochene Wort wird mittels eines Spracherkennungsprogramms in Text konvertiert. Dieser konvertierte Text wird danach durch NLU in seine Bestandteile zerlegt, um die beabsichtigte Bedeutung eines Satzes zu ermitteln.
Rückfragen
Wenn der User eine Frage stellt oder der Smart Assistent während des Erklärungsprozesses Rückfragen hat, kommt zusätzlich zu V2T und NLU noch NLG ins Spiel. In Kürze bedeutet das in unserem Fall, dass registrierte Lücken im Datensatz beziehungsweise Konflikte in der Mustererkennung oder zwischen visuellem und auditivem Input von der Maschine zuerst in Text übersetzt werden, dieser dann in ein Audiofile transferiert wird und dieses dann wiederum abgespielt wird.
Kommunikation zwischen Mensch und Maschine
Die Kommunikation zwischen Mensch und Maschine ist im Interface ein zentrales Element und entscheidet darüber, ob sich das Tool für den Nutzer intuitiv anfühlt, insbesondere wenn das Interface auf das Minimum reduziert ist. In unserem Fall ist neben der verbalen Kommunikation mit Ada auch die visuelle Kommunikationsebene von großer Bedeutung, um die häufig nonverbale, unauffällige Kommunikation zwischen zwei Personen im Interface so nah wie möglich abzubilden.
Unser Tool gibt dem User auf zwei verschiedene Arten visuelles Feedback. Über das zentrale Icon wird Adas Status kommuniziert. Sprachliche Eingaben sowie Antworten von Ada werden über ein lebendiges Motion Design des Icons abgebildet. Gleichzeitig wird das Verstandene in der gezeichneten Skizze hervorgehoben. Bei Unverständnis oder Rückfragen wird neben einer dezenten “kopfschüttelnden” Icon-Animation eine Markierung in der Skizze eingeblendet.
Sehr cool, intuitiv und verständlich. Sollte in die Entwicklung gehen!
Anonym
Hätte mir so einiges erleichtert
Thomas Techert
Hey, mal ein super Beispiel für einen modernen Mensch-Maschine-Dialog. Aber vorischt, Ada sollte die Diagramme nicht zu abgefahren machen, die versteht niemand in der echten Welt :)
Kommentare
Anonym
Anonym
Thomas Techert
Hinterlasse einen Kommentar