Ada – Prototyping Data Visualisations without Coding

Ada ist ein Machine-Learning gestütztes Prototyping Tool für Tablets, mit dem Datenvisualisierungskonzepte schnell und einfach validiert werden können. In Zusammenarbeit mit der smarten Assistentin Ada gelangt man in kurzer Zeit durch intuitives Skizzieren und Erklären von der Idee zur fertigen Datenvisualisierung. Der abstrakte Prozess des Codens wird dabei durch natürliche Sprach- und Gestenbefehle ersetzt.

Matching von Technologie und Problem

Der Prozess einer Datenvisualisierung lässt sich in zwei Schwerpunkte unterteilen. Zuerst erfolgt die Datenanalyse und Konzeptentwicklung. Für gewöhnlich ist dieser Part recht schnell erledigt, schließlich ist das eine der Kernkompetenzen von GestalterInnen. Das Validieren des Konzepts mit den Echtdaten ist für GestalterInnen oftmals der aufwändigere, zeitintensive und sicherlich an mancher Stelle auch nervenaufreibende zweite Part.

Wir haben uns Frage gestellt:
Was wäre, wenn wir überhaupt nicht mehr programmieren müssten, sondern die Fähigkeiten wie Zeigen und Erklären nutzen, die wir als Menschen ohnehin beherrschen und so innerhalb kürzester Zeit unser Konzept validieren könnten?

Dies ist möglich durch die Kombination verschiedener Komponenten von Machine Learning wie Voice-to-Text, Natural Language Processing und Computer Vision.

Kommunikation mit Maschinen

Programmieren ist nichts anderes, als die Kommunikation mit Maschinen. Dafür müssen wir als Menschen unser Ziel in logische Einheiten herunterbrechen und der Maschine als Anleitung in Form von Code mitteilen. Momentan sind wir deshalb gezwungen, die Denk- und Arbeitsweise eines Computers, sowie dessen Sprache anzunehmen.

Mithilfe unseres ML gestützten Smart Assistant (Ada) wird dieser abstrakte Prozess des Codens durch natürliche Sprach- und Gestenbefehle ersetzt. Anstatt also als Mensch die Sprache der Maschine lernen zu müssen, versteht die Maschine die Sprache des Menschen.

Hybrid-Interface

Die Verschiebung hin zu einer menschlicheren Interaktion hat zur Folge, dass sich die Gestaltung des Interfaces von Konventionen, Mustern und der Art- und Weise, wie klassische visuelle Anwendungen gestaltet werden, loslösen muss.

Durch Sprache als Schnittstelle rutschen viele Funktionen und Informationen in das Gespräch – also in den Kontext der Kommunikation – und müssen daher nicht mehr visuell abgebildet werden.

Auch das Denken in statischen Screens, auf denen alle Inhalte immer sichtbar sein müssen, fällt weg. Stattdessen nähert sich die Kommunikation mit der Maschine der zwischen zwei Menschen an.

Das alles resultiert in einem auf wenige visuelle Elemente reduzierten Hybrid-Interface, bei dem die klassische visuelle Komponente durch eine auditive Ebene ergänzt wird.

Zusammenspiel von Mensch und Maschine

Durch die Technologie passiert viel im Hintergrund. Im Folgenden wird kurz auf einzelne Aspekte aus der obigen Grafik eingegangen.

Zeichnen
Zu Beginn skizziert der User sein Konzept. Hierbei ist der Smart Assistant zwar inaktiv, jedoch werden bereits hier Informationen für die spätere Umsetzung der Visualisierung gesammelt. So wird durch CV und ML eine Mustererkennung zur Bestimmung der skizzierten Formen durchgeführt. Konkret bedeutet dies, dass getrackt wird, was der User nacheinander skribbelt. Daraus kann eine eventuelle Animationsabfolge abgeleitet oder andere Aspekte miteinander in Zusammenhang gebracht werden.

Erklären
Beim nächsten Schritt – dem Erklären des Konzeptes – ist hauptsächlich NLP im Spiel. Konkret kommt während diesem Schritt V2T zum Tragen. Das heißt, das vom User gesprochene Wort wird mittels eines Spracherkennungsprogramms in Text konvertiert. Dieser konvertierte Text wird danach durch NLU in seine Bestandteile zerlegt, um die beabsichtigte Bedeutung eines Satzes zu ermitteln.

Rückfragen
Wenn der User eine Frage stellt oder der Smart Assistent während des Erklärungsprozesses Rückfragen hat, kommt zusätzlich zu V2T und NLU noch NLG ins Spiel. In Kürze bedeutet das in unserem Fall, dass registrierte Lücken im Datensatz beziehungsweise Konflikte in der Mustererkennung oder zwischen visuellem und auditivem Input von der Maschine zuerst in Text übersetzt werden, dieser dann in ein Audiofile transferiert wird und dieses dann wiederum abgespielt wird.

Kommunikation zwischen Mensch und Maschine

Die Kommunikation zwischen Mensch und Maschine ist im Interface ein zentrales Element und entscheidet darüber, ob sich das Tool für den Nutzer intuitiv anfühlt, insbesondere wenn das Interface auf das Minimum reduziert ist. In unserem Fall ist neben der verbalen Kommunikation mit Ada auch die visuelle Kommunikationsebene von großer Bedeutung, um die häufig nonverbale, unauffällige Kommunikation zwischen zwei Personen im Interface so nah wie möglich abzubilden.

Unser Tool gibt dem User auf zwei verschiedene Arten visuelles Feedback. Über das zentrale Icon wird Adas Status kommuniziert. Sprachliche Eingaben sowie Antworten von Ada werden über ein lebendiges Motion Design des Icons abgebildet. Gleichzeitig wird das Verstandene in der gezeichneten Skizze hervorgehoben. Bei Unverständnis oder Rückfragen wird neben einer dezenten “kopfschüttelnden” Icon-Animation eine Markierung in der Skizze eingeblendet.

Bei Fragen könnt Ihr uns gerne kontaktieren:
Katharina Payr
Julian Pohl
Josias Wagner