Im Wahlpflichtfach Machine Learning lernten die Student*innen die Funktionsweise von Deep-Learning-Modellen und deren Einsatzmöglichkeiten. Sie arbeiteten mit Frameworks und Schnittstellen für client-seitige, server-seitige und Cloud-basierte Dienste und entwickelten eigene Prototypen, bei denen Mensch-Maschine Interaktion ganz neue Formen annimmt.
Lernziele
Grundverständnis der Funktionsweise Neuronaler Netze
Überblick über den State-of-the-Art im Machine Learning,
Deep Learning und Künstlicher Intelligenz
Realisierung von Machine-Learning-Prototypen in Web-Apps,
in lokalen Installationen und in der Cloud
Praktischer Umgang mit Frameworks wie ML5.js und RunwayML
Fähigkeit ein Neurales Netz für einen bestimmten Zweck mit Hilfe
eines eigenen Datensatzes zu trainieren
Themen und Projekte
Im Rahmen des Kurses wurden drei Themenkomplexe erforscht.
Zwei der entstandenen Prototypen sind in der Ausstellung zu sehen.
Die Mobil-App LAZAudio soll langwierige Sprachnachrichten mit Hilfe von Machine Learning kurz und knackig zusammenfassen und bewerten. Im Mittelpunkt steht die Kommunikation der App mit einem dezidierten Server und die Nutzung von Machine Learning-Diensten in der Cloud.
In einer Videokonferenz wird gerne durch ein Warm-Up-Spiel die Stimmung aufgelockert. Wie könnte eine KI aussehen die solche Spiele veranstaltet?
Der Warmup-Bot betritt die Videokonferenz und nutzt ein lokales Neuronales Netz um Zurufe der Teilnehmer*innen zu verstehen und zu bewerten.
Algorithmen zum Zauberstab-Tracking vor der Webcam wurden mit einem neuronalen Netz zur Erkennung der Zauberstab-Bewegungen kombiniert. Dazu haben die Studierenden einen Doodle-Classifier mit typischen Zauberbewegungen aus dem “Harry-Potter”-Universum trainiert. In einem Computerspiel soll das Zaubern vor der Kamera als primäre Form der Interaktion genutzt werden.
Zoom_Warmup_Bot ist ein Prototyp, der Warmup-Spiele in einer Videokonferenz automatisiert. Das ermöglicht Spiele, die sonst gar nicht, oder nur mit großem Aufwand realisierbar sind. Warmup Spiele werden gerne in Online Meetings genutzt, für ein erstes Kennenlernen, oder um müde Teilnehmer*innen zu reaktivieren.
Bisher wurde dafür ein Moderator oder eine Moderatorin benötigt. Diese Rolle übernimmt in unserem Experiment der Zoom_Warmup_Bot. Er kümmert sich um die Spielvorbereitung, die Erklärung der Regeln und die Bekanntgabe der richtigen Lösung.
Spiel: Connect
Connect ist ein Warmup-Spiel bei dem der Bot ein Wort heraus sucht, das genauso viele Buchstaben hat, wie Personen an der Videokonferenz teilnehmen. Der Bot benennt die Teilnehmer*innen um und gibt jeder Person einen Buchstaben.
Nun können die Teilnehmer’innen mit der “Fenster verschieben”-Funktion die Buchstaben in eine sinnvolle Reihenfolge bringen. Wer das richtige Wort erraten hat, ruft es heraus. Wer das richtige Wort ruft hat gewonnen.
Aufbau
Das Spiel besteht aus drei technischen Komponenten: Bot, Audio-Router, und Neuronales Netz: Der Bot loggt sich mit Hilfe der ZoomWebSDK als Moderator in die Videokonferenz ein und moderiert das Warmup-Spiel. Der Audiorouter (Soundflower) schleust das Audio-Signal vom Audio-Ausgang in einen neuen Audio-Eingang. Die digitalen Audiosamples werden in ein Frequenzsprekturm transformiert und an das Neuronalen Netz weitergereicht. Das Neuronale Netz erkennt dann, ob das Lösungswort erraten wurde oder nicht.
Machine Learning
Die Erkennung der Worte basiert auf einem neuronales Netz das von Google im tensorflow.js Format veröffentlicht wurde. Das Netz wurde mit knapp 20.000 Audio Schnipseln trainiert, und kann 20 verschiedene Wörter erkennen.
Man kann das neuronale Netz mittels “Transfer Learning” um eigene Worte ergänzen.
Das Transfer-Lernen und die Erkennung funktioniert direkt im Browser.
Hier kann man es ausprobieren: zum Prototyp
Kommentare
Viola
Marc
Hinterlasse einen Kommentar