Inhalt des Kurses

Machine Learning

Inhalt des Fachs

Im Wahlpflichtfach Machine Learning lernten die Student*innen die Funktionsweise von Deep-Learning-Modellen und deren Einsatzmöglichkeiten. Sie arbeiteten mit Frameworks und Schnittstellen für client-seitige, server-seitige und Cloud-basierte Dienste und entwickelten eigene Prototypen, bei denen Mensch-Maschine Interaktion ganz neue Formen annimmt.

Lernziele

  • Grundverständnis der Funktionsweise Neuronaler Netze
  • Überblick über den State-of-the-Art im Machine Learning,
    Deep Learning und Künstlicher Intelligenz
  • Realisierung von Machine-Learning-Prototypen in Web-Apps,
    in lokalen Installationen und in der Cloud
  • Praktischer Umgang mit Frameworks wie ML5.js und RunwayML
  • Fähigkeit ein Neurales Netz für einen bestimmten Zweck mit Hilfe
    eines eigenen Datensatzes zu trainieren

Themen und Projekte

Im Rahmen des Kurses wurden drei Themenkomplexe erforscht.
Zwei der entstandenen Prototypen sind in der Ausstellung zu sehen.

  • Die Mobil-App LAZAudio soll langwierige Sprachnachrichten mit Hilfe von Machine Learning kurz und knackig zusammenfassen und bewerten. Im Mittelpunkt steht die Kommunikation der App mit einem dezidierten Server und die Nutzung von Machine Learning-Diensten in der Cloud.
  • In einer Videokonferenz wird gerne durch ein Warm-Up-Spiel die Stimmung aufgelockert. Wie könnte eine KI aussehen die solche Spiele veranstaltet?
    Der Warmup-Bot betritt die Videokonferenz und nutzt ein lokales Neuronales Netz um Zurufe der Teilnehmer*innen zu verstehen und zu bewerten.
  • Algorithmen zum Zauberstab-Tracking vor der Webcam wurden mit einem neuronalen Netz zur Erkennung der Zauberstab-Bewegungen kombiniert. Dazu haben die Studierenden einen Doodle-Classifier mit typischen Zauberbewegungen aus dem “Harry-Potter”-Universum trainiert. In einem Computerspiel soll das Zaubern vor der Kamera als primäre Form der Interaktion genutzt werden.
Bachelor of Arts

Internet der Dinge

Semesterjahr

4. / 6. Semester

Zoom_Warmup_Bot

Beschreibung

Zoom_Warmup_Bot ist ein Prototyp, der Warmup-Spiele in einer Videokonferenz automatisiert. Das ermöglicht Spiele, die sonst gar nicht, oder nur mit großem Aufwand realisierbar sind. Warmup Spiele werden gerne in Online Meetings genutzt, für ein erstes Kennenlernen, oder um müde Teilnehmer*innen zu reaktivieren.
Bisher wurde dafür ein Moderator oder eine Moderatorin benötigt. Diese Rolle übernimmt in unserem Experiment der Zoom_Warmup_Bot. Er kümmert sich um die Spielvorbereitung, die Erklärung der Regeln und die Bekanntgabe der richtigen Lösung.

Spiel: Connect

Connect ist ein Warmup-Spiel bei dem der Bot ein Wort heraus sucht, das genauso viele Buchstaben hat, wie Personen an der Videokonferenz teilnehmen. Der Bot benennt die Teilnehmer*innen um und gibt jeder Person einen Buchstaben.
Nun können die Teilnehmer’innen mit der “Fenster verschieben”-Funktion die Buchstaben in eine sinnvolle Reihenfolge bringen. Wer das richtige Wort erraten hat, ruft es heraus. Wer das richtige Wort ruft hat gewonnen.

Aufbau des Spiels

Aufbau

Das Spiel besteht aus drei technischen Komponenten: Bot, Audio-Router, und Neuronales Netz: Der Bot loggt sich mit Hilfe der ZoomWebSDK als Moderator in die Videokonferenz ein und moderiert das Warmup-Spiel. Der Audiorouter (Soundflower) schleust das Audio-Signal vom Audio-Ausgang in einen neuen Audio-Eingang. Die digitalen Audiosamples werden in ein Frequenzsprekturm transformiert und an das Neuronalen Netz weitergereicht. Das Neuronale Netz erkennt dann, ob das Lösungswort erraten wurde oder nicht.

Der Aufbau der Machine Learning Oberfläche

Machine Learning

Die Erkennung der Worte basiert auf einem neuronales Netz das von Google im tensorflow.js Format veröffentlicht wurde. Das Netz wurde mit knapp 20.000 Audio Schnipseln trainiert, und kann 20 verschiedene Wörter erkennen.
Man kann das neuronale Netz mittels “Transfer Learning” um eigene Worte ergänzen.
Das Transfer-Lernen und die Erkennung funktioniert direkt im Browser.
Hier kann man es ausprobieren: zum Prototyp

Das ist eine Visualisierung unseres neuronalen Netzes
Hilfestellung zum Prototypen

Quellen

Das verwendete Beispiel bei TensorFlow
Speech Commands, Paper von Pete Warden

2

Studierende

Noah Engler, Gösta Huppenbauer

Tags

Zu Github

Weitere Projekte aus diesem Kurs

LAZAudio

Lars Dörper, Zahit Kiziltepe