Inhalt des Kurses

Machine Learning

Inhalt des Fachs

Im Wahlpflichtfach Machine Learning lernten die Student*innen die Funktionsweise von Deep-Learning-Modellen und deren Einsatzmöglichkeiten. Sie arbeiteten mit Frameworks und Schnittstellen für client-seitige, server-seitige und Cloud-basierte Dienste und entwickelten eigene Prototypen, bei denen Mensch-Maschine Interaktion ganz neue Formen annimmt.

Lernziele

  • Grundverständnis der Funktionsweise Neuronaler Netze
  • Überblick über den State-of-the-Art im Machine Learning,
    Deep Learning und Künstlicher Intelligenz
  • Realisierung von Machine-Learning-Prototypen in Web-Apps,
    in lokalen Installationen und in der Cloud
  • Praktischer Umgang mit Frameworks wie ML5.js und RunwayML
  • Fähigkeit ein Neurales Netz für einen bestimmten Zweck mit Hilfe
    eines eigenen Datensatzes zu trainieren

Themen und Projekte

Im Rahmen des Kurses wurden drei Themenkomplexe erforscht.
Zwei der entstandenen Prototypen sind in der Ausstellung zu sehen.

  • Die Mobil-App LAZAudio soll langwierige Sprachnachrichten mit Hilfe von Machine Learning kurz und knackig zusammenfassen und bewerten. Im Mittelpunkt steht die Kommunikation der App mit einem dezidierten Server und die Nutzung von Machine Learning-Diensten in der Cloud.
  • In einer Videokonferenz wird gerne durch ein Warm-Up-Spiel die Stimmung aufgelockert. Wie könnte eine KI aussehen die solche Spiele veranstaltet?
    Der Warmup-Bot betritt die Videokonferenz und nutzt ein lokales Neuronales Netz um Zurufe der Teilnehmer*innen zu verstehen und zu bewerten.
  • Algorithmen zum Zauberstab-Tracking vor der Webcam wurden mit einem neuronalen Netz zur Erkennung der Zauberstab-Bewegungen kombiniert. Dazu haben die Studierenden einen Doodle-Classifier mit typischen Zauberbewegungen aus dem “Harry-Potter”-Universum trainiert. In einem Computerspiel soll das Zaubern vor der Kamera als primäre Form der Interaktion genutzt werden.
Bachelor of Arts

Internet der Dinge

Semesterjahr

4. / 6. Semester

LAZAudio

Die Mobil-App LAZAudio soll langwierige Sprachnachrichten mit Hilfe von Machine Learning kurz und knapp zusammenfassen und bewerten. Im Mittelpunkt steht die Kommunikation der Mobil-App mit einem dedizierten Server und die Nutzung von Machine Learning-Diensten in der Cloud.

Wir haben einen Prototyp der Mobil-App LAZAudio als Android-App realisiert.
Mit der App kann man Sprachnachrichten und andere Audiofiles auf dem Smartphone öffnen.
Die App verwandelt das gesprochene Wort in Textform, versucht den emotionalen Ton der Nachricht zu erkennen (positiv, negativ oder neutral) und markiert Schlüsselworte im Text.

Software-Architektur

Das LAZAudio-Setup besteht aus vier Komponenten: Der Android-App, dem LAZAudio-Server, einem Cloud-Dienst für Transkription und einem Cloud-Dienst für die Textanalyse.
Die Mobil-App schickt die Audiodatei per TCP/IP-Protokoll an den LAZAudio-Server. Der Server schickt die Audiodaten dann zur Trankription an einen Cloud-Dienst.
Nachdem der Cloud-Dienst die Audio-Daten in Textform übersetzt und zurückgeschickt hat, leitet der Server den Text an einen Textanalyse-Dienst zur Bewertung weiter.
Das Ergebnis schickt der Server dann wiederum an die App, die alles grafisch aufbereitet.

Den Prototyp der App haben wir mit dem Cordova-Framework mit HTML, CSS und JavaScript programmiert. Den Server haben wir in Python realisiert.

Machine Learning in der Cloud

Unsere App nutzt zwei Machine-Learning-Dienste.
Für die Audiotranskription nutzten wir die API (Application Programmable Interface) von SpeechText.ai. Obwohl es eine große Zahl von Cloud-Anbietern für Speech-to-Text - Transkription gibt, beherschen nur wenige davon auch die deutsche Sprache. Die REST-Schnittstelle der SpeechText.ai-API arbeitet dafür mit dem “Wav2Vec” Machine Learning- Modell, einem speziell für Audiotranskription trainierten neuronalen Netzwerks.
Für die Emotionale Bewertung der Texte und für das Erkennen von Schlüsselwörtern nutzen wir die Natural Language Understanding API von IBM Watson.
Um die API´s anzusprechen sendet unser Server HTTP-Requests an die entsprechenden Schnittstellen, die, abhängig von der länge des Textes und der Internetverbindung das Ergebnis in der Regel in wenigen bis zu 10 Sekunden liefern.

1

Studierende

Lars Dörper, Zahit Kiziltepe

Tags

Zu Code auf Github

Startbildschirm und Übersicht

Textausgabe und Textausgabe mit Emotionalität

Schlagwörter und Schlagwort-Highlighting im Text

Server

Weitere Projekte aus diesem Kurs

Zoom_Warmup_Bot

Noah Engler, Gösta Huppenbauer