ProNounce

Das Erlernen und Verstehen einer Fremdsprache wie Englisch gestaltet sich nicht immer einfach, insbesondere beim Sprechen. Die Angst vor Fehlern ist groß, und oft ist es schwierig zu erkennen, wo genau das Problem liegt und wie es verbessert werden kann. Der Schlüssel dazu liegt in der präzisen Aussprache und deutlichen Artikulation der Laute. Für hörbeeinträchtigte Personen fällt das Erlernen noch schwieriger, da die meisten Sprach-Apps nicht das passende Feedback für ihre spezifischen Probleme bieten.

Die ProNounce App hilft beeinträchtige Menschen, ihre englische Aussprache zu verbessern, indem sie spezielles Feedback zur Mundbewegung und Lippenbildung bietet.

Research

Das Thema umfasst eine Vielzahl verschiedener Faktoren. Während des Projekts mussten wir uns ständig mit verschiedenen Themen wie Logopädie, Sprachwissenschaft und Linguistik auseinandersetzen. Durch Interviews mit betroffenen Personen und fachlichen Expertinnen konnten wir wertvolle Erkenntnisse gewinnen, um unsere Anwendung so inklusiv wie möglich zu gestalten. Dabei wurde klar, dass die Visualisierung von Lippen- und Mundbewegungen eine entscheidende Rolle spielt, und dass ein (2D) Querschnittsbild mit Animation hilfreich ist, um die Aussprache zu verbessern, neben den traditionellen Lernmethoden des Vorzeigens und Wiederholens.In unserer Anwendung verfolgen wir einen alternativen Ansatz, um die Lautsprache zu erlernen, ohne dass Nutzer*innen die komplexen Aspekte der phonetischen Sprache separat erlernen müssen, da diese oft abschreckend wirken könnten.

Wie können wir das Erlernen und Verbessern der Lautsprache in der englischen Sprache für Personen mit Hörbeeinträchtigung erleichtern?

User-Profil

Informationarchitektur

Der Aufbau der Informationsarchitektur basiert auf unseren Recherchen und Experteninterviews. Sie ist in vier Teilen unterteilt: Training, Karteikarten, Fragen an KI und Profil.

Feedback

Der Hauptfokus unserer Anwendung liegt auf der Wiedergabe und dem Feedback von ausgesprochenen Worten, die Nutzerinnen in einzelnen Lauten erlernen können.
Wir haben diese Kombination aus einem Querschnittsbild und einem Vokaltrapez ausprobiert, doch stellten wir fest, dass es eher verwirrend als hilfreich war. Daher haben wir uns stattdessen für eine klare Darstellung entschieden, indem wir ein visuelles KI-Avatar mit Lippen- und Mundbildern integrieren. Nutzer*innen können nun durch eine Kameraansicht ihre eigenen Lippenbewegungen betrachten, Fehler erkennen und diese mit den Lippenbewegungen des KI-Avatars vergleichen.

Visuelles Feedback

Animiertes Querschnittsbild

Mit ein animiertes Querschnittsbild ermöglichen wir den Nutzer*innen, den Mundraum visuell zu betrachten und durch die Animation die Bewegungen der Zunge sowie stimmhafte oder stimmlose Luftstöße nachzuvollziehen.

Vokaltrapez / Vokalgitter

Ein Vokaltrapez ist ein grafisches Modell, das die Positionen der Vokale in Bezug auf ihre Tonhöhe, Zungenposition und Stimmhaftigkeit. Die Lippenrundung im Mundraum werden durch KI-Avatare dargestellt.

Weitere Features

Onboarding

Beim Anmelden werden Nutzer:innen gefragt, ob sie ein Cochlea-Implantat (CI)oder ein Hörgerät besitzen. Wenn ja haben sie die Möglichkeit, ihr Audiogramm als PDF hochzuladen, um die Voreinstellungen der Frequenzen anzupassen. Diese Einstellungen können später auch manuell geändert werden. Anschließend wird die Verbindung mit dem Hörgerät oder CI hergestellt, und die App kann gestartet werden.

Übungen beim Worttrainer

Vor der Übung wird darum gebeten, das eigene Gesicht zu analysieren, um Fehler besser zu erkennen und anschließend gezieltes Feedback zur Verbesserung zu erhalten.

Der KI-Avatar spricht vor, und dabei stehen verschiedene Optionen zur Verfügung, um das Wort visuell zu betrachten. Man kann das Gesichts- und Lippenbild des Avatars verwenden, um die Mundrundungen zu sehen und einen animierten Querschnitt, um die Zungenposition zu beobachten.

Im Feedback werden Stellen des Wortes rot oder grün markiert, und es wird mitgeteilt, wie das Wort ausgesprochen wurde. Dabei erfolgt eine Anpassung an die deutsche Muttersprachler-Aussprache, um Verbesserungen vorzunehmen. Am Ende der Übung kann das Wort in einer Karteikarte gespeichert werden, um später darauf zuzugreifen.

Karteikarten

Unter Karteikarten können Nutzer:innen neue Wörter, die sie innerhalb oder außerhalb der App gelernt haben, speichern. Die App spielt das Wort ab, während ein KI-Avatar es als Beispiel vorliest. Auf der Karteikarte erhalten sie zudem eine schriftliche Erklärung zur richtigen Aussprache, inklusive Auspracheregeln, Zungenposition und Stimmhaftigkeit. Zusätzlich haben die Nutzer*innen die Möglichkeit, das Wort mit einer Übung zu festigen, die nach dem gleichen Prinzip wie der Worttrainer aufgebaut ist.

Frag KI

In der Frag-KI-Funktion haben Nutzer:innen die Möglichkeit, Fragen zur Aussprache eines Wortes zu stellen oder eine englische Konversation zu beginnen.
Der KI-Avatar gibt entsprechendes Feedback und kann, je nach Bedarf, auch eine ausführliche Übung anbieten, sofern die Nutzer:innen dies zulassen.

Fazit

Unser Projekt verfolgt das Ziel, erste Konzepte von sichtbaren KI-Avataren zu entwickeln und zu integrieren. Diese sollen als Lösungsansätze dienen, um die Bewusstseinsbildung für hörbeeinträchtigte Nutzer:innen beim Sprachenlernen zu fördern. Die Integration von KI eröffnet dabei besondere Möglichkeiten durch sichtbare Avatare, die Lippen- und Gesichtsbewegungen visualisieren und direktes Feedback für ein aktives Sprachtraining bieten. Dabei werden freundliche und motivierende KI-Assistenten eingesetzt, um nicht nur Unterstützung, sondern auch Fehlerkorrekturen anzubieten.