Barrierefreie Kommunikation: Gebärdensprache in einem Videostream mit Deep Learning erkennen und in Text übersetzen

Abstract

Die Vision dieser Masterarbeit ist es, die Kommunikationsbarriere zwischen hörenden
und gehörlosen Menschen zu reduzieren. Hierfür wurden die technischen Möglichkeiten
im Bereich Machine Learning und neuronaler Netze untersucht und in einem Prototyp zur Gebärdenerkennung umgesetzt. Obwohl der Begriff „Menschengruppen“ eine
Trennung suggeriert, ist die Barriere in der Kommunikation zwischen diesen Gruppen
erheblich. Technologie sollte immer dazu dienen, Menschen zu unterstützen, und in diesem Fall soll sie die Kommunikation erleichtern. Die Arbeit soll zudem das Interesse
an der Gebärdensprache wecken. Eine mobile App, die nahtlos in die Handykamera
integriert ist und auf Gesteninteraktionen reagiert, könnte Begeisterung bei Menschen
wecken, die bisher keinen Kontakt mit Gebärdensprache hatten. Durch Gamifikation
betreten Nutzer spielerisch dieses Themenfeld, da sie zuerst die entsprechende Geste
erlernen müssen, um mit der App zu interagieren.
In einer Zeit, in der der Turing-Test Realität geworden ist und wir mit ChatGPT
auf vertraute, menschliche Weise kommunizieren können, sollten solche Technologien
unbedingt auch zur Förderung der zwischenmenschlichen Kommunikation eingesetzt
werden. Die Arbeit betont die entscheidende Bedeutung von Trainingsdaten für maschinelles Lernen. Insbesondere im Bereich der Datensammlung von Gestenvideos sind noch
erhebliche Anstrengungen erforderlich, um eine flüssige Mensch-Computer-Interaktion
mittels Gebärden zu ermöglichen. Die Entwicklungen im Machine Learning schreiten
derzeit rasant voran. Sogar während der Erstellung dieser Masterarbeit wurde eine Arbeit veröffentlicht, die das Kolmogorov-Arnold-Repräsentationstheorem für maschinelles
Lernen vorschlägt. Diese Masterarbeit soll das Bewusstsein dafür schärfen, dass Machine Learning-Modelle dynamische Konstrukte sind. Es wird zwar nie das perfekte Modell
geben, doch die Annäherung daran kann kontinuierlich verbessert werden. Das Kapitel
„Implementierung und Diskussion“ und die enthaltenen Experimente dokumentieren die
initialen Schritte eines solchen iterativen Entwicklungsprozesses.

Datum der Bewilligung	2024
Originalsprache	Deutsch (Österreich)
Betreuer/-in	Werner Christian Kurschl (Betreuer*in)