Echtzeit-Erkennung illegaler Handgesten unter Verwendung von Convolutional Neural Networks

Abstract

Die Objekterkennung ist ein Teilbereich der künstlichen Intelligenz, mit dem relevante Objekte in Bild- und Videodaten automatisch lokalisiert und klassifiziert werden. Diese Masterarbeit befasst sich mit der Echtzeit-Erkennung gesetzlich verbotener Handgesten in Österreich, insbesondere des Hitlergrußes und des Wolfsgrußes, unter Verwendung von Convolutional Neural Networks.
Ziel ist die Erstellung eines geeigneten Datensatzes sowie die Untersuchung der techni-schen Machbarkeit und Zuverlässigkeit eines Objekterkennungsmodells für diese Gesten. Eine zentrale Herausforderung stellt die Datenbeschaffung dar, da kein öffentlich verfüg-barer, annotierter Datensatz zu diesen Gesten vorliegt. Zur Bearbeitung dieser Problem-stellung werden die Herausforderungen der Datenbeschaffung analysiert, da sie einen maßgeblichen Einfluss auf die Zuverlässigkeit des Objekterkennungsmodells haben. Ein klassenausgewogener Datensatz mit 800 Trainingsbildern und 1719 annotierten Objekt-instanzen konnte erstellt werden. Der Datensatz weist eine hohe Intra-Klassen-Variation auf, etwa durch unterschiedliche Perspektiven, Skalen und Hintergründe, was eine reali-tätsnahe Abdeckung potenzieller Anwendungsfälle gewährleistet. Darüber hinaus wird der Einfluss der Datensatzgröße auf die Modellleistung untersucht und Transfer Learning in die Experimente einbezogen. Für die Objekterkennung wird das Modell YOLO (You Only Look Once) eingesetzt, das als aktueller Stand der Technik gilt. Die Evaluation er-folgt anhand etablierter Metriken auf Validierungs- und Testdaten. Die beste Leistung erzielte das vortrainierte Modell mit 800 Trainingsbildern mit einer durchschnittlichen Genauigkeit bei einem Schwellenwert von 0,5 von 90 %. Die Ergebnisse machen deut-lich, dass ein ausgewogener und vielfältiger Datensatz in Kombination mit Transfer Lear-ning wesentlich zur Leistungsgenauigkeit des Modells beiträgt.
Die Arbeit zeigt damit nicht nur die technische Machbarkeit der Echtzeit-Erkennung il-legaler Handgesten, sondern liefert auch eine systematisch aufbereitete Datengrundlage für künftige Forschungsarbeiten oder Anwendungen im Bereich der öffentlichen Sicher-heit sowie der Content Moderation auf sozialen Medien. Gleichzeitig machen die verblei-benden Fehlklassifikationen deutlich, dass weitere Optimierungen hinsichtlich der Da-tensatzgröße, der Annotation, des Hyperparameter-Tunings oder der Anpassung der Mo-dellarchitektur notwendig sind, um die Robustheit und Genauigkeit weiter zu steigern.

Datum der Bewilligung	2025
Originalsprache	Deutsch (Österreich)
Betreuer/-in	Oliver Krauss (Betreuer*in)