Application of 2D human pose estimation for automated hold suggestion for visually impaired climbers

  • Anna Maschek

    Studienabschlussarbeit: Masterarbeit

    Abstract

    Diese Arbeit behandelt die Anwendung von 2D Human Pose Estimation Modellen zur
    Bestimmung der Körperposition im Kontext des Kletterns, mit dem primären Ziel, Computer Vision zu nutzen, um sehbeeinträchtigten Kletterern ein unabhängigeres Training
    zu ermöglichen.
    Ein neuer Datensatz bestehend aus 23 Videos mit 11 verschiedenen Kletterern, die
    zwei Routen klettern, wird eingeführt. Der Datensatz enthält Informationen über die
    Pixelpositionen der Griffe im Video, die vom Kletterer in jedem Video verwendeten
    Griffe und eine Homographiematrix zur Berechnung der realen Entfernungen.
    Eine erste Evaluierung von zehn 2D-Modellen zur Erkennung der menschlichen Körperhaltung wurde durchgeführt, indem die Erkennungen der Modelle über das Video
    gelegt wurden, um ihre Effektivität bei der Identifizierung von Kletterposen zu bewerten. Die drei genauesten und zuverlässigsten Modelle, ViTPose L, YOLOv8-pose X und
    MediaPipe H, werden dann in Kombination mit den Positionen der Klettergriffe verwendet, um die aktuell vom Kletterer verwendeten Griffe zu identifizieren. Die Leistung
    der Modelle zur Erlangung dieser Vorhersagen wird anhand des benutzerdefinierten
    Datensatzes eingehend untersucht, wobei ViTPose L die höchste Genauigkeit aufweist,
    allerdings um den Preis, dass die Vorhersage einer einzelnen Pose im Vergleich zu den
    beiden anderen Modellen doppelt so lange dauert.
    Darüber hinaus werden zwei Ansätze zur Vorhersage des nächsten Griffs diskutiert:
    ein regelbasierter und ein datenbankgestützter.
    Zukünftige Arbeiten werden sich auf die Verfeinerung der Vorhersagemodelle und
    die Erweiterung des Datensatzes auf unterschiedlichste Kletterszenarien konzentrieren,
    um die Anwendbarkeit des Systems in der realen Welt weiter zu verbessern.
    Datum der Bewilligung2024
    OriginalspracheEnglisch (Amerika)
    Betreuer/-inDavid Christian Schedl (Betreuer*in)

    Zitieren

    '