Zur Hauptnavigation wechseln Zur Suche wechseln Zum Hauptinhalt wechseln

Towards Explainability in Automated Foul Recognition for Soccer
: Assessing the Faithfulness and Plausibility of Attention-Based Explanations for Video Transformers

  • Moritz Alker

    Studienabschlussarbeit: Masterarbeit

    Abstract

    Schiedsrichterentscheidungen im Fußball stehen regelmäßig in der Kritik– neben man
    gelnder Konsistenz vor allem wegen ihrer fehlenden Nachvollziehbarkeit. Die Forschung
    zur automatisierten Foulerkennung mittels künstlicher Intelligenz zielt bislang jedoch
    fast ausschließlich auf die Klassifikationsgenauigkeit ab und lässt die Erklärbarkeit der
    Vorhersagen weitgehend unberücksichtigt, obwohl gerade Transparenz für die Akzeptanz
    solcher Systeme entscheidend ist.
    Diese Thesis untersucht daher, inwieweit sich attention-basierte Erklärbarkeitsan
    sätze darin unterscheiden, Erklärungen zu liefern, die die tatsächliche Entscheidungs
    grundlage des Modells widerspiegeln (Faithfulness) und für Menschen relevante Bild
    regionen hervorheben (Plausibility). Dazu werden zwei Varianten des auf Kinetics-400
    vortrainierten TimeSformers– mit Divided bzw. Joint Space-Time Attention– auf ei
    nem Datensatz feinjustiert, der auf SoccerNet-MVFoul basiert, auf Nahaufnahmen re
    duziert, um 400 manuell annotierte Nichtfoul-Aktionen erweitert und auf die Klassen No
    Foul, Foul + No Card und Foul + Card zusammengefasst wurde. Für 623 Testsamples
    sind zusätzlich Bounding Boxes der relevanten Regionen– gefoulter Spieler, foulender
    Spieler, Ball und Körperkontakt– annotiert. Verglichen werden die rohe Attention des
    letzten Encoder-Layers, die klassenspezifische Relevance des letzten Layers, der Attenti
    on Rollout und der Relevance Rollout. Die Faithfulness wird über positive und negative
    Perturbationstests bewertet, die Plausibility über die größennormierte Relevance Mass
    Accuracy und die Pointing-Game-Genauigkeit.
    Der Relevance Rollout liefert mit Abstand die treuesten Erklärungen, während der
    Attention Rollout deutlich zurückbleibt und die Ansätze, die nur den letzten Encoder
    Layer betrachten, kaum von einer zufälligen Zuweisung zu unterscheiden sind. Auch in
    der Plausibilität schneiden die beiden Rollout-Verfahren am besten ab: Der Relevance
    Rollout konzentriert die Relevanz am stärksten auf die annotierten Regionen, der At
    tention Rollout erreicht bei breiterem Fokus die höchste Pointing-Game-Genauigkeit,
    während die Last-Layer Ansätze nahe an oder unter der Baseline bleiben. Auffällig ist,
    dass sich der Fokus überproportional auf Ball und Kontakt statt auf die beteiligten
    Spieler richtet, über die Frames hinweg kaum variiert und das Modell die Ergebnisein
    blendung als Abkürzungsmerkmal nutzt. Alle Ansätze außer dem Relevance Rollout
    schneiden zudem in der Divided-Variante deutlich besser ab als in der Joint-Variante.
    Auf zeitlicher Ebene zeigt allein der Relevance Rollout schwache Anzeichen von Faith
    fulness, eine Konzentration auf die Kontakt-Frames lässt sich jedoch in keinem Ansatz
    nachweisen. Damit ist der Relevance Rollout der einzige zugleich faithful und plausible
    Ansatz– allerdings beschränkt auf die räumliche Dimension.
    Datum der Bewilligung2026
    OriginalspracheEnglisch (Amerika)
    Gradverleihende Hochschule
    • FH OÖ
    Betreuer/-inDavid Christian Schedl (Betreuer*in)

    Studiengang

    • Interactive Media

    Zitieren

    '