Zur Hauptnavigation wechseln Zur Suche wechseln Zum Hauptinhalt wechseln

Evidence-Based Claim Assessment
: A Source-Credibility-Based NLP Approach

  • Jana Madison Burns-Balog

    Studienabschlussarbeit: Masterarbeit

    Abstract

    Die rasche Verbreitung von Fehlinformationen im Internet stellt automatisierte Verifi
    kationssysteme vor wachsende Herausforderungen. Bestehende Ansätze zur automati
    sierten Faktenprüfung behandeln Informationssuche, Standpunkterkennung und Quel
    lenglaubwürdigkeit häufig als voneinander getrennte Probleme, und nur wenige Systeme
    legen ihre Entscheidungsgrundlagen ausreichend transparent dar.
    Diese Masterarbeit stellt eine modulare Pipeline zur glaubwürdigkeitsbewussten
    Aussagenbewertung vor, entwickelt und evaluiert anhand eines Korpus deutschsprachi
    ger österreichischer Online-Nachrichtenartikel. Das System berechnet zunächst Glaub
    würdigkeitswerte für Quellen über einen heuristischen Rahmen aus Reputation, Trans
    parenz, inhaltlicher Qualität und externer Validierung. Ausgehend von einer Behaup
    tung werden relevante Artikel mittels TF-IDF, BM25 und K-Means-basierter Cluster
    suche ermittelt und die Rankings per Reciprocal Rank Fusion zusammengeführt.
    Ein Vier-Modell-Ensemble aus einem lokal betriebenen Open-Source-Sprachmodell
    und drei Prompt-Varianten eines kommerziellen Modells klassifiziert den Standpunkt
    jedes Artikels als unterstützend, ablehnend oder neutral. Die artikelweisen Wahrschein
    lichkeitsverteilungen werden zu einem Gesamturteil aggregiert, wobei jeder Beitrag mit
    dem Glaubwürdigkeitswert der jeweiligen Quelle gewichtet wird.
    Die Pipeline wurde anhand von 1.971 Artikeln zu 16 Behauptungen, acht Themen
    und sieben Nachrichtenquellen evaluiert. Die Informationssuche erzielt nahezu perfekte
    Genauigkeit (P@K = 0,988–0,994) und einen MRR von 1,000. Das Ensemble erreicht
    79,1% Genauigkeit und einen makrogemittelten F1-Wert von 0,729, mit systematischer
    Schwäche bei neutralen Artikeln. Das Glaubwürdigkeitsmodell erzeugt ein Quellenran
    king entsprechend der erwarteten österreichischen Medienhierarchie. Die Gewichtung
    führt zu moderaten, konsistenten Verschiebungen in der aggregierten Wahrscheinlich
    keitsverteilung, ohne in den evaluierten Durchläufen ein Urteil umzukehren.
    Das System gibt eine transparente Entscheidungsgrundlage mit artikelweisen Stand
    punktvorhersagen, Quellenglaubwürdigkeitswerten und der vollständigen Wahrschein
    lichkeitsverteilung aus, sodass menschliche Prüferinnen und Prüfer die Bewertung nach
    vollziehen und bei Bedarf überschreiben können. Nach dem Kenntnisstand der Autorin
    ist dies der erste Prototyp, der lexikalische Informationssuche, ensemblebasierte Stand
    punkterkennung und heuristische Quellenglaubwürdigkeitsbewertung in einer einheitli
    chen Pipeline vereint, evaluiert anhand deutschsprachiger österreichischer Nachrichten
    artikel.
    Datum der Bewilligung2026
    OriginalspracheEnglisch (Amerika)
    Gradverleihende Hochschule
    • FH OÖ
    Betreuer/-inMichael Affenzeller (Betreuer*in)

    Studiengang

    • Software Engineering

    Zitieren

    '