Abstract
Die rasche Verbreitung von Fehlinformationen im Internet stellt automatisierte Verifikationssysteme vor wachsende Herausforderungen. Bestehende Ansätze zur automati
sierten Faktenprüfung behandeln Informationssuche, Standpunkterkennung und Quel
lenglaubwürdigkeit häufig als voneinander getrennte Probleme, und nur wenige Systeme
legen ihre Entscheidungsgrundlagen ausreichend transparent dar.
Diese Masterarbeit stellt eine modulare Pipeline zur glaubwürdigkeitsbewussten
Aussagenbewertung vor, entwickelt und evaluiert anhand eines Korpus deutschsprachi
ger österreichischer Online-Nachrichtenartikel. Das System berechnet zunächst Glaub
würdigkeitswerte für Quellen über einen heuristischen Rahmen aus Reputation, Trans
parenz, inhaltlicher Qualität und externer Validierung. Ausgehend von einer Behaup
tung werden relevante Artikel mittels TF-IDF, BM25 und K-Means-basierter Cluster
suche ermittelt und die Rankings per Reciprocal Rank Fusion zusammengeführt.
Ein Vier-Modell-Ensemble aus einem lokal betriebenen Open-Source-Sprachmodell
und drei Prompt-Varianten eines kommerziellen Modells klassifiziert den Standpunkt
jedes Artikels als unterstützend, ablehnend oder neutral. Die artikelweisen Wahrschein
lichkeitsverteilungen werden zu einem Gesamturteil aggregiert, wobei jeder Beitrag mit
dem Glaubwürdigkeitswert der jeweiligen Quelle gewichtet wird.
Die Pipeline wurde anhand von 1.971 Artikeln zu 16 Behauptungen, acht Themen
und sieben Nachrichtenquellen evaluiert. Die Informationssuche erzielt nahezu perfekte
Genauigkeit (P@K = 0,988–0,994) und einen MRR von 1,000. Das Ensemble erreicht
79,1% Genauigkeit und einen makrogemittelten F1-Wert von 0,729, mit systematischer
Schwäche bei neutralen Artikeln. Das Glaubwürdigkeitsmodell erzeugt ein Quellenran
king entsprechend der erwarteten österreichischen Medienhierarchie. Die Gewichtung
führt zu moderaten, konsistenten Verschiebungen in der aggregierten Wahrscheinlich
keitsverteilung, ohne in den evaluierten Durchläufen ein Urteil umzukehren.
Das System gibt eine transparente Entscheidungsgrundlage mit artikelweisen Stand
punktvorhersagen, Quellenglaubwürdigkeitswerten und der vollständigen Wahrschein
lichkeitsverteilung aus, sodass menschliche Prüferinnen und Prüfer die Bewertung nach
vollziehen und bei Bedarf überschreiben können. Nach dem Kenntnisstand der Autorin
ist dies der erste Prototyp, der lexikalische Informationssuche, ensemblebasierte Stand
punkterkennung und heuristische Quellenglaubwürdigkeitsbewertung in einer einheitli
chen Pipeline vereint, evaluiert anhand deutschsprachiger österreichischer Nachrichten
artikel.
| Datum der Bewilligung | 2026 |
|---|---|
| Originalsprache | Englisch (Amerika) |
| Gradverleihende Hochschule |
|
| Betreuer/-in | Michael Affenzeller (Betreuer*in) |
Studiengang
- Software Engineering
Zitieren
- Standard