Zur Hauptnavigation wechseln Zur Suche wechseln Zum Hauptinhalt wechseln

Development and Evaluation of a Context-Aware Mobile Support App for LLM-Assisted Field Support

  • Michael Kerscher

    Studienabschlussarbeit: Masterarbeit

    Abstract

    Außendienstmitarbeiter in der kommunalen Infrastrukturwartung arbeiten unter Zeit
    druck und häufig ohne verlässlichen Zugriff auf Backend-Systeme. Mobile Anwendungen
    können umfangreiche situative Informationen über das betroffene Asset, die gemeldete
    Störung, die Umgebungsbedingungen und das Gerät des Technikers erfassen; dieser Kon
    text wird jedoch selten systematisch genutzt, wenn ein Sprachmodell um Unterstützung
    gebeten wird. Retrieval-gestützte Architekturen lösen ein anderes Problem — fehlendes
    Wissen — zu Betriebskosten, die kommunale Betreiber selten tragen können.
    Die vorliegende Arbeit untersucht, wie situativer Kontext, der bereits auf dem Gerät
    vorliegt, ohne jede Retrieval-Infrastruktur strukturiert, priorisiert und in einer Anfrage
    an ein Sprachmodell repräsentiert werden kann. Dazu wurden zwei Artefakte entwickelt:
    eine Flutter-Anwendung, die ein vierdimensionales Kontextschema auf dem Mobilgerät
    zusammenstellt und die Anfrage dort aufbereitet, sowie eine Python-Evaluationspipeline,
    die fünf Arten vergleicht, diesen Kontext in den Prompt einzubringen — von der bloßen
    Asset-Kennung bis zur vollständigen, priorisierten und kommentierten Darstellung —
    über drei kommerzielle Sprachmodell-Backends und zwei kommunale Asset-Klassen
    hinweg.
    Das zentrale Ergebnis betrifft nicht, ob ein Modell Kontext erhält, sondern was es
    damit tut. Meldet das Gerät des Technikers keine Verbindung zum Backend, so benennt
    ein Modell mit vollständigem Kontext diesen Umstand in vier von fünf Antworten —
    passt seine Anweisungen jedoch in keiner von 990 solchen Antworten daran an: Es fordert
    weiter dazu auf, die Störung in einem System zu erfassen, das nicht erreichbar ist. Werden
    dieselben Felder um einen Satz ergänzt, der benennt, was aus der fehlenden Verbindung
    folgt, erscheint das angepasste Verfahren in 86 bis 96 Prozent der Antworten. Kontext
    bereitzustellen und ihn aufzubereiten sind somit verschiedene Operationen, und nur die
    zweite verändert, was das Modell empfiehlt.
    Ein zweites Ergebnis betrifft die Messung selbst. Die fünfstufige Skala, mit der die
    Antworten bewertet werden, beurteilt beide Bedingungen bis auf 0,02 Punkte gleich,
    und eine unabhängige Zweitbewertung einer Stichprobe bestätigt, dass die Skala erfasst,
    ob Kontext überhaupt aufgegriffen wurde, nicht ob er richtig verwendet wurde. Die
    Verhaltensbefunde dieser Arbeit stützen sich daher auf eine direkte Auszählung der ein
    schlägigen Formulierungen in den Antworttexten, ohne Modell in der Bewertungsschleife.
    Entfernt man die Geräteinformationen aus der Anfrage, verschwindet das angepasste
    Verfahren vollständig, in jeder einzelnen geprüften Antwort. Die Anwendung derselben
    Pipeline auf eine zweite Asset-Klasse zeigt, dass die Befunde auch in einer Domäne
    gelten, für die der Ansatz nicht entworfen wurde.
    Datum der Bewilligung2026
    OriginalspracheEnglisch (Amerika)
    Gradverleihende Hochschule
    • FH OÖ
    Betreuer/-inClemens Holzmann (Betreuer*in)

    Studiengang

    • Mobile Computing

    Zitieren

    '