Zur Hauptnavigation wechseln Zur Suche wechseln Zum Hauptinhalt wechseln

Effiziente Informationsbereitstellung aus technischen Dokumenten
: Einfluss von Dokumentenvorverarbeitung und Segmentierung auf lokale RAG-Systeme

  • Michael Martschin

    Studienabschlussarbeit: Masterarbeit

    Abstract

    Diese Masterarbeit befasst sich mit der Entwicklung und systematischen Evaluierung
    eines domänenspezifischen Retrieval-Augmented Generation (RAG) Systems. Das Sys
    tem dient zur Bereitstellung von Informationen aus technischen Dokumentationen von
    Industriemaschinen. Ziel der Arbeit ist die Implementierung eines vollständig lokalen
    RAG-Systems sowie die Optimierung hinsichtlich verschiedener Qualitätskriterien. Das
    entwickelte System wird künftig sowohl intern zur Informationsbeschaffung als auch
    extern im Kundensupport der SKF Österreich AG eingesetzt.
    Die Methodik umfasst ein vierstufiges inkrementelles Testdesign. Bei diesem Vorge
    hen wurden verschiedene, aufeinander aufbauende Optimierungsmöglichkeiten evaluiert.
    Für Versuchsvariablen, bei denen starke Wechselwirkungen zu erwarten waren, wur
    den sämtliche Kombinationen untersucht. Alle übrigen Variablen wurden isoliert eva
    luiert. So werden als erster Schritt vier verschiedene Sprachmodelle isoliert betrachtet.
    Anschließend werden vier verschiedene Segmentierungsstrategien in Kombination mit
    drei verschiedenen Embedding-Modellen evaluiert. Aufbauend auf der hierbei gewählten
    Kombination folgt die Optimierung des Retrieval-Prozesses, wobei drei unterschiedliche
    Strategien untersucht werden. Als abschließendes Experiment wird evaluiert, ob Con
    tinued Pre-Training mittels LoRA zu einer Verbesserung des Systems führt. Für die
    Durchführung der Experimente werden 30 bzw. 50 verschiedene Frage-Antwort-Paare
    verwendet. Der verwendete Dokumentkorpus bestand aus 151 Dokumenten mit einer
    durchschnittlichen Länge von 74,7 Seiten.
    Die Experimente zeigten eine starke Abhängigkeit der Systemleistung vom gewählten
    Sprachmodell. Zudem zeigte sich, dass die Segmentierungsstrategie einen wesentlichen
    Einfluss auf die Systemqualität besitzt. Die Experimente zeigten hierbei, dass Segmen
    tierungsstrategien, die zu guten Retrieval-Ergebnissen führen, nicht automatisch auch
    gute Antwortqualität liefern. Die untersuchten Retrieval-Optimierungen führten zu kei
    ner Verbesserung der Systemleistung. Parametereffizientes Fine-Tuning mittels LoRA
    führte zu einer Verschlechterung der Systemqualität.
    Die gewonnenen Erkenntnisse bieten eine Orientierungshilfe für den Aufbau von RAG
    Systemen, insbesondere im Bereich der Dokumentation von Industriemaschinen. Das
    finale System ermöglicht eine datenschutzkonforme und effiziente Informationsbeschaf
    fung. Dadurch können Arbeitsprozesse beschleunigt und der Kundensupport entlastet
    werden.
    Datum der Bewilligung2026
    OriginalspracheDeutsch (Österreich)
    Gradverleihende Hochschule
    • FH OÖ
    Betreuer/-inSusanne Schaller (Betreuer*in)

    Studiengang

    • Data Science und Engineering

    Zitieren

    '