Abstract
Diese Masterarbeit befasst sich mit der Entwicklung und systematischen Evaluierungeines domänenspezifischen Retrieval-Augmented Generation (RAG) Systems. Das Sys
tem dient zur Bereitstellung von Informationen aus technischen Dokumentationen von
Industriemaschinen. Ziel der Arbeit ist die Implementierung eines vollständig lokalen
RAG-Systems sowie die Optimierung hinsichtlich verschiedener Qualitätskriterien. Das
entwickelte System wird künftig sowohl intern zur Informationsbeschaffung als auch
extern im Kundensupport der SKF Österreich AG eingesetzt.
Die Methodik umfasst ein vierstufiges inkrementelles Testdesign. Bei diesem Vorge
hen wurden verschiedene, aufeinander aufbauende Optimierungsmöglichkeiten evaluiert.
Für Versuchsvariablen, bei denen starke Wechselwirkungen zu erwarten waren, wur
den sämtliche Kombinationen untersucht. Alle übrigen Variablen wurden isoliert eva
luiert. So werden als erster Schritt vier verschiedene Sprachmodelle isoliert betrachtet.
Anschließend werden vier verschiedene Segmentierungsstrategien in Kombination mit
drei verschiedenen Embedding-Modellen evaluiert. Aufbauend auf der hierbei gewählten
Kombination folgt die Optimierung des Retrieval-Prozesses, wobei drei unterschiedliche
Strategien untersucht werden. Als abschließendes Experiment wird evaluiert, ob Con
tinued Pre-Training mittels LoRA zu einer Verbesserung des Systems führt. Für die
Durchführung der Experimente werden 30 bzw. 50 verschiedene Frage-Antwort-Paare
verwendet. Der verwendete Dokumentkorpus bestand aus 151 Dokumenten mit einer
durchschnittlichen Länge von 74,7 Seiten.
Die Experimente zeigten eine starke Abhängigkeit der Systemleistung vom gewählten
Sprachmodell. Zudem zeigte sich, dass die Segmentierungsstrategie einen wesentlichen
Einfluss auf die Systemqualität besitzt. Die Experimente zeigten hierbei, dass Segmen
tierungsstrategien, die zu guten Retrieval-Ergebnissen führen, nicht automatisch auch
gute Antwortqualität liefern. Die untersuchten Retrieval-Optimierungen führten zu kei
ner Verbesserung der Systemleistung. Parametereffizientes Fine-Tuning mittels LoRA
führte zu einer Verschlechterung der Systemqualität.
Die gewonnenen Erkenntnisse bieten eine Orientierungshilfe für den Aufbau von RAG
Systemen, insbesondere im Bereich der Dokumentation von Industriemaschinen. Das
finale System ermöglicht eine datenschutzkonforme und effiziente Informationsbeschaf
fung. Dadurch können Arbeitsprozesse beschleunigt und der Kundensupport entlastet
werden.
| Datum der Bewilligung | 2026 |
|---|---|
| Originalsprache | Deutsch (Österreich) |
| Gradverleihende Hochschule |
|
| Betreuer/-in | Susanne Schaller (Betreuer*in) |
Studiengang
- Data Science und Engineering
Zitieren
- Standard