Offline Retrieval Augmented Generation

Abstract

Offline Retrieval-Augmented Generation (RAG) Systeme kombinieren domänenspezifisches Wissen mit großen Sprachmodellen, um genaue und kontextuell relevante Antworten zu generieren und gleichzeitig Datenschutz und regulatorische Anforderungen zu gewährleisten. Diese Arbeit untersucht die Entwicklung und Bewertung eines OfflineRAG-Systems, das ohne Internetverbindung arbeitet und lokale Infrastruktur nutzt. Das System verwendet vortrainierte Sprach- und Einbettungsmodelle, um interne Daten als Vektoren darzustellen, was eine effiziente Abfrage aus verschiedenen Dateitypen wie Text, PDFs und Audio ermöglicht. Die Architektur integriert Einbettungsmodelle, um interne Daten in Vektor-Darstellungen zu konvertieren, die in einer lokalen Vektordatenbank gespeichert werden. Bei einer Nutzeranfrage ruft das System relevante Daten ab und ergänzt den Input des Sprachmodells mit diesem Kontext, um die Antwortqualität mit aktuellen und spezifischen Informationen zu verbessern. Die Bewertung des Offline-RAG-Systems im Vergleich zu einer kommerziellen cloudbasierten Lösung konzentrierte sich auf die Abfragegenauigkeit, die kontextuelle Relevanz und die allgemeine Antwortqualität. Die Ergebnisse zeigten, dass das OfflineSystem zwar erfolgsversprechend ist, jedoch weitere Optimierungen erforderlich sind, um die Leistung cloudbasierter Pendants zu erreichen. Wichtige Verbesserungsbereiche
umfassen die Verbesserung der Einbettungsqualität, die Verfeinerung der ChunkingStrategien und die Integration domänenspezifischer Wissensgraphen. Künftige Arbeiten umfassen die Erkundung alternativer Abfragemethoden, hybrider Abfragestrategien und Reinforcement Learning aus menschlichem Feedback, um die Antwortgenerierung zu verbessern. Darüber hinaus kann die Nutzung von HardwareBeschleunigung und verteilten Systemen die Skalierbarkeit und Leistung verbessern und das Offline RAG-System zu einer praktikablen Lösung für sichere Deployments im Unternehmensmaßstab machen.

Datum der Bewilligung	2024
Originalsprache	Englisch (Amerika)
Betreuer/-in	Christoph Schaffer (Betreuer*in)