Einsatz von Large Language Models zur automatisierten Erstellung von Arztbriefen

Abstract

Large Language Models (LLMs) haben durch die Vorstellung des ChatGPT Chatbots
weltweite Bekanntheit erreicht. Diese Arbeit beschäftigt sich mit der Frage, wie diese
Technologie im medizinischen Bereich zur automatisierten Arztbrieferstellung eingesetzt
werden kann. Das Verfassen von Arztbriefen nach etwa Behandlungen im Krankenhaus
ist für medizinisches Personal zeitaufwändig. Eine Automatisierung von diesem Prozess
führt zu einer Zeitersparnis und entlastet ÄrztInnen. Ziel der Arbeit ist es, anhand von
bereitgestellten erhobenen Befunden mithilfe von LLMs einen möglichst guten Arztbrief
zu erstellen. Zusätzlich zu vorhandenen Echtdaten werden synthetische Daten für erhobene Befunde und Arztbriefe erstellt. Es wird eine Methode entwickelt, die Qualität der
generierten Arztbriefe anhand der Kriterien Struktur, Korrektheit und Vollständigkeit
zu bewerten.
In Experimenten mit dem GPT-4o Modell von OpenAI werden verschieden aufgebaute Few-Shot Prompts verglichen. Bei Few-Shot Learning werden dem Modell Beispiele von erhobenen Befunden und dazugehörenden Arztbriefen zur Verfügung gestellt,
anhand deren das Modell dahinterliegende Verbindungen zwischen Ein- und Ausgabe
sowie die Struktur der Arztbriefe lernt. In den Experimenten werden Prompts mit einer unterschiedlichen Anzahl an Beispielen getestet. Zusätzlich werden für den Kontext
der Arztbrieferstellung angepasste GPTs untersucht. Erkenntnisse zeigen, dass mithilfe von Prompt Engineering Techniken erzeugte Prompts zu guten Ergebnissen führen.
Selber erstellte GPTs schneiden schlechter ab als vergleichbare Prompts. Die Few-Shot
Learning Technik ermöglicht es mit wenigen Beispieldaten, gute Ergebnisse zu erreichen. Meist reicht schon ein Beispiel aus, um die gewünschte Struktur der Arztbriefe
zu erkennen. Die besten Ergebnisse können mit einem ausführlichen Prompt, der auch
den Kontext beschreibt und dem Modell eine Rolle zuweist, und drei Beispielen erreicht
werden. Weil Falschinformationen in den Antworten eines LLMs nicht ausgeschlossen
werden können, müssen die generierten Arztbriefe in der Praxis durch medizinisches
Fachpersonal überprüft werden.

Datum der Bewilligung	2024
Originalsprache	Deutsch (Österreich)
Betreuer/-in	Stephan Dreiseitl (Betreuer*in)