Trustworthy Generative User Interfaces: Transparenz, Vorrang menschlichen Handelns und menschliche Aufsicht in LLM-gestützter interaktiver Datenanalyse

Generative User Interfaces (GenUIs), bei denen Large Language Models (LLMs) Benutzungs􀀝
oberflächen zur Laufzeit erzeugen und anpassen, eröffnen neue Möglichkeiten für die interaktive
Datenanalyse. Nutzende können mittels natürlicher Sprache in kurzer Zeit Visualisierungen zu
komplexen Fragen generieren. Gleichzeitig entstehen neue Herausforderungen. LLMs können die
Intentionen von Nutzenden fehlinterpretieren. Zudem können fehlerhafte Ergebnisse plausibel
wirken. Im Anwendungskontext der Datenanalyse ist dies besonders kritisch, da Analyseergeb􀀝
nisse potenziell als Grundlage weitreichender Entscheidungen dienen. Vor diesem Hintergrund
untersucht die vorliegende Arbeit, wie sich die Kernanforderungen Transparenz sowie Vorrang
menschlichen Handelns und menschliche Aufsicht in die Gestaltung eines solchen Systems
übertragen lassen. Dazu wird ein LLM􀀝gestütztes GenUI für die interaktive Datenanalyse konzi􀀝
piert und technisch umgesetzt. In einer summativen Evaluation mit 33 Teilnehmenden werden
in einem Within􀀝Subjects􀀝Design drei Anwendungsmodi verglichen, darunter eine Grundvariante
ohne gezielte Umsetzung der Kernanforderungen, eine Variante mit Transparenzfunktionalitäten
und eine darauf aufbauende Variante mit zusätzlichen direkten Eingriffsmöglichkeiten. Untersucht
wird der Einfluss der umgesetzten Funktionalitäten auf die psychische Arbeitsbelastung, das Ver􀀝
trauen, die wahrgenommene Erklärbarkeit und Nachvollziehbarkeit sowie die wahrgenommene
Kontrolle. Die Ergebnisse zeigen einen statistisch signifikanten Vorteil der Transparenzfunktiona􀀝
litäten für die wahrgenommene Erklärbarkeit und Nachvollziehbarkeit, ohne dass sich statistisch
signifikante Unterschiede hinsichtlich Vertrauen und psychischer Arbeitsbelastung ergeben. Die
Arbeit liefert damit empirische Hinweise für die Gestaltung vertrauenswürdiger GenUIs, an die
weiterführende Untersuchungen anknüpfen können.