Klassifikationssystem zur Erkennung von Misinformationen mithilfe vom LLMs

Große Sprachmodelle werden zunehmend zur Beurteilung von Aussagen in sozialen Medien eingesetzt. Eine zentrale Herausforderung ist die transparente Kommunikation von Unsicherheit, damit Nutzende Einschätzungen nachvollziehen und angemessen einordnen können. Die Arbeit untersucht drei Forschungsfragen zu LLM-gestützter Klassifikation, die vorhandene Darstellungsformen von Unsicherheit erfassen, deren Integration im LLM-Kontext beschreiben und die Wirkung der Visualisierungsformen auf die User Experience evaluieren. Dazu wurde ein webbasiertes System entwickelt, das Tweets verarbeitet, Einzelaussagen extrahiert, klassifiziert und begründet sowie einen Confidence-Score ausgibt. Die Darstellung der Unsicherheit erfolgt wahlweise ohne Visualisierung, als Prozentangabe oder als Prozentangabe mit Balken. Klassifikation und Confidence-Score entstehen im selben Modelllauf, werden im Backend schematreu übernommen und im Frontend ohne erneute Modellabfrage angezeigt.

Die Evaluation zeigt geringe Leistungsunterschiede zwischen den Visualisierungsformen. Zeitmessungen deuten auf niedrige kognitive Belastung hin, kleinere Vorteile der Prozentangabe erklären sich durch ihre Direktheit. Offene Antworten beschreiben einen Trade-off zwischen visueller Auffälligkeit und präziser, ablenkungsarmer Darstellung. Die Prozentangabe erhielt die beste Gesamtnote, gefolgt von der Balkenanzeige und der Variante ohne Visualisierung.

Das Gesamtsystem wurde als sehr benutzerfreundlich wahrgenommen. In der SUS-Bewertung erreichte die Anwendung das Prädikat „Excellent“ und entspricht damit der Schulnote A. Offenes Feedback hebt die klare Struktur, nachvollziehbare Begründungen und hilfreiche Tooltips hervor. Insgesamt deuten die Befunde auf personen- und aufgabenabhängige Präferenzen zwischen den Darstellungsformen hin. Eine allgemein überlegene Darstellung der Unsicherheit ließ sich nicht identifizieren.