Chancen und Risiken KI gestützter Evaluationsmethoden textbasierter Kommunikation

Einleitung Textbasierte Digitale Beratung gewinnt auch im Suchtbereich immer mehr an Bedeutung. Somit entstehen dauerhaft große Mengen an textbasierten Beratungsdokumenten, die zumindest prinzipiell auch für evaluatorische Analysen relevant sind. Mithilfe von künstlicher Intelligenz besteht die Möglichkeit, diese Datensätze mit verschiedenen Methoden zu analysieren und so Erkenntnisse über unterschiedliche Aspekte des Beratungshandelns zu generieren. Der Vortrag beschäftigt sich anhand von Beispielen aus unterschiedlichen Forschungsprojekten mit den Möglichkeiten und Grenzen dieser Methoden zur Evaluation von Beratungsansätzen im Suchtbereich.

Material und Methodik Zur Analyse textbasierter Kommunikation eignen sich überwachte und überwachte Verfahren aus dem Feld des maschinellen Lernens. Während die unüberwachten Verfahren Texte maschinell bearbeiten, um quantitative Zusammenhänge zu extrahieren, versetzen überwachte Verfahren ein Computersystem mit annotiertem Trainingsmaterial in die Lage, auch komplexe Bedeutungsstrukturen in Texten zu erkennen.

Ergebnisse Es zeigte sich, dass unüberwachte Verfahren sehr verlässliche Aussagen zur Gestaltung der geschriebenen Sprache generieren können. Besonders interessant sind sog. Topic Analysen, mit denen in großen Textmengen die Hauptthemen und deren Zusammenhänge dargestellt werden können. Auch linguistische Methoden, wie die Analyse des Sprachniveaus können die Evaluation von textbasiertem Beratungshandeln unterstützen. Überwachte Verfahren benötigen eine aufwändigere Vorbereitung, da zunächst passendes Trainingsmaterial erstellt und aufbereitet werden muss. Dann ist es jedoch möglich, komplexe Bedeutungsstrukturen in Texten zu identifizieren. So konnten Transformermodelle so gut trainiert werden, dass sie Texte mit einer adaptierten Version der qualitativen Inhaltsanalyse nach Mayring auf einem höheren qualitativen Niveau analysieren konnten, als ungeübte menschliche Analytiker*innen.

Zusammenfassung Die Ergebnisse zeigen, dass die verschiedenen Methoden aus dem Feld der künstlichen Intelligenz geeignet sind, textbasierte Kommunikation zu analysieren und damit Erkenntnisse für die Evaluation bereitzustellen. Angesichts der riesigen Menge an bestehenden und zukünftigen textbasierten Beratungsinhalten können so die unterschiedlichsten Fragestellungen bearbeitet werden. Da die Datenbasis jedoch immer hochsensible personenbezogene Daten enthält, müssen die entsprechenden Risiken mit einer verantwortungsvollen Umsetzung des Datenschutzes minimiert werden.