Die Erfassung therapeutischer Gesprächsführungskompetenzen von Studierenden: Lessons learned

Zusammenfassung

Theoretischer Hintergrund

Das Konstrukt der therapeutischen Kompetenz sollte per Definition dazu dienen, die Effektivität von Therapeut:innen messbar zu machen. Allerdings stellt ebenjene Messung eine Herausforderung dar. Das Ziel der Studie war es, den Kompetenzzuwachs von Studierenden in therapeutischer Gesprächsführung mithilfe einer objektiven Beurteilung zu untersuchen und Lernerfahrungen aus deren Anwendung zu reflektieren.

Methode

Der Erwerb von Gesprächsführungstechniken erfolgte über drei Seminarsitzungen, in denen jeweils standardisierte 20-minütige Rollenspiele durchgeführt wurden. Zwischen der zweiten und der dritten Sitzung erhielten die Teilnehmer:innen eine strukturierte oder eine unstrukturierte Videosupervision. Die Evaluation des Kompetenzerwerbs erfolgte mittels einer angepassten Form der Cognitive Therapy Rating Scale (CTRS) durch zwei Gruppen unabhängiger Rater:innen.

Ergebnisse

Die Videos von 82 Studierenden wurden analysiert. Die Interrater-Reliabilität war in der ersten Gruppe von Rater:innen gering (ICC3,1=0,48) und in der zweiten Gruppe nicht vorhanden (ICC3,1=0,00). Es zeigte sich ein kleiner Haupteffekt des Zeitpunkts mit einer leichten, jedoch nicht signifikanten Zunahme der Gesprächsführungskompetenz von der ersten zur dritten Sitzung, während weder der Supervisionseffekt noch die Interaktion signifikant waren.

Diskussion

Mit der eingesetzten Anwendung der CTRS war es nicht möglich, die therapeutische Gesprächsführungskompetenz standardisiert und objektiv zu erheben, weshalb die Ergebnisse zur Gesprächsführungskompetenz nicht interpretiert werden sollten. Die Passung des Messinstruments, die Standardisierung der bewerteten Situation und die fehlende Erfahrung der Rater:innen wirkten sich vermutlich negativ auf die Interrater-Reliabilität aus. Auch in der neu eingeführten Parcoursprüfung zur Approbation in Psychotherapie können diese Aspekte eine Herausforderung sein und müssen bei der Planung und Einordnung der Bewertung berücksichtigt werden.

Abstract

Theoretical background

The construct of therapeutic competence should enable measurement of therapist effectiveness, though this poses challenges. This study aimed to investigate the increase in students’ competence in clinical communication skills through objective assessment, and to reflect on learning experiences with competence assessment.

Method

Communication techniques were taught over three seminar sessions, each using standardized 20-minute role plays. Between the second and third sessions, the participants received structured or unstructured video supervision. Competence was evaluated by two independent rater groups using an adapted Cognitive Therapy Rating Scale (CTRS).

Results

The videos of 82 students were analyzed. Interrater reliability was low in the first group of raters (ICC3,1=0.48) and non-existent in the second group (ICC3,1=0.00). A small main effect of assessment time point was observed, indicating a slight, non-significant increase in clinical communication skills from the first to the third session. Neither the effect of supervision nor the interaction effect was significance.

Discussion

Due to the chosen application of the CTRS, a standardized and objective assessment of therapeutic interviewing skills was not feasible, requiring cautious interpretation of the results regarding clinical communication skills. The fit of the measurement instrument, the standardization of the assessed situation and the lack of experience of the raters probably had affected interrater reliability negatively. These aspects can also be a challenge in the newly introduced parcours examination for the licence to practise psychotherapy and must be taken into account when planning and classifying the evaluation.

Schlüsselwörter

Video-Supervision - Psychotherapieausbildung - therapeutische Kompetenz - Parcoursprüfung - Cognitive Therapy Rating Scale

Key words

Videosupervision - psychotherapy training - therapist competence - Cognitive Therapy Rating Scale

Publication History

Received: 01 July 2024

Accepted: 29 January 2025

Article published online:
27 March 2025

• Literatur

• 1 Bundesgesetzblatt. PsychThG – Gesetz Über Den Beruf Der Psychotherapeutin Und Des Psychotherapeuten (Psychotherapeutengesetz) Vom 15. November 2019 (BGBl. I S. 1604), Das Durch Artikel 17 Des Gesetzes Vom 19. Mai 2020 (BGBl. I S. 1018) Geändert Worden Ist.; 2019 https://www.gesetze-im-internet.de/psychthg_2020/BJNR160410019.html
• 2 Schönpflug W. 1999 – 2020: Die Novellierung des Psychotherapeutengesetzes. Psychologische Rundschau 2021; 72: 211-219
• 3 Weber H, Erdfelder E, Gundlach H. et al. Die Entwicklung des Psychologiestudiums in Deutschland. Psychologische Rundschau 2024; 75: 107-118
• 4 Rief W. Moving from tradition-based to competence-based psychotherapy. BMJ Ment Health 2021; 24: 115-120
• 5 Evers O, Taubner S. Kompetenzentwicklung in der Psychotherapieausbildung. Psychotherapie im Dialog 2019; 20: 58-63
• 6 Wampold BE, Owen J. Therapist Effects: History, methods, magnitude, and characteristics of effective therapists. In: Barkham M, Lutz W, Castonguay LG, Bergin AE, Garfield SL, eds. Bergin and Garfield’s Handbook of Psychotherapy and Behavior Change. 7^th edition, 50^th anniversary edition . Wiley; 2021: 297-326
• 7 Waltz J, Addis ME, Koerner K. et al. Testing the integrity of a psychotherapy protocol: Assessment of adherence and competence. Journal of Consulting and Clinical Psychology 1993; 61: 620-630
• 8 Weck F. Psychotherapeutische Kompetenzen: Theorien, Erfassung, Förderung. Heidelberg: Springer; 2013
• 9 Kazantzis N. Therapist Competence in Cognitive-behavioural Therapies: Review of the Contemporary Empirical Evidence. Behaviour Change 2003; 20: 1-12
• 10 Bennett-Levy J. Why therapists should walk the talk: The theoretical and empirical case for personal practice in therapist training and professional development. Journal of Behavior Therapy and Experimental Psychiatry 2019; 62: 133-145
• 11 EACLIPT Task Force On “Competences of Clinical Psychologists.”. Competences of Clinical Psychologists. Clinical Psychology in Europe 2019; 1: e35551
• 12 Bennett-Levy J. Therapist Skills: A Cognitive Model of their Acquisition and Refinement. Behavioural and Cognitive Psychotherapy 2006; 34: 57-78
• 13 Henrich D, Glombiewski JA, Scholten S. Systematic review of training in cognitive-behavioral therapy: Summarizing effects, costs, and techniques. Clinical Psychology Review 2023; 101: 102266
• 14 Frank HE, Becker-Haimes EM, Kendall PC. Therapist training in evidence-based interventions for mental health: A systematic review of training approaches and outcomes. Clinical Psychology: Science and Practice Published online 2020;
• 15 Nikendei C, Dinger U, Dück J. et al. Konzeption des longitudinalen DYNAMIK-Curriculums: Vermittlung psychodynamischer Interventionskompetenzen in der Ausbildung psychologischer Psychotherapeuten. Psychotherapeut 2021; 66: 247-257
• 16 Wilhelm M, Rief W, Haberkamp A. et al. Studium zur Psychotherapie-Approbation als Herausforderung und Chance: Praktische Hochschullehrkonzepte in der klinischen Psychologie und Psychotherapie. Verhaltenstherapie 2020; 30: 117-127
• 17 Glombiewski JA, Emmerich AC, Rief W. Fallseminare in der klinischen Psychologie und Psychotherapie. Verhaltenstherapie 2020; 30: 156-169
• 18 Morbitzer S. Psychodynamisches Fallseminar im Masterstudiengang: Möglichkeiten und Grenzen. Forum der Psychoanalyse 2016; 32: 19-30
• 19 Wannemüller A, Friedrich S, Teismann T. et al. Die berufsqualifizierende Tätigkeit im Studiengang klinische Psychologie und Psychotherapie. Verhaltenstherapie 2020; 30: 170-177
• 20 Bundesgesetzblatt. PsychThApprO – Approbationsordnung Für Psychotherapeutinnen Und Psychotherapeuten Vom 4. März 2020 (BGBl. I S. 448), Die Zuletzt Durch Artikel 1 Der Verordnung Vom 25. Mai 2023 (BGBl. 2023 I Nr. 139) Geändert Worden Ist.; 2020
• 21 Kühne F, Meister R, Maaß U. et al. How Reliable Are Therapeutic Competence Ratings? Results of a Systematic Review and Meta-Analysis. Cognitive Therapy and Research 2020; 44: 241-257
• 22 Muse K, McManus F. A systematic review of methods for assessing competence in cognitive-behavioural therapy. Clin Psychol Rev 2013; 33: 484-499
• 23 Miller GE. The assessment of clinical skills/competence/performance. Academic medicine 1990; 65: S63-7
• 24 Muse K, McManus F, Rakovshik S. et al. Development and psychometric evaluation of the Assessment of Core CBT Skills (ACCS): An observation-based tool for assessing cognitive behavioral therapy competence. Psychological Assessment 2017; 29: 542-555
• 25 Walfish S, McAlister B, O’Donnell P. et al. An Investigation of Self-Assessment Bias in Mental Health Providers. Psychological Reports 2012; 110: 639-644
• 26 Kuyken W, Tsivrikos D. Therapist Competence, Comorbidity and Cognitive-Behavioral Therapy for Depression. Psychotherapy and Psychosomatics 2009; 78: 42-48
• 27 Dennhag I, Gibbons MBC, Barber JP. et al. Do supervisors and independent judges agree on evaluations of therapist adherence and competence in the treatment of cocaine dependence. Psychotherapy Research 2012; 22: 720-730
• 28 McManus F, Rakovshik S, Kennerley H. et al. An investigation of the accuracy of therapists’ self-assessment of cognitive-behaviour therapy skills: Self-evaluation of CBT skills. British Journal of Clinical Psychology 2012; 51: 292-306
• 29 Beale S, Liness S, Hirsch CR. Trainee self-assessment of cognitive behaviour therapy competence during and after training. The Cognitive Behaviour Therapist 2020; 13: e1
• 30 Affrunti NW, Creed TA. The Factor Structure of the Cognitive Therapy Rating Scale (CTRS) in a Sample of Community Mental Health Clinicians. Cognitive Therapy and Research 2019; 43: 642-655
• 31 Young JE, Beck AT. Cognitive Therapy Rating Scale. Rating manual. Published online. 1980 https://beckinstitute.org/cbt-resources/resources-for-professionals-and-students/cognitive-therapy-rating-scale-revised-ctrs-r/?_gl=1*47hby7*_up*MQ..*_ga*MTI3NzM1Mjg0OS4xNzMyMDk2MTI4*_ga_61J27G9LMB*MTczMjA5NjEyNy4xLjEuMTczMjA5NjE0OS4wLjAuMjM3NDYzNDYz
• 32 Goldberg SB, Baldwin SA, Merced K. et al. The Structure of Competence: Evaluating the Factor Structure of the Cognitive Therapy Rating Scale. Behavior Therapy 2020; 51: 113-122
• 33 Dobson KS, Shaw BF, Vallis TM. Reliability of a measure of the quality of cognitive therapy. British Journal of Clinical Psychology 1985; 24: 295-300
• 34 Vallis TM, Shaw BF, Dobson KS. The Cognitive Therapy Scale: Psychometric properties. Journal of Consulting and Clinical Psychology 1986; 54: 381-385
• 35 Creed TA, Frankel SA, German RE. et al. Implementation of transdiagnostic cognitive therapy in community behavioral health: The Beck Community Initiative. Journal of Consulting and Clinical Psychology 2016; 84: 1116-1126
• 36 Kühne F, Maaß U, Weck F. Einsatz standardisierter Patienten im Psychologiestudium: Von der Forschung in die Praxis. Verhaltenstherapie 2021; 31: 152-160
• 37 Lukasczik M, Eckel J, Wagner A. et al. Einsatz von Simulationspersonen in der Lehre und Prüfung psychotherapeutischer Kompetenzen. Zeitschrift für Klinische Psychologie und Psychotherapie 2021; 50: 197-208
• 38 Kühne F, Maaß U, Stephan I. et al. Ist der Einsatz simulierter Patient_innen zum Erwerb psychotherapeutischer Fertigkeiten praktikabel. Zeitschrift für Klinische Psychologie und Psychotherapie 2021; 50: 179-196
• 39 Carraccio C, Englander R. The Objective Structured Clinical Examination: A Step in the Direction of Competency-Based Evaluation. Archives of Pediatrics & Adolescent Medicine 2000; 154: 736-741
• 40 Frank JR, Snell LS, Cate OT. et al. Competency-based medical education: theory to practice. Medical Teacher 2010; 32: 638-645
• 41 Brakemeier EL, Taubner S, Schwinger M. et al. Empfehlungen zur Gestaltung und Qualitätskontrolle der anwendungsorientierten Parcoursprüfung in der psychotherapeutischen Approbation. Psychologische Rundschau 2022; 73: 54-66
• 42 Brannick MT, Erol-Korkmaz HT, Prewett M. A systematic review of the reliability of objective structured clinical examination scores. Medical Education 2011; 45: 1181-1189
• 43 Henrich D, Scholten S. Evaluating the effect of structured video-feedback in the training of general psychotherapy skills. Open Science Framework. 2021 Accessed October 11, 2024 https://osf.io/jecxt
• 44 Henrich D, Glombiewski JA, Scholten S. “Give me three or supervision as usual”: Supervisees’ evaluation of a structured video-supervision technique. Published online Under Review.
• 45 Gonsalvez CJ, Brockman R, Hill HRM. Video feedback in CBT supervision: review and illustration of two specific techniques. tCBT 2016; 9: e24
• 46 Weck F, Hautzinger M, Heidenreich T. et al. Erfassung psychotherapeutischer Kompetenzen [Assessment of psychotherapeutic competences]. Zeitschrift für Klinische Psychologie und Psychotherapie 2010; 39: 244-250
• 47 Shrout P, Fleiss J. Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin 1979; 86: 420-428
• 48 Koo TK, Li MY. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine 2016; 15: 155-163
• 49 Faul F, Erdfelder E, Lang AG. et al. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods 2007; 39: 175-191
• 50 Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2^nd ed. L. Erlbaum Associates; 1988
• 51 Weck F, Hilling C, Schermelleh-Engel K. et al. Reliability of Adherence and Competence Assessment in Cognitive Behavioral Therapy: Influence of Clinical Experience. The Journal of Nervous and Mental Disease 2011; 199: 276
• 52 Roth AD, Myles-Hooton P, Branson A. Judging clinical competence using structured observation tools: A cautionary tale. Behavioural and Cognitive Psychotherapy 2019; 47: 736-744
• 53 Paunov T, Weck F, Heinze PE. et al. Competence ratings in psychotherapy training – A complex matter. Cogn Ther Res Published online 2023;
• 54 Rousmaniere T, Goodyear RK, Miller SD. et al. eds The Cycle of Excellence: Using Deliberate Practice to Improve Supervision and Training. John Wiley & Sons, Ltd; 2017.
• 55 Ericsson KA. Deliberate Practice and Acquisition of Expert Performance: A General Overview. Academic Emergency Medicine 2008; 15: 988-994
• 56 Bennett-Levy J, Finlay-Jones A. The role of personal practice in therapist skill development: a model to guide therapists, educators, supervisors and researchers. Cognitive Behaviour Therapy 2018; 47: 185-205
• 57 Ericsson KA, Krampe RT, Tesch-Romer C. The Role of Deliberate Practice in the Acquisition of Expert Performance. Psychological Review 1993; 100: 363-406
• 58 Chow DL, Miller SD, Seidel JA. et al. The role of deliberate practice in the development of highly effective psychotherapists. Psychotherapy 2015; 52: 337-345
• 59 de Jong K, van Sluis P, Nugter MA. et al. Understanding the differential impact of outcome monitoring: Therapist variables that moderate feedback effects in a randomized clinical trial. Psychotherapy Research 2012; 22: 464-474
• 60 Lutz W, De Jong K, Rubel J. Patient-focused and feedback research in psychotherapy: Where are we and where do we want to go. Psychotherapy Research 2015; 25: 625-632
• 61 Herzog P, Kube T, Rubel J. Why some psychotherapists benefit from feedback on treatment progress more than others: A belief updating perspective. Clinical Psychology: Science and Practice 2023; 30: 468-479
• 62 Friston K. The free-energy principle: a unified brain theory?. Nat Rev Neurosci 2010; 11: 127-138
• 63 Friston KJ, Stephan KE, Montague R. et al. Computational psychiatry: the brain as a phantastic organ. The Lancet Psychiatry 2014; 1: 148-158
• 64 Kube T, Rozenkrantz L. When Beliefs Face Reality: An Integrative Review of Belief Updating in Mental Health and Illness. Perspect Psychol Sci 2021; 16: 247-274
• 65 Rayson K, Waddington L, Hare DJ. The quality of research exploring in-session measures of CBT competence: a systematic review. Behavioural and Cognitive Psychotherapy 2022; 50: 40-56
• 66 Kühne F, Lacki FJ, Muse K. et al. Strengthening competence of therapists-in-training in the treatment of health anxiety (hypochondriasis): Validation of the Assessment of Core CBT Skills (ACCS). Clin Psychol Psychother 2019; 26: 319-327
• 67 Maaß U, Kühne F, Heinze PE. et al. The concise measurement of clinical communication skills: Validation of a short scale. Front Psychiatry 2022; 13
• 68 Nelles C, Langenbeck S, Lubbe D. et al. Shows How! Aufwand, Schwierigkeitsgrad und Testgütekriterien der anwendungsorientierten Parcoursprüfung nach der neuen Approbationsordnung für Psychotherapeut_innen. Ergebnisse einer Pilotstudie. Psychologische Rundschau 2024; 75: 3-16
• 69 Psychologiestudierende der MHB legen erstmals neue Approbationsprüfung ab. Accessed May 31, 2024 https://idw-online.de/de/news801359
• 70 Dennhag I, Gibbons MBC, Barber JP. et al. How many treatment sessions and patients are needed to create a stable score of adherence and competence in the treatment of cocaine dependence?. Psychotherapy Research 2012; 22: 475-488
• 71 Webb CA, DeRubeis RJ, Barber JP. Therapist adherence/competence and treatment outcome: A meta-analytic review. Journal of Consulting and Clinical Psychology 2010; 78: 200-211