Strukturiertes Feedback im Kommunikationstraining zur präoperativen Aufklärung: unterschiedliche Bewertungsquellen nutzbar machen

Zusammenfassung

Einleitung Ärztliche Kommunikation wird vielerorts bereits im Studium eingeübt. Das Aufklärungsgespräch vor einer Operation ist ein spezifischer Kommunikationsanlass, der einer differenzierten Rückmeldung an die Studierenden bedarf. Ziel war es, im Rahmen eines Kommunikationstrainings die Rückmeldung verschiedener Feedbackgeber (ärztlicher Experte, geschulte Tutorinnen und Tutoren, Studierende der Peer Group, Aufklärende selbst und Simulationspersonen) anhand von Bewertungschecklisten zu strukturieren und die Ergebnisse zu vergleichen.

Material und Methoden 171 Humanmedizinstudierende des 8. Semesters der Universität Würzburg nahmen in Kleingruppen an einem Training zur präoperativen Aufklärung teil. 50 Personen davon führten ein Aufklärungsgespräch und erhielten Feedback. Im Fokus der Gespräche standen „Kommunikation“ sowie „Komplikationen“. Die Studierenden bereiteten sich mittels Unterrichtsmaterialien auf der universitätseigenen E-Learning-Plattform vor. Gegenstand der statistischen Auswertungen waren die Testgüte der Bewertungschecklisten, die Bewertungspunkte in den Skalen und die Übereinstimmung der Bewertungen auf Basis des Intraklassenkorrelationskoeffizienten (ICC).

Ergebnisse Die Bewertungschecklisten wiesen zufriedenstellende Werte für interne Konsistenz, Itemschwierigkeit und Trennschärfe auf. Die Mittelwerte der Scores zur „Kommunikation“ unterschieden sich teilweise signifikant durch die 5 Bewertungsquellen, wobei hier die Selbsteinschätzung durch die studentischen Aufklärenden am strengsten ausfiel. Die studentischen Tutorinnen und Tutoren bewerteten identisch zum Experten. In Bezug auf die „Komplikationen“ gab es keine signifikanten Abweichungen zwischen den Bewertenden.

Diskussion/Schlussfolgerung Es konnte gezeigt werden, dass innerhalb des hochspezifischen Settings eines Simulationstrainings und nach geplanter Vorbereitung geschulte studentische Tutoren/innen eine vergleichbar gute Rückmeldung wie der ärztliche Experte geben können. Bei überwiegenden Übereinstimmungen im strukturierten Feedback darf somit der Rückmeldung durch Tutoren/innen oder Peers zukünftig ein höherer Stellenwert eingeräumt werden.

Abstract

Introduction In many locations, communication between patients and doctors is already actively taught as part of undergraduate medicine at many. Informed consent prior to surgery is a particular reason for communication that calls for differentiated feedback to students. Within the framework of communication training, the aim was to compare the feedback given from 5 different sources (by a medical expert, by tutors, by student peers, by the student obtaining informed consent and by the simulated patients) using evaluation checklists.

Materials and Methods 171 medical students in their eighth semester at the University of Würzburg participated in a training module in obtaining informed consent prior to surgery. 50 students out of this group conducted a conversation. The emphasis laid on “communication” and “risks”. Students were able to prepare using teaching materials from the Universityʼs own e-learning platform. The statistical evaluation focussed on assessing the test quality of the checklists, the scores in the scales, and interrater agreement based on the intraclass correlation coefficient.

Results The checklists delivered satisfactory test values with respect to internal consistency, item difficulty and discriminatory index. The average scores from the five raters only differed significantly with respect to communicative skills, whereby the students seeking informed consent were strict in their self-assessment. The student raters where highly consistent with the expert rater. With respect to “risks and complications”, there was high agreement between all raters.

Discussion/Conclusion We were able to demonstrate that, within the highly specific setting of a simulation and after subtile preparation, a trained student tutor can provide just as effective feedback as a medical expert. Feedback from tutors or peers may be furnished with greater prominence in future, given the overall high agreement in the 360-degree feedback.

Schlüsselwörter

Aufklärungsgespräch - Beurteilerübereinstimmung - strukturiertes Feedback

Key words

informed consent - interrater agreement - structured feedback

• Literatur

• 1 Bundesministerium für Gesundheit. Beschlusstext zum „Masterplan Medizinstudium 2020“. Im Internet: https://www.bundesgesundheitsministerium.de/fileadmin/Dateien/4_Pressemitteilungen/2017/2017_1/170331_Masterplan_Beschlusstext.pdf Stand: 30.10.2019
• 2 Brydges R, Manzone J, Shanks D. et al. Self-regulated learning in simulation-based training: a systematic review and meta-analysis. Med Educ 2015; 49: 368-378 doi:10.1111/medu.12649
• 3 Berendonk C, Beyeler C, Westkämper R. et al. Strukturiertes Feedback in der ärztlichen Weiterbildung: Mini-CEX und DOPS. Schweizerische Ärztezeitung 2008; 89: 32-35
• 4 Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA 2002; 287: 226-235
• 5 Topping KJ. The effectiveness of peer tutoring in further and higher education. A typology and review of the literature. High Educ 1996; 32: 321-345 doi:10.1007/BF00138870
• 6 Fischbeck S, Mauch M, Leschnik E. et al. Assessment of communication skills with an OSCE among first year medical students. Psychother Psychosom Med Psychol 2011; 61: 465-471 doi:10.1055/s-0031-1291277
• 7 Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979; 13: 41-54
• 8 Burford B, Illing J, Kergon C. et al. User perceptions of multi-source feedback tools for junior doctors. Med Educ 2010; 44: 165-176 doi:10.1111/j.1365-2923.2009.03565.x
• 9 Lockyer J. Multisource feedback in the assessment of physician competencies. J Contin Educ Health Prof 2003; 23: 4-12 doi:10.1002/chp.1340230103
• 10 Wissenschaftsrat. Neustrukturierung des Medizinstudiums und Änderung der Approbationsordnung für Ärzte. Empfehlungen der Expertenkommission zum Masterplan Medizinstudium 2020 (Drs. 7271-18). Im Internet: https://www.wissenschaftsrat.de/download/archiv/7271-18.pdf Stand: 30.10.2019
• 11 Feldman M, Lazzara EH, Vanderbilt AA. et al. Rater training to support high-stakes simulation-based assessments. J Contin Educ Health Prof 2012; 32: 279-286 doi:10.1002/chp.21156
• 12 Simmenroth-Nayda A, Heinemann S, Nolte C. et al. Psychometric properties of the Calgary Cambridge guides to assess communication skills of undergraduate medical students. Int J Med Educ 2014; 5: 212-218 doi:10.5116/ijme.5454.c665
• 13 Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität: Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe; 2002
• 14 Lenhard W, Lenhard A. Berechnung von Effektstärken. Bibergau: Psychometrica. 2016. Im Internet: https://www.psychometrica.de/effektstaerke.html Stand: 30.10.2019
• 15 Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 2006; 23: Doc53
• 16 [Anonym] Trennschärfe eines Items. Im Internet: https://de.wikipedia.org/wiki/Trennschärfe_eines_Items Stand: 30.10.2019
• 17 Fleiss JL. The Design and Analysis of clinical Experiments. New York: Wiley; 1986
• 18 Fleiss JL. Measuring agreement between two judges on the presence or absence of a trait. Biometrics 1975; 31: 651-659
• 19 Schecker H. Überprüfung der Konsistenz von Itemgruppen mit Cronbachs alpha. Im Internet: https://www.springer.com/cda/content/document/cda_downloaddocument/Cronbach+Alpha.pdf%3FSGWID=0-0-45-1426184-p175274210 Stand: 22.05.2018
• 20 Kiehl C, Simmenroth-Nayda A, Goerlich Y. et al. Standardized and quality-assured video-recorded examination in undergraduate education: informed consent prior to surgery. J Surg Res 2014; 191: 64-73 doi:10.1016/j.jss.2014.01.048
• 21 Donnon T, Al Ansari A, Al Alawi S. et al. The reliability, validity, and feasibility of multisource feedback physician assessment: a systematic review. Acad Med 2014; 89: 511-516 doi:10.1097/ACM.0000000000000147
• 22 Violato C, Lockyer J, Fidler H. Multisource feedback: a method of assessing surgical practice. BMJ 2003; 326: 546-548 doi:10.1136/bmj.326.7388.546
• 23 Dochy F, Segers M, Sluijsmans D. The use of self-, peer and co-assessment in higher education: a review. Studies in Higher Education 1999; 24: 331-350 doi:10.1080/03075079912331379935
• 24 Boud D, Falchikov N. Quantitative studies of student self-assessment in higher education: a critical analysis of findings. Higher Education 1989; 18: 529-549
• 25 Paese PW, Sniezek JA. Influences on the appropriateness of confidence in judgement: practice, effort, information and decision making. Organ Behav Hum Decis Process 1991; 48: 100-130
• 26 Mir MA, Evans RW, Marshall RJ. et al. The use of video recordings of medical postgraduates in improving clinical skills. Med Educ 1989; 23: 276-281
• 27 Moore DA, Small DA. Error and bias in comparative judgment: on being both better and worse than we think we are. J Pers Soc Psychol 2007; 92: 672-689
• 28 Chenot JF, Simmenroth-Nayda A, Koch A. et al. Can student tutors act as examiners in an objective structured clinical examination?. Med Educ 2007; 41: 1032-1038 doi:10.1111/j.1365-2923.2007.02895.x
• 29 Langewitz W. Zur Erlernbarkeit der Arzt-Patienten-Kommunikation in der Medizinischen Ausbildung. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz 2012; 55: 1176-1182 doi:10.1007/s00103-012-1533-0
• 30 Krautter M, Diefenbacher K, Schultz JH. et al. Physical examination skills training: faculty staff vs. patient instructor feedback-a controlled trial. PLoS One 2017; 12: e0180308 doi:10.1371/journal.pone.0180308