Einfluss und Machbarkeit eines appbasierten Feedbacks im curricularen Szenariotraining der Notfallmedizin: eine prospektive, kontrollierte Observationsstudie

Zusammenfassung

Hintergrund

Im Rahmen der kompetenzbasierten Facharztausbildung wurden bereits Kernkompetenzen im Sinne von Entrustable Professional Activities (EPA) in der Anästhesiologie definiert. Appunterstützte formative Assessments und Feedbacks könnten die Umstellung zu einer kompetenzbasierten Lehre erleichtern.

Methode

Die Studierenden der Humanmedizin des Wintersemesters 2022/23, die den curricularen Kurs Notfallmedizin 2 der Universitätsklinik Münster besuchten, erhielten entweder im Anschluss an ein Szenariotraining mithilfe einer App ein systematisches oder unsystematisches Feedback.

Ergebnisse

Insgesamt wurden 104 Studierende (50 in der Experimental-, 54 in der Kontrollgruppe) eingeschlossen. Die Evaluationsergebnisse unterschieden sich nicht zwischen beiden Gruppen (p = 0,225). Die Experimental- (14,12 min [± 4,37]) im Vergleich zur Kontrollgruppe (11,15 min [± 3,32]) erhielt im Mittel ein 2,97 min längeres Feedback (p < 0,001). Der Vergleich der Ergebnisse der Selbsteinschätzung des Supervisionslevels zu den Zeitpunkten vor (p = 0,051) und nach dem Kurs (p = 0,134) zeigten keine signifikanten Unterschiede. Für den Vergleich zwischen der Selbst- (durch den Studierenden nach seiner Teamleiterrolle) und Fremdeinschätzung (durch den/die Dozent*in) nach dem Fallbeispiel bestanden keine signifikanten Unterschiede (p = 0,480).

Schlussfolgerung

Die vorliegende Observationsstudie hat gezeigt, dass ein appbasiertes formatives Feedback implementiert werden kann. Allerdings hatte dies keine Auswirkungen auf die Evaluationsergebnisse der Studierenden bzw. Selbst- und Fremdeinschätzungen zum Supervisionsbedarf.

Abstract

Background

In Germany relevant competences for anesthesiology residents were defined as entrustable professional activities. App supported formative assessment and feedback might improve education in students.

Methods

All fifth year medical students undergoing specific emergency medicine training in October 2022 were included. One half was educated using 360 degree App for systematic feedback and formative assessment, while the other ones received regular feedback.

Results

We finally included the data of 104 medical students (50 within the experimental group, 54 within the control group). There was no difference in the results of the evaluation (p = 0.225). The experimental (14.12 min [± 4.37]) compared to the control group (11.15 min [± 3.32]) received a longer feedback (2.97 min, p < 0.001). The mean duration of the systematic EPA based feedback was 5.62 min (± 1.6 min). The results of the self-assessment before (p = 0.051) and after (p = 0.134) scenario training were not different. The same was true for the comparison of self- and objective assessments regarding the need for supervision (p = 0.480).

Conclusion

The present observational prospective trial showed that implementation of an App based formative assessment and feedback is possible. However, this was not associated with differences in evaluation, self- and objective assessments.

Schlüsselwörter

mobile Applikation - formatives Assessment - Feedback - studentische Lehre

Keywords

feedback - entrusbable professional activities - medical education - emergency medicine

• Literatur

• 1 Cate OT. Entrustability of professional activities and competency-based training. Med Educ 2005; 39: 1176-1177
• 2 Cate OT, Chen HC, Hoff RG. et al. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach 2015; 37: 983-1002
• 3 Moll-Khosrawi P, Ganzhorn A, Zöllner C. et al. Development and validation of a postgraduate anaesthesiology core curriculum based on Entrustable Professional Activities: a Delphi study. GMS J Med Educ 2020; 37: Doc52
• 4 Marty AP, Braun J, Schick C. et al. A mobile application to facilitate implementation of programmatic assessment in anaesthesia training. Br J Anaesth 2022; 128: 990-996
• 5 Weissenbacher A, Bolz R, Zimmermann A. et al. Mentoring und arbeitsplatzbasierte Prüfungen im Praktischen Jahr: Ein effektiver Weg zur Steigerung von Zufriedenheit und Kompetenz?. Anaesthesist 2021; 70: 486-496
• 6 Weissenbacher A, Bolz R, Stehr S. et al. Development and consensus of entrustable professional activities for final-year medical students in anaesthesiology. BMC Anesthesiol 2022; 22: 128
• 7 Pawelka F, Kollet J, Sensmeier J, Yilmaz D, Marschall B, Ohlenburg H. 360 Grad: Stimulus für Reflexionsgespräche nach Simulationspatient:innenkontakt – Entwicklung, Umsetzung und Evaluation. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.–17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022: DocP-03–09
• 8 Brooke J. SUS: A ‚quick and dirty‘ usability scale. In: Jordan P, Thomas B, McClelland IL, Weerdmeester B. Usability Evaluation In Industry. Boca Raton: CRC Press; 1996: 189-194
• 9 Cate OT. Nuts and bolts of entrustable professional activities. J Grad Med Educ 2013; 5: 157-158
• 10 Pinilla S, Lenouvel E, Cantisani A. et al. Working with entrustable professional activities in clinical education in undergraduate medical education: a scoping review. BMC Med Educ 2021; 21: 172
• 11 Kuehl SE, Spicer JO. Using entrustable professional activities to better prepare students for their postgraduate medical training: A medical student’s perspective. Perspect Med Educ 2022; 11: 359-364
• 12 ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice?. Acad Med 2007; 82: 542-547
• 13 Klapheke M, Johnson T, Cubero M. Assessing Entrustable Professional Activities During the Psychiatry Clerkship. Acad Psychiatry 2017; 41: 345-349
• 14 Klapheke M, Johnson T, Cubero M. Third- and Fourth-Year Medical Student Self-Assessment in Entrustable Professional Activities. Med Sci Educ 2017; 27: 159-164