Evaluation of an OSCE Assessment Tool for Abdominal Ultrasound Courses

Zusammenfassung

Ziel: Die Zielsetzung dieser Studie lag in der Konzeption und Evaluation eines standardisierten Prüfungsinstruments zur Beurteilung praktischer, sonografischer Untersuchungskompetenzen des Abdomens im OSCE-Format. Material und Methoden: Vorgestellt werden der inhaltliche Aufbau, die Logistik und der zeitliche Ablauf der OSCE-Rotationsprüfung sowie mögliche Ansätze zur Qualitätssicherung durch den Einsatz detaillierter Checklisten und einer systematischen Prüferschulung. Der Parcours wurde mit über 5000 Studierenden und 2000 Ärzten im Laufe von 15 Jahren stufenweise bis zur aktuellen Version entwickelt. Als Qualitätsparameter wurden von 626 Prüfungen die Itemschwierigkeiten und Trennschärfen der Praxisstationen und die Reliabilität der Gesamtprüfung ermittelt. Ergebnisse: Die Trennschärfen der insgesamt 14 Praxis- und 13 Zeichenstationen erreichen Werte von 0,31 – 0,65 (Praxis: 0,30 – 0,59 und Zeichnungen 0,35 – 0,65, im Mittel 0,48 bzw. 0,50) und weisen mittlere homogene Itemschwierigkeiten von 0,78 (SD 0,02; Praxis) und 0,62 (SD 0,04; Zeichnen) auf. Cronbach’s alpha betrug bei 5 Prüfungsstationen 0,69 und überschreitet ab einer Stationszahl von 9 die Grenze von 0,8. Schlussfolgerung: Die homogene Verteilung der Itemschwierigkeiten ermöglicht einen flexiblen Austausch der OSCE-Stationen zu Parcoursversionen unterschiedlicher Länge und Reliabilitätswerte. Mögliche Adjustierungen der Bestehensgrenze sowie Einflussfaktoren auf die Akzeptanz eines solchen Prüfungsinstruments werden diskutiert. Weltweit erstmalig steht ein standardisierter OSCE-Prüfungsparcours für die Abdomensonografie zur Verfügung, der auch für summative (karrierewirksame) Prüfungen rechtssicher eingesetzt werden kann.

Abstract

Purpose: The purpose of this study was the conception and evaluation of a standardized and reliable assessment tool in the OSCE format to measure the performance and practical skills of abdominal ultrasound users in PGME. Materials and Methods: The design, logistics, pacing and the choice of tested competencies of a rotating OSCE parcours, as well as the options for quality control using detailed checklists versus global rating scales and different approaches to the training of the involved raters are described. Over the last 15 years the parcours has undergone incremental improvement and has been used in final examinations of abdominal ultrasound courses with approximately 5000 medical students and 2000 residents and fellows. For evaluation, all item difficulties and discrimination coefficients of the individual stations and the reliability (Cronbach’s alpha) were calculated for the last 626 assessments. Results: All 14 hands-on stations showed discrimination coefficients from 0.31 to 0.65 (mean 0.48; SD 0.09). The 13 diagram stations showed mean values of 0.50 (SD 0.16). Data analysis revealed mean homogeneous item difficulties of 0.78 (SD 0.02) and 0.62 (SD 0.04), respectively. Cronbach’s alpha was 0.69 with five stations and reached values above 0.8 when more than 8 stations are combined in one parcours. Conclusion: The homogeneous distribution of item difficulties provides an opportunity for designing different OSCE versions with different levels of reliability. Several options to adjust the cut-off values, the choice of the examined contents and factors that influence the examinees’ acceptance of this assessment tool for PGME or CME ultrasound courses are discussed. Overall, the values of reliability and accuracy of this assessment tool are high enough to be used also for high-stakes examinations in the field of abdominal ultrasound.

Key words

ultrasound - QA/QC - technology assessment - teaching - assessment

References

• 1 Hofer M, Jansen M, Soboll S. Potential improvements in medical education as retrospectively evaluated by candidates for specialist examinations.  Dtsch med Wschr. 2006;  131 373-378
• 2 Nickenig N. Kosten B-Bild sonographischer Verfahren in 1998. Köln: Statistik der KBV (Kassenärztliche Bundesvereinigung); 2001
• 3 Harden R M, Stevenson M, Downie W W et al. Assessment of clinical competence using objective structured clinical examination (OSCE).  Br Med J. 1975;  1 447-451
• 4 Petrusa E R, Blackwell T A, Rogers M S et al. An objective measure of clinical performance.  Am J Med. 1987;  83 34-42
• 5 Carpenter J L. Cost analysis of objective structured clinical examinations.  Acad Med. 1995;  70 828-833
• 6 Townsend A H, Mcllvenny S, Miller C J et al. The use of OSCE for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance.  Med Educ. 2001;  35 841-846
• 7 Reznick R, Smee S, Rothmann A et al. An objective structured clinical examination for the licentiate. Report of the pilot project of the Medical Council of Canada.  Acad Med. 1992;  67 487-494
• 8 Hofer M, Mey N, Metten J et al. Quality control of sonography courses in advanced training of physicians: analysis of present status and potential for improvement.  Ultraschall in Med. 2002;  23 189-197
• 9 Hofer M. Sono-Grundkurs. Stuttgart, New York: Thieme; 2009 6th ed: 114-115
• 10 Sachs L. Angewandte Statistik. Berlin, Heidelberg, New York: Springer; 2002: 598
• 11 Lin L IK. A concordance correlation coefficient to evaluate reproducibility.  Biometrics. 1989;  45 255-268
• 12 Sisley C, Johnson S B, Erickson W et al. Use of an objective structured clinical examination for the assessment of physician performance in the ultrasound evaluation of trauma.  J Trauma. 1999;  47 627-631
• 13 Briggs S R, Cheek J M. The role of factor analysis in the development and evaluation of personality scales.  J of Personality. 1986;  54 106-148
• 14 DeVellis R F. Factor analysis. In Scale developement: Theory and applications.. Thousand Oaks: Sage; 2003: 102-137
• 15 Schultz J H, Nikendei C, Weyrich P et al. Qualitätssicherung von Prüfungen am Beispiel des OSCE-Prüfungsformats: Erfahrungen der Medizinischen Fakultät der Univ. Heidelberg.  Z Evid Fortb Qual Gesundh Wesen (ZEFQ). 2008;  102 668-672
• 16 Hodges B, Regehr G, McNaughton N et al. OSCE checklists do not capture increasing Level of expertise.  Acad Med. 1999;  10 1129-1134
• 17 Regehr G, MacRae H, Reznick R K et al. Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination.  Acad Med. 1998;  73 993–997
• 18 Terkamp C, Kirchner G, Wedemeyer J et al. Simulation of abdomen sonography Evaluation of a new ultrasound simulator.  Ultraschall in Med. 2003;  24 231-232
• 19 Patricio M, Juliao M, Fareleira F et al. A comprehensive checklist for reporting the use of OSCEs.  Medical Teach. 2009;  31 112-124
• 20 http://www.medidak.de/intensiv/sono/?page=osce last visit on Oct. 15th 2010