When Are Trainees Ready to Perform Transvaginal Ultrasound? An Observational Study

Abstract

Purpose The purpose of this study was two-fold: (1) To determine how the number of ultrasound scans a trainee has completed predicts the trainee’s diagnostic accuracy when performing transvaginal ultrasound examinations, and (2) to examine the utility of simulation-based assessment of ultrasound competence for determining readiness for independently performing examinations.

Materials and Methods 101 OB/GYN trainees were surveyed regarding their clinical experience and the number of scans they had completed. All participants completed five different cases on a transvaginal virtual-reality ultrasound simulator (Scantrainer, Medaphor). The participants’ diagnostic accuracy was recorded and expert raters evaluated their performance using the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale. The utility of simulation-based assessments was assessed with respect to reliability, validity, acceptability, and costs. The main outcome was diagnostic accuracy for five different ultrasound cases.

Results Although the number of scans was associated with diagnostic accuracy (p = 0.006), it was a poor predictor (AUC 0.69) of diagnostic accuracy. Only 56.6 % (n = 34) of participants who had more than 100 transvaginal scans demonstrated a diagnostic accuracy of 0.80 or above. The reliability of the OSAUS assessments was high (ICC 0.82) and the majority of participants supported the use of simulation-based assessments for future licensing exams (70.3 %). The running costs of simulation-based assessments (154 EUR per participant) were lower than for practical examinations using real patients.

Conclusion The number of completed ultrasound scans was a poor predictor of the trainees’ diagnostic accuracy. Instead, simulation-based assessments can be used to ensure that trainees are ready for independently performing future scans.

Zusammenfassung

Ziel Diese Studie verfolgte zweierlei: (1) Die Feststellung, ob sich durch die Anzahl der von einem Trainee absolvierten Ultraschall-Scans die diagnostische Genauigkeit seiner transvaginalen Ultraschalluntersuchungen vorhersagen lässt und (2) die Untersuchung des Werts simulationsbasierter Assessments der Ultraschallkompetenz, um die Fähigkeit zur selbstständigen Durchführung von Untersuchungen zu ermitteln.

Material und Methoden 101 Trainees im Fach Gynäkologie/Geburtshilfe wurden hinsichtlich ihrer klinischen Erfahrung und der Anzahl der von ihnen durchgeführten Scans befragt. Alle Teilnehmer mussten 5 unterschiedliche Fälle auf einem transvaginalen Virtual-Reality-Ultraschallsimulator (Scantrainer, Medaphor) absolvieren. Die diagnostische Genauigkeit der Teilnehmer wurde aufgezeichnet und Experten bewerteten ihre Leistung anhand der OSAUS-Skala (Objective Structured Assessment of Ultrasound Skills). Der Nutzen simulationsbasierter Assessments wurde in Bezug auf Zuverlässigkeit, Validität, Akzeptanz und Kosten bewertet. Das Hauptergebnis war die diagnostische Genauigkeit bei den 5 verschiedenen Ultraschallfällen.

Ergebnisse Obwohl die Anzahl der Scans mit der diagnostischen Genauigkeit assoziiert war (p = 0,006), war diese ein schlechter Prädiktor (AUC 0,69) für die Genauigkeit. Nur 56,6 % (n = 34) der Teilnehmer mit über 100 transvaginalen Scans zeigten eine diagnostische Genauigkeit von 0,80 oder höher. Die Zuverlässigkeit der OSAUS-Bewertungen war hoch (ICC 0,82) und die Mehrheit der Teilnehmer unterstützte die Verwendung simulationsbasierter Assessments für zukünftige Lizenzprüfungen (70,3 %). Die laufenden Kosten simulationsbasierter Assessments (154 EUR pro Teilnehmer) waren niedriger als bei praktischen Untersuchungen am echten Patienten.

Schlussfolgerung Die Anzahl der Ultraschall-Scans war ein schlechter Prädiktor für die diagnostische Genauigkeit der Trainees. Stattdessen können simulationsbasierte Assessments verwendet werden, um sicherzustellen, dass Trainees in der Lage sind, künftige Scans unabhängig durchzuführen.

Key words

education - training - quality assurance - gynecology - obstetrics

• References

• 1 EFSUMB: European Federation of Societies for Ultrasound in Medicine and Biology. http://www.efsumb.org/guidelines/guidelines01.asp [Accessed 10 June 2013]
• 2 AIUM: American Institute of Ultrasound in Medicine. http://www.aium.org/resources/statements.aspx [Accessed 10 June 2013]
• 3 ISUOG: International Society of Ultrasound in Obstetrics and Gynecology training guidelines. http://www.isuog.org/StandardsAndGuidelines/Statements+and+Guidelines/Training+Guidelines/Default.htm [Accessed 19 June 2017]
• 4 Tolsgaard MG, Rasmussen MB, Tappert C. et al. Which factors are associated with trainees’ confidence in performing obstetric and gynecological ultrasound examinations?. Ultrasound Obstet Gynecol 2014; 43: 444-451
• 5 Madsen ME, Konge L, Nørgaard LN. et al. Assessment of performance measures and learning curves for use of a virtual-reality ultrasound simulator in transvaginal ultrasound examination. Ultrasound Obstet Gynecol 2014; 44: 693-699
• 6 Dyre L, Nørgaard LN, Tabor A. et al. Collecting Validity Evidence for the Assessment of Mastery Learning in Simulation-Based Ultrasound Training. Ultraschall in Med 2016 Aug 37: 386-392 . doi: 10.1055/s-0041-107976
• 7 Chalouhi GE, Bernardi V, Gueneuc A. et al. Evaluation of trainees’ ability to perform obstetrical ultrasound using simulation: challenges and opportunities. Am J Obstet Gynecol 2016; 214: 525e1-525e8
• 8 Madsen ME, Nørgaard LN, Tabor A. et al. The Predictive Value of Ultrasound Learning Curves Across Simulated and Clinical Settings. J Ultrasound Med 2017 Jan 36: 201-208
• 9 Van Der Vleuten CP. The assessment of professional competence: Developments, research and practical implications. Adv Health Sci Educ Theory Pract 1996 Jan 1: 41-67
• 10 Rapport du comité technique de l’échographie de dépistage prénatal. www.cfef.org 2005 [15/07/2014]. Available from: https://www.cfef.org/archives/lettres/DocusCTE/01.html Accessed 19 June 2017
• 11 Salomon LJ, Alfirevic Z, Berghella V. et al. Practice guidelines for performance of the routine mid-trimester fetal ultrasound scan. Ultrasound Obstet Gynecol 2011; 37: 116-126
• 12 Tolsgaard MG, Todsen T, Sorensen JL. et al. International multispecialty consensus on how to evaluate ultrasound competence: a Delphi consensus survey. PLoS One 2013; 8: e57687
• 13 Tolsgaard MG, Ringsted C, Dreisler E. et al. Reliable and valid assessment of ultrasound operator competence in obstetrics and gynecology. Ultrasound Obstet Gynecol 2014; 43: 437-443
• 14 Todsen T, Tolsgaard MG, Olsen BH. et al. Reliable and valid assessment of point-of-care ultrasonography. Ann Surg 2015; 261: 309-315
• 15 Downing SM, Yudkowsky R. Assessment in Health Professions Education. New York, NY: Routledge; 2009
• 16 Liang KY, Zeger SL. Longitudinal data analysis using generalized linear models. Biometrika 1986; 73: 13-22
• 17 Tolsgaard MG, Tabor A, Madsen ME. et al. Linking quality of care and training costs: cost- effectiveness in health professions education. Med Educ 2015; 49: 1263-1271
• 18 Walsh K. Economic analysis in medical education: definition of essential terms. Med Teach 2014; 36: 890-893
• 19 Tolsgaard MG, Chalouhi GE. Use of simulators for the assessment of trainees’ competence: trendy toys or valuable instruments?. Ultrasound Obstet Gynecol Online first April 2018
• 20 Moak JH, Larese SR, Riordan JP. et al. Training in transvaginal sonography using pelvic ultrasound simulators versus live models: a randomized controlled trial. Acad Med 2014; 89: 1063-1068
• 21 Ziv A, Wolpe PR, Small SD. et al. Simulation-based medical education: an ethical imperative. Acad Med 2003; 78: 783-788
• 22 Jensen JK, Dyre L, Jørgensen ME. et al. Simulation-based point-of-care ultrasound training: a matter of competency rather than volume. Acta Anaesthesiol Scand. Online First Feb 1st 2018