Effectiveness of Technology-Supported Ultrasound Training in Prenatal Diagnosis through an Adaptive Image Recognition Training System (AdaptUS)

Abstract

Background

Prenatal diagnostics, particularly ultrasound examinations, are vital for monitoring fetal development and detecting potential complications. Traditional ultrasound training often lacks adequate focus on image recognition and interpretation, which are crucial for accurate diagnostics. This study evaluates the effectiveness of the AdaptUS module, a technology-supported, adaptive learning platform designed to enhance ultrasound diagnostic skills in prenatal medicine.

Methods

A prospective cross-sectional study was conducted with 76 medical students from the German University Hospital, divided into an intervention group (n = 37) and a control group (n = 39). The intervention group engaged with the AdaptUS module, which adjusts its content based on individual performance. More precisely, it is a learning program for ultrasound images that, while not directly adaptive to the user’s skill level, can be considered adaptive in the sense that incorrectly answered images are presented again for re-interpretation. However, the images are currently shown at random and are not yet adjusted to the user’s abilities, ensuring that the challenge is consistent but not tailored to skill level. It is important to note that this is not an ultrasound image software, but rather an image interpretation software designed to help users improve their diagnostic skills through repeated exposure to medical images. In contrast, the control group did not receive this training. Both groups were assessed on their ultrasound diagnostic skills at the beginning and end of the semester using a series of 16 questions, which involved interpreting images correctly rather than a standard multiple-choice format. Statistical analysis was performed to compare the pre- and post-test results within and between the groups.

Results

The intervention group showed a significant improvement in their mean test scores, increasing from 70.9% to 86.0% (p < 0.001), while the control group’s scores decreased slightly from 62.0% to 59.0%, though this change was not statistically significant. The difference in score improvements between the intervention and control groups was statistically significant (p < 0.001). The feedback from students in the intervention group was overwhelmingly positive, highlighting the system’s flexibility in addressing individual learning needs and suggesting its potential for broader integration into medical curricula.

Discussion

The AdaptUS training module significantly enhances ultrasound diagnostic skills, particularly in prenatal medicine, by providing a personalized learning experience that addresses the gaps in traditional training methods. The success of AdaptUS underscores the importance of integrating adaptive learning technologies into medical education to bridge the gap between theoretical knowledge and practical application. Future research should explore the long-term impact of such training on clinical practice and consider incorporating advanced technologies like virtual reality to further enhance educational outcomes.

Zusammenfassung

Hintergrund

Eine gute pränatale Diagnostik, vor allem Ultraschalluntersuchungen, ist für die Kontrolle der fetalen Entwicklung und zur Erkennung möglicher Komplikationen essenziell. Beim herkömmlichen Ultraschalltraining stehen oft Bilderkennung und Interpretation, die für eine präzise Diagnostik ausschlaggebend sind, nicht genügend im Mittelpunkt. Diese Studie untersucht die Effektivität des AdaptUS-Moduls, ein technologieunterstütztes adaptives Lernprogramm, das zur Verbesserung der Fertigkeiten in der pränatalen Ultraschalldiagnostik entwickelt wurde.

Methoden

Es wurde eine prospektive Querschnittsuntersuchung mit 76 Studierenden der Medizin an einem deutschen Universitätskrankenhaus durchgeführt. Die Teilnehmenden wurden in eine Interventionsgruppe (n = 37) und eine Kontrollgruppe (n = 39) eingeteilt. Die Interventionsgruppe benutzte das AdaptUS-Modul, das seine Inhalte an individuelle Leistungen anpasst. Genau genommen handelt es sich dabei um ein Lernprogramm für Ultraschallbilder, das sich zwar nicht direkt an das Kompetenzniveau des Benutzers anpasst, aber sich dennoch insoweit adaptiert, indem es inkorrekt evaluierte Bilder für eine wiederholte Interpretation noch mal präsentiert. Im Moment werden die Bilder noch nach dem Zufallsprinzip vorgelegt und noch nicht an die Fertigkeiten der Benutzer angepasst. Damit wird sichergestellt, dass die Inhalte anspruchsvoll sind, auch wenn sie nicht an das individuelle Können des Benützers angepasst sind. Es muss hier angemerkt werden, dass es sich dabei nicht um eine Software zur Bearbeitung von Ultraschallbildern handelt, sondern um eine Bildinterpretations-Software, die entwickelt wurde, um die diagnostischen Fertigkeiten von Benutzern durch wiederholtes Vorzeigen von Ultraschallbildern zu verbessern. Die Kontrollgruppe erhielt dieses Training nicht. Beide Gruppen wurde hinsichtlich ihrer Fertigkeiten bei der Ultraschalldiagnostik am Anfang und am Ende des Semesters mithilfe einer Reihe von 16 Fragen evaluiert. Um die Fragen zu beantworten, mussten Ultraschallbilder richtig interpretiert werden, die nicht im Standard-Multiple-Choice-Format abgefragt wurden. Es wurde eine statistische Analyse durchgeführt, um die Ergebnisse vor und nach der Prüfung innerhalb und zwischen den Gruppen zu vergleichen.

Ergebnisse

Die Interventionsgruppe wies eine signifikante Verbesserung bei den durchschnittlichen Testergebnissen auf, die von 70,9% auf 86,0% stiegen (p < 0,001); dagegen gingen die Testergebnisse der Kontrollgruppe sogar leicht von 62,0% auf 59,0% zurück, obwohl diese Veränderung statistisch nicht signifikant war. Der Unterschied in den Testergebnissen zwischen der Interventions- und der Kontrollgruppe war statistisch signifikant (p < 0,001). Das Feedback der Studierenden in der Interventionsgruppe war durchweg positiv, was für die Flexibilität des Systems beim Eingehen auf individuelle Lernbedürfnisse und für dessen potenzielle Integration in den medizinischen Lehrplan spricht.

Diskussion

Das AdaptUS-Trainingsmodul trägt erheblich zur Verbesserung der Fertigkeiten bei der Ultraschalldiagnostik bei, vor allem in der Pränatalmedizin, indem es eine personalisierte Lernerfahrung vermittelt, die versucht, bestimmte Lücken in den traditionellen Ausbildungsmethoden zu schließen. Der Erfolg von AdaptUS zeigt, wie wichtig die Integration von adaptiven Lerntechnologien in die medizinische Ausbildung sein kann, um Lücken zwischen theoretischem Wissen und dessen praktischer Anwendung zu schließen. Die zukünftige Forschung sollte die langfristigen Auswirkungen eines solchen Trainings auf die klinische Praxis untersuchen und eine mögliche Einführung fortgeschrittener Technologien wie virtuelle Realität in die medizinische Ausbildung prüfen, um damit die Ausbildungsergebnisse weiter zu verbessern.

Keywords

ultrasound training - adaptive learning - prenatal diagnosis - medical education - image recognition - gamification - cognitive bias

Schlüsselwörter

Ultraschalltraining - adaptives Lernen - pränatale Diagnostik - medizinische Ausbildung - Bilderkennung - Gamifizierung - kognitive Verzerrung

Publication History

Received: 23 November 2024

Accepted after revision: 27 December 2024

Article published online:
05 March 2025

• References

• 1 Matschl J, Gembruch U, Strizek B. et al. Shaping the future of obstetric/gynecological ultrasound training. Ultrasound Obstet Gynecol 2024; 63: 717-722
• 2 Kähler C, Faber R, Geipel A. et al. DEGUM Recommendations on Diagnostic Puncture in Prenatal Medicine. Ultraschall Med 2023; 44: 269-279
• 3 Shaw-Battista J, Young-Lin N, Bearman S. et al. Interprofessional Obstetric Ultrasound Education: Successful Development of Online Learning Modules; Case-Based Seminars; and Skills Labs for Registered and Advanced Practice Nurses, Midwives, Physicians, and Trainees. J Midwifery Womens Health 2015; 60: 727-734
• 4 Dietrich CF, Sirli RL, Barth G. et al. Student ultrasound education – current views and controversies. Ultraschall Med 2024; 45: 389-394
• 5 Weimer J, Recker F, Hasenburg A. et al. Development and evaluation of a “simulator-based” ultrasound training program for university teaching in obstetrics and gynecology–the prospective GynSim study. Front Med (Lausanne) 2024; 11: 1371141
• 6 Taylor D, Yeung M, Bashet A. Personalized and Adaptive Learning. In: Ryoo J, Winkelmann K. , ed. Innovative Learning Environments in STEM Higher Education. SpringerBriefs in Statistics. Cham: Springer; 2021.
• 7 Weimer JM, Recke F, Horn L. et al. Insights Into Modern Undergraduate Ultrasound Education: Prospective Comparison of Digital and Analog Teaching Resources in a Flipped Classroom Concept – The DIvAN Study. Ultrasound Int Open 2024; 10: a23899410
• 8 Wittek A, Strizek B, Recker F. Innovations in ultrasound training in obstetrics. Arch Gynecol Obstet 2024;
• 9 Krupinski EA, Berbaum KS, Schartz KM. et al. The Impact of Fatigue on Satisfaction of Search in Chest Radiography. Acad Radiol 2017; 24: 1058-1063
• 10 Shah S, Tohmasi S, Frisch E. et al. A comparison of simulation versus didactics for teaching ultrasound to Swiss medical students. World J Emerg Med 2019; 10: 169-176
• 11 Anderson N. Teaching signal detection theory with pseudoscience. Front Psychol 2015; 6: 762
• 12 Macho S, Ledermann T. A psychometric analysis of signal detection measures from ratings versus repeated and nonrepeated forced choices. J Exp Psychol Learn Mem Cogn 2022; 48: 1923-1946
• 13 Goecke B, Schmitz F, Wilhelm O. Binding Costs in Processing Efficiency as Determinants of Cognitive Ability. J Intell 2021; 9: 18
• 14 von Elm E, Altman DG, Egger M. et al. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet 2007; 370: 1453-1457
• 15 Whitworth M, Bricker L, Neilson JP. et al. Ultrasound for fetal assessment in early pregnancy. Cochrane Database Syst Rev 2010; (04) CD007058
• 16 Shokoohi H, Booniface K, Kaviany P. et al. An experiential learning model facilitates learning of bedside ultrasound by preclinical medical students. J Surg Educ 2016; 73: 208-214
• 17 Weimer J, Ruppert J, Vieth T. et al. Effects of undergraduate ultrasound education on cross-sectional image understanding and visual-spatial ability – a prospective study. BMC Med Educ 2024; 24: 619
• 18 Shah S, Santos N, Kisa R. et al. Efficacy of an ultrasound training program for nurse midwives to assess high-risk conditions at labor triage in rural Uganda. PLoS One 2020; 15: e0235269
• 19 Recker F, Schäfer VS, Holzgreve W. et al. Development and implementation of a comprehensive ultrasound curriculum for medical students: The Bonn internship point-of-care-ultrasound curriculum (BI-POCUS). Front Med (Lausanne) 2023; 10: 1072326
• 20 Swamy M, Searle R. Anatomy teaching with portable ultrasound to medical students. BMC Med Educ 2012; 12: 99
• 21 Behrend TS, Sharek DJ, Meade AW. et al. The viability of crowdsourcing for survey research. Behav Res Methods 2011; 43: 800-813
• 22 Uzun O, Kennedy J, Davies C. et al. Training: improving antenatal detection and outcomes of congenital heart disease. BMJ Open Qual 2018; 7: e000276