Ultraschall Med 2024; 45(02): 168-175
DOI: 10.1055/a-2122-6746
Original Article

Validity evidence for simulator-based obstetric ultrasound competency assessment tool: a multi-center study

Validitätsnachweis für ein simulatorbasiertes Tool zur Beurteilung der Ultraschallkompetenz in der Geburtshilfe: Eine multizentrische Studie
1   Ultrasound, Central South University Third Xiangya Hospital, Changsha, China (Ringgold ID: RIN504354)
,
Ping Zhou
1   Ultrasound, Central South University Third Xiangya Hospital, Changsha, China (Ringgold ID: RIN504354)
,
Wenhui Zhu
1   Ultrasound, Central South University Third Xiangya Hospital, Changsha, China (Ringgold ID: RIN504354)
,
Jidong Xiao
1   Ultrasound, Central South University Third Xiangya Hospital, Changsha, China (Ringgold ID: RIN504354)
,
Wengang Liu
1   Ultrasound, Central South University Third Xiangya Hospital, Changsha, China (Ringgold ID: RIN504354)
,
Yingchun Luo
2   Ultrasound, Hunan Provincial Maternal and Child Health Care Hospital, Changsha, China (Ringgold ID: RIN117925)
,
Junhui Zhang
2   Ultrasound, Hunan Provincial Maternal and Child Health Care Hospital, Changsha, China (Ringgold ID: RIN117925)
,
Lan Yang
3   Ultrasound, Nanjing Drum Tower Hospital, Nanjing, China (Ringgold ID: RIN66506)
,
Yan Xu
3   Ultrasound, Nanjing Drum Tower Hospital, Nanjing, China (Ringgold ID: RIN66506)
,
Xiaohong Tang
4   Clinical Skill Center, Central South University Third Xiangya Hospital, Changsha, China (Ringgold ID: RIN504354)
› Author Affiliations
Supported by: Project of the 14th five year plan of Educational Science in Hunan Province XJK21AGD002
Zoom Image

Abstract

Purpose To collect validity evidence for a simulator-based obstetric ultrasound competency assessment tool (OUCAT).

Methods 89 sonographers from three centers (XY, MC, DT), including novices (n=21), experienced trainees (n=44), and experts (n=24), participated in the competency assessment. Validity evidence of OUCAT was collected according to Standards for Educational and Psychological Testing. Content validity was ensured by reviewing guidelines and reaching expert consensus. The response process was ensured via training raters. Internal structure was explored through internal consistency, inter-rater reliability, and test-retest reliability. Relations to other variables were explored by comparing OUCAT scores of sonographers with different experience. Evidence for consequences was collected by determining the pass/fail level.

Results OUCAT included 123 items, of which 117 items could effectively distinguish novices from experts (P<0.05). The internal consistency was represented by the Cronbach’s α coefficient (0.978). The inter-rater reliability was high, with XY being 0.868, MC being 0.877, and DT being 0.937 (P<0.001). Test-retest reliability was 0.732 (P=0.001). The performance of experts was significantly better than experienced trainees, and the performance of experienced trainees was significantly better than novices (70.3±10.7 vs. 39.8±15.0 vs. 20.5±10.6, P<0.001). The pass/fail level determined by contrast group method was 45 points. The passing rate of novices, experienced trainees and experts was 0% (0/21), 31.8% (14/44), and 100% (24/24), respectively.

Conclusion Simulator-based OUCAT exhibits good reliability and validity in assessing obstetric ultrasound skills.

Zusammenfassung

Ziel Erhebung von Validitätsnachweisen für ein simulatorbasiertes Tool zur Beurteilung der Ultraschallkompetenz in der Geburtshilfe (OUCAT).

Material und Methoden 89 Sonografen aus 3 Zentren (XY, MC, DT), darunter Anfänger (n=21), erfahrene Auszubildende (n=44) und Experten (n=24), nahmen an der Kompetenzbewertung teil. Der Validitätsnachweis für OUCAT wurde gemäß den Standards für pädagogische und psychologische Tests ermittelt. Die inhaltliche Validität wurde durch die Überprüfung von Richtlinien und die Erzielung eines Expertenkonsenses sichergestellt. Der Antwortprozess wurde durch die Schulung von Bewertern sichergestellt. Die interne Struktur wurde durch interne Konsistenz, Inter-Rater-Reliabilität und Test-Retest-Reliabilität untersucht. Die Relationen zu anderen Variablen wurden durch den Vergleich der OUCAT-Scores der Sonografen mit der unterschiedlichen Erfahrung untersucht. Der Nachweis von Konsequenzen wurde erfasst, indem das Pass/Fail-Level bestimmt wurde.

Ergebnisse OUCAT umfasste 123 Elemente, von denen 117 effektiv zwischen Anfängern und Experten unterscheiden konnten (P<0,05). Die interne Konsistenz wurde durch den Cronbachs-α-Koeffizienten (0,978) dargestellt. Die Inter-Rater-Reliabilität war hoch: XY lag bei 0,868, MC bei 0,877 und DT bei 0,937 (p<0,001). Die Test-Retest-Reliabilität betrug 0,732 (p=0,001). Die Leistung von Experten war signifikant besser als die von erfahrenen Auszubildenden, und die Leistung von erfahrenen Auszubildenden war signifikant besser als die von Anfängern (70,3 ±10,7 vs. 39,8 ±15,0 vs. 20,5 ±10,6; p<0,001). Das durch die Kontrastgruppenmethode ermittelte Pass/Fail-Level betrug 45 Punkte. Die Quote für Bestehen betrug bei Anfängern 0% (0/21), bei erfahrenen Auszubildenden 31,8% (14/44) und bei Experten 100% (24/24).

Schlussfolgerung Das simulatorbasierte OUCAT zeigt eine gute Reliabilität und Validität bei der Bewertung von Ultraschallfähigkeiten in der Geburtshilfe.

Supplementary Material



Publication History

Received: 07 October 2022

Accepted after revision: 04 July 2023

Accepted Manuscript online:
04 July 2023

Article published online:
06 October 2023

© 2023. Thieme. All rights reserved.

Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany

Crossref Cited-by logo
Article Citations