Abstract
Purpose To collect validity evidence for a simulator-based obstetric ultrasound competency assessment tool (OUCAT).
Methods 89 sonographers from three centers (XY, MC, DT), including novices (n=21), experienced trainees (n=44), and experts (n=24), participated in the competency assessment. Validity evidence of OUCAT was collected according to Standards for Educational and Psychological Testing. Content validity was ensured by reviewing guidelines and reaching expert consensus. The response process was ensured via training raters. Internal structure was explored through internal consistency, inter-rater reliability, and test-retest reliability. Relations to other variables were explored by comparing OUCAT scores of sonographers with different experience. Evidence for consequences was collected by determining the pass/fail level.
Results OUCAT included 123 items, of which 117 items could effectively distinguish novices from experts (P<0.05). The internal consistency was represented by the Cronbach’s α coefficient (0.978). The inter-rater reliability was high, with XY being 0.868, MC being 0.877, and DT being 0.937 (P<0.001). Test-retest reliability was 0.732 (P=0.001). The performance of experts was significantly better than experienced trainees, and the performance of experienced trainees was significantly better than novices (70.3±10.7 vs. 39.8±15.0 vs. 20.5±10.6, P<0.001). The pass/fail level determined by contrast group method was 45 points. The passing rate of novices, experienced trainees and experts was 0% (0/21), 31.8% (14/44), and 100% (24/24), respectively.
Conclusion Simulator-based OUCAT exhibits good reliability and validity in assessing obstetric ultrasound skills.
Zusammenfassung
Ziel Erhebung von Validitätsnachweisen für ein simulatorbasiertes Tool zur Beurteilung der Ultraschallkompetenz in der Geburtshilfe (OUCAT).
Material und Methoden 89 Sonografen aus 3 Zentren (XY, MC, DT), darunter Anfänger (n=21), erfahrene Auszubildende (n=44) und Experten (n=24), nahmen an der Kompetenzbewertung teil. Der Validitätsnachweis für OUCAT wurde gemäß den Standards für pädagogische und psychologische Tests ermittelt. Die inhaltliche Validität wurde durch die Überprüfung von Richtlinien und die Erzielung eines Expertenkonsenses sichergestellt. Der Antwortprozess wurde durch die Schulung von Bewertern sichergestellt. Die interne Struktur wurde durch interne Konsistenz, Inter-Rater-Reliabilität und Test-Retest-Reliabilität untersucht. Die Relationen zu anderen Variablen wurden durch den Vergleich der OUCAT-Scores der Sonografen mit der unterschiedlichen Erfahrung untersucht. Der Nachweis von Konsequenzen wurde erfasst, indem das Pass/Fail-Level bestimmt wurde.
Ergebnisse OUCAT umfasste 123 Elemente, von denen 117 effektiv zwischen Anfängern und Experten unterscheiden konnten (P<0,05). Die interne Konsistenz wurde durch den Cronbachs-α-Koeffizienten (0,978) dargestellt. Die Inter-Rater-Reliabilität war hoch: XY lag bei 0,868, MC bei 0,877 und DT bei 0,937 (p<0,001). Die Test-Retest-Reliabilität betrug 0,732 (p=0,001). Die Leistung von Experten war signifikant besser als die von erfahrenen Auszubildenden, und die Leistung von erfahrenen Auszubildenden war signifikant besser als die von Anfängern (70,3 ±10,7 vs. 39,8 ±15,0 vs. 20,5 ±10,6; p<0,001). Das durch die Kontrastgruppenmethode ermittelte Pass/Fail-Level betrug 45 Punkte. Die Quote für Bestehen betrug bei Anfängern 0% (0/21), bei erfahrenen Auszubildenden 31,8% (14/44) und bei Experten 100% (24/24).
Schlussfolgerung Das simulatorbasierte OUCAT zeigt eine gute Reliabilität und Validität bei der Bewertung von Ultraschallfähigkeiten in der Geburtshilfe.
Keywords
obstetric ultrasound - competency - assessment - simulation - validity
