Zusammenfassung
Hintergrund: In den meisten
europäischen Ländern wird Kompetenz in der Gastrointestinalen
Endoskopie zum größten Teil dadurch erreicht, dass praktische
Erfahrungen an Patienten gesammelt werden und weniger anhand von strukturierten
Trainingsprogrammen. Mit der Entwicklung von Trainingsmodellen kann jetzt auch
systematisches Training zur Verbesserung vielfältiger diagnostischer und
interventioneller Techniken in der Endoskopie durchgeführt werden.
Über objektive Methoden zur Bewertung der endoskopischen Untersuchung in
der Ausbildung ist jedoch wenig bekannt. Deswegen entwickeln wir eine so
genannte „Score-Card” für die
Ösophago-Gastro-Duodenoskopie (ÖGD) und haben diese bei Endoskopikern
mit unterschiedlichen Erfahrungsebenen getestet. Ziel der Studie war es, die
Beobachtungsvariationen bei der Beurteilung von „Trainees” zu
untersuchen.
Methoden: Auf der Basis von Literatur und
Expertenmeinungen stimmte eine Expertenrunde von 8 erfahrenen Endoskopikern die
Score-Card für die Ösophago-Gastro-Duodenoskopie (ÖGD) ab. Die
„Score-Card” beinhaltet die Bewertung der einzelnen
Untersuchungsschritte sowie die Zeit, die für die vollständige
Durchführung dieser einzelnen Schritte benötigt wurde. Diese
„Score-Card” wurde dann weiter überprüft, indem in
einer Konferenz 10 Endoskopieexperten 15 anonyme Videoaufnahmen von
Endoskopikern bewerteten, die nach der „Score-Card” eine
Ösophago-Gastro-Duodenoskopie (ÖGD) an einem Bio-Simulationsmodell
(Erlanger Endo-Trainer) durchführten. Je nach Erfahrung, bemessen an der
Anzahl der bereits selbstständig durchgeführten Endoskopien, wurden
diese 15 Endoskopiker eingeteilt in 4 Gruppen: sehr erfahren, erfahren, wenig
Erfahrung, keine Erfahrung. Die Beobachtungsvariabilität wurde getestet
für die unterschiedlichen „Score-Card-Parameter”
(„Kendall’s-Rank-Correlations-Coeffizient”
0,0 - 0,5 schlecht, 0,5 - 1,0 gute
Übereinstimmung). Zusätzlich wurde die Korrelation zwischen dem
„Score-Card”-Ergebnis und der Erfahrung des Untersuchers
analysiert.
Ergebnisse: Trotz schlechter Ergebnisse der
Beobachtungsvariabilität aller getesteten Parameter (Kendall
Coefficient < 0,3) korrelierten die Bewertungsparameter gut,
als die unterschiedlichen Erfahrungsebenen der Untersucher mit
berücksichtigt wurden (Korrelationscoefficient 0,59-0,89,
p < 0,05). Die „Score-Card-Parameter” konnten
die unterschiedlichen Stufen der endoskopischen Erfahrung zeigen.
Schlussfolgerung: Wie bei einer subjektiven
Bewertung erwartet werden konnte, wurde eine Variabilität zwischen den
Prüfern deutlich. Die Bewertung nach der „Score-Card” war
aber doch imstande, eine zuverlässige Unterscheidung zwischen den
unterschiedlichen Erfahrungsebenen zu treffen im Sinne einer guten
Übereinstimmung der Beurteilung. Die Score-Card eignet sich daher, um an
einem Bio-Simulationsmodell (Erlanger Endo-Trainer) den Trainingstatus zu
erheben und zum anderen auch, um Lernkurven zu erfassen. Insgesamt kann dieses
Bewertungssystem zur Qualitätssicherung in der endoskopischen Ausbildung
beitragen.
Abstract
Background: In most European countries,
training in GI endoscopy has largely been based on hands-on acquisition of
experience in patients rather than on a structured training programme. With the
development of training models systematic hands-on training in a variety of
diagnostic and therapeutic endoscopy techniques was achieved. Little, however,
is known about methods of objectively assessing trainees’ performance. We
therefore developed an assessment ‘score card’ for upper GI
endoscopy and tested it in endoscopists with various levels of experience. The
aim of the study was therefore to assess interobserver variations in the
evaluation of trainees.
Methods: On the basis of textbook and
expert opinions a consensus group of eight experienced endoscopists developed a
score card for diagnostic upper GI endoscopy with biopsy. The score card
includes an assessment of the single steps of the procedure as well as of the
times needed to complete each step. This score card was then evaluated in a
further conference including ten experts who blindly assessed videotapes of 15
endoscopists performing upper GI endoscopy in a training bio-simulation model
(the ‘Erlangen Endo-Trainer’). On the basis of their previous
experience (i. e. the number of endoscopies performed) these 15
endoscopists were classified into four groups: very experienced, experienced,
having some experience and inexperienced. Interobserver variability (IOV) was
tested for the various score card parameters (Kendall’s rank-correlation
coefficient 0.0-0.5 poor, 0.5-1.0 good agreement). In addition, the
correlation between the score card assessment and the examiners’
experience levels was analysed.
Results: Despite poor IOV results for all
the parameters tested (Kendall coefficient < 0.3), the
assessment parameters correlated well when the examiners’ different
experience levels were taken into account (correlation coefficient
0.59-0.89, p < 0.05). The score card parameters were suitable for
differentiating between the four groups of examiners with different levels of
endoscopic experience.
Conclusions: As expected with scores
involving subjective assessment of performance, the variability between
reviewers was substantial. Nevertheless, the assessment score was capable of
distinguishing reliably between different experience levels in terms of a good
individual observer consistency. The score card can therefore be used to
document both training status and progress during endoscopy training courses
using bio-simulation models, and this might be able to provide improved quality
assurance in GI endoscopy training.
Schlüsselwörter
Endoskopie - Training - „Score-Card”
Key words
Endoscopy - training - score
card
