A Score Card for Upper GI Endoscopy: Evaluation of Interobserver Variability in Examiners with Various Levels of Experience

Zusammenfassung

Hintergrund: In den meisten europäischen Ländern wird Kompetenz in der Gastrointestinalen Endoskopie zum größten Teil dadurch erreicht, dass praktische Erfahrungen an Patienten gesammelt werden und weniger anhand von strukturierten Trainingsprogrammen. Mit der Entwicklung von Trainingsmodellen kann jetzt auch systematisches Training zur Verbesserung vielfältiger diagnostischer und interventioneller Techniken in der Endoskopie durchgeführt werden. Über objektive Methoden zur Bewertung der endoskopischen Untersuchung in der Ausbildung ist jedoch wenig bekannt. Deswegen entwickeln wir eine so genannte „Score-Card” für die Ösophago-Gastro-Duodenoskopie (ÖGD) und haben diese bei Endoskopikern mit unterschiedlichen Erfahrungsebenen getestet. Ziel der Studie war es, die Beobachtungsvariationen bei der Beurteilung von „Trainees” zu untersuchen.

Methoden: Auf der Basis von Literatur und Expertenmeinungen stimmte eine Expertenrunde von 8 erfahrenen Endoskopikern die Score-Card für die Ösophago-Gastro-Duodenoskopie (ÖGD) ab. Die „Score-Card” beinhaltet die Bewertung der einzelnen Untersuchungsschritte sowie die Zeit, die für die vollständige Durchführung dieser einzelnen Schritte benötigt wurde. Diese „Score-Card” wurde dann weiter überprüft, indem in einer Konferenz 10 Endoskopieexperten 15 anonyme Videoaufnahmen von Endoskopikern bewerteten, die nach der „Score-Card” eine Ösophago-Gastro-Duodenoskopie (ÖGD) an einem Bio-Simulationsmodell (Erlanger Endo-Trainer) durchführten. Je nach Erfahrung, bemessen an der Anzahl der bereits selbstständig durchgeführten Endoskopien, wurden diese 15 Endoskopiker eingeteilt in 4 Gruppen: sehr erfahren, erfahren, wenig Erfahrung, keine Erfahrung. Die Beobachtungsvariabilität wurde getestet für die unterschiedlichen „Score-Card-Parameter” („Kendall’s-Rank-Correlations-Coeffizient” 0,0 - 0,5 schlecht, 0,5 - 1,0 gute Übereinstimmung). Zusätzlich wurde die Korrelation zwischen dem „Score-Card”-Ergebnis und der Erfahrung des Untersuchers analysiert.

Ergebnisse: Trotz schlechter Ergebnisse der Beobachtungsvariabilität aller getesteten Parameter (Kendall Coefficient < 0,3) korrelierten die Bewertungsparameter gut, als die unterschiedlichen Erfahrungsebenen der Untersucher mit berücksichtigt wurden (Korrelationscoefficient 0,59-0,89, p < 0,05). Die „Score-Card-Parameter” konnten die unterschiedlichen Stufen der endoskopischen Erfahrung zeigen.

Schlussfolgerung: Wie bei einer subjektiven Bewertung erwartet werden konnte, wurde eine Variabilität zwischen den Prüfern deutlich. Die Bewertung nach der „Score-Card” war aber doch imstande, eine zuverlässige Unterscheidung zwischen den unterschiedlichen Erfahrungsebenen zu treffen im Sinne einer guten Übereinstimmung der Beurteilung. Die Score-Card eignet sich daher, um an einem Bio-Simulationsmodell (Erlanger Endo-Trainer) den Trainingstatus zu erheben und zum anderen auch, um Lernkurven zu erfassen. Insgesamt kann dieses Bewertungssystem zur Qualitätssicherung in der endoskopischen Ausbildung beitragen.

Abstract

Background: In most European countries, training in GI endoscopy has largely been based on hands-on acquisition of experience in patients rather than on a structured training programme. With the development of training models systematic hands-on training in a variety of diagnostic and therapeutic endoscopy techniques was achieved. Little, however, is known about methods of objectively assessing trainees’ performance. We therefore developed an assessment ‘score card’ for upper GI endoscopy and tested it in endoscopists with various levels of experience. The aim of the study was therefore to assess interobserver variations in the evaluation of trainees.

Methods: On the basis of textbook and expert opinions a consensus group of eight experienced endoscopists developed a score card for diagnostic upper GI endoscopy with biopsy. The score card includes an assessment of the single steps of the procedure as well as of the times needed to complete each step. This score card was then evaluated in a further conference including ten experts who blindly assessed videotapes of 15 endoscopists performing upper GI endoscopy in a training bio-simulation model (the ‘Erlangen Endo-Trainer’). On the basis of their previous experience (i. e. the number of endoscopies performed) these 15 endoscopists were classified into four groups: very experienced, experienced, having some experience and inexperienced. Interobserver variability (IOV) was tested for the various score card parameters (Kendall’s rank-correlation coefficient 0.0-0.5 poor, 0.5-1.0 good agreement). In addition, the correlation between the score card assessment and the examiners’ experience levels was analysed.

Results: Despite poor IOV results for all the parameters tested (Kendall coefficient < 0.3), the assessment parameters correlated well when the examiners’ different experience levels were taken into account (correlation coefficient 0.59-0.89, p < 0.05). The score card parameters were suitable for differentiating between the four groups of examiners with different levels of endoscopic experience.

Conclusions: As expected with scores involving subjective assessment of performance, the variability between reviewers was substantial. Nevertheless, the assessment score was capable of distinguishing reliably between different experience levels in terms of a good individual observer consistency. The score card can therefore be used to document both training status and progress during endoscopy training courses using bio-simulation models, and this might be able to provide improved quality assurance in GI endoscopy training.

Schlüsselwörter

Endoskopie - Training - „Score-Card”

Key words

Endoscopy - training - score card

References

• 1 Trondsen E, Ruud T E, Nilsen B H. et al . Complications during the introduction of laparoscopic cholecystectomy in Norway: a prospective multicentre study in seven hospitals.  Eur J Surg. 1994;  160 145-151
• 2 Steele R J, Marshall K, Lang M. et al . Introduction of laparoscopic cholecystectomy in a large teaching hospital: independent audit of the first 3 years.  Br J Surg. 1995;  82 968-971
• 3 Evans S R, Jackson P G, Czerniach D R. et al . A stepwise approach to laparoscopic Nissen fundoplication: avoiding technical pitfalls.  Arch Surg. 2000;  135 723-728
• 4 Voitk A, Joffe J, Alvarez C. et al . Factors contributing to laparoscopic failure during the learning curve for laparoscopic Nissen fundoplicaton in a community hospital.  J Laparoendosc Adv Surg Tech A. 1999;  9 243-248
• 5 Deschamps C, Allen M S, Trastek V F. et al . Early experience and learning curve associated with laparoscopic Nissen fundoplication.  J Thorac Cardiovasc Surg. 1998;  115 281-284
• 6 Hakki-Siren P, Sjöberg J. Evaluation and learning curve of the first one hundred laparoscopic hysterectomies.  Acta Obstet Gynaecol Scand. 1995;  7438-7441
• 7 Hasemann J H, Lemmel G T, Rahmani E Y. et al . Failure of colonoscopy to detect colorectal cancer: evaluation of 47 cases in 20 hospitals.  Gastrointest Endosc. 1997;  45 451-455
• 8 Tassios P S, Ladas S D, Grammenos I. et al . Acquisition of competence in colonoscopy: the learning curve of trainees.  Endoscopy. 1999;  31 702-706
• 9 Freeman M L, Nelson D B, Sherman S. et al . Complications of endoscopic biliary sphincterotomy.  N Engl J Med. 1996;  335 909-918
• 10 Loperfido S, Angelini G, Benedetti G. et al . Major early complications from diagnostic and therapeutic ERCP: a prospective multicenter study.  Gastrointest Endosc. 1998;  48 1-10
• 11 N N. Methods of granting hospital privileges to perform gastrointestinal endoscopy. American Society for Gastrointestinal Endoscopy Standards of Training and Practice Committee.  Gastrointest Endosc. 1992;  38 765-767
• 12 Farthing M JG, Walt R P, Allan R N. et al . A national training programme for gastroenterology and hepatology.  Gut. 1966;  38 459-470
• 13 Conjoint Committee for Recognition of Training in Gastrointestinal Endoscopy. Information for supervisors: changes to endoscopic training. Sydney.  The Conjoint Committee for Recognition of Training in Gastrointestinal Endoscopy. 1997; 
• 14 Rey J F, Lambert R, ESGE Q uality Assurance Committee. ESGE recommendations for quality control in gastrointestinal endoscopy: guidelines for image documentation in upper and lower GI Endoscopy.  Endoscopy. 2001;  33 901-903
• 15 Escourrou J. Upper intestinal endoscopy. Classen M, Lightdale CJ, Tytgat GNJ et al Gastroenterological endoscopy New York; Thieme Medical Publishers (in press)
• 16 Van Dam J, Chak A, Sivak M V. Technique of upper gastrointestinal endoscopy. Sivak MV Gastroenterologic endoscopy Philadelphia; Saunders 2000
• 17 Neumann M, Gall F P. Neuentwicklung eines chirurgischen Simulationsmodells für die Weiterbildung und Forschung.  112. Kongress der Deutschen Gesellschaft für Chirurgie, wissenschaftliche Ausstellung. 1995; 
• 18 Neumann M. Pilotprojekt - systematisches OP-Training nach bewertbaren Qualitätskriterien.  Mitt Dtsch Ges Chir. 1997;  4 317-320
• 19 Neumann M, Mayer G, Ell C. et al . The Erlangen Endo-Trainer: lifelike simulation for diagnostic and interventional endoscopic retrograde cholangiography.  Endoscopy. 2000;  32 906-910
• 20 Neumann M, Hochberger J, Felzmann T. et al . The Erlangen Endo-Trainer.  Endoscopy. 2001;  33 887-890
• 21 Neumann M, Rausch J, Siebert T. et al .Score card endoscopy: practical qualification in endoscopy training (poster). Hanover, Germany; Falk Symposium November 2001
• 22 Neumann M, Rausch J, Siebert T. et al . Score card endoscopy: a pilot study to assess practical qualification in endoscopy training.  Endoscopy (submitted).