High Interobserver Variability in Endosonographic Staging of Upper Gastrointestinal Cancers

Zusammenfassung

Es wurde berichtet, dass endoskopische Ultraschalluntersuchungen (EUS) eine hohe Treffsicherheit im Staging von Tumoren des oberen Gastrointestinaltrakts haben. Daten zur untersucherabhängigen Variabilität in Abhängigkeit vom jeweiligen Erfahrungsgrad gibt es jedoch wenige. Es wurde deshalb eine Studie anhand gut dokumentierter Videobänder von EUS-Untersuchungen an 108 Patienten mit resezierten Ösophagus- (n = 55) oder Magenkarzinomen (n = 53) durchgeführt. Die Befundung erfolgte durch 5 erfahrene EUS-Untersucher (2 mit über 100, 3 mit über 300 durchgeführten Untersuchungen), welche alle verblindet gegenüber anamnestischen und klinischen Daten der jeweiligen Patienten waren. Neben der Erfassung der jeweiligen Treffsicherheit war es das Ziel, anhand einer Kappastatistik das Maß der Variabilität der einzelnen Untersucher herauszufinden.

Unter den beschriebenen Bedingungen war die Treffsicherheit der Endosonographie niedriger als unter den üblichen Routinebedingungen. Die mittlere Treffsicherheit im T-Staging war 41,1 % ± 9,4 und 46,9 % ± 5,4 für Karzinome des Magens bzw. des Ösophagus. Für die Ermittlung der N-Kategorie waren die jeweiligen Werte 47,9 % ± 5,1 (Magen) und 67,7 % ± 5,4 (Ösophagus). Kappawerte über 0,4 (entsprechend einer akzeptablen Übereinstimmung unter den 5 Untersuchern) konnten nur für das Staging von nicht invasiven Karzinomen der N0- und T1-Kategorie ermittelt werden. Unterschiede bez. des Erfahrungsgrades der jeweiligen Untersucher wurden nicht festgestellt.

Es kann daher gefolgert werden, dass das verblindete endosonographische Staging auch durch erfahrene Untersucher mit einer niedrigen Treffsicherheit und gleichzeitig mit einer hohen Schwankungsbreite einhergeht.

Abstract

Mostly based on results of experienced examiners, endoscopic ultrasound (EUS) has been reported to be highly accurate for locoregional staging of upper gastrointestinal cancers. However, data on interobserver variability among EUS examiners, depending on their experience levels, is sparse. A study was therefore conducted to analyse well-documented videotapes of EUS examinations of 108 patients with resected cancers of the esophagus (n = 55) or stomach (n = 53) in a strictly blinded fashion by 5 examiners, all of whom were experienced in EUS (more than 300 examinations: n = 3, more than 100 examinations: n = 2). Besides the individual accuracy rates in cancer staging, a kappa-statistic was calculated to check for interobserver variability.

Under the conditions described, the staging accuracy of all investigators was lower than that usually achieved under clinical routine conditions. The mean T staging accuracy was 41.1 % ± 9.4 and 46.9 % ± 5.4 in gastric and esophageal cancers, respectively. For N-staging the respective values were 47.9 % ± 5.1 (stomach) and 67.7 % ± 5.4 (oesophagus). Kappa-values were above 0.4 only in the staging of non-invasive esophagogastric tumours of the N0 and T1-category, corresponding to a fairly good agreement among the five investigators. Differences depending on experience levels could not be consistently found.

Hence, it can be concluded that endosonographic cancer staging performed in a blinded manner results in a low accuracy and high interobserver variability even among experienced examiners.

Schlüsselwörter

Endosonographie - Karzinom - Tumor Staging - Magen - Ösophagus

Key words

Endoscopic ultrasound - cancer - staging - stomach - esophagus

References

• 1 Rösch T. (Hrsg) . Endoscopic ultrasonography: state of the art 1995, part 2.  Gastrointest Endosc Clin N Am. 1995;  5 699-849
• 2 Allescher H D, Rösch T, Willkomm G. et al . Performance, patient acceptance, appropriateness of indications and potential influence on outcome of EUS: a prospective study in 397 consecutive patients.  Gastrointest Endosc. 1999;  50 737-735
• 3 Brugge W R, Lee M J, Carey R W. et al . Endoscopic ultrasound criteria for esophageal cancer.  Gastrointest Endosc. 1997;  45 147-152
• 4 Salminen J T, Färkkilä, Rämö O J. et al . Endoscopic ultrasonography in the preoperative staging of adenocarcinoma of the distal oesophagus and oesophagogastric junction.  Scand J Gastroenterol. 1999;  34 1178-1182
• 5 Rösch T, Kassem A M. Endoskopischer Ultraschall. Frühmorgen P Gastroentrerologische Endoskopie Berlin; Springer 1998: 284-293
• 6 Meining A, Dittler H J, Wolf A. et al . You get what you expect? A critical appraisal of imaging methodology in endosonographic cancer staging.  Gut. 2002;  50 599-603
• 7 Fockens P, Van den Brande J H, van Dullemen H M. et al . Endosonographic T-staging of esophageal carcinoma: a learning curve.  Gastrointest Endosc. 1996;  44 58-62
• 8 Schlick T, Heintz A, Junginger T. The examiner’s learning effect and its influence on the quality of endoscopic ultrasonography in carcinoma of the esophagus and gastric cardia.  Surg Endosc. 1999;  13 894-898
• 9 Gress F, Schmitt C, Savides T. et al . Interobserver agreement for EUS in the evaluation and diagnosis of submucosal masses.  Gastrointest Endosc. 2001;  53 71-76
• 10 Wallace M B, Hawes R H, Durkalski V. et al . The reliability of EUS for the diagnosis of chronic pancreatitis: interobserver agreement among experienced endosonographers.  Gastrointest Endosc. 2001;  53 294-299
• 11 Rösch T, Classen M. Gastroenterologic endosonography. Stuttgart; Thieme 1992
• 12 Burtin P, Napoleon B, Palazzo L. et al . Interobserver agreement in endoscopic ultrasonography staging of esophageal and cardia cancer.  Gastrointest Endosc. 1996;  43 20-24
• 13 Catalano M F, Sivak M V, Bedford R A. et al . Observer variation and reproducibility of endoscopic ultrasonography.  Gastrointest Endosc. 1995;  41 115-120
• 14 Heidemann J, Schilling M K, Schmassmann A. et al . Accuracy of endoscopic ultrasonography in preoperative staging of esophageal carcinoma.  Dig Surg. 2000;  17 219-224
• 15 Massari M, Cioffi U, De Simone M. et al . Endoscopic ultrasonography for preoperative staging of esophageal carcinoma.  Surg Laparosc Endosc. 1997;  7 162-165
• 16 Richards D G, Brown T H, Manson J M. Endoscopic ultrasound in the staging of tumours of the oesophagus and gastro-oesophageal junction.  Ann R Coll Surg Engl. 2000;  82 311-317
• 17 Willis S, Truong S, Gribnitz S. et al . Endoscopic ultrasonography in the preoperative staging of gastric cancer: accuracy and impact on surgical therapy.  Surg Endsosc. 2000;  14 951-954
• 18 Massari M, Cioffi U, De Simone M. et al . Endoscopic ultrasonography for preoperative staging of gastric carcinoma.  Hepatogastroenterology. 1996;  43 542-546
• 19 Pham T, Roach E, Falk G L. et al . Staging of oesophageal carcinoma by endosonographic ultrasound: preliminary experience.  Aust N Z J Surg. 1998;  68 209-212
• 20 Sheridan M B, Ward J, Guthrie J A. et al . Dynamic contrast-enhanced MR imaging and dual-phase helical CT in the preoperative assessment of suspected pancreatic cancer: a comparative study with receiver operating characteristic analysis.  AJR Am J Roentgenol. 1999;  173 585-590
• 21 Sendler A, Avril N, Helmberger H. et al . Preoperative evaluation of pancreatic masses with positron emission tomography using 18F-fluorodeoxyglucose: diagnostic limitations.  World J Surg. 2000;  24 1121-1129
• 22 Wo J M, Ray M B, Mayfield-Stokes S. et al . Comparison of methylene blue-directed biopsies and conventional biopsies in the detection of intestinal metaplasia and dysplasia in Barrett’s esophagus.  Gastrointest Endosc. 2001;  54 294-301