Inwieweit verbessert der Einsatz eines CAD-Systems das Prüfungsergebnis bei der Beurteilung einer kassenärztlichen Mammographiefallsammlung?

Zusammenfassung

Ziel: Die diagnostische Wertigkeit eines derzeit kommerziell erhältlichen computerassistierten Detektionssystems (CAD-System) wurde analysiert an Prüfungsfallbildern der Kassenärztlichen Vereinigung Thüringen unter der Fragestellung, ob das CAD-System bezüglich Sensitivität und Spezifität den Prüfungsanforderungen der KV genügt oder/und die zusätzliche Anwendung eines CAD-Systems dem Radiologen ausreichend Hilfestellung bietet, diese Prüfungsbedingungen zu erfüllen. Material und Methoden: 200 Bilder (100 Mammographien in 2 Ebenen, 50 Patienten) der offiziellen Prüfungssammlung der KV Thüringen wurden unter Verwendung der aktuellen Software 7.0 des Systems Second look (iCAD, USA) analysiert. Drei Radiologen evaluierten die 200 Bilder entsprechend den Prüfungsbedingungen doppelt geblindet, in zeitlichem Abstand mit und ohne CAD-Ergebnis. Ein Radiologe war erfahren in senologischer Auswertung und CAD-Anwendung, einer in senologischer Auswertung bei fehlender Vorerfahrung der Nutzung von CAD und ein Weiterer war Assistenzarzt in einer senologischen Abteilung. Von allen Radiologen wurde der längste Durchmesser jeder potenziell malignen Verdichtung gemessen. Die jeweiligen Mittelwerte wurden mit den Größenangaben auf dem CAD-Ausdruck korreliert. Ergebnisse: 25/26 maligne Läsionen wurden markiert (96 %), während die korrekte Nichtmarkierung unauffälliger Mammographien nur in 20,3 % der Fälle vorlag. Somit wurden die Vorgaben der KV bezüglich der Spezifität deutlich verfehlt. Die zusätzliche Anwendung der CAD-Ergebnisse führte in keinem Fall zu einer qualitativen Verbesserung des Prüfungsergebnisses der Radiologen. Die mittlere Sensitivität und Spezifität stieg leicht (nicht signifikant) an durch die CAD-Anwendung um 1 bzw. 0,6 %. Die CAD-Effekte waren am höchsten bei dem Radiologen mit Vorerfahrung der CAD-Nutzung, während keine Effekte beim CAD-unerfahrenen Radiologen erfasst wurden. Schlussfolgerung: Das CAD-System als diagnostisches System erreicht derzeit nicht die in Deutschland geforderte Mindestspezifität. Ein statistisch signifikanter Effekt der Anwendung des CAD-Systems für den befundenen Radiologen konnte nicht nachgewiesen werden.

Abstract

Purpose: To analyze whether currently available CAD systems meet the diagnostic requirements for passing screening tests (first reader CAD) and to analyze whether the additional usage of CAD systems provides significant support for the diagnosing radiologist on the basis of official screening test cases (second reading by CAD). Material and Methods: 200 images of 100 mammographies of 50 patients of an official screening test case collection were analyzed double-blind with and without CAD printouts (iCAD, U.S.A.) by three radiologists: one experienced in breast analysis and CAD application, one experienced in mammography analysis but inexperienced in CAD usage, one with minimal experience with breast analysis and CAD application. All radiologists measured the largest diameter of any malignant mass. The mean value of these calculations was correlated to the largest diameter given by CAD prompts. Results: The mean sensitivity and specificity increased slightly as a result of the additional usage of CAD (1 and 0.6 %, resp.). Both values are not statistically significant. The highest effect was measured for the radiologist with CAD experience, while no effect was measured for the inexperienced radiologist. CAD met the sensitivity requirements but not the specificity criteria (96 and 20.3 %, resp.). The sizes given by CAD prompts corresponded significantly with the real sizes (r = 0.45, p < 0.05). Conclusion: A statistically significant effect of the use of CAD could not been detected dependent on the radiological experience or the CAD experience. The effect of CAD on radiologists is still subtle despite the highly sensitive CAD performance due to the high number of false positive prompts and thus does not reach statistical significance. Sizes given by CAD prompts correlate significantly with the real sizes of malignant lesions.

Key words

screening - breast - mammography

Literatur

• 1 Freer T W, Ulissey M J. Screening mammography with computer - aided detection. Prospective study of 12,860 patients in a community breast center.  Radiology. 2001;  220 781-786
• 2 Funovics M, Schamp S, Helbich T H. et al . Evaluation of a computer - assisted diagnosis system in breast carcinoma.  Fortschr Röntgenstr. 2001;  173 218-223
• 3 Balleyguir C, Malan S, Taourel P. et al . Computer assisted diagnosis in mammography: Does it help the junior and/or the senior radiologist.  Eur Radiol. 2001;  186 S1-11
• 4 Marx C, Malich A, Facius M. et al . Comparison of mammographically based diagnosis with and without using of CAD using a Double-blinded protocol.  Eur J Radiol. 2004;  51 66-72
• 5 Funovics M, Schamp S, Lackner B. et al . Computerassistierte Diagnose in der Mammographie: Das R2 ImageChecker-System in der Detektion spikulierter Läsionen.  Wien Med Wschr. 1998;  148 321-324
• 6 Jiang Y, Nishikawa R M, Schmidt R A. et al . Comparison of Independent Double Reading and Computer-aided Diagnosis (CAD) for the Diagnosis of Breast Lesions.  Radiology. 1999;  213 323
• 7 Thurfjell E, Thurfjell M G, Egge E. et al . Sensitivity and specificity of computer-assisted breast cancer detection in mammography screening.  Acta Radiol. 1998;  39 384-388
• 8 Chang Y H, Zheng B, Gur D. Computer-aided detection of clustered microcalcifications on digitized mammograms: a robustness experiment.  Acad Radiol. 1997;  4 415-418
• 9 Nishikawa R M, Giger M L, Doi K. et al . Effect of case selection on the performance of computer-aided detection schemes.  Med Phys. 1994;  21 265-269
• 10 Veldkamp W J, Karssmeijer N. Accurate segmentation and contrast measurement of microcalcifications in mammograms: a phantom study.  Med Phys. 1998;  25 1102-1110
• 11 Sittek H, Perlet C, Helmberger R. et al . Computer assistierte Analyse von Mammographien in der klinischen Routinediagnostik.  Radiologe. 1998;  38 848-852
• 12 Warren B urhenne LJ, Wood S A, D’Orsi C J. et al . Potential contribution of computer-aided detection to the sensitivity of screening mammography.  Radiology. 2000;  215 554-562
• 13 Malich A, Fischer D R, Bottcher J. CAD for mammography: the technique, results, current role and further developments.  Eur Radiol. 2006;  16 1449-1460
• 14 Brem R F, Rapelyea J A, Zisman G. et al . Evaluation of breast cancer with a computer-aided detection system by mammographic appearance and histopathology.  Cancer. 2005;  104 931-935
• 15 Malich A, Vogel D, Facius M. et al . Evaluation der primären Diagnose mit einem CAD-System in der Mammographie.  Fortschr Röntgenstr. 2003;  175 1225-1231
• 16 Marx C, Malich A, Facius M. et al . Are there unnecessary follow-up procedures induced by using computer-aided diagnosis (CAD) in mammography? Comparison of mammographic diagnosis with and without using of CAD.  Eur Radiol. 2002;  111 S1-12
• 17 Ehrenstein T, Kenzel P P, Hadijuana J. et al . Computer assisted diagnosis in mammography: Evaluation of an expert system.  Eur Radiol. 2000;  117 S1-10
• 18 Chang Y H, Zheng B, Gur D. Robustness of computerized identification of MA in digitized mammograms. A preliminary assessment.  Invest Radiol. 1996;  31 563-568
• 19 Malich A, Marx C, Facius M. et al . Tumor detection rate of a new commercially available Computer-aided-Detection system.  Eur Radiol. 2001;  12 2454-2459
• 20 Baum F, Fischer U, Obenauer F. et al . Computer-aided detection in direct digital full-field mammography: initial results.  Eur Radiol. 2002;  12 3015-3017
• 21 Obernauer S, Sohns C, Werner C. et al . Retrospektive Analyse eines computerassistierten Detektions-Systems (CAD) in der digitalen Vollfeldmammographie in Abhängigkeit von der Histologie.  Fortschr Röntgenstr. 2005;  177 1103-1109
• 22 Graf O, Obermayer M, Scheurecker A. et al . Diagnoseform und Tumorstadien von Mammakarzinomen unter Bedingungen des opportunistischen Screenings.  Fortschr Röntgenstr. 2006;  178 221-226
• 23 Birdwell R L, Bandodkar P, Ikeda D M. Computer-aided detection with screening mammography in a university hospital.  Radiology. 2005;  236 451-457
• 24 Gurung J, Maataoui A, Khan M. et al . Automatisierte Detektion von Lungenrundherden mittels Mehrzeilen-detektor-Spiral-CT: Einfluss unterschiedlicher Rekonstruktionsprotokolle auf die Leistung eines Softwaretyps.  Fortschr Röntgenstr. 2006;  178 71-77
• 25 Marten K, Rummeny E J, Engelke C. Computerassistierter Nachweis und automatisierte Volumetrie pulmonaler Rundeherde in der Multi-Slice-CT: Aktueller Stand und Perspektiven.  Fortschr Röntgenstr. 2005;  177 188-196
• 26 Malich A, Hentrich D, Ulrich A. et al . CAD application on prostate imaging: is there a diagnostic value extending the T2 imaging?.  RSNA. 2006, Radiology in press; 
• 27 Bottcher J, Pfeil A, Teufl F. et al . Einfluß der Körperkonstitution auf den BMD gemessen durch die digitale Radiogrammetrie.  Fortschr Röntgenstr. 2005;  177 197-203