Grenzen künstlicher Intelligenz in der Notfallbefundung – eine Leistungsanalyse eines kommerziellen, computerbasierten Algorithmus zur Detektion von Lungenarterienembolien

Zusammenfassung

Ziel Da zunehmend Anwendungen künstlicher Intelligenz im klinischen Alltag implementiert werden, war das Ziel unserer Studie, die Leistung eines kommerziellen, computerassistierten Detektionsalgorithmus für Lungenarterienembolien in Computertomografie-Pulmonalisangiografien im Rahmen einer Notfallbefundung zu analysieren.

Material und Methoden In diese retrospektive Studie wurden alle Computertomografie-Pulmonalisangiografien eingeschlossen, die über einen Zeitraum von 36 Monaten in einer großen deutschen Notaufnahme gefahren wurden. Alle eingeschlossenen Untersuchungen wurden von 2 in Notfallradiologie erfahrenen Radiologen bewertet, um einen Referenzstandard festzulegen. Die Originalbefunde wurden mit den Ergebnissen des computerassistierten Detektionsalgorithmus in Bezug auf die Erkennung lobärer, segmentaler und subsegmentaler Lungenarterienembolien verglichen. Für alle Ergebnisse des computerbasierten Detektionsalgorithmus wurde die zugrunde liegende Pathologie definiert. Falsch positive Ergebnisse des Detektionsalgorithmus wurden mit dem Kontrast-Rausch-Verhältnis verglichen.

Ergebnisse Im Rahmen der Referenzbefundung wurden 504 Emboli in 182 von insgesamt 1229 Patienten (49 % männlich, 10–97 Jahre) detektiert. Der computerassistierte Detektionsalgorithmus zeigte insgesamt 3331 Ergebnisse an, hiervon waren 258 (8 %) richtig positiv und 3073 (92 %) falsch positiv. Die Sensitivität des Detektionsalgorithmus betrug 47 % (95 %-Konfidenzintervall 33–61 %) für lobäre und 50 % (95 %-Konfidenzintervall 43–56 %) für subsegmentale Lungenarterienembolien. Im Durchschnitt wurden 2,25 Ergebnisse pro Untersuchung (Median 2, 0–25) angezeigt. Es gab keine signifikante Korrelation zwischen der Anzahl der falsch positiven Ergebnisse und dem Kontrast-Rausch-Verhältnis (Spearman’s Rangkorrelationskoeffizient = 0,09). Weichteilgewebe (61,0 %) und Pulmonalvenen (24,1 %) waren die häufigsten Ursachen für falsch positive Ergebnisse.

Schlussfolgerung Die Anwendung des getesteten computerassistierten Detektionsalgorithmus auf ein Patientenkollektiv einer großen Notaufnahme deckt die Schwachstellen des Algorithmus auf, die im Rahmen zukünftiger Projektentwicklungen optimiert werden sollten.

Kernaussagen: 

• Die computertomografische Pulmonalisangiografie ist eine häufige Anforderung in der Notfallversorgung.

• Computerassistierte Detektionsalgorithmen können bei der Bildanalyse helfen.

• Die Detektionsalgorithmen weisen noch Schwächen bei falsch positiven und falsch negativen Befunden auf.

• Radiolog*innen müssen sich der Limitationen der Detektionsalgorithmen bewusst sein.

Zitierweise

• Müller-Peltzer K, Kretzschmar L, Negrão de Figueiredo G et al. Present Limitations of Artificial Intelligence in the Emergency Setting – Performance Study of a Commercial, Computer-Aided Detection Algorithm for Pulmonary Embolism. Fortschr Röntgenstr 2021; 193: 1436 – 1444

Key words

pulmonary embolism - CAD - CT pulmonary angiogram - computer-aided detection

Publication History

Received: 31 December 2020

Accepted: 04 May 2021

Article published online:
05 August 2021

• References

• 1 Calder KK, Herbert M, Henderson SO. The mortality of untreated pulmonary embolism in emergency department patients. Ann Emerg Med 2005; 45: 302-310
• 2 Wendelboe AM, Raskob GE. Global Burden of Thrombosis: Epidemiologic Aspects. Circ Res 2016; 118: 1340-1347
• 3 Diehm C, Noppeney T, Nüllen H. Epidemiologie der venösen Thromboembolie. Gefässchirurgie 2012; 17: 275-279
• 4 Sharma S, Lucas CD. Increasing use of CTPA for the investigation of suspected pulmonary embolism. Postgrad Med 2017; 129: 193-197
• 5 Schissler A, Rozenshtein A, Kulon M. et al. CT Pulmonary Angiography: Increasingly Diagnosing Less Severe Pulmonary Emboli. PloS one 2013; 8: e65669
• 6 Kligerman SJ, Lahiji K, Galvin JR. et al. Missed pulmonary emboli on CT angiography: assessment with pulmonary embolism-computer-aided detection. Am J Roentgenol 2014; 202: 65-73
• 7 Hawley PC, Hawley MP. Difficulties in diagnosing pulmonary embolism in the obese patient: a literature review. Vasc Med 2011; 16: 444-451
• 8 Buhmann S, Herzog P, Liang J. et al. Clinical evaluation of a computer-aided diagnosis (CAD) prototype for the detection of pulmonary embolism. Acad Radiol 2007; 14: 651-658
• 9 Moore AJE, Wachsmann J, Chamarthy MR. et al. Imaging of acute pulmonary embolism: an update. Cardiovasc Diagn Ther 2018; 8: 225-243
• 10 Eyer BA, Goodman LR, Washington L. Clinicians' response to radiologists' reports of isolated subsegmental pulmonary embolism or inconclusive interpretation of pulmonary embolism using MDCT. Am J Roentgenol 2005; 184: 623-628
• 11 Wiener RS, Schwartz LM, Woloshin S. Time trends in pulmonary embolism in the United States: evidence of overdiagnosis. Arch Intern Med 2011; 171: 831-837
• 12 den Exter PL, van Es J, Klok FA. et al Risk profile and clinical outcome of symptomatic subsegmental acute pulmonary embolism. Blood 2013; 122: 1144-1149 ; quiz 1329.
• 13 Konstantinides SV, Meyer G, Becattini C. et al. 2019 ESC Guidelines for the diagnosis and management of acute pulmonary embolism developed in collaboration with the European Respiratory Society (ERS): The Task Force for the diagnosis and management of acute pulmonary embolism of the European Society of Cardiology (ESC). European Heart Journal 2019; 41: 543-603
• 14 Tajbakhsh N, Gotway MB, Liang J. Computer-Aided Pulmonary Embolism Detection Using a Novel Vessel-Aligned Multi-planar Image Representation and Convolutional Neural Networks. Cham: Springer International Publishing; 2015: 62-69
• 15 Lahiji K, Kligerman S, Jeudy J. et al. Improved accuracy of pulmonary embolism computer-aided detection using iterative reconstruction compared with filtered back projection. Am J Roentgenol 2014; 203: 763-771
• 16 Wittenberg R, Peters JF, Sonnemans JJ. et al. Computer-assisted detection of pulmonary embolism: evaluation of pulmonary CT angiograms performed in an on-call setting. Eur Radiol 2010; 20: 801-806
• 17 Wittenberg R, Peters JF, Weber M. et al. Stand-alone performance of a computer-assisted detection prototype for detection of acute pulmonary embolism: a multi-institutional comparison. Br J Radiol 2012; 85: 758-764
• 18 Özkan H, Osman O, Şahin S. et al. A novel method for pulmonary embolism detection in CTA images. Comput Methods Programs Biomed 2014; 113: 757-766
• 19 Krissak R, Henzler T, Reichert M. et al. Enhanced visualization of lung vessels for diagnosis of pulmonary embolism using dual energy CT angiography. Invest Radiol 2010; 45: 341-346
• 20 Wittenberg R, Peters JF, Sonnemans JJ. et al. Impact of Image Quality on the Performance of Computer-Aided Detection of Pulmonary Embolism. American Journal of Roentgenology 2011; 196: 95-101
• 21 Masoudi M, Pourreza HR, Saadatmand-Tarzjan M. et al. A new dataset of computed-tomography angiography images for computer-aided detection of pulmonary embolism. Sci Data 2018; 5: 180180
• 22 Ma G, Dou Y, Dang S. et al. Influence of Monoenergetic Images at Different Energy Levels in Dual-Energy Spectral CT on the Accuracy of Computer-Aided Detection for Pulmonary Embolism. Acad Radiol 2019; 26: 967-973
• 23 Kröger JR, Hickethier T, Pahn G. et al. Influence of spectral detector CT based monoenergetic images on the computer-aided detection of pulmonary artery embolism. Eur J Radiol 2017; 95: 242-248
• 24 Tajbakhsh N, Shin JY, Gotway MB. et al. Computer-aided detection and visualization of pulmonary embolism using a novel, compact, and discriminative image representation. Med Image Anal 2019; 58: 101541
• 25 Zhang C, Sun M, Wei Y. et al. Automatic segmentation of arterial tree from 3D computed tomographic pulmonary angiography (CTPA) scans. Comput Assist Surg (Abingdon) 2019; 24: 79-86