Können wir KI vertrauen? Vergleich von KI-Software-Tools zur automatischen Erkennung, Quantifizierung und Kategorisierung von Lungenknoten in der HANSE-LCS-Studie

Zielsetzung Das Patientenmanagement in der Lungenkrebsvorsorge hängt von der Lung Imaging Reporting and Data System (Lung-RADS) – Kategorie ab. Das System basiert auf einer zuverlässigen Erkennung der Lungenknoten und akkuraten Messung deren Volumina. Ziel dieser Studie war es, die Leistung zweier KI-basierten Software-Tools zur Detektion, Quantifizierung und Kategorisierung von Lungenknoten in einem norddeutschen Lungenkrebs-Screening(LCS)-Programm (HANSE-Studie) zu evaluieren und zu vergleichen.

Material und Methoden In unserer Studie wurden 946 Niedrigdosis-CT-Untersuchungen im Rahmen der HANSE-LCS-Studie durch zwei KI-Software-Tools hinsichtlich der Erkennung, Quantifizierung und Kategorisierung von Lungenknoten analysiert und mit den finalen radiologischen Befunden verglichen. Die Korrelation zwischen den gemessenen Volumina der pulmonalen Noduli wurde mittels Korrelationskoeffizient nach Pearson (r) berechnet und mit dem Wilcoxon-Signed-Rank-Test auf Signifikanz geprüft. Das Agreement der Lung-RADS-Kategorisierung wurde anhand von Cohen‘s Kappa (κ) und der prozentualen Übereinstimmung bewertet.

Ergebnisse 88% bzw. 66% aller (soliden, teil-soliden und non-soliden) Lungenknoten (Volumen≥34 mm3) wurden von Software-Tool 1 (S1) bzw. Software-Tool 2 (S2) detektiert. Obwohl die Volumina der richtig erkannten Knoten stark korrelieren (r>0,95), ist das von S2 gemessene Volumen signifikant höher als das von S1 (P<0,0001, mittlere Differenz: 6mm3). Eine mäßige prozentuale Übereinstimmung (>54%) wurde zwischen S1 und S2 bei der Lung-RADS-Einstufung festgestellt (κ=0,41).

Schlussfolgerungen Unterschiede in der Volumetrie zwischen den verschiedenen AI-Software-Tools führen zur Vergabe der unterschiedlichen Lung-RADS-Scores, was Widersprüchlichkeit im Probandenmanagement hervorrufen kann. Daher ist eine gute Performance und hohe Übereinstimmung der akkreditierten AI-Software-Tools in einem zukünftigen nationalen LCS-Programm erforderlich.

Publication History

Article published online:
13 April 2023