Impact of Working Experience on Image Perception and Image Evaluation Approaches in Stroke Imaging: Results of an Eye-Tracking Study

Abstract

Purpose Higher rates of missed pathologies, caused by a lack of professional experience or systematic search, suggest that a methodical approach to radiological analysis can be learned. Thus, the aim of this study is to investigate the efficiency of different principles of screening stroke CTs for cerebrovascular diseases between radiologists and neuroradiologists with different levels of experience in relation to professional experience.

Methods A set of anonymous CT images of 20 patients, with a suspected stroke, was individually presented to 12 radiologists with different levels of professional experience. Meanwhile, their fixation position was recorded by an eye-tracking system. For statistical analysis, the interobserver variability and accuracy of lesion detection were evaluated, taking the individual level of professional experience into account.

Results The sensitivity of the observer depends on the professional experience, also determined by a systematic observation sequence and knowledge of the course of the disease. The duration of eye fixation with inexperienced assessors was significantly longer for conspicuous findings, while experienced assessors were more likely to fix clinically relevant regions. The retention time of ocular fixation in important pathological findings did not differ significantly between those groups.

Conclusion Our results indicate that experienced radiologists are reducing the number of missed findings through a systematic approach and targeted inspection of important regions. Through raising the awareness of analyzing CT images in systematic patterns, physicians at all levels of experience seem to be able to improve their performance.

Key points: 

• Experienced radiologists improve detection rates through targeted inspection of clinically important regions.

• Experienced radiologists reduce time spent on analysis through focused visual attention.

• All levels of experience improve their performance by analyzing CT images systematically.

Citation Format

• Kammerer S, Schülke C, Leclaire MD et al. Impact of Working Experience on Image Perception and Image Evaluation Approaches in Stroke Imaging: Results of an Eye-Tracking Study. Fortschr Röntgenstr 2019; 191: 836 – 844

Zusammenfassung

Hintergrund Höhere Raten von verpassten Pathologien, verursacht durch mangelnde Berufserfahrung oder systematische Suche, legen nahe, dass ein methodischer Ansatz zur radiologischen Analyse erlernt werden kann. Ziel dieser Studie ist es daher, die Effizienz verschiedener Prinzipien des Screenings von Schlaganfall-CTs auf zerebrovaskuläre Erkrankungen zwischen Radiologen und Neuroradiologen mit unterschiedlichen Erfahrungsniveaus in Bezug auf die Berufserfahrung zu untersuchen.

Methoden Anonymisierte CT-Bilder von 20 Patienten mit Verdacht auf einen Schlaganfall wurden 12 Radiologen mit unterschiedlicher Berufserfahrung individuell präsentiert. Währenddessen wurde ihre Fixationsposition durch ein Eye-Tracking-System erfasst. Für die statistische Analyse wurden die Interobserver-Variabilität und die Genauigkeit der Läsionserkennung unter Berücksichtigung der individuellen Berufserfahrung bewertet.

Ergebnisse Die Sensibilität des Betrachters hängt von seiner beruflichen Erfahrung ab, die auch durch eine systematische Beobachtungsreihenfolge und die Kenntnis des Krankheitsverlaufs bestimmt wird. Die Dauer der Augenfixation von unerfahrenen Bildbefundern war bei auffälligen Befunden deutlich länger, während erfahrene Radiologen eher klinisch relevante Regionen fixierten. Die Verweildauer der okulären Fixation bei wichtigen pathologischen Befunden unterschied sich nicht signifikant zwischen diesen Erfahrungsgruppen.

Schlussfolgerung Unsere Ergebnisse zeigen, dass erfahrene Radiologen die Zahl der verpassten Befunde durch einen systematischen Ansatz und eine gezielte Untersuchung wichtiger Regionen reduzieren. Durch die Sensibilisierung für die Analyse von CT-Bildern in systematischen Mustern scheinen Ärzte aller Erfahrungsstufen in der Lage zu sein, ihre Leistung zu verbessern.

Kernaussagen: 

• Erfahrene Radiologen verbessern die Erkennungsraten durch gezielte Inspektion klinisch wichtiger Regionen.

• Erfahrene Radiologen reduzieren den Zeitaufwand für die Analyse durch gezielte visuelle Aufmerksamkeit.

• Alle Erfahrungsstufen verbessern ihre Leistung durch die systematische Analyse von CT-Bildern.

Key words

visual perception - radiologists - health care quality - computerized tomography - stroke - acute

• References

• 1 Duchowski A. A breadth-first survey of eye-tracking applications. Behavior Research Methods, Instruments, & Computers 2002; 34: 455-470 . doi:10.3758/BF03195475
• 2 Schmeißer DR, Behrendt C, Singer B. Werbewirkung messen und optimieren. Planung und Analyse 2005; 6: 2-8
• 3 Brusch M, Sand N, Stüber E. Wirkungsmessung der Online-Werbung von Nonprofit Organisationen-Eine Analyse der visuell aufgenommenen Werbeinformation und deren Glaubwürdigkeit. Proceedings of the 9th International Conference Marketing Trends. Venice: 2010
• 4 Geise S, Brettschneider F. Die Wahrnehmung und Bewertung von Wahlplakaten: Ergebnisse einer Eyetracking-Studie. Information–Wahrnehmung–Emotion. Springer; 2010: 71-95
• 5 Duchowski A. Eye tracking methodology: Theory and practice. Springer Science & Business Media; 2007
• 6 Venjakob AC, Mello-Thoms CR. Review of prospects and challenges of eye tracking in volumetric imaging. Journal of medical imaging (Bellingham, Wash) 2016; 3: 011002 . doi:10.1117/1.jmi.3.1.011002
• 7 Hundt W, Rust F, Stabler A. et al. Dose reduction in multislice computed tomography. Journal of computer assisted tomography 2005; 29: 140-147
• 8 Hesselmann V, Niederstadt T, Dziewas R. et al. Reperfusion by combined thrombolysis and mechanical thrombectomy in acute stroke: effect of collateralization, mismatch, and time to and grade of recanalization on clinical and tissue outcome. AJNR American journal of neuroradiology 2012; 33: 336-342 . doi:10.3174/ajnr.A2746
• 9 de Lucas EM, Sanchez E, Gutierrez A. et al. CT protocol for acute stroke: tips and tricks for general radiologists. Radiographics: a review publication of the Radiological Society of North America, Inc 2008; 28: 1673-1687 . doi:10.1148/rg.286085502
• 10 Knauth M, von Kummer R, Jansen O. et al. Potential of CT angiography in acute ischemic stroke. AJNR American journal of neuroradiology 1997; 18: 1001-1010
• 11 Saba L, Anzidei M, Piga M. et al. Multi-modal CT scanning in the evaluation of cerebrovascular disease patients. Cardiovascular diagnosis and therapy 2014; 4: 245-262 . doi:10.3978/j.issn.2223-3652.2014.06.05
• 12 Barrett JR, Johns NG, Dwyer 3rd SJ. et al. Unobtrusive evaluation of mammographer’s eye movements during diagnosis of mammograms. Radiographics: a review publication of the Radiological Society of North America, Inc 1996; 16: 167-172 . doi:10.1148/radiographics.16.1.167
• 13 Kundel HL, Nodine CF, Krupinski EA. et al. Using gaze-tracking data and mixture distribution analysis to support a holistic model for the detection of cancers on mammograms. Academic radiology 2008; 15: 881-886 . doi:10.1016/j.acra.2008.01.023
• 14 Kundel HL, Nodine CF, Toto L. Searching for lung nodules. The guidance of visual scanning. Investigative radiology 1991; 26: 777-781
• 15 Hu CH, Kundel HL, Nodine CF. et al. Searching for bone fractures: a comparison with pulmonary nodule search. Academic radiology 1994; 1: 25-32
• 16 Helbren E, Halligan S, Phillips P. et al. Towards a framework for analysis of eye-tracking studies in the three dimensional environment: a study of visual search by experienced readers of endoluminal CT colonography. The British journal of radiology 2014;
• 17 Mallett S, Phillips P, Fanshawe TR. et al. Tracking Eye Gaze during Interpretation of Endoluminal Three-dimensional CT Colonography: Visual Perception of Experienced and Inexperienced Readers. Radiology 2014; 273: 783-792 . doi:10.1148/radiol.14132896
• 18 Phillips P, Boone D, Mallett S. et al. Method for tracking eye gaze during interpretation of endoluminal 3D CT colonography: technical description and proposed metrics for analysis. Radiology 2013; 267: 924-931 . doi:10.1148/radiol.12120062
• 19 Matsumoto H, Terao Y, Yugeta A. et al. Where do neurologists look when viewing brain CT images? An eye-tracking study involving stroke cases. PloS one 2011; 6: e28928 . doi:10.1371/journal.pone.0028928
• 20 Samuel S, Kundel HL, Nodine CF. et al. Mechanism of satisfaction of search: eye position recordings in the reading of chest radiographs. Radiology 1995; 194: 895-902 . doi:10.1148/radiology.194.3.7862998
• 21 Berbaum KS, Franken Jr EA, Dorfman DD. et al. Satisfaction of search in diagnostic radiology. Investigative radiology 1990; 25: 133-140
• 22 Kundel HL, Nodine CF, Conant EF. et al. Holistic component of image perception in mammogram interpretation: gaze-tracking study. Radiology 2007; 242: 396-402 . doi:10.1148/radiol.2422051997
• 23 Drew T, Evans K, Võ MLH. et al. Informatics in Radiology: What Can You See in a Single Glance and How Might This Guide Visual Search in Medical Images?. Radiographics: a review publication of the Radiological Society of North America, Inc 2013; 33: 263-274 . doi:10.1148/rg.331125023
• 24 Waite S, Kolla S, Jeudy J. et al. Tired in the Reading Room: The Influence of Fatigue in Radiology. Journal of the American College of Radiology: JACR 2016; doi:10.1016/j.jacr.2016.10.009
• 25 Drew T, Evans K, Vo ML. et al. Informatics in radiology: what can you see in a single glance and how might this guide visual search in medical images?. Radiographics: a review publication of the Radiological Society of North America, Inc 2013; 33: 263-274 . doi:10.1148/rg.331125023
• 26 Swensson RG. A two-stage detection model applied to skilled visual search by radiologists. Perception & Psychophysics 1980; 27: 11-16 . doi:10.3758/bf03199899