Download PDF
Rofo 2024; 196(08): 843-849
DOI: 10.1055/a-2224-9230
Academic Radiology

Tracing the Footprints of AI in Radiology Literature: A Detailed Analysis of Journal Abstracts

Die Spuren der KI in der radiologischen Literatur verfolgen: eine detaillierte Analyse von Journal-Abstracts
Ismail Mese 
1   Department of Radiology, Istanbul Erenkoy Mental and Nervous Diseases Training and Research Hospital, Istanbul, Turkey
› Author Affiliations
› Further Information
Also available at
   Permissions and Reprints

Abstract

Purpose

To assess and compare the probabilities of AI-generated content within scientific abstracts from selected Q1 journals in the fields of radiology, nuclear medicine, and imaging, published between May and August 2022 and May and August 2023.

Materials and Methods

An extensive list of Q1 journals was acquired from Scopus in the fields of radiology, nuclear medicine, and imaging. All articles in these journals were acquired from the Medline databases, focusing on articles published between May and August in 2022 and 2023. The study specifically compared abstracts for limitations of the AI detection tool in terms of word constraints. Extracted abstracts from the two different periods were categorized into two groups, and each abstract was analyzed using the AI detection tool, a system capable of distinguishing between human and AI-generated content with a validated accuracy of 97.06 %. This tool assessed the probability of each abstract being AI-generated, enabling an in-depth comparison between the two groups in terms of the prevalence of AI-generated content probability.

Results

Group 1 and Group 2 exhibit significant variations in the characteristics of AI-generated content probability. Group 1, consisting of 4,727 abstracts, has a median AI-generated content probability of 3.8 % (IQR1.9–9.9 %) and peaks at 49.9 %, with the computation times contained within a range of 2 to 10 seconds (IQR 3–8 s). In contrast, Group 2, which is composed of 3,917 abstracts, displays a significantly higher median AI-generated content probability at 5.7 % (IQR2.8–12.9 %) surging to a maximum of 69.9 %, with computation times spanning from 2 to 14 seconds (IQR 4–11 s). This comparison yields a statistically significant difference in median AI-generated content probability between the two groups (p = 0.005). No significant correlation was observed between word count and AI probability, as well as between article type, primarily original articles and reviews, and AI probability, indicating that AI probability is independent of these factors.

Conclusion

The comprehensive analysis reveals significant differences and variations in AI-generated content probabilities between 2022 and 2023, indicating a growing presence of AI-generated content. However, it also illustrates that abstract length or article type does not impact the likelihood of content being AI-generated.

Key Points

  • The study examines AI-generated content probability in scientific abstracts from Q1 journals between 2022 to 2023.

  • The AI detector tool indicates an increased median AI content probability from 3.8 % to 5.7 %.

  • No correlation was found between abstract length or article type and AI probability.

Citation Format

  • Mese I. Tracing the Footprints of AI in Radiology Literature: A Detailed Analysis of Journal Abstracts. Fortschr Röntgenstr 2024; 196: 843 – 849

Zusammenfassung

Zweck

Ziel ist es, die Wahrscheinlichkeiten von KI-generierten Inhalten in wissenschaftlichen Abstracts aus ausgewählten Q1-Zeitschriften in den Bereichen Radiologie, Nuklearmedizin und Bildgebung zu bewerten und zu vergleichen, die zwischen Mai und August 2022 sowie Mai und August 2023 veröffentlicht wurden.

Materialien und Methoden

Eine umfangreiche Liste von Q1-Zeitschriften wurde von Scopus in den Bereichen Radiologie, Nuklearmedizin und Bildgebung erworben. Alle Artikel aus diesen Zeitschriften wurden aus den Medline-Datenbanken bezogen, wobei der Fokus auf Artikeln lag, die zwischen Mai und August 2022 und 2023 veröffentlicht wurden. Die Studie verglich speziell Abstracts hinsichtlich der Grenzen des verwendeten KI-Erkennungstools in Bezug auf Wortbeschränkungen. Die aus den beiden Zeiträumen extrahierten Abstracts wurden in zwei Gruppen eingeteilt, und jedes Abstract wurde mit dem KI-Erkennungstool analysiert, einem System, das zwischen von Menschen und KI generierten Inhalten mit einer validierten Genauigkeit von 97,06 % unterscheiden kann. Dieses Tool bewertete die Wahrscheinlichkeit, dass jedes Abstract KI-generiert war, und ermöglichte so einen detaillierten Vergleich zwischen den beiden Gruppen in Bezug auf die Verbreitung der Wahrscheinlichkeit von KI-generierten Inhalten.

Ergebnisse

Gruppe 1 und Gruppe 2 zeigen signifikante Unterschiede in den Merkmalen der Wahrscheinlichkeit von KI-generierten Inhalten. Gruppe 1, bestehend aus 4.727 Abstracts, hat eine mediane KI-generierte Inhalts-Wahrscheinlichkeit von 3,8 % (IQR 1,9 %–9,9 %) und erreicht Spitzenwerte von 49,9 %, mit Berechnungszeiten von 2 bis 10 Sekunden (IQR 3s–8 s). Im Gegensatz dazu zeigt Gruppe 2, die aus 3.917 Abstracts besteht, eine deutlich höhere mediane KI-generierte Inhalts-Wahrscheinlichkeit von 5,7 % (IQR 2,8 %–12,9 %) und erreicht ein Maximum von 69,9 %, mit Berechnungszeiten von 2 bis 14 Sekunden (IQR 4s–11 s). Dieser Vergleich ergibt einen statistisch signifikanten Unterschied in der medianen Wahrscheinlichkeit von KI-generierten Inhalten zwischen den beiden Gruppen (p = 0,005). Es wurde keine signifikante Korrelation zwischen der Wortanzahl und der KI-Wahrscheinlichkeit beobachtet, ebenso wie zwischen dem Artikeltyp, hauptsächlich Originalartikel und Übersichten, und der KI-Wahrscheinlichkeit, was darauf hinweist, dass die KI-Wahrscheinlichkeit unabhängig von diesen Faktoren ist.

Schlussfolgerung

Die umfassende Analyse zeigt signifikante Unterschiede und Variationen in den Wahrscheinlichkeiten von KI-generierten Inhalten zwischen 2022 und 2023, was auf eine zunehmende Präsenz von KI-generierten Inhalten hinweist. Es zeigt jedoch auch, dass weder die Länge des Abstracts noch der Artikeltyp die Wahrscheinlichkeit beeinflussen, dass der Inhalt KI-generiert ist.

Kernaussagen

  • Die Studie untersucht die Wahrscheinlichkeit von KI-generierten Inhalten in wissenschaftlichen Abstracts aus Q1-Zeitschriften zwischen 2022 und 2023.

  • Das KI-Erkennungstool zeigt eine erhöhte mediane Wahrscheinlichkeit für KI-Inhalte von 3,8 % auf 5,7 %.

  • Es wurde keine Korrelation zwischen Abstract-Länge oder Artikeltypen und KI-Wahrscheinlichkeit gefunden.

Keywords

abstract - artificial intelligence - quantitative analysis - radiology - research


Publication History

Received: 04 October 2023

Accepted: 24 November 2023

Article published online:
16 January 2024

© 2024. Thieme. All rights reserved.

Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany