Subscribe to RSS
DOI: 10.1055/a-2224-9230
Tracing the Footprints of AI in Radiology Literature: A Detailed Analysis of Journal Abstracts
Die Spuren der KI in der radiologischen Literatur verfolgen: eine detaillierte Analyse von Journal-Abstracts![](https://www.thieme-connect.de/media/roefo/202408/lookinside/thumbnails/roefo-22249230_10-1055-a-2224-9230-1.jpg)
Abstract
Purpose
To assess and compare the probabilities of AI-generated content within scientific abstracts from selected Q1 journals in the fields of radiology, nuclear medicine, and imaging, published between May and August 2022 and May and August 2023.
Materials and Methods
An extensive list of Q1 journals was acquired from Scopus in the fields of radiology, nuclear medicine, and imaging. All articles in these journals were acquired from the Medline databases, focusing on articles published between May and August in 2022 and 2023. The study specifically compared abstracts for limitations of the AI detection tool in terms of word constraints. Extracted abstracts from the two different periods were categorized into two groups, and each abstract was analyzed using the AI detection tool, a system capable of distinguishing between human and AI-generated content with a validated accuracy of 97.06 %. This tool assessed the probability of each abstract being AI-generated, enabling an in-depth comparison between the two groups in terms of the prevalence of AI-generated content probability.
Results
Group 1 and Group 2 exhibit significant variations in the characteristics of AI-generated content probability. Group 1, consisting of 4,727 abstracts, has a median AI-generated content probability of 3.8 % (IQR1.9–9.9 %) and peaks at 49.9 %, with the computation times contained within a range of 2 to 10 seconds (IQR 3–8 s). In contrast, Group 2, which is composed of 3,917 abstracts, displays a significantly higher median AI-generated content probability at 5.7 % (IQR2.8–12.9 %) surging to a maximum of 69.9 %, with computation times spanning from 2 to 14 seconds (IQR 4–11 s). This comparison yields a statistically significant difference in median AI-generated content probability between the two groups (p = 0.005). No significant correlation was observed between word count and AI probability, as well as between article type, primarily original articles and reviews, and AI probability, indicating that AI probability is independent of these factors.
Conclusion
The comprehensive analysis reveals significant differences and variations in AI-generated content probabilities between 2022 and 2023, indicating a growing presence of AI-generated content. However, it also illustrates that abstract length or article type does not impact the likelihood of content being AI-generated.
Key Points
-
The study examines AI-generated content probability in scientific abstracts from Q1 journals between 2022 to 2023.
-
The AI detector tool indicates an increased median AI content probability from 3.8 % to 5.7 %.
-
No correlation was found between abstract length or article type and AI probability.
Citation Format
-
Mese I. Tracing the Footprints of AI in Radiology Literature: A Detailed Analysis of Journal Abstracts. Fortschr Röntgenstr 2024; 196: 843 – 849
Zusammenfassung
Zweck
Ziel ist es, die Wahrscheinlichkeiten von KI-generierten Inhalten in wissenschaftlichen Abstracts aus ausgewählten Q1-Zeitschriften in den Bereichen Radiologie, Nuklearmedizin und Bildgebung zu bewerten und zu vergleichen, die zwischen Mai und August 2022 sowie Mai und August 2023 veröffentlicht wurden.
Materialien und Methoden
Eine umfangreiche Liste von Q1-Zeitschriften wurde von Scopus in den Bereichen Radiologie, Nuklearmedizin und Bildgebung erworben. Alle Artikel aus diesen Zeitschriften wurden aus den Medline-Datenbanken bezogen, wobei der Fokus auf Artikeln lag, die zwischen Mai und August 2022 und 2023 veröffentlicht wurden. Die Studie verglich speziell Abstracts hinsichtlich der Grenzen des verwendeten KI-Erkennungstools in Bezug auf Wortbeschränkungen. Die aus den beiden Zeiträumen extrahierten Abstracts wurden in zwei Gruppen eingeteilt, und jedes Abstract wurde mit dem KI-Erkennungstool analysiert, einem System, das zwischen von Menschen und KI generierten Inhalten mit einer validierten Genauigkeit von 97,06 % unterscheiden kann. Dieses Tool bewertete die Wahrscheinlichkeit, dass jedes Abstract KI-generiert war, und ermöglichte so einen detaillierten Vergleich zwischen den beiden Gruppen in Bezug auf die Verbreitung der Wahrscheinlichkeit von KI-generierten Inhalten.
Ergebnisse
Gruppe 1 und Gruppe 2 zeigen signifikante Unterschiede in den Merkmalen der Wahrscheinlichkeit von KI-generierten Inhalten. Gruppe 1, bestehend aus 4.727 Abstracts, hat eine mediane KI-generierte Inhalts-Wahrscheinlichkeit von 3,8 % (IQR 1,9 %–9,9 %) und erreicht Spitzenwerte von 49,9 %, mit Berechnungszeiten von 2 bis 10 Sekunden (IQR 3s–8 s). Im Gegensatz dazu zeigt Gruppe 2, die aus 3.917 Abstracts besteht, eine deutlich höhere mediane KI-generierte Inhalts-Wahrscheinlichkeit von 5,7 % (IQR 2,8 %–12,9 %) und erreicht ein Maximum von 69,9 %, mit Berechnungszeiten von 2 bis 14 Sekunden (IQR 4s–11 s). Dieser Vergleich ergibt einen statistisch signifikanten Unterschied in der medianen Wahrscheinlichkeit von KI-generierten Inhalten zwischen den beiden Gruppen (p = 0,005). Es wurde keine signifikante Korrelation zwischen der Wortanzahl und der KI-Wahrscheinlichkeit beobachtet, ebenso wie zwischen dem Artikeltyp, hauptsächlich Originalartikel und Übersichten, und der KI-Wahrscheinlichkeit, was darauf hinweist, dass die KI-Wahrscheinlichkeit unabhängig von diesen Faktoren ist.
Schlussfolgerung
Die umfassende Analyse zeigt signifikante Unterschiede und Variationen in den Wahrscheinlichkeiten von KI-generierten Inhalten zwischen 2022 und 2023, was auf eine zunehmende Präsenz von KI-generierten Inhalten hinweist. Es zeigt jedoch auch, dass weder die Länge des Abstracts noch der Artikeltyp die Wahrscheinlichkeit beeinflussen, dass der Inhalt KI-generiert ist.
Kernaussagen
-
Die Studie untersucht die Wahrscheinlichkeit von KI-generierten Inhalten in wissenschaftlichen Abstracts aus Q1-Zeitschriften zwischen 2022 und 2023.
-
Das KI-Erkennungstool zeigt eine erhöhte mediane Wahrscheinlichkeit für KI-Inhalte von 3,8 % auf 5,7 %.
-
Es wurde keine Korrelation zwischen Abstract-Länge oder Artikeltypen und KI-Wahrscheinlichkeit gefunden.
Publication History
Received: 04 October 2023
Accepted: 24 November 2023
Article published online:
16 January 2024
© 2024. Thieme. All rights reserved.
Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany
-
References
- 1 Deng J, Lin Y. The benefits and challenges of ChatGPT: an overview. Front Comput Intelligent Syst 2022; 2 (02) 81-83
- 2 Lecun Y, Bengio Y, Hinton G. Deep learning. Nature 2015; 521: 436-444
- 3 Kamdar J, Jeba Praba J, Georrge JJ. Artificial intelligence in medical diagnosis: methods, algorithms and applications. In: Machine Learning with Health Care Perspective. Springer; 2020: 27-37
- 4 Rose K, Eldridge S, Chapin L. The internet of things: an overview. Internet Soc 2015; 80: 1-50
- 5 Yu K, Guo Z, Shen Y. et al. Secure artificial intelligence of things for implicit group recommendations. IEEE Internet Things J 2021; 9 (04) 2698-2707
- 6 King MR. The future of ai in medicine: a perspective from a chatbot. Ann Biomed Eng 2022; 51 (02) 291-295
- 7 Scopus. Content Sources. [accessed on September 2, 2023]. Available at: https://www.scopus.com/sources.uri
- 8 MEDLINE. Database Homepage. [accessed on September 2, 2023]. Available at: https://pubmed.ncbi.nlm.nih.gov/
- 9 CopyLeaks. CopyLeaks AI Content Detector beta. [accessed on Aug 23, 2023]. Available at: 2023 https://copyleaks.com/ai-content-detector
- 10 Orenstrakh MS, Karnalim O, Suárez CA. et al. Detecting LLM-Generated Text in Computing Education: A Comparative Study for ChatGPT Cases. 2023 DOI: 10.1145/nnnnnnn.nnnnnnn
- 11 Varghese J, Chapiro J. ChatGPT: The transformative influence of generative AI on science and healthcare. J Hepatol 2023; DOI: 10.1016/j.jhep.2023.07.028.
- 12 Andrade C. How to write a good abstract for a scientific paper or conference presentation. Indian J Psychiatry 2011; 53 (02) 172-175
- 13 Huang J, Tan M. The role of ChatGPT in scientific communication: writing better scientific review articles. Am J Cancer Res 2023; 13: 1148-1154
- 14 Babl FE, Babl MP. Generative artificial intelligence: Can ChatGPT write a quality abstract?. Emerg Med Australas 2023; DOI: 10.1111/1742-6723.14233.
- 15 Alkaissi H, McFarlane SI. Artificial Hallucinations in ChatGPT: Implications in Scientific Writing. Cureus 2023; 15: e35179
- 16 Ariyaratne S, Iyengar KP, Nischal N. et al. A comparison of ChatGPT-generated articles with human-written articles. Skeletal Radiol 2023; 52: 1755-1758
- 17 Wu RT, Dang RR. ChatGPT in head and neck scientific writing: A precautionary anecdote. Am J Otolaryngol 2023; 44: 103980
- 18 Ji Z, Lee N, Frieske R. et al. Survey of hallucination in natural language generation. ACM Comput Surv 2022; 1: 1
- 19 Else H. Abstracts written by ChatGPT fool scientists. Nature 2023; 613: 423
- 20 Zielinski C, Winker MA, Aggarwal R. et al. Chatbots, Generative AI, and scholarly manuscripts: WAME recommendations on Chatbots and Generative artificial intelligence in relation to scholarly publications. [accessed on August 23, 2023]. https://wame.org/page3.php?id=106
- 21 Ali MJ, Djalilian A. Readership awareness series – Paper 4: Chatbots and ChatGPT – Ethical considerations in scientific publications. Ocul Surf 2023; 28: 153-154
- 22 Nazir A, Wang Z. A comprehensive survey of ChatGPT: Advancements, applications, prospects, and challenges. Meta Radiol 2023; 1: 100022