Improving the use of LLMs in radiology through prompt engineering: from precision prompts to zero-shot learning

Abstract

Purpose Large language models (LLMs) such as ChatGPT have shown significant potential in radiology. Their effectiveness often depends on prompt engineering, which optimizes the interaction with the chatbot for accurate results. Here, we highlight the critical role of prompt engineering in tailoring the LLMs’ responses to specific medical tasks.

Materials and Methods Using a clinical case, we elucidate different prompting strategies to adapt the LLM ChatGPT using GPT4 to new tasks without additional training of the base model. These approaches range from precision prompts to advanced in-context methods such as few-shot and zero-shot learning. Additionally, the significance of embeddings, which serve as a data representation technique, is discussed.

Results Prompt engineering substantially improved and focused the chatbot’s output. Moreover, embedding of specialized knowledge allows for more transparent insight into the model’s decision-making and thus enhances trust.

Conclusion Despite certain challenges, prompt engineering plays a pivotal role in harnessing the potential of LLMs for specialized tasks in the medical domain, particularly radiology. As LLMs continue to evolve, techniques like few-shot learning, zero-shot learning, and embedding-based retrieval mechanisms will become indispensable in delivering tailored outputs.

Key Points 

• Large language models might impact radiological practice and decision-masking.

• However, implementation and performance are dependent on the assigned task.

• Optimization of prompting strategies can substantially improve model performance.

• Strategies for prompt engineering range from precision prompts to zero-shot learning.

Citation Format

• Russe MF, Reisert M, Bamberg F et al. Improving the use of LLMs in radiology through prompt engineering: from precision prompts to zero-shot learning . Fortschr Röntgenstr 2024; 196: 1166 – 1170

Zusammenfassung

Ziel Große Sprachmodelle (engl. LLMs) wie ChatGPT haben ein erhebliches Potenzial in der Radiologie gezeigt. Ihre Effektivität hängt oft vom sog. Prompt-Engineering ab, das die Interaktion mit der künstlichen Intelligenz für genaue Ergebnisse optimiert. Hier wird die kritische Rolle des Prompt-Engineerings bei der Anpassung der Antworten der LLMs an spezifische medizinische Aufgaben hervorgehoben.

Material und Methoden Anhand eines klinischen Falles erläutern wir verschiedene Prompting-Strategien zur Anpassung des LLM ChatGPT mit GPT4 an neue Aufgaben ohne zusätzliches Training des Basismodells. Diese Ansätze reichen von präzisierten Prompts bis hin zu fortgeschrittenen In-Kontext-Methoden wie „few-shot“- und „zero-shot“-Lernen. Zusätzlich wird die Bedeutung des „Embeddings“ als Datenrepräsentationstechnik diskutiert.

Ergebnisse Das Prompt-Engineering verbesserte und fokussierte den Output des Chatbots erheblich. Darüber hinaus ermöglicht die Einbettung von Fachwissen einen transparenteren Einblick in die Entscheidungsfindung des Modells und stärkt so das Vertrauen.

Schlussfolgerung Trotz gewisser Herausforderungen spielt das Prompt-Engineering eine zentrale Rolle bei der Nutzung des Potenzials von LLMs für spezialisierte Aufgaben im medizinischen Bereich, insbesondere in der Radiologie. Im Zuge der Weiterentwicklung von LLMs werden Techniken wie „few-shot learning“, „zero-shot learning“ und „Embedding“ für die Bereitstellung maßgeschneiderter Ergebnisse unverzichtbar werden.

Kernaussagen 

• Große Sprachmodelle könnten die radiologische Routine und Entscheidungsfindung beeinflussen.

• Die Implementierung und Leistung hängen jedoch von der zugewiesenen Aufgabe ab.

• Die Optimierung von Prompting-Strategien kann die Modellleistung erheblich verbessern.

• Strategien für das Prompt-Engineering reichen von Präzision-Prompts bis zum Zero-Shot-Lernen.

Keywords

radiology - artificial Intelligence - natural Language Processing

Publication History

Received: 24 October 2023

Accepted: 30 January 2024

Article published online:
26 February 2024

• References

• 1 OpenAI Platform [Internet]. [zitiert 31. August 2023]. Verfügbar unter: https://platform.openai.com
• 2 Kung TH, Cheatham M, Medenilla A. et al. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digit Health 2023; 2 (02) e0000198
• 3 Lyu Q, Tan J, Zapadka ME. et al. Translating radiology reports into plain language using ChatGPT and GPT-4 with prompt learning: results, limitations, and potential. Vis Comput Ind Biomed Art. 18 2023; 6 (01) 9
• 4 Amin KS, Davis MA, Doshi R. et al. Accuracy of ChatGPT, Google Bard, and Microsoft Bing for Simplifying Radiology Reports. Radiology 2023; 309 (02) e232561
• 5 Schmidt S, Zimmerer A, Cucos T. et al. Simplifying radiologic reports with natural language processing: a novel approach using ChatGPT in enhancing patient understanding of MRI results. Arch Orthop Trauma Surg [Internet] 2023; DOI: 10.1007/s00402-023-05113-4.
• 6 Jeblick K, Schachtner B, Dexl J. et al. ChatGPT Makes Medicine Easy to Swallow: An Exploratory Case Study on Simplified Radiology Reports [Internet]. arXiv 2022; DOI: 10.48550/arXiv.2212.14882. http://arxiv.org/abs/2212.14882
• 7 Sushil M, Kennedy VE, Miao BY. et al. Extracting detailed oncologic history and treatment plan from medical oncology notes with large language models [Internet]. arXiv 2023; DOI: 10.48550/arXiv.2308.03853. http://arxiv.org/abs/2308.03853
• 8 Russe MF, Fink A, Ngo H. et al. Performance of ChatGPT, human radiologists, and context-aware ChatGPT in identifying AO codes from radiology reports. Sci Rep 2023; 13 (01) 14215
• 9 Wang J, Shi E, Yu S. et al. Prompt Engineering for Healthcare: Methodologies and Applications [Internet]. arXiv 2023; DOI: 10.48550/arXiv.2304.14670. http://arxiv.org/abs/2304.14670
• 10 White J, Fu Q, Hays S. et al. A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT [Internet]. arXiv 2023; DOI: 10.48550/arXiv.2302.11382. http://arxiv.org/abs/2302.11382
• 11 Pinto dos Santos D, Brodehl S, Baeßler B. et al. Structured report data can be used to develop deep learning algorithms: a proof of concept in ankle radiographs. Insights into Imaging 2019; 10 (01) 93
• 12 Ye S, Hwang H, Yang S. et al. In-Context Instruction Learning [Internet]. arXiv 2023; DOI: 10.48550/arXiv.2302.14691. http://arxiv.org/abs/2302.14691
• 13 Brown TB, Mann B, Ryder N. et al. Language Models are Few-Shot Learners [Internet]. arXiv 2020; DOI: 10.48550/arXiv.2005.14165. http://arxiv.org/abs/2005.14165
• 14 Liu Z, Yu X, Zhang L. et al. DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4 [Internet]. arXiv 2023; DOI: 10.48550/arXiv.2303.11032. http://arxiv.org/abs/2303.11032
• 15 Jin Q, Dhingra B, Cohen WW. et al. Probing Biomedical Embeddings from Language Models [Internet]. arXiv 2019; DOI: 10.48550/arXiv.1904.02181. http://arxiv.org/abs/1904.02181
• 16 Rau A, Rau S, Zoeller D. et al. A Context-based Chatbot Surpasses Trained Radiologists and Generic ChatGPT in Following the ACR Appropriateness Guidelines. Radiology 2023; 308 (01) e230970
• 17 Geis JR, Brady AP, Wu CC. et al. Ethics of Artificial Intelligence in Radiology: Summary of the Joint European and North American Multisociety Statement. Radiology 2019; 293 (02) 436-440
• 18 Keskinbora KH. Medical ethics considerations on artificial intelligence. Journal of Clinical Neuroscience 2019; 64: 277-282
• 19 Goddard J. Hallucinations in ChatGPT: A Cautionary Tale for Biomedical Researchers. The American Journal of Medicine 2023; 136 (11) 1059-1060