RSS-Feed abonnieren
DOI: 10.1055/a-2125-1559
Machine Learning for Decision-Support in Acute Abdominal Pain – Proof of Concept and Central Considerations
Maschinelles Lernen als Entscheidungshilfe bei akuten Bauchschmerzen – Proof-of-Concept und zentrale ÜberlegungenAbstract
Background
Acute abdominal pain is a common presenting symptom in the emergency department and represents heterogeneous causes and diagnoses. There is often a decision to be made regarding emergency surgical care. Machine learning (ML) could be used here as a decision-support and relieve the time and personnel resource shortage.
Methods
Patients with acute abdominal pain presenting to the Department of Surgery at Bonn University Hospital in 2020 and 2021 were retrospectively analyzed. Clinical parameters as well as laboratory values were used as predictors. After randomly splitting into a training and test data set (ratio 80 to 20), three ML algorithms were comparatively trained and validated. The entire procedure was repeated 20 times.
Results
A total of 1357 patients were identified and included in the analysis, with one in five (n = 276, 20.3%) requiring emergency abdominal surgery within 24 hours. Patients operated on were more likely to be male (p = 0.026), older (p = 0.006), had more gastrointestinal symptoms (nausea: p < 0.001, vomiting p < 0.001) as well as a more recent onset of pain (p < 0.001). Tenderness (p < 0.001) and guarding (p < 0.001) were more common in surgically treated patients and blood analyses showed increased inflammation levels (white blood cell count: p < 0.001, CRP: p < 0.001) and onset of organ dysfunction (creatinine: p < 0.014, quick p < 0.001). Of the three trained algorithms, the tree-based methods (h2o random forest and cforest) showed the best performance. The algorithms classified patients, i.e., predicted surgery, with a median AUC ROC of 0.81 and 0.79 and AUC PRC of 0.56 in test sets.
Conclusion
A proof-of-concept was achieved with the development of an ML model for predicting timely surgical therapy for acute abdomen. The ML algorithm can be a valuable tool in decision-making. Especially in the context of heavily used medical resources, the algorithm can help to use these scarce resources more effectively. Technological progress, especially regarding artificial intelligence, increasingly enables evidence-based approaches in surgery but requires a strictly interdisciplinary approach. In the future, the use and handling of ML should be integrated into surgical training.
Zusammenfassung
Hintergrund
Akute Bauchschmerzen sind ein häufiges Leitsymptom in der Notaufnahme und repräsentieren heterogene Ursachen und Diagnosen. Es ist oftmals eine Entscheidung bez. einer notfallmäßigen operativen Versorgung zu treffen. Maschinelles Lernen (ML) könnte hierbei als Entscheidungshilfe eingesetzt werden und der zeitlichen und personellen Ressourcenknappheit entlastend entgegenwirken.
Material und Methoden
Patienten mit akuten Bauchschmerzen, die sich in den Jahren 2020 und 2021 in der Chirurgie des Universitätsklinikums Bonn vorstellten, wurden retrospektiv analysiert. Klinische Parameter sowie Laborwerte wurden als Prädiktoren verwendet. Nach Aufteilung in einen Trainings- und Testdatensatz (Verhältnis 80:20) wurden 3 ML-Algorithmen vergleichend trainiert und validiert. Dieser Vorgang wurde 20-mal wiederholt.
Ergebnisse
Insgesamt wurden 1357 Patienten identifiziert und in die Auswertung eingeschlossen, wobei jeder 5. (n = 276; 20,3 %) innerhalb von 24 h eine abdominelle Notfalloperation benötigte. Die zeitnah operierten Patienten waren häufiger männlich (p = 0,026), älter (p = 0,006) und wiesen vermehrt gastrointestinale Symptome (Übelkeit: p < 0,001; Erbrechen p < 0,001) sowie einen rezenteren Schmerzbeginn (p < 0,001) auf. Druckschmerz (p < 0,001) und Abwehrspannung (p < 0,001) zeigten sich gehäuft und laborchemisch konnte ein erhöhtes Inflammationsniveau (Leukozyten: p < 0,001; CRP: p < 0,001) sowie beginnende Organdysfunktionen (Kreatinin: p < 0,014; Quick p < 0,001) beobachtet werden. Von den 3 trainierten Algorithmen zeigte der Entscheidungsbaum-basierte h2o Random Forest die beste Performance. Der Algorithmus klassifizierte die Patienten, d. h. sagte eine Operation voraus, mit einer AUC ROC von 0,81 (95%-KI: 0,75–0,87) und einer AUC PRC von 0,56 (95%-KI: 0,44–0,67).
Schlussfolgerung
Es gelang ein Proof-of-Concept mit der Entwicklung eines ML-Modelles zur Vorhersage einer zeitnahen operativen Therapie beim akuten Abdomen. Der ML-Algorithmus kann ein wertvolles Werkzeug in der Entscheidungsfindung sein. Besonders vor dem Hintergrund stark beanspruchter medizinsicher Ressourcen kann der Algorithmus helfen, diese knappen Ressourcen effektiver einzusetzen. Der technische Fortschritt, insbesondere im Hinblick auf künstliche Intelligenz, ermöglicht zunehmend evidenzbasierte Ansätze in der Chirurgie, erfordert allerdings ein streng interdisziplinäres Vorgehen. Zukünftig sollte der Einsatz und Umgang mit ML in die Ausbildung von Chirurgen integriert werden.
Schlüsselwörter
maschinelles Lernen - künstliche Intelligenz - klinische Entscheidungsfindung - Entscheidungshilfe - akutes AbdomenKeywords
machine learning - artificial intelligence - acute abdominal pain - clinical decision making - decision supportPublikationsverlauf
Eingereicht: 15. März 2023
Angenommen nach Revision: 06. Juli 2023
Artikel online veröffentlicht:
10. August 2023
© 2023. Thieme. All rights reserved.
Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany
-
References
- 1 Kamin RA, Nowicki TA, Courtney DS. et al. Pearls and pitfalls in the emergency department evaluation of abdominal pain. Emerg Med Clin North Am 2003; 21: 61-72 DOI: 10.1016/S0733-8627(02)00080-9. (PMID: 12630731)
- 2 Gans SL, Pols MA, Stoker J. et al. Guideline for the Diagnostic Pathway in Patients with Acute Abdominal Pain. Dig Surg 2015; 32: 23-31 DOI: 10.1159/000371583. (PMID: 25659265)
- 3 Laméris W, van Randen A, van Es HW. et al. Imaging strategies for detection of urgent conditions in patients with acute abdominal pain: diagnostic accuracy study. BMJ 2009; 338: b2431 DOI: 10.1136/bmj.b2431. (PMID: 19561056)
- 4 Podda M, Gerardi C, Cillara N. et al. Antibiotic Treatment and Appendectomy for Uncomplicated Acute Appendicitis in Adults and Children: A Systematic Review and Meta-analysis. Ann Surg 2019; 270: 1028-1040 DOI: 10.1097/SLA.0000000000003225. (PMID: 30720508)
- 5 Maier-Hein L, Vedula SS, Speidel S. et al. Surgical data science for next-generation interventions. Nat Biomed Eng 2017; 1: 691-696 DOI: 10.1038/s41551-017-0132-7. (PMID: 31015666)
- 6 Rajkomar A, Dean J, Kohane I. Machine Learning in Medicine. N Engl J Med 2019; 380: 1347-1358 DOI: 10.1056/NEJMra1814259. (PMID: 30943338)
- 7 Henn J, Buness A, Schmid M. et al. Machine learning to guide clinical decision-making in abdominal surgery—a systematic literature review. Langenbecks Arch Surg 2022; 407: 51-61 DOI: 10.1007/s00423-021-02348-w. (PMID: 34716472)
- 8 Hsieh CH, Lu RH, Lee NH. et al. Novel solutions for an old disease: Diagnosis of acute appendicitis with random forest, support vector machines, and artificial neural networks. Surgery 2011; 149: 87-93 DOI: 10.1016/j.surg.2010.03.023. (PMID: 20466403)
- 9 Bihorac A, Ozrazgat-Baslanti T, Ebadi A. et al. MySurgeryRisk: Development and Validation of a Machine-learning Risk Algorithm for Major Complications and Death After Surgery. Ann Surg 2019; 269: 652-662 DOI: 10.1097/SLA.0000000000002706. (PMID: 29489489)
- 10 Bischl B, Lang M, Kotthoff L. et al. mlr: Machine Learning in R. J Mach Learn Res 2016; 17: 1-5
- 11 H2O.ai. h2o: R Interface for H2O. 2022 Zugriff am 12. Juli 2023 unter: https://github.com/h2oai/h2o-3
- 12 Hothorn T, Zeileis A. partykit: A Modular Toolkit for Recursive Partytioning in R. J Mach Learn Res 2015; 16: 3905-3909
- 13 Chen T, Guestrin C. XGBoost: A Scalable Tree Boosting System. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, California, USA: ACM; 2016: 785-794 Zugriff am 12. Juli 2023 unter: https://dl.acm.org/doi/10.1145/2939672.2939785
- 14 Rudin C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nat Mach Intell 2019; 1: 206-215 DOI: 10.1038/s42256-019-0048-x. (PMID: 35603010)
- 15 Saito T, Rehmsmeier M. The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLoS One 2015; 10: e0118432 DOI: 10.1371/journal.pone.0118432. (PMID: 25738806)
- 16 Flasar MH, Cross R, Goldberg E. Acute Abdominal Pain. Prim Care 2006; 33: 659-684 DOI: 10.1016/j.pop.2006.06.004. (PMID: 17088154)
- 17 Hastings RS, Powers RD. Abdominal pain in the ED: a 35 year retrospective. Am J Emerg Med 2011; 29: 711-716 DOI: 10.1016/j.ajem.2010.01.045. (PMID: 20825873)
- 18 Bertsimas D, Dunn J, Velmahos GC. et al. Surgical Risk Is Not Linear: Derivation and Validation of a Novel, User-friendly, and Machine-learning-based Predictive OpTimal Trees in Emergency Surgery Risk (POTTER) Calculator. Ann Surg 2018; 268: 574-583 DOI: 10.1097/SLA.0000000000002956. (PMID: 30124479)
- 19 van Brunschot S, van Grinsven J, van Santvoort HC. et al. Endoscopic or surgical step-up approach for infected necrotising pancreatitis: a multicentre randomised trial. Lancet 2018; 391: 51-58 DOI: 10.1016/S0140-6736(17)32404-2. (PMID: 29108721)
- 20 Acosta JN, Falcone GJ, Rajpurkar P. et al. Multimodal biomedical AI. Nat Med 2022; 28: 1773-1784 DOI: 10.1038/s41591-022-01981-2. (PMID: 36109635)
- 21 Cao Y, Bass GA, Ahl R. et al. The statistical importance of P-POSSUM scores for predicting mortality after emergency laparotomy in geriatric patients. BMC Med Inform Decis Mak 2020; 20: 86 DOI: 10.1186/s12911-020-1100-9. (PMID: 32380980)
- 22 Etzioni DA, Liu JH, Maggard MA. et al. The Aging Population and Its Impact on the Surgery Workforce. Ann Surg 2003; 238: 170-177 DOI: 10.1097/01.SLA.0000081085.98792.3d. (PMID: 12894008)
- 23 Brennan M, Puri S, Ozrazgat-Baslanti T. et al. Comparing clinical judgment with the MySurgeryRisk algorithm for preoperative risk assessment: A pilot usability study. Surgery 2019; 165: 1035-1045 DOI: 10.1016/j.surg.2019.01.002. (PMID: 30792011)
- 24 Weng SJ, Cheng BC, Kwong ST. et al. Simulation Optimization for emergency department resources allocation. In: Proceedings of the 2011 Winter Simulation Conference (WSC). Phoenix, AZ, USA: IEEE; 2011: 1231-1238 Zugriff am 12. Juli 2023 unter: https://ieeexplore.ieee.org/document/6147845
- 25 Ng CS. Evaluation of early abdominopelvic computed tomography in patients with acute abdominal pain of unknown cause: prospective randomised study. BMJ 2002; 325: 1387-1387 DOI: 10.1136/bmj.325.7377.1387. (PMID: 12480851)
- 26 Lee SY, Chinnam RB, Dalkiran E. et al. Prediction of emergency department patient disposition decision for proactive resource allocation for admission. Health Care Manag Sci 2020; 23: 339-359 DOI: 10.1007/s10729-019-09496-y. (PMID: 31444660)
- 27 Laurell H, Hansson L-E, Gunnarsson U. Diagnostic pitfalls and accuracy of diagnosis in acute abdominal pain. Scand J Gastroenterol 2006; 41: 1126-1131 DOI: 10.1080/00365520600587485. (PMID: 16990196)