AR und Holomedicine bei Leber-und Pankreaseingriffen unter besonderer Berücksichtigung in Aus- und Weiterbildung sowie klinischem Einsatz

Augmented Reality (AR) ist als wesentliche Komponente der Holomedicine eine digitale Unterstützungstechnologie, die mithilfe tragbarer Displays in der klinischen Medizin zunehmend Anwendungen findet. Anwendungsszenarien in der Viszeralchirurgie sind im klinischen Einsatz sowie im Stadium der Entwicklung und Evaluation. Dabei zeigen sich Vorteile in der OP-Planung, intraoperativen Unterstützung und Aus- und Weiterbildung.

Kernaussagen

• AR-basierte Anwendungen stehen in der Viszeralchirurgie ganz am Anfang der Entwicklung.

• Vollautomatisierte Segmentierungs- und Rendering-Software eröffnet neue Dimensionen zur routinemäßigen klinischen Anwendung.

• 3-D-Visualisierung verbessert unabhängig von der Erfahrung signifikant das topografisch-anatomische Verständnis.

• Weitere Zertifizierungen für intraoperative Applikationen und deren klinische Evaluationen bleiben abzuwarten.

Publication History

Article published online:
08 August 2024

• Literatur

• 1 Raja M, Priya GGL. The Role of Augmented Reality and Virtual Reality in Smart Health Education: State of the Art and Perspectives. In: Agarwal P, Khanna K, Elngar AA, Obaid AJ, Polkowski Z. Artificial Intelligence for Smart Healthcare. Cham: Springer International Publishing; 2023: 311-325
• 2 Milgram P, Kishino F. A taxonomy of mixed reality visual displays. IEICE Trans Inf Syst 1994; 77: 1321-1329
• 3 Sugimoto M. Extended reality (XR: VR/AR/MR), 3D printing, holography, AI, radiomics, and online VR Tele-medicine for precision surgery. In Surgery and Operating Room Innovation. Singapore: Springer; 2021
• 4 Kraft V, Schumann C, Salzmann D. et al. A Clinical User Study Investigating the Benefits of Adaptive Volumetric Illumination Sampling. IEEE Trans Vis Comput Graph 2024;
• 5 Kraft V, Schumann C, Salzmann D. et al. Towards realistic organ models for 3D printing and visualization. Curr Dir Biomed Eng 2021; 7: 166-170
• 6 Kraft V, Strehlow J, Jäckle S, García-Vázquez V, Link F, von Haxthausen F, Schenk A, Schumann C. A Comparison of Streaming Methods for the Microsoft Hololens. Tagungsband der 18. Jahrestagung der Deutschen Gesellschaft für Computer- und Roboterassistierte Chirurgie. Stuttgart: Deutsche Gesellschaft für die Computer- und Roboterassistierte Chirurgie e. V.; 2019
• 7 Weyhe D, Tabriz N, Uslar V. et al. Szenarien und Perspektiven durch neue XR-Technologien im klinischen Kontext. Zentralbl Chir 2024; 149: 149-151
• 8 Feodorovici P, Arensmeyer J, Schnorr P. et al. Einsatz von erweiterten Realitäten (XR) in der Thoraxchirurgie. Zentralbl Chir 2023; 148: 367-375
• 9 Saito Y, Sugimoto M, Imura S. et al. Intraoperative 3D hologram support with mixed reality techniques in liver surgery. Ann Surg 2020; 271: e4-e7
• 10 PelanisKumar RP, Aghayan DL. et al. Use of mixed reality for improved spatial understanding of liver anatomy. Minim Invasive Ther Allied Technol 2020; 29: 154-160
• 11 Sauer IM, Queisner M, Tang P. et al. Mixed reality in visceral surgery: development of a suitable workflow and evaluation of intraoperative use-cases. Ann Surg 2017; 266: 706-712
• 12 Mero G, Donchev R, Banysch M. et al. „Mixed Reality “– erste Erfahrungen aus der Leberchirurgie. Gastroenterologie 2023; 18: 46-53
• 13 Reinschluesse AV, Muender T, Fischer R, Kraft V, Uslar VN, Weyhe D, Schenk A, Zachmann G, Döring T, Malaka R. Versatile immersive virtual and augmented tangible OR – using VR, AR and tangibles to support surgical practice. Art. 74. In: Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems. 2023: 1-5
• 14 Reinschluessel AV, Muender T, Salzmann D. et al. Virtual reality for surgical planning – evaluation based on two liver tumor resections. Front Surg 2022; 9: 821060
• 15 Salzmann D, Furrer S, Reinschlüssel A. et al. Abstracts DGCH. Innov Surg Sci 2021; 6 (Suppl. 1) S81-S123
• 16 Arensmeyer J, Bedetti B, Schnorr P. et al. A System for Mixed-Reality Holographic Overlays of Real-Time Rendered 3D-Reconstructed Imaging Using a Video Pass-through Head-Mounted Display – A Pathway to Future Navigation in Chest Wall Surgery. J Clin Med 2024; 13: 2080
• 17 Shusterman A, Nashef R, Tecco S. et al. Accuracy of Implant Placement using a Mixed Reality-Based Dynamic Navigation System versus Static Computer-Assisted and Freehand Surgery: an in Vitro Study. J Dent 2024; 146: 105052
• 18 Schneider M, Kunz C, Wirtz CR. et al. Augmented Reality – Assisted versus Freehand Ventriculostomy in a Head Model. J Neurol Surg A Cent Eur Neurosurg 2023; 84: 562-569
• 19 Eom S, Kim S, Jackson J. et al. Augmented Reality-based Contextual Guidance through Surgical Tool Tracking in Neurosurgery. IEEE Trans Vis Comput Graph 2024;
• 20 Uslar V, Strotmann C, Ödemis V. et al. Anwendung von Augmented-Reality-Devices in der anatomischen Lehre in Abhängigkeit vom räumlichen Vorstellungsvermögen in der medizinischen Lehre zur Leber. Z Gastroenterol 2023; 61: KV453
• 21 Weyhe F, Knappstein M, Uslar V. et al. 3D Lebersegmentierung in Augmented Reality vs. Standard CT in 2D-Pilotstudie zu Unterschieden bezüglich Korrektheit der Diagnostik sowie der Beurteilungsdauer. Z Gastroenterol 2023; 61: KV443
• 22 Jakl A, Lienhart AM, Baumann C, Jalaeefar A. Enlightening patients with augmented reality. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Atlanta, GA, USA. 2020; 195-203
• 23 Wang LJ, Casto B, Reyes-Molyneux N. et al. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Support Radiat Oncol 2024; 29: 100229