Augmentierte Realität mit einem brillenähnlichen Monitor: Erste Erfahrungen in Kombination mit interventioneller MRT

Zusammenfassung

Ziel: Erste experimentelle Anwendung eines brillenähnlichen LCD-Bildsichtgerätes in Kombination mit augmentierter Realität (AR) in der interventionellen MRT. Methode: Das AR-System besteht aus einem brillenähnlichen LCD-Bildsichtgerät (BB), an dem eine Miniatur-Videokamera zur Positionsbestimmung und zwei Miniatur-Videokameras in stereoskopischer Aufnahmegeometrie als künstliche Augen angebracht sind. Das Videobild eines Phantoms/Patienten (Aufnahme- und Wiedergabefrequenz 30 Bildern/Sekunde) wird mit der Bildinformation eines MRT-Datensatzes kombiniert und auf dem BB dargestellt. Die praktische Anwendung des AR-Systems zur Interventionskontrolle wurde mit kaniellen MRT-Bildern und einem Kopfphantom getestet. Ergebnisse: Mit dem BB kann der Anwender die augmentierte Szenerie aus verschiedenen Blickwinkeln betrachten. Bei Anwendung des Systems bleibt nach kurzer Eingewöhnung die natürliche Hand-Augen-Koordination erhalten. Ein räumlicher Bildeindruck entsteht durch die Kombination von stereoskopischen Videobildern und die Betrachtung des Objektes aus verschiedenen Blickwinkeln. Ein kreisförmiges 0,5 cm² großes Zielobjekt wurde in 19 von 20 Fällen getroffen. In ersten Versuchen erlaubte die mit MRT-Bildern augmentierte Darstellung eines Kopfphantoms einen Punktionszugang zu planen, mit dem Marker anzufahren und korrekt zu markieren. Schlussfolgerung: Der BB in Kombination mit einem AR-System bietet eine intuitive Darstellungsform für MRT-gestützte Interventionen.

Abstract

Purpose: To discuss the technical details of a head mounted display with an augmented reality (AR) system and to describe a first pre-clinical evaluation in interventional MRI. Method: The AR system consists of a video-see-through head mounted display (HMD), mounted with a mini video camera for tracking and a stereo pair of mini cameras that capture live images of the scene. The live video view of the phantom/patient is augmented with graphical representations of anatomical structures from MRI image data and is displayed on the HMD. The application of the AR system with interventional MRI was tested using a MRI data set of the head and a head phantom. Results: The HMD enables the user to move around and observe the scene dynamically from various viewpoints. Within a short time the natural hand-eye coordination can easily be adapted to the slightly different view. The 3D perception is based on stereo and kinetic depth cues. A circular target with a diameter of 0.5 square centimeter was hit in 19 of 20 attempts. In a first evaluation the MRI image data augmented reality scene of a head phantom allowed good planning and precise simulation of a puncture. Conclusion: The HMD in combination with AR provides a direct, intuitive guidance for interventional MR procedures.

Key words

Augmented reality - virtual reality - computer assisted imaging - interventional MRI - MRI guided procedures

Literatur

• 1 Bajura M, Fuchs H, Ohbuchi R. Merging Virtual Objects with the Real World: Seeing Ultrasound Imagery within the Patient.  Computer Graphics. 1992;  26 203-210
• 2 Andrei State, Mark A, Livingston , Gentaro Hirota, Garrett W F, Whitton M C, Fuchs H, Pisano E D. Technologies for Augmented Reality Systems: Realizing Ultrasound-guided Needle Biopsies. Computer Graphics Proceedings. ACM SIGGRAPH 1996: 439-446
• 3 Sato Y, Nakamoto M, Tamaki Y, Sasama T, Sakita I, Nakajima Y, Monden M, Tamura S. Image guidance of breast cancer using 3-D ultrasound images and augmented reality visualization.  IEEE Trans Med Imaging. 1998;  17 681-693
• 4 Ploder O, Wagner A, Enislidis G, Ewers R. Computer-assisted intraoperative visualization of dental implants. Augmented reality in medicine.  Radiologe. 1995;  35 569-572
• 5 Grimson W EL, Kikinis R, Jolesz F A, Black P L. Image-Guided Surgery. Scientific American 1999: 62-69
• 6 King A P, Edwards P J, Maurer C R, de Cunha D A, Hawkes D J, Hill D L, Gaston R P, Fenlon M R, Strong A J, Chandler C L, Richards A, Gleeson M A. A system for microscope-assisted guided interventions.  Stereotact Funct Neurosurg. 1999;  72 107-111
• 7 Khadem R, Yeh C C, Sadeghi-Tehrani M, Bax M R, Johnson J A, Welch J N, Wilkinson E P, Shahidi R. Comparative tracking error analysis of five different optical tracking systems.  Comput Aided Surg. 2000;  5 (2) 98-107
• 8 Sauer F, Wenzel F, Vogt S, Tao Yiyang, Genc Yacup, Bani-Hashemi Ali. Augmented Workspace: Designing an AR Testbed. Proceedings of the IEEE and ACM International Symposium on Augmented Reality. 2000: 47-53
• 9 Tsai R Y. A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses.  IEEE J Robot Automat. 1987;  RA-3 (4) 323-344
• 10 Lewin J S, Metzger A, Selman W R. Intraoperative magnetic resonance image guidance in neurosurgery.  J Magn Reson Imaging. 2000;  12 512-524
• 11 Takagai A, Yamazaki S, Saito Y, Taniguchi N. Development of a Stereo Video-See-Through HMD for AS Systems. IEEE and ACM Int. Symp. On Augmented Reality Procedings 2000: 68-77
• 12 Foo T K, King K F. A computationally efficient method for tracking reference position displacements for motion compensation in magnetic resonance imaging.  Magn Reson Med. 1999;  42 548-553