Research Collection. Exploration of augmented reality technology for surgical training simulators. Doctoral Thesis. ETH Library

Transkript

1 Research Collection Doctoral Thesis Exploration of augmented reality technology for surgical training simulators Author(s): Bianchi, Gérald Publication Date: 2007 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 Diss. ETH No Exploration of Augmented Reality Technology for Surgical Training Simulators A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Dr. Sc. ETH Zürich presented by Gérald Bianchi M. Sc. in Computer Science born in Citizen of France Prof. Dr. Gábor Székely, examiner Prof. Dr. Nassir Navab, co-examiner Dr. Matthias Harders, co-examiner

3 Abstract The underlying idea of Augmented Reality (AR) systems is the combination of the real and virtual world. This is in contrast to Virtual Reality (VR) frameworks, where the whole surrounding of a user is computer-generated. VR has been the emerging technology for designing medical simulators in the last decade. However, VR presents some limitations in term of interactions. Since the user is completely immersed in the virtual environment, he or she has no contact with the reality. The purpose of this project is to explore the capability of AR technology to develop a training simulator for repositioning broken bones in orthopedic surgery. The main idea is to design a system enabling surgeons or students to practice the process of repositioning broken bones. The simulations are carried out on a computer by using similar techniques developed for VR surgical simulators. The generated results are then combined with the real environment in the user s view by means of AR techniques. Several requirements are necessary to design a medical training simulator. In the present work, visual fidelity, interactivity and force feedback are discussed. AR systems are of higher complexity, since the real world represents a reference frame into which the virtual elements have to be perfectly integrated. Any errors in this process, called registration, would greatly diminish the usability of a system, and compromise user interaction and immersion. To ensure exact alignment between the real and virtual world, the system needs to accurately estimate the relationship between both frames. In this work, we present an accurate calibration procedure to determine this relationship. Furthermore, a vision-based correction approach is described in order to ensure stability of virtual objects as the user moves. We incorporate a haptic device to allow the user to interact with virtual objects. An accurate calibration procedure is proposed. Deformable virtual objects are also discussed in this work regarding the requirement of real time deformations. Furthermore, synchronizing the haptic data with the AR visualization component is crucial to maintain a high level of interactions. Therefore, a synchronization procedure is investigated to reduce the delay between both devices. In addition, a distributed architecture is presented to adapt the system to different applications. Finally, two AR based applications with force feedback are described in this work to demonstrate the performances of the haptic AR system. The presented work is part of a current effort to develop a surgical training simulator for repositioning broken bones. The results show that the main requirements of such a system are fulfilled and the development of the simulator is feasible.

4 Zusammenfassung Die zugrundeliegende Idee der Erweiterten Realität (engl. Augmented Reality, AR) ist die Kombination der realen mit der virtuellen Welt. Dies steht im Gegensatz zum Begriff der Virtuellen Realität (VR), in der die Umgebung des Benutzers mit Computer erzeugt wird. Für das Entwerfen von medizinischen Simulatoren hat sich in den letzten zehn Jahren vor allem die VR als dominante Technologie entwickelt. Jedoch besitzt VR einige Begrenzungen in Bezug auf Interaktionen. Denn der Benutzer ist vollständig integriert in der virtuellen Umwelt, und hat keinen Kontakt mit der Realität. Das Ziel dieses Projektes ist, die Fähigkeit der AR Technologie zu erforschen, um einen Trainingssimulators für die Reposition von gebrochenen Knochen in der orthopädischen Chirurgie zu entwickeln. Der Grundgedanke ist, ein System zu entwerfen, das Chirurgen oder Studenten ermöglicht, (den Prozeß der Umsetzung der gebrochenen Knochen) diesen Prozess zu üben. Die Simulationen werden auf einem Computer durchgeführt, indem man ähnlichen Techniken verwendet, wie sie für VR Chirurgie-Simulatoren entwickelt wurden. Die erzeugten Resultate werden dann mit der realen Umwelt in der Ansicht des Benutzers mittels AR Techniken kombiniert. Einige Anforderungen sind notwendig, um einen medizinischen Trainingssimulators zu entwerfen. In der vorliegenden Arbeit werden Authentizität, Interaktion und Force Feedback besprochen. AR Systeme sind von höherer Komplexität, da die Realität einen Bezugsrahmen darstellt, in den die virtuellen Elemente perfekt integriert werden müssen. Alle mögliche Störungen in diesem Prozeß, genannt Registrierung, würden die Brauchbarkeit eines Systems stark vermindern und die Benutzer-Interaktion und -immersion stören. Um eine genaue Registrierung zwischen realer und virtueller Welt sicherzustellen, muß das System die Beziehung zwischen dem realen und zugehörigen virtuellen System genau schätzen. In dieser Arbeit stellen wir eine genauen Kalibrierungsmethode vor, um diese Beziehung zu bestimmen. Ausserdem wird eine Vision-basierte Korrektursmethode beschrieben, um die Stabilität der virtuellen Gegenstände sicherzustellen, während der Benutzer sich bewegt. Wir benützen ein haptisches Gerät, um dem Benutzer die Manipulation von virtuellen Gegenständen zu ermöglichen. Eine genauen Kalibrierungsmethode wird vorgeschlagen. Ausserdem werden deformierbare virtuelle Gegenstände in dieser Arbeit besprochen, und zwar bezüglich der Anforderung von Realtime-Deformationen. Darüberhinaus ist die Synchronisierung der haptischen Daten mit der AR Visualisierung ein entscheidender Faktor, um eine hochwertige Interaktion zu gewährleisten. Daher wird eine Synchronisierungsmethode entwickelt, um die Verzögerung zwischen den beiden Systemen zu reduzieren. Zusätzlich

5 vi Zusammenfassung wird eine verteilte Architektur vorgestellt, um das System unterschiedlichen Anwendungen anzupassen. Schließlich werden in dieser Arbeit zwei AR-basierte Anwendungen mit Force Feedback beschrieben, um die Fähigkeiten des haptischen AR Systems zu zeigen. Die vorliegende Arbeit ist Teil eines grösseren Projektes zur Erstellung eines chirurgischen Trainingssimulators für die Reposition gebrochenener Knochen. Die Resultate zeigen, dass die Anforderungen eines solchen Systems erfüllt werden und die Entwicklung des Simulators möglich ist.