VR in Medical Imaging

Représentation 3D interactive en imagerie médicale

UNIVERSITE CATHOLIQUE DE LOUVAIN

FACULTE DES SCIENCES APPLIQUEES

DEPARTEMENT D'INGENIERIE INFORMATIQUE

Mémoire présenté en vue l'obtention du grade d'ingénieur civil en informatique.

Co-promoteurs :

  • Pr. M.LOBELLE

  • Pr. B. MACQ

Conseillers :

  • M.FERRANT

  • B. PISCAGLIA


By the time we add an introduction, a few illustrations, and a conclusion,
it will look like a graduate thesis.

Calvin


Louvain-la-Neuve

19 Juin 1998


Pixel Levelling

The purpose of this GUI is to manipulate the lookup table applied to the images.

Pixel Thressing

Pixel Thressing

The purpose of this GUI is to thresh the images by setting a threshold value.

Anatomical annotation

Anatomical annotation

The purpose of this GUI is to offer the possibility to choose a point "of interest" and associate a comment to it.

Web VRML Viewer

Web VRML Viewer

Processing to obtain a representation of the vertebral column.

Introduction

Le monde médical est capable de réaliser depuis plusieurs années des prouesses toujours plus grandes. Pour accomplir celles-ci, dans les zones les plus sensibles du corps humain, elle intervient jusqu’au centième de millimètre près en faisant appel aux techniques informatique, robotique et d'imagerie.

La microchirurgie fait des prodiges tous les jours, les techniques de pointe médicales combinées avec la technologie informatique actuelle permettent de dépasser les limites de l’imaginable.

Ce travail de fin d’étude va contribuer, dans sa modeste mesure, à cette avancée. Il est composé de deux parties distinctes dans la forme, mais non dans la finalité. Le but est, par l’étude et la mise en œuvre de techniques informatiques récentes, d’offrir aux étudiants en médecine et à leurs professeurs, de nouveaux outils d’apprentissage.

Dans la première partie, nous allons réaliser un programme permettant d’obtenir, au départ de la base de donnée Visible Human, un environnement publiable sur Internet, mêlant une vue tridimensionnelle interactive d’un organe et des vues bidimensionnelles classiques, semblables à celles sortant d’appareils d’imagerie médicale. Par l’utilisation de telles "pages Web", Les étudiants pourront se familiariser avec la représentation dans l'espace des différentes coupes que donnent les imageurs médicaux.

La deuxième partie va leur permettre d'apprendre à manipuler ces images au niveau de leur richesse en niveau de gris. Il étudie aussi les possibilités d'offrir au professeur un moyen aisé de mettre sur le réseau des exercices de diagnostic incluant de telles images et d'obtenir une réponse de ses étudiants.

Nous avons mis particulièrement l'accent sur la première partie, celle-ci mettant en œuvre des concepts vraiment nouveaux (3D interactive) et nécessitant l'étude d'un outil extrêmement riche : le VRML 2.0. Une introduction à ce langage fait l'objet du chapitre 3.

La deuxième partie, moins intéressante dans les concepts qu'elle met en œuvre, consistera plus en une réflexion sur la manière de publier des exercices sur Internet et d'organiser la réponse des étudiants au professeur.

Tout bon programme doit servir à quelqu'un. Il était donc important d'avoir un utilisateur à satisfaire. Le Dr E. Coche, de l'hôpital Saint-Luc, nous a ici beaucoup aidé. Il nous a montré ce qui existe déjà, donné ses attentes de l'outil informatique et discuté avec nous de l'intérêt et des applications de la représentation en trois dimensions.


L'application de transformation Visible Human vers VRML

C'était le sujet principal de notre travail.

L'idée de représentation 3D interactive en imagerie médicale est nouvelle. La recherche dans ce domaine n'existe que dans quelques universités. Les débouchés ne sont encore que didactiques.

Notre programme permet la visualisation en trois dimensions d'une partie du corps humain qui provient de la base de donnée Visible Human. L'utilisateur du résultat de notre programme peut à loisir tourner autour de l'organe, examiner des détails et consulter les remarques faites par le concepteur du site à propos de l'un ou l'autre détail de cet organe. Ces annotations apparaissent à l'écran accompagnées d'images 2D qui correspondent aux vues originales de l'organe, selon les moyens conventionnels.

Le programme est loin d'être parfait. Il y a de nombreuses fonctionnalités que nous n'avons pas réalisées, l'année académique touchant à sa fin. Son utilisation est néanmoins possible. Son extension est aisée.

Les résultats, sans être parfait, sont malgré tout étonnants. La représentation en VRML a en effet un aspect étonnant. La vitesse d'affichage élevée combinée à la possibilité d'examiner un objet sous toutes ses coutures comme si nous le tenions en main, donne une impression de réalité très forte. Cette impression de mal de mer, que nous avons parfois eue en manipulant longtemps un objet à l'écran, est là pour témoigner à quel point le cerveau peut se laisser convaincre.

Le langage VRML

Au-delà de l'application à l'imagerie médicale, il a été intéressant d'étudier le langage VRML 2.0.

Le VRML constitue le standard de la représentation tridimensionnelle sur Internet. Sa généralité lui permet de prétendre à d'autre domaine que la publication sur Internet. Sa popularité, toujours plus grande, va bientôt en faire un incontournable, au même titre que HTML.

Au-delà de ses capacités à représenter un objet, VRML permet aussi de programmer des interactions entre l'utilisateur et le monde virtuel dont il est entouré. Pour rendre cette programmation la plus aisée possible, VRML intègre le langage JAVA.

Notre étude du VRML a été fort complète. Propager ce savoir étant aussi un but important, nous avons tenté de faire connaître ce langage à d'autres, notamment lors d'un séminaire organisé dans le cadre du cours de traitement informatique en imagerie médicale, donné par les professeurs B. Macq et Ch. Michel. Loin d'être un cours sur le langage, il s'agissait plutôt d'exposer les concepts de base et donner envie d'en apprendre plus aux personnes assistant au séminaire. Nous avons d'ailleurs fait des émules puisque d'autres personnes se sont lancées dans le VRML pour leur travail.


Pour terminer cette conclusion, nous reprendrons les deux mots clefs, Image et Apprendre.

« Apprendre l'image ».

Nous avons appris bien des choses sur les images et leurs traitements, en imagerie médicale en particulier.

Espérons que cette connaissance passera à d'autres, animés de la même passion pour l'infographie.

Ressources


CZ-PresentationTFE.ppt
CZ_Introduction-VRML.ppt
CZ-PresentationVRML.ppt

Yes, it was NETSCAPE time ;p

Now heading biggest TECH V.C. A16Z

Andreesen Horowitz

VRML interface output

Main.wrl

#VRML V2.0 utf8

Transform {

children [

NavigationInfo {

headlight FALSE

type "EXAMINE"

}

DirectionalLight {

direction 0 1 3

}

DirectionalLight {

direction -1 0 -1

}

Inline { url "object.wrl" }

Viewpoint {

description "Entry point"

position 0 5 100

}

Inline { url "points.wrl" }

]

}


proto.wrl

#VRML V2.0 utf8

PROTO

ClickPoint [

exposedField SFVec3f position 0 0 0

field SFFloat rayon 0.5

exposedField SFColor color 1 0 0

exposedField SFVec3f ptVue 5 0 0

exposedField SFRotation angVue 0 0 1 0

field MFString annotURL []

field MFString imgURL []

field SFString descr "Click Point"

]

{

Group {

children [

DEF VP Viewpoint {

position IS ptVue

orientation IS angVue

description IS descr

jump TRUE

}

DEF S Transform {

translation IS position

children [

Group {

children [

Shape {

geometry Sphere { radius IS rayon }

appearance Appearance {

material DEF SM Material {

diffuseColor IS color

}

}

}

DEF TS TouchSensor {}

]

}

DEF TP Transform {

translation 1000 1000 1000

children [

Shape {

geometry Box { size 100 100 0.001 }

appearance DEF BA Appearance {

material DEF BM Material {

diffuseColor 0 1 0

transparency 1

}

}

}

Shape {

geometry Box { size 100 0.001 100 }

appearance USE BA

}

Shape {

geometry Box { size 0.001 100 100 }

appearance USE BA

}

]

}

]

}

DEF SCRIPT Script {

mustEvaluate TRUE

eventIn SFTime toggle

eventIn SFBool isActive

eventOut SFBool activateViewpoint

eventOut SFTime pAppear

eventOut SFTime pDisappear

field SFBool active FALSE

field MFString iURL IS imgURL

field MFString aURL IS annotURL

field MFString TA ["target=annotation"]

field MFString TI ["target=images"]

url [ "javascript:

function toggle(value, time) {

activateViewpoint=!active;

}

function isActive(value,time) {

active=value;

if (value==TRUE) {

pAppear=time;

Browser.loadURL(aURL,TA);

Browser.loadURL(iURL,TI);

}

else pDisappear=time;

}

"]

}

DEF mAppear TimeSensor { cycleInterval 0.5 }

DEF mDisappear TimeSensor { cycleInterval 0.5 }

DEF posAppear PositionInterpolator { key [0,1] keyValue [ 1000 1000 1000, 0 0 0] }

DEF posDisappear PositionInterpolator { key [0,1] keyValue [0 0 0, 1000 1000 1000] }

DEF iAppear ScalarInterpolator { key [0, 0.7, 1] keyValue [1, 0.95, 0.7] }

DEF iDisappear ScalarInterpolator { key [0, 0.3, 1] keyValue [0.7, 0.95, 1] }

]

}

ROUTE VP.isBound TO SCRIPT.isActive

ROUTE TS.touchTime TO SCRIPT.toggle

ROUTE SCRIPT.activateViewpoint TO VP.set_bind

ROUTE SCRIPT.pAppear TO mAppear.startTime

ROUTE SCRIPT.pDisappear TO mDisappear.startTime

ROUTE mAppear.fraction_changed TO iAppear.set_fraction

ROUTE mDisappear.fraction_changed TO iDisappear.set_fraction

ROUTE mAppear.fraction_changed TO posAppear.set_fraction

ROUTE mDisappear.fraction_changed TO posDisappear.set_fraction

ROUTE iAppear.value_changed TO BM.transparency

ROUTE iDisappear.value_changed TO BM.transparency

ROUTE posAppear.value_changed TO TP.translation

ROUTE posDisappear.value_changed TO TP.translation

}

The National Library of Medicine's Visible Human Project

The NLM Visible Human Project has created publicly-available complete, anatomically detailed, three-dimensional representations of a human male body and a human female body. Specifically, the VHP provides a public-domain library of cross-sectional cryosection, CT, and MRI images obtained from one male cadaver and one female cadaver. The Visible Man data set was publicly released in 1994 and the Visible Woman in 1995.

The data sets were designed to serve as (1) a reference for the study of human anatomy, (2) public-domain data for testing medical imaging algorithms, and (3) a test bed and model for the construction of network-accessible image libraries. The VHP data sets have been applied to a wide range of educatiaThe NLM Visible Human Project has created publicly-available complete, anatomically detailed, three-dimensional representations of a human male body and a human female body. Specifically, the VHP provides a public-domain library of cross-sectional cryosection, CT, and MRI images obtained from one male cadaver and one female cadaver. The Visible Man data set was publicly released in 1994 and the Visible Woman in 1995.The data sets were designed to serve as (1) a reference for the study of human anatomy, (2) public-domain data for testing medical imaging algorithms, and (3) a test bed and model for the construction of network-accessible image libraries. The VHP data sets have been applied to a wide range of educational, diagnostic, treatment planning, virtual reality, artistic, mathematical, and industrial uses.

About 4,000 licensees from 66 countries were authorized to access the datasets. As of 2019, a license is no longer required to access the VHP datasets.

The Visible Human Male data set consists of MRI, CT, and anatomical images. Axial MRI images of the head and neck, and longitudinal sections of the rest of the body were obtained at 4mm intervals. The MRI images are 256 by 256 pixel resolution with each pixel made up of 12 bits of gray tone. The CT data consist of axial CT scans of the entire body taken at 1mm intervals at a pixel resolution of 512 by 512 with each pixel made up of 12 bits of gray tone. The approximately 7.5 megabyte axial anatomical images are 2048 pixels by 1216 pixels, with each pixel being .33mm in size, and defined by 24 bits of color. The anatomical cross-sections are at 1mm intervals to coincide with the CT images. There are 1,871 cross-sections for both CT and anatomical images. The complete male data set is approximately 15 gigabytes.

Higher resolution axial anatomical images of the male data set were made available in August 2000. Seventy-millimeter still photographs taken during the cryosectioning procedure were digitized at a pixel resolution of 4096 pixels by 2700 pixels. These images, each approximately 32 megabytes in size, are available for all 1,871 male color cryosections.

Visible Human Female

The Visible Human Female data set has the same characteristics as the Visible Human Male. However, the axial anatomical images were obtained at 0.33 mm intervals. Spacing in the “Z” dimension was reduced to 0.33mm in order to match the 0.33mm pixel sizing in the “X-Y” plane. As a result, developers interested in three-dimensional reconstructions are able to work with cubic voxels. There are 5,189 anatomical images in the Visible Human Female data set. The data set size is approximately 40 gigabytes.