Recalage IRM / Optique pour la neuro-chirurgie par apprentissage profond

Contexte: Pour la résection des tumeurs cérébrales, il est très important de pouvoir localiser précisément et de manière robuste les différentes aires corticales afin d'éviter toute séquelle. Pour cela, nous devons mettre en correspondance une IRM 3D pre opératoire avec une image RGB 2D prise pendant l'opération. Le but de ce projet est de mettre au point une méthode réalisant cette tâche de manière robuste et précise. Pour cela nous nous appuierons sur des approches par apprentissage profond qui ont démontré leur faculté à produire des algorithmes robustes. Le recalage 2D/3D est en soit un problème difficile. Les autres difficultés de ce projet sont dues à la faible quantité de données disponibles pour réaliser l'apprentissage et la difficulté à obtenir des annotations précises pour la supervision.

Le doctorat se déroulera dans le cadre d'un collaboration entre CREATIS, les HCL et l'INRIA. 

Difficultés: Le problème de recalage au cœur du sujet de cette thèse est particulièrement difficile du fait de l’hétérogénéité des modalités (IRM 3D vs. images optiques 2D hyperspectrales ou RGB). Il faudra aligner des données aux résolutions et contrastes radicalement différents mais également, certaines structures sont visible sur l’une des images et pas l’autre.
Les bases de données cliniques sont limitées en taille et en diversité (peu de paires IRM/images optiques alignées). La variabilité anatomique et pathologique entre patients rend difficile la généralisation des modèles.

La méthode proposée est destinée à être utilisé dans la salle d’opération, pendant l'opération. Elle devra respecter des contraintes spécifiques notamment en terme de robustesse et de temps de calcul.

Sur le plan méthodologique, le doctorat impliquera des travaux en apprentissage de représentation, apprentissage avec peu de données, apprentissage semi/faiblement supervisé, augmentation de données spécifique et prise en compte de la géométrie 3D (vision par ordinateur), prise en compte de la physique

Bibliographie:

[1] Charly Caredda, Eric Van-Reeth, Michaël Sdika, Fernand Fort, Jacques Guyotat, Fabien C. Schneider, Thiébaud Picart, Bruno Montcel, Registration of Intraoperative Optical Imaging with Preoperative T1-Weighted MRI, submitted to IEEE Transaction on Biomedical Engineering

[2] Slim Hachicha, Célia Le, Valentine Wargnier-Dauchelle, Michaël Sdika. Robust Unsupervised Image to Template Registration Without Image Similarity Loss. Medical Image Learning with Limited and Noisy Data, Second International Workshop, MILLanD 2023, Held in Conjunction with MICCAI 2023, Vancouver, Proceedings, Oct 2023, Vancouver, Canada. https://hal.science/hal-04183379v1