French
English
Il s'agit de développer une méthode de deep learning adaptée des NERF (Neural Radiance Fields) pour de l'imagerie médicale nucléaire SPECT (Single Photon Emission Computerized Tomography).
Contexte.
Nous nous intéressons à l’imagerie SPECT (Single Photon Emission Tomographie). Cette modalité permet de visualiser et de quantifier la biodistribution d’un radiopharmaceutique injecté au patient. En particulier, il s’agit d’un élément central du contrôle des traitements du cancer par radionuclide, tel 177Lu-Lutathera (tumeurs neuroendocrines gastro-entéro-pancréatiques) ou 177Lu-PSMA (prostate) : toute la quantification dosimétrique repose sur ces images. Cette modalité d’imagerie consiste à détecter les gammas émis par le radionuclide en estimant leur ligne d’émission à l’aide d’un collimateur sélectionnant les gammas selon une direction donnée. En faisant tourner le détecteur autour du patient suivant environ 60 à 120 angles d’acquisition, on parvient à mesurer suffisamment de coups par projection pour ensuite reconstruire une image tri-dimensionnelle de la biodistribution. Cependant, la sensibilité est basse, notamment à cause de la collimation, et le temps d’acquisition des images peut être long, 30-45 minutes pour des corps entiers.
Récemment, des approches commencent à être développées pour essayer d’estimer artificiellement des projections angulaires intermédiaires, permettant de réduire d’autant les temps d’acquisition [ryden2019, kang2018b]. Ces « interpolations » sont basées sur des méthodes de Deep Learning classiques, de type Pix2Pix ou CycleGAN et semblent améliorer les approches précédentes [shao2021, kim2021]. Dans le même esprit, des approches par Neural Radiance Fields (NeRF) ont récemment été proposées pour représenter des scènes naturelles et permettre des visualisations semi-3D, suivant différents points de vue [mildenhall2020]. Ces approches reposent sur l'entraînement d’un réseau ayant en entrée les information 5D (position spatiale et point de vue) et en sortie l’image à générer correspondante ; elles ont donné lieu à une série de variantes conduisant à des résultats impressionnants [Xie2022]. Même si ces approches concernent des scènes naturelles (computer vision/computer graphics), au moins une proposition a été faite dans le domaine de l’imagerie médicale pour des X-ray CT [Corona-Figueroa2022]. La principale différence est la prise en compte du phénomène de transparence et d’atténuation des rayons X dans le patient.
Objectif et faisabilité.
L’objectif est d’étudier la faisabilité et investiguer l’intérêt des approches type NeRF pour l’imagerie SPECT.
Nous avons à notre disposition :
Des outils de simulations Monte Carlo permettant de simuler des acquisitions SPECT réalistes pour un grand nombre de configurations (Gate, https://github.com/OpenGATE/Gate [Sarrut2014])
Des images SPECT acquises sur patient (anonymisées), pour différent types de traitement
Des algorithmes de reconstruction SPECT (toolkit RTK https://github.com/SimonRit/RTK [Rit2014])
Un accès au cluster GPU Jean Zay du CNRS (avec un nombre d’heures suffisant)
Partenariat.
Il s’agit d’une collaboration entre chercheurs du LIRIS (équipe Origami) spécialisés dans l’informatique graphique, le machine learning et la géométrie, et des chercheurs de CREATIS (équipe TOMORADIO), travaillant en imagerie nucléaire, reconstruction et simulations. Les cultures scientifiques de ces différents domaines ne sont pas les mêmes, et l’intérêt est ici de créer des ponts pour explorer des méthodes et applications originales.