Thèse : Segmentation d’images médicales par apprentissage sur données 3D non structurées


Contexte

Segmenter des images médicales est un problème encore ouvert, avec de nombreuses applications possibles pour la médecine personnalisée et l'analyse de cohortes. La segmentation d’images est un problème bien étudié pour les images naturelles 2D, les meilleurs résultats ayant été obtenus ces dernières années grâce aux réseaux de neurones convolutifs. Cependant, la segmentation d’images médicales est encore un problème ouvert. Des approches de segmentation par réseaux de neurones ont déjà été proposées [1-3], mais elles sont difficilement applicables pour des images 3D voxeliques de grande taille. 

Le but de cette thèse, et son originalité principale, est de s’affranchir de l’échantillonnage régulier des images 3D voxeliques, pour proposer une approche de segmentation indépendante de l’échantillonnage des images et possiblement de leur modalité d’acquisition. Il pourra aussi être envisagé l’introduction de contraintes manuelles ou de corrections par l’utilisateur pour guider la segmentation dans les cas les plus difficiles.

Verrous scientifiques

Les images médicales 3D, acquises par IRM ou scanner X, sont stockées sous forme de grille de voxels, dont les dimensions peuvent atteindre ou dépasser 512x512x512 pour les images corps entier. L’utilisation de réseaux de neurones convolutifs pour segmenter de telles images est rendue difficile par une empreinte mémoire très importante et des temps d’exécutions très longs. 

Pour contourner ce problème, nous proposons d’éviter l’utilisation des réseaux de neurones définis sur la grille originale de l’image 3D, et projetons d’explorer des approches d’apprentissage sur données 3D non structurées. Ce type de données apporte cependant une autre difficulté : les données non structurées 3D, telles que les nuages de points, ne peuvent pas être traitées par les réseaux de neurones convolutifs classiques, et nécessitent des réseaux de neurones spécifiques. Un autre problème est le nombre relativement faible d’images de référence segmentées disponibles, ce qui rend l’apprentissage plus difficile.

Programme de recherche

Nous proposons pour cette thèse de privilégier l’utilisation de nuages de points pour l’apprentissage, à travers notamment l’étude et l’extension des techniques récentes telles que [4], [5], [6] et [7]

Les contributions de la thèse permettront la conception d’une nouvelle chaîne de segmentation :

  1. Pour une image cible à segmenter, proposer une méthode d'extraction de points à la frontière des organes. Plusieurs approches sont envisageables pour l’extraction des points :
    • par une détection de contours en analysant l’image à segmenter,
    • par transfert des nuages de points de référence sur l'image à segmenter à l'aide d'une approche d'appariement de points [8],
    • par intervention manuelle de l’utilisateur, qui pourra ainsi fournir des contraintes ou des corrections.

      Le résultat de cette étape sera un nuage de points localisant de manière approximative les frontières entre les organes, et pouvant comporter des points aberrants. Cette méthode d’extraction servira aussi à la construction d’un jeu de nuages de points de référence pour l’apprentissage.
  2. S’inspirer des réseaux de neurones existants [4], [5], [6] et [7] pour traiter le problème de la segmentation de nuages de points. Cette étape consistera à classifier les points dans les nuages de points extraits à l'étape précédente afin de ne garder que les points aux frontières des organes d’intérêt.
  3. A partir des nuages de points classifiés à l’étape précédente, reconstruire les bords des organes pour déterminer la segmentation finale de l’image cible. Ceci pourra être réalisé à l’aide d’approches de reconstruction de surface. Il est aussi envisageable que cette étape de reconstruction de surface soit effectuée simultanément avec l’étape précédente de classification des nuages de points.

Sachant que le cœur de la chaîne de segmentation traite uniquement des points 3D, cette solution offre potentiellement la possibilité de segmenter des images issues de différentes modalités (CT, IRM).

Un jeu de données d'images médicales 3D comportant plusieurs modalités accompagnées des références de segmentation est disponible pour la conduite des expériences et l'évaluation des algorithmes dans cette étude.

Profil recherché

Nous recherchons un.e collabora.teur.trice motivé.e, capable de faire preuve d'esprit critique, de prendre des initiatives et de travailler aussi bien de manière autonome que dans un cadre collectif. Le.la candidat.e doit être titulaire d'un master en informatique, traitement d'images, apprentissage automatique ou dans un domaine proche, doit avoir des acquis solides en mathématiques appliquées, en traitement d'images et en informatique, ainsi que de bonnes compétences en programmation. Une connaissance pratique des méthodes d'apprentissage profond est nécessaire. Les connaissances en l'imagerie médicale sont un plus.

Encadrement

La thèse sera supervisée Sébastien Valette (CREATIS) et Razmig Kéchichian (CREATIS), en collaboration avec Julie Digne (LIRIS).

Date limite des candidatures : 22 avril, 2022

Pour toute question ou candidature sur le sujet, contacter les encadrants via mail : sebastien.valette@creatis.insa-lyon.fr, razmig.kechichian@creatis.insa-lyon.fr.

Références

  1. Ö. Çiçek, A. Abdulkadir, S. Lienkamp, T. Brox, O. Ronneberger, 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. Medical Image Computing and Computer Assisted Intervention (MICCAI), 2016
  2. Isensee, F., Petersen, J., Klein, A., Zimmerer, D., Jaeger, P. F., Kohl, S., ... & Maier-Hein, K. H. (2018). nnu-net: Self-adapting framework for u-net-based medical image segmentation. arXiv preprint arXiv:1809.10486.
  3. Heinrich, M. P., Oktay, O., & Bouteldja, N. (2019). OBELISK-Net: Fewer layers to solve 3D multi-organ segmentation with sparse deformable convolutions. Medical image analysis, 54, 1-9.
  4. C. R. Qi, H. Su, K. Mo, L. J. Guibas, PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, Conference on Computer Vision and Pattern Recognition (CVPR), 2017
  5. Mescheder, L., Oechsle, M., Niemeyer, M., Nowozin, S., & Geiger, A. (2019). Occupancy networks: Learning 3d reconstruction in function space. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 4460-4470).
  6. Yu, J., Zhang, C., Wang, H., Zhang, D., Song, Y., Xiang, T., ... & Cai, W. (2021). 3D Medical Point Transformer: Introducing Convolution to Attention Networks for Medical Point Cloud Analysis. arXiv preprint arXiv:2112.04863.
  7. Hu, Q., Yang, B., Xie, L., Rosa, S., Guo, Y., Wang, Z., ... & Markham, A. (2021). Learning semantic segmentation of large-scale point clouds with random sampling. IEEE Transactions on Pattern Analysis and Machine Intelligence.
  8. C. Wachinger, M. Toews, G. Langs, W. Wells, P. Golland, Keypoint Transfer for Fast Whole Body Segmentation, IEEE TMI, 2018