Apprentissage de formes pour la segmentation efficace d'images médicales 3D

Figure 1. Gauche : image originale. Centre : points de contour (en rouge) extraits de l’image. Droite : image segmentée

 

Contexte

Le but de ce stage est l'utilisation de l'apprentissage machine sur nuages de points pour la segmentation efficace d'images médicales 3D.

 

Verrous

Les approches de segmentation basées sur les réseaux de neurones ont montré leur efficacité pour les images médicales 2D [1] et 3D [2], mais pour les images 3D de taille relativement grande (512^3 voxels ou plus), ces approches sont difficilement exploitables en raison de leur complexité calculatoire et de leur empreinte mémoire.

Ainsi, des méthodes d'apprentissage basées sur des données non structurées, telles que les nuages de points, apparaissent comme une alternative prometteuse [3][4][5][6]. Une difficulté  inhérente aux données structurées est qu'il n'est pas possible d'utiliser des réseaux de neurones convolutifs classiques, il est nécessaire de créer de nouveaux réseaux adaptés.

 

Programme de recherche

Des travaux sur la segmentation de données non structurées ont déjà été effectués dans le cadre d’un précédent stage financé par le projet ANR TOPACS. Ces travaux ont débouché sur une approche de segmentation d’images 2D, utilisant principalement des points non structurés comme données d’entrée pour la segmentation, se basant sur un réseau de type “Occupancy Network” [5]. Des premiers résultats prometteurs ont été obtenus (voir Figure 1), et le but de ce stage est la poursuite de ces travaux, avec plusieurs perspectives possibles:

  • Proposer une nouvelle architecture de réseau plus propice à la segmentation
  • Obtenir et utiliser une base d’apprentissage plus grande pour améliorer la robustesse du réseau
  • Enrichir les données en entrée : à l’heure actuelle, seules des coordonnées des points sont prises en compte. Il est possible de rajouter des attributs à ces points, tels que l’intensité des pixels sous-jacents ou le gradient local.
  • Adapter le réseau pour segmenter des images 3D.

 

Encadrement

Le stage se déroulera au laboratoire CREATIS, et sera encadré par Razmig Kéchichian (CREATIS), Julie Digne (LIRIS) et Sébastien Valette (CREATIS).

 

Candidature

Pour toute question ou candidature sur le sujet, contacter les encadrants par mail.

 

Références

  1. O. Ronneberger, P. Fischer & T. Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2015.
  2. Ö. Çiçek, A. Abdulkadir, S. Lienkamp, T. Brox, O. Ronneberger, 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2016.
  3. Charles R. Qi, H. Su, K. Mo, L. J. Guibas, PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017.
  4. M.-J. Rakotosaona, V. La Barbera, P. Guerrero, N. J. Mitra, M. Ovsjanikov, PointCleanNet: Learning to Denoise and Remove Outliers from Dense Point Clouds, Computer Graphics Forum, 2019.
  5. L. Mescheder, M. Oechsle, M. Niemeyer, S. Nowozin, A. Geiger, Occupancy networks: Learning 3d reconstruction in function space, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.
  6. J. J. Park, P. Florence, J. Straub, R.  Newcombe, S. Lovegrove, Deepsdf: Learning continuous signed distance functions for shape representation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.