M2, PFE ou équivalent - Segmentation IRM 3D guidée par texte avec le modèle Segment Anything

Contexte scientifique
CREATIS est un laboratoire pluridisciplinaire reconnu pour son expertise en imagerie médicale et son rôle de premier plan dans les technologies de santé à Lyon. Dans ce cadre, l’équipe Myriad développe des méthodologies innovantes en traitement d’images, modélisation biomécanique et simulation d’images pour l’imagerie médicale. L’un de ses atouts majeurs réside dans la mise en synergie des scientifiques et des cliniciens autour d’applications médicales ciblées, avec un focus particulier sur l’imagerie cardiovasculaire, pulmonaire et neurologique. L’équipe compte actuellement 30 membres permanents (chercheurs, cliniciens et ingénieurs), encadrant environ 30 doctorants et 3 post-doctorants.

Les récents progrès des modèles fondation, tels que le Segment Anything Model (SAM) [1], ont permis une segmentation généralisable et pilotée par prompts. Bien que des adaptations médicales et 3D de SAM existent déjà (par ex. MedSAM, SAM3D, variantes 3D avec adapters) [2–6], leur utilisation efficace en IRM cérébrale pour l’AVC requiert encore une adaptation spécifique à la tâche et à la modalité. La plupart des modèles de segmentation actuels reposent essentiellement sur les seules caractéristiques visuelles. Or, dans le cas de l’IRM cérébrale, les lésions et les tissus normaux peuvent présenter des intensités de signal ou des apparences très proches, rendant la distinction difficile pour les modèles.

À l’inverse, en pratique clinique, l’interprétation des images ne se fait jamais en vase clos : les radiologues complètent les données d’imagerie par des connaissances anatomiques préalables et par des informations cliniques supplémentaires (symptômes, antécédents, résultats d’examens, discussions collégiales). Ces connaissances contextuelles aident à localiser, caractériser et hiérarchiser les observations au-delà de ce qui est visible dans les images.

En s’appuyant sur cette idée, le travail proposé vise à traduire les informations cliniques disponibles en prompts compatibles avec SAM, afin de les intégrer dans une chaîne de traitement SAM pour guider la segmentation et améliorer sa précision et sa robustesse. Le projet entend ainsi combler cette lacune en exploitant le texte clinique comme source de guidage pour SAM, dans le but d’améliorer la segmentation IRM 3D.

Cohortes et données
L’évaluation sera réalisée sur deux jeux de données multimodaux complémentaires :

  • Cohorte HIBISCUS [8] : base de données d’imagerie de l’AVC comprenant des IRM multimodales (notamment IRM de diffusion) associées à des variables cliniques (âge, sexe, latéralité de la lésion, scores cliniques mRS, NIHSS, ASPECTS). Des segmentations expertes de lésions sont disponibles, faisant de HIBISCUS la base principale pour le développement du modèle et l’intégration multimodale.

  • Cohorte ETIS : base multicentrique d’AVC ischémiques combinant également IRM de diffusion et variables cliniques similaires. Cependant, tous les cas ne sont pas segmentés. ETIS sera donc utilisée principalement pour évaluer la capacité de généralisation des modèles entraînés sur HIBISCUS dans différents centres et protocoles d’acquisition.

Ce design expérimental permet d’étudier à la fois la faisabilité de l’intégration multimodale (HIBISCUS) et la robustesse de l’approche dans un contexte plus large, hétérogène et multi-institutionnel (ETIS).

Mots-clés : Segmentation d’images médicales, Modèles fondation / SAM, Apprentissage multimodal, Imagerie de l’AVC (IRM)

Objectifs
Développer une chaîne de prompting guidée par des données cliniques pour la segmentation des lésions d’AVC en IRM de diffusion avec SAM. Le stage consistera à :
(i) convertir descripteurs cliniques structurés — et, lorsque disponibles, courtes phrases libres [6] — en prompts géométriques compatibles avec SAM (boîtes 3D, points positifs/négatifs, masques faibles) via un a priori probabiliste basé sur atlas [7] ;
(ii) intégrer ces prompts à la fois dans MedSAM [2] (référence par coupes) et dans une variante SAM-3D, afin d’améliorer précision, focalisation et robustesse.

  • Standardiser les entrées (côté, territoire vasculaire, NIHSS, ASPECTS), construire un a priori spatial basé sur atlas P(x)P(x) [9], exploitant les connaissances anatomiques et la segmentation des territoires artériels spécifiques pour guider SAM.

  • Exécuter un MedSAM guidé par prompts ou une variante SAM (par ex. SAM3D/adapter-based) avec la même interface de prompts ; assurer la cohérence volumique et un compromis mémoire/temps d’exécution raisonnable.

  • Gérer les informations cliniques manquantes/ambiguës via des prompts multi-hypothèses (ex. gauche/droite, territoires candidats) et du coarse-to-fine prompting ; tester la sensibilité au bruit/placement des prompts.

  • Entraîner/valider sur HIBISCUS ; évaluer la généralisation hors distribution sur ETIS (multicentrique, labels partiels). Métriques : Dice, HD95, F1 par lésion, cohérence volumique et robustesse inter-centres. Comparer aux baselines SAM sans prompt et aux modèles CNN/Transformers classiques.

Livrables
Module de génération de prompts réutilisable + configurations, pipelines MedSAM ou SAM-3D guidés par prompts, études d’ablation (types/quantité de prompts), et une preuve de concept démontrant des gains mesurables grâce au guidage clinique. (Optionnel : petit encodeur textuel pour guidage direct par langage si le temps le permet [6]).

Références

  1. Kirillov, Alexander, et al. "Segment anything" Proceedings of the IEEE/CVF international conference on computer vision. 2023.
  2. Ma, J., He, Y., Li, F. et al. Segment anything in medical images. Nature Communication 15, 654 (2024). 
  3. Bui, Nhat-Tan, et al. "SAM3D: Segment anything model in volumetric medical images" 2024 IEEE International Symposium on Biomedical Imaging (ISBI). IEEE, 2024.
  4. Gong, Shizhan, et al. "3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation" Medical Image Analysis 98 (2024): 103324.
  5. Chen, Cheng, et al. "Ma-SAM: Modality-agnostic SAM adaptation for 3D medical image segmentation" Medical Image Analysis 98 (2024): 103310.
  6. Zhao, Z., Zhang, Y., Wu, C. et al. Large-vocabulary segmentation for medical images with text prompts. npj Digit. Med. 8, 566 (2025). 
  7. Liu, CF., Hsu, J., Xu, X. et al. Digital 3D Brain MRI Arterial Territories Atlas. Sci Data 10, 74 (2023). https://doi.org/10.1038/s41597-022-01923-0
  8. Moreau, Juliette, et al. "Contrast quality control for segmentation task based on deep learning models—Application to stroke lesion in CT imaging" Frontiers in Neurology 16 (2025): 1434334.
  9. Bloch, Isabelle. "Fuzzy sets for image processing and understanding." Fuzzy sets and systems 281 (2015): 280-291

Contact : carole.frindel@creatis.insa-lyon.fr