French
English
Thématique : segmentation d’images médicales, apprentissage profond, modélisation anatomique, IA frugale
Résumé du stage : Le domaine de la segmentation d’images médicales connaît actuellement un changement de paradigme passant des méthodes spécialisées conçues pour des tâches individuelles à des modèles de fondation, dont le plus populaire est "Segment Anything Models (SAM)", capables de s’adresser à une multitude de scénarios de segmentation. Initialement conçus pour les images naturelles, ces modèles attirent l’attention par leur capacité de généralisation à la segmentation d’objets de classes inconnues dans des domaines inconnus lorsqu’ils sont correctement sollicités à l’aide des invites de commande (prompts, en anglais) spécifiant les objets d’intérêt ou pour affiner les résultats d’une segmentation initiale. Ces invites sont spécifiées par un opérateur, souvent sous forme d’une boîte englobant l’objet cible. Par ailleurs, l’utilisation des modèles SAM permet de s’affranchir de la phase d’entraînement, très coûteuse en termes de données et de ressources de calcul, ce qui rend leur usage plus frugale. Bien que des algorithmes de génération d’invites afin d’automatiser le processus de segmentation soient proposés, des difficultés persistent dans l’application de ces modèles à la segmentation multi-organe des images médicales 3D. En effet, en raison de la variabilité de forme des structures anatomiques et de leur proximité spatiale, la boîte d’invite pour une structure souvent englobe tout ou partie d’une structure adjacente, parfois plus petite, rendant difficile la segmentation de cette dernière. La prise en compte des connaissances de domaine, telles que les relations spatiales entre les structures (adjacence, orientation, inclusion, etc.) permettrait une segmentation hiérarchique où des structures clés sont définies et segmentées en premier facilitant la définition plus précise des boîtes englobantes des structures voisines et leur segmentation par la suite. L’a priori anatomique peut également être pris en compte lors d’un ré-entraînement du modèle afin de le rendre plus robuste aux invites imprécises. Plusieurs stratégies peuvent être envisagées, notamment l’intégration des contraintes anatomiques dans la fonction de perte ou celle de récompense dans une approche d’apprentissage par renforcement. Ces stratégies sont attractives du point de vue de la frugalité également, car elles ne nécessiteront pas un ré-entraînement intégral du modèle mais uniquement de son décodeur, en plus du faible besoin des données d’entraînement car les distributions valables ne seront plus déduites des données massives mais codées dans les fonctions optimisées.
Missions confiées à la stagiaire : Ce stage de recherche s’inscrit dans la continuité d’un projet de recherche déjà entamé durant l’année universitaire 2024-25 dans le cadre d’un stage de recherche de M1. Le candidat partira des acquis des ces travaux qui se sont adressés à l’étude des modèles SAM adaptés à l’analyse d’images médicales 3D et à la génération automatique des invites via une approche de recalage d’atlas. Le candidat explorera l’état de l’art portant sur l’introduction des connaissances de domaine dans les méthodes de segmentation multi-organe par apprentissage profond, il étudiera les différentes stratégies de prise en compte ou d’intégration d’a priori anatomique lors d’une inférence par un modèle SAM ou lors du ré-entraînement de celui-ci, enfin il évaluera les différentes approches dans au moins deux applications de segmentation multi-organe 3D : imagerie thoracique-abdominale CT et IRM, et imagerie CBCT dentaire.
Résultats attendus / livrables prévus : Un modèle SAM enrichi par des connaissances de domaine atteignant des performances au moins comparables aux méthodes spécialisées de l’état de l’art sur au moins deux jeux de données de référence AMOS22 (CT et IRM thoracique-abdominale) et TootFairy3 (CBCT dentaire), rédaction d’un article de conférence, publication du code avec sa documentation.
Profil recherché : Titulaire de M1, ou M2 recherche en cours avec des acquis solides en mathématiques appliquées, analyse d'images et informatique, ainsi que de bonnes compétences en programmation. Une connaissance théorique et pratique des méthodes d'apprentissage profond est nécessaire. Les connaissances en imagerie médicale sont un plus.
Candidature : Envoyer CV et relevés de notes récents par mail.
Gratification : selon la législation en vigueur, ~630 €/mois.