French
English
Contexte
Récemment, les champs de radiance neuronaux (NERF, [1]) ont apporté une solution élégante à la représentation de scènes 3D. Leur efficacité a été démontrée pour la synthèse de vues 2D.
L’utilité originale des NERF était la possibilité de générer de nouvelles vues 2D à partir d’un ensemble d’images 2D tirées d’une même scène, et la représentation 3D de la scène n’était donc pas l’objectif principal. Pour la tomographie, le but est la reconstruction de la scène 3D à partir de projections 2D ([2]). Des travaux ont été initiés dans ce sens à CREATIS et au LIRIS, et les premiers résultats sont prometteurs pour les applications en tomographie par rayons X conventionnelle.
La microscopie électronique est utilisée pour l’étude des échantillons en science des matériaux et en biologie pour l’étude des cellules. Des images sont prises à différents angles d’inclinaison à l’aide d’un faisceau parallèle d’électrons traversant l’échantillon. Les projections sont acquises en général sur un angle total d’environ 120-140 degrés, bien inférieur à 180 degrés. Les images reconstruites présentent un artéfact d’angle manquant, certains contours ne peuvent pas être reconstruits ce qui donne aux objets un aspect allongé ([3]). Le faisceau étant destructif, dans un souci de contrôle de la dose, les projections sont très bruitées et le rapport signal sur bruit faible notamment pour les échantillons biologiques (voir figure 1). Le contraste est faible dans les volumes d'échantillons épais (notamment des cellules entières). Une autre difficulté vient des incertitudes sur l’angle des projections et sur la position de l’échantillon. Bien que des méthodes d’alignement soient connues [4], elles sont difficilement applicables en absence de marqueurs et dans des images de faible contraste. L’apprentissage profond supervisé pourrait apporter des a-priori spécifiques, issus des données, plus précis que les méthodes de régularisation classiques.
Figure 1 : Image tomographique d’une cellule hydratée. Gauche : projection acquise sous un angle d’incidence du faisceau électronique. Droite : reconstruction 3D de l’échantillon.
Objectif
Les NERFs sont une méthode d’apprentissage non-supervisée, qui permet de reconstruire l’image sur la base du modèle physique comme les méthodes itératives. En ce sens il s’agit d’une alternative aux algorithmes itératifs, qui va au-delà de la représentation discrète voxelisée des volumes. Plusieurs objectifs sont visés:
- tester les performances des NERFs en microscopie électronique
- optimiser les temps de calcul
- compenser l’incertitude sur les angles de projection et la position de l’échantillon
- introduire des a priori issus des données. Dans le cas de l’imagerie des cellules, le faible angle de balayage pourrait être compensé en prenant en compte les multiples occurrences de cellules identiques projetées selon des angles différents.
L’imagerie des échantillons sensibles sous le faisceau revêt une grande importance dans le domaine de la microscopie, car elle conditionne la capacité à examiner des structures de très petite taille. En imagerie cellulaire, elle participe à faire avancer notre compréhension de diverses affections. Les méthodes étudiées dans ce stage pourront ensuite être appliquées à d’autres modalités d’imagerie, en particulier dans le domaine médical.
Lieu du stage
Le stage aura lieu au laboratoire CREATIS, en collaboration avec les laboratoires LIRIS et MATEIS.
Compétences recherchées
Nous recherchons une personne avec de bonnes compétences en informatique, notamment programmation Python. Une expérience sur les méthodes d’apprentissage est un plus. Il est également attendu que le stagiaire ait des bases solides en mathématiques et des bonnes capacités de communication écrite et orale. Il sera amené à travailler avec des chercheurs ayant des spécialités différentes : microscopie, informatique, reconstruction tomographique.
Pour candidater
Nous envoyer : CV, lettre de motivation et relevés de notes.
Contact
voichita.maxim@creatis.insa-lyon.fr
sebastien.valette@creatis.insa-lyon.fr
Références:
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R Ramamoorthi and Ren Ng, “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”, ECCV 2020, https://www.matthewtancik.com/nerf
[2] L. Shen, J. Pauly and L. Xing, "NeRP: Implicit Neural Representation Learning With Prior Embedding for Sparsely Sampled Image Reconstruction", IEEE Transactions on Neural Networks and Learning Systems, 2022
[3] H. Banjak, T. Grenier, T. Epicier, S. Koneti, L. Roiban, A.-S. Gay, I. Magnin, F. Peyrin, V. Maxim, “Evaluation of noise and blur effects with SIRT-FISTA-TV reconstruction algorithm: Application to fast environmental transmission electron tomography”, Ultramicroscopy, Volume 189, 2018, Pages 109-123.
[4] C.O.S. Sorzano, F. de Isidro-Gómez, E. Fernández-Giménez, D. Herreros, S. Marco, J.M. Carazo, C. Messaoudi,
Improvements on marker-free images alignment for electron tomography, Journal of Structural Biology: X, Volume 4, 2020.