Rejoignez-nous en Stage !

CEA Tech CorporatefromCEA TechonVimeo.

Description du poste :

Depuis 2020, les réseaux de neurones NeRF [1], ou Neural Radiance Fields, ont été l’objet d’un intérêt croissant de la communauté scientifique, principalement en rendu graphique. Ces méthodes permettent, à partir de quelques points de vues d’une scène, d’en calculer une représentation 3D implicite capturant la géométrie et les propriétés de réflectivité. Les premiers cas d’applications ont été la reconstruction 3D et la synthèse de nouveaux points photo-réalistes. Ces dernières années, l’effervescence autour de ce sujet a mené la communauté à apporter de nouvelles méthodes permettant de surpasser les limitations initiales de ces NeRFs: besoin de moins d’images pour la reconstruction, de moins de mémoire et en particulier accélération [2] de la reconstruction et du rendu. Le Laboratoire de Vision pour la Modélisation et la Localisation (LVML) du CEA développe actuellement une méthode [3] incrémentale de reconstruction, RING-NeRF, qui va dans le sens de rendre adaptative la complexité et la précision du modèle (en fonction du nombre d’images conservées ou d’autres heuristiques). Un des objectifs de cette méthode est de pouvoir effectuer des missions de navigation robotique autonome.
Des premiers travaux au LIAE ont montré la possibilité d’exécuter cette méthode sur une plateforme embarquée NVidia Jetson Orin et des travaux sont en cours pour optimiser son exécution pour atteindre un fonctionnement compatible avec un contexte embarqué. De plus, le LIAE dispose d’une plateforme de navigation robotique pour l’exploration d’environnements inconnus basée sur un robot Pioneer3DX [4], intégrant entre autres une heuristique d’exploration maximisant la surface explorée par unité de temps et un module de SLAM visuel (Simultaneous Localization and Mapping) estimant la pose (position et orientation du robot).

L’objectif de ce stage est alors d’intégrer le module de reconstruction de modèle NeRF issu des travaux du LVML sur la plateforme de navigation robotique. Ce module NeRF prendra comme données d’entrée les images et les poses issues du SLAM et s’exécutera en parallèle des autres applications sur le robot. Le premier objectif sera de mettre en place le framework logiciel permettant les interactions entre SLAM et NeRF sur le système de calcul embarqué sur le robot (composé d’un NUC Intel et Nvidia Jetson). Une étude des capacités de calcul du système est à effectuer. Dans un second temps, une évaluation de la qualité de cette reconstruction sera à effectuer, puis des critères permettant de mieux guider la navigation (par exemple pour une meilleure définition des prochains points de navigations) sera proposée.

Références:

[1] https://www.matthewtancik.com/nerf
[2] https://nvlabs.github.io/instant-ngp/
[3] RING-NeRF : https://github.com/CEA-LIST/RING-NeRF
[4] Pioneer3DX : https://www.generationrobots.com/media/Pioneer3DX-P3DX-RevA.pdf