Développement d'un outil d'analyse de qualité de captation sur site pour des rendus VR H/F
Stage Palaiseau (Essonne)
Description de l'offre
Détail de l'offre
Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
2024-32984Description de l'unité
Au cœur du Plateau de Saclay, l'institut CEA LIST focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie).
Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).
Description du poste
Domaine
Sciences pour l'ingénieur
Contrat
Stage
Intitulé de l'offre
Développement d'un outil d'analyse de qualité de captation sur site pour des rendus VR H/F
Sujet de stage
Le sujet du Novel View Synthesis a connu ces dernières années des avancées remarquables grâce à l'apparition des Neural Radiance Field [1] puis des 3D Gaussian Splatting [2]. Notre laboratoire a ainsi développé un outil de visualisation et d'interaction en Réalité Virtuelle basé sur cette dernière approche qui a rencontré un grand succès. Voir démo XR présentée au Salon Laval Virtual 2024. https://www.youtube.com/watch?v=aZizVJ0TG4U
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020.
[2] Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ToG), 42(4), 1-14.
Durée du contrat (en mois)
6
Description de l'offre
Or l’expérience nous a montré que la qualité des données recueillies lors de la prise de vue est cruciale pour le résultat final. Comme l’accès aux sites, parfois prestigieux, n’est en général pas aisé, le besoin est apparu d’un outil de mesure de qualité lors de cette étape de captation. Le stage consiste donc à participer au développement d’un tel outil qui après le recueil rapide des données acquises (vidéos, photos) les traitera sur place pour mesurer la couverture spatiale et directionnelle de la scène entière ou sur les objets d’intérêts principaux. Les poses des images seront rapidement évaluées via des méthodes de Simultaneous Localization And Mapping [3] ou par Structure From Motion [4]. Des données géométriques mesurées par un Lidar ou une caméra de profondeur attachés au dispositif de captation pourront fournir une première reconstruction dense de la géométrie. Enfin, on fournira une visualisation en fausse couleurs des zones ou directions couvertes, ou bien on procédera à des évaluations rapides par 3D Gaussian Splatting comme dans [5]. L’outil devra être itératif pour permettre d’ajouter des données supplémentaires acquises pour combler les déficits détectés. Et il pourra optionnellement signaler des problèmes fréquemment rencontrés lors d’une captation comme la présence d’objets déplacés par inadvertance, des profondeurs de champs trop petites, des flous de bougés ou des changements d’éclairage trop fort.
Ce travail viendra en appuis d’une thèse se déroulant actuellement dans notre laboratoire. L’étudiant pourra participer aux campagnes de captations menées par l’équipe pour tester, mettre au point et valider la solution.
[3] https://github.com/stella-cv/stella_vslam
[4] Pan, L., Barath, D., Pollefeys, M. and Schönberger, J. L., Global Structure-from-Motion Revisited, European Conference on Computer Vision (ECCV), 2024. https://github.com/colmap/glomap
[5] Peng, Z., Shao, T., Liu, Y., Zhou, J., Yang, Y., Wang, J. and Zhou., K., 2024. RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting. In ACM SIGGRAPH 2024 Conference Papers (SIGGRAPH ’24). Association for Computing Machinery, New York, NY, USA, Article 30, 1–11.
Moyens / Méthodes / Logiciels
Python, C++, Cuda, Git, géométrie algorithmique, reconstruction 3D.
Profil recherché
Profil du candidat
Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.
Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.