Stage recherche - Compression vidéo immersive F/H

Description de l'offre

about the role

Regarder une scène dans un casque de VR (Oculus, Apple Vision Pro) implique de produire un modèle 3D de la scène. Les scènes synthétiques sont créées par des artistes et prennent généralement la forme de maillages et d'artefacts graphiques 3D. Produire un modèle 3D d'une scène réelle est beaucoup plus difficile et en est encore au stade de la recherche.

Cependant, les progrès réalisés ces dernières années ont été remarquables, et la famille d'algorithmes à la pointe de la technologie (basée sur [1] 3d gaussian splatting) parvient à produire un modèle satisfaisant à partir d'un nombre raisonnable d'images d'entrée.

L'utilisation opérationnelle de tels modèles implique de les compresser, pour le stockage et surtout pour la transmission. En effet, un modèle 3D de cette famille nécessite des millions de points avec leurs positions, couleurs et autres caractéristiques, ce qui représente un volume de données substantiel. C’est particulièrement vrai lorsqu'il s'agit de vidéo 3D, qui implique de mettre à jour les données 30 fois par seconde. Certaines publications intéressantes ont déjà eu lieu sur le sujet. On peut penser à HAC [2] pour la compression d’un modèle statique, ou Spacetime Gaussian [3] pour la représentation de scènes dynamiques.

La compression des modèles 3d gaussian splatting est encore un domaine de recherche, et de nombreuses idées restent à explorer. Le sujet de ce stage est l'utilisation de la compensation de mouvement pour la compression de séquences de points 3D.

La mission de ce stage est d’entrainer un modèle représentant une scène à partir d'un ensemble de vidéos 2D d'entrée, en intégrant les données 3D et le mouvement. L’entrainement sera réalisé avec un objectif de débit/distorsion, de manière à se concentrer dès la création du modèle sur la compression.

Activités principales :
1. Lire la documentation sur le 3d gaussian splatting et les modèles vidéo 3D qui en dérivent.
2.Produire un modèle dynamique avec la solution à l’état de l’art au moment du stage. Le tester sur nos propres données et identifier les limitations.
3. Décider du modèle de mouvement à mettre en œuvre, en collaboration avec le reste de l'équipe, en priorisant en fonction de l'impact attendu et de la complexité.

4. Mettre en œuvre le modèle discuté, le tester et l'améliorer de manière incrémentale.

Réf :

[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/

[2] Chen, Y., Wu, Q., Lin, W., Harandi, M., & Cai, J. (2025). Hac: Hash-grid assisted context for 3d gaussian splatting compression. In European Conference on Computer Vision (pp. 422-438). Springer, Cham.

[3] Li, Z., Chen, Z., Li, Z., & Xu, Y. (2024). Spacetime gaussian feature splatting for real-time dynamic view synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 8508-8520).

about you

formation souhaitée

·  dernière année d’école d’ingénieur ou de master

 Pré-requis techniques :

·  Connaissances en développement in python and/or C++
·  Compétences pointues et appétence pour les mathématiques
·  Culture sur les techniques d’entrainement d’IA

Aptitudes personnelles :

·  you speak (read!) English
·  vous aimez vous heurter à des problèmes complexes
·  vous voulez travailler dans un domaine d’évolution rapide, ou tout peut être remis en cause à chaque instant

additional information

Description de l’équipe

·  Vous ferez partie d'une équipe de 6 personnes dédiée à la capture 3D au sein d'Orange Innovation, avec des compétences variées en académique, en logiciel et en exploitation de studio vidéo.

Qu’est ce qui fait la valeur ajoutée de cette offre ?

·  Le sujet se situe à la frontière de l'IA et de la réalité augmentée/virtuelle. Les deux domaines évoluent rapidement et offrent de nombreuses opportunités si vous souhaitez travailler dans la recherche et l'innovation.

department

Orange est l'un des principaux opérateurs européens et africains du mobile et de l'accès internet ADSL et l'un des leaders mondiaux des services de télécommunications aux entreprises.
L’ambition de la Division Innovation est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l’humain, éclairer les choix stratégiques du Groupe à long terme et influencer l’écosystème digital mondial.
Nous formons les expertes et les experts des technologies d’aujourd’hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité.
La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l’innovation dont 740 chercheurs. Porteurs d’une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité…), les femmes et les hommes de Innovation sont à l’écoute et au service des pays, des régions et des unités d’affaire pour faire d’Orange un opérateur multiservices de confiance.
Vous serez intégré dans une équipe de recherche à la pointe de l’innovation et de
l’expertise sur la compression vidéo et la reconstruction vidéo 3D.

contract

Internship

Duration : 6 mois

Start date : 03 Feb 2025

Niveau d’études préparé pendant le stage

Indemnité brute selon école

Bac+5

de 1572 € à 2096 € / mois

Only your skills matter

Regardless of your age, gender, origin, religion, sexual orientation, neuroatypia, disability or appearance, we encourage diversity within our teams because it is a strength for the collective and a vector of innovation. Orange Group is a disabled-friendly company: don't hesitate to tell us about your specific needs.