Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une large gamme de tâches en aval avec un fine-tuning minimal. Ils présentent des performances très élevées ainsi que des propriétés particulièrement intéressantes pour l’apprentissage et leur mise en œuvre, notamment dans le domaine vision. Malgré toutes ces caractéristiques innovantes, la question de l’optimisation et du déploiement de ce modèle dans le domaine de l’embarqué, où les ressources de calcul et la mémoire sont limitées, reste ouverte.

L’objectif de ce stage est donc d'identifier ou de concevoir des méthodes avancées d'optimisation de ces modèles, en tenant en compte des contraintes inhérentes aux environnements embarqués. Cela pourrait inclure la réduction de la complexité algorithmique par exemple en remplaçant des opérations quadratiques couteuses par des alternatives linéaires [2] ou en optimisant la complexité du calcul en substituant certaines opérations telles que la multiplication par des méthodes moins gourmandes [3]. En plus de ces optimisations structurelles, le stage vise à évaluer la compatibilité de ces améliorations avec le matériel embarqué, en tenant en compte de divers paramètres tels que les besoins en mémoire, la complexité de calcul, la consommation énergétique ainsi que les contraintes de latence. L'un des principaux enjeux est de s'assurer que les modèles optimisés peuvent s'exécuter efficacement sur des architectures matérielles spécifiques tout en préservant une précision et une robustesse suffisantes.
Dans ce contexte, vous rejoindrez une équipe projet spécialisée dans analyse et l’optimisation matérielle de réseaux neuronaux, avec pour objectif d'accélérer leur déploiement pour des applications de perception.
Vos principales missions seront :
· Mettre en œuvre le modèle du ViT sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée des aspects tels que la hiérarchie mémoire, la complexité calculatoire, la vitesse d’exécution, la précision ;
· Identifier les limitations et les contraintes spécifiques du modèle pour l’inférence matérielle sur des plateformes embarquées à ressources contraintes ;
· Identifier et analyser les mécanismes d’optimisation applicables aux différentes couches du modèle, notamment la linéarisation et le remplacement d'opérateurs ;
· Optionnellement, si le temps et les résultats le permettent, déployer le modèle optimisé sur un processeur embarqué (p.ex. NVIDIA Orin, Raspberry Pi, STM32) en veillant à ce qu’il soit compatible avec les ressources disponibles.

Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années