Dans le cadre de son activité de conception de solution matérielle embarquée pour l’inférence de modèles IA, le LIAE s’intéresse notamment aux topologies des réseaux de neurones exploitées dans les modèles de fondation vision pour les applications de perception. Alors que les modèles de fondation vision à base de Transformers ont connu un essor considérable ces deux dernières années avec des performances très élevées [1], un nouveau modèle prometteur de type SSM (State Space Model), Vision Mamba [2], a été tout récemment proposé dans l’état de l’art comme alternative aux modèles Transformers.

Aussi, bien que présenté comme moins complexe (en calcul et en mémoire) pour de grandes résolution d’images, la question du déploiement de ce modèle dans le domaine de l’embarqué se pose.

L’objectif de ce stage est donc d’évaluer les propriétés d’embarquabilité du Vision Mamba aussi bien sur les aspects matériels (besoin en mémoire, complexité de calcul...) que sur les aspects applicatifs (robustesse à la quantification).

Dans ce contexte, vous serez intégré à une équipe projet maitrisant une méthodologie d’analyse visant l’accélération matérielle de réseaux de neurones pour des applications de perception.

Vos principales missions seront :

- Identifier les verrous et contraintes de la topologie du modèle Vision Mamba pour une inférence matérielle sur une cible embarquée à ressources contraintes. Au-delà de l’étude « théorique » du modèle, il pourra être nécessaire de le mettre en œuvre sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée (contraintes mémoire, complexité calculatoire…).

- Identifier et analyser les mécanismes de compression, en particulier la quantification, pouvant s’appliquer à ce modèle.

- Développer un modèle permettant d’estimer l’impact de la quantification de certaines parties du réseau sur les performances applicatives et sur l’embarquabilité du modèle.

- Le candidat pourra également être amené à proposer des solutions matérielles (conception d’un opérateur par exemple) pour le support efficace du modèle embarqué.

Pour mener à bien votre mission, vous bénéficierez au CEA LIST d’un environnement de premier plan avec notamment l’accès aux outils de simulation de modélisation et d’exploration du laboratoire.

Vous intégrerez également une équipe dynamique, au cœur de l’écosystème IA en France, qui a noué des liens privilégiés avec les principaux acteurs industriels et académiques du domaine.

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

[1] https://arxiv.org/abs/2304.07193

[2] https://arxiv.org/abs/2401.09417