Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la compression de modèle de réseaux de neurones en vue de les implémenter sous forme d’inférence légère, le LIAE s’intéresse à l’exploitation de la sparsité [2]. Il s’agit de tirer parti du nombre de « zéro » présents dans des matrices/tenseurs d’activations et/ou de poids pour réduire la taille de la mémoire requise et le nombre d’opérations induites.

Dans ce contexte, l’objectif de ce stage est d’identifier et de mettre en place des techniques d’organisation de la sparsité (semi-structuré/structuré) dans un réseau ViT. Dans ce contexte, les principales missions du candidat seront les suivantes:

- Déployer un réseau ViT existant comme base de référence

- Identifier et analyser les mécanismes de création ou d'augmentation de la sparsité,

- Identifier et analyser les mécanismes de réorganisation des matrices (stockage mémoire efficace), en particulier autour des fonctions d’activations, pouvant s’appliquer à ce modèle.

- Mettre en place des solutions et caractériser les gains et/ou des pertes observées en terme de taille et de performance.

- Proposer dans la mesure du possible de piste d’implémentation d’un support matériel pour une implémentation embarquée.

Une bonne expérience avec Pytorch et cibles embarquées serait appréciée.

[1] https://arxiv.org/abs/2304.07193

[2] https://www.mdpi.com/2301878