About this role
Summary: Develop a quantization-aware and hardware-aware token pruning method for Vision Transformers to optimize deployment on resource-constrained embedded platforms. The role involves characterizing quantization impacts, designing pruning strategies, and integrating solutions into the Aidge deep learning platform.
### Sujet de stage
Dans un contexte d'IA embarquée en constante évolution, vous travaillerez sur l'optimisation de Vision Transformers (ViT) pour leur déploiement sur des plateformes à ressources contraintes. Vous étudierez la combinaison du pruning de tokens et de la quantification afin de réduire les coûts de calcul et de mémoire, tout en tenant compte des contraintes réelles du matériel cible.
### Description de l'offre
Description du poste :
Les Vision Transformers (ViT) atteignent d’excellentes performances sur de nombreuses tâches de vision, mais leur coût de calcul et leur empreinte mémoire compliquent leur déploiement sur des plateformes embarquées. Parmi les techniques permettant de réduire leur complexité, le pruning de tokens [1] vise à supprimer dynamiquement les tokens les moins informatifs, tandis que la quantification [2] réduit la précision numérique des poids et des activations. Ces deux approches sont cependant généralement étudiées séparément alors qu'elles sont complémentaires plutôt que concurrentes. Des travaux récents montrent qu’elles peuvent être fortement interdépendantes et gagner à être conçues conjointement [3,4].
Qu’attendons-nous de vous ?
L’objectif de ce stage est de développer une méthode de pruning de tokens quantization-aware et hardware-aware. Le travail consistera d’abord à caractériser l’impact de la quantification sur la sélection et l’importance des tokens, puis à développer une stratégie de pruning tenant compte à la fois de leur contribution à la tâche et de leur sensibilité à la basse précision. L’objectif sera ainsi d’étudier la co-optimisation du pruning et de la quantification plutôt que leur application indépendante.
La dimension hardware-aware visera à transformer les réductions de complexité algorithmique en gains réels sur la plateforme cible, notamment en termes de latence et d’empreinte mémoire. La granularité du pruning, la structure des tenseurs, le budget de tokens ainsi que le caractère dynamique ou statique de la stratégie seront étudiés en fonction de leur efficacité d’exécution et de leur compatibilité avec les kernels et le compilateur.
Les développements seront intégrés dans Aidge, la plateforme de deep learning développée au laboratoire pour l’optimisation et le déploiement de réseaux de neurones sur systèmes embarqués. Le travail comprendra l’étude de l’état de l’art, le développement et l’intégration des méthodes proposées, puis leur validation sur cible en termes de précision, complexité, latence, empreinte mémoire et surcoût du pruning.
Références:
[1] Bercy, V., Poreba, M., Szczepanski, M., Bouchafa, S.: G2TM: Single-module graph-guided token merging for efficient semantic segmentation. In: Proceedings of the 21st International Conference on Computer Vision Theory and Applications (VISAPP), pp. 43–54. (2026).
[2] Sassoon, J., Szczepanski, M., Poreba, M.: I-Segmenter: Integer-only Vision Transformer for efficient semantic segmentation. Journal of Systems Architecture 178, 103888 (2026).
[3] Wang, X., Xia, Z., Lin, Z., Li, Z., Wang, Y.: QAPruner: Quantization-Aware Vision Token Pruning for Multimodal Large Language Models. (2026). arXiv:2604.02816.
[4] Fan, X., Ma, Y., Chen, Z., Liu, H.: A Hardware Efficient Joint Compression Framework for Vision Transformers. IEEE Access, vol. 14, (2026).
#*Cea-List*
### Profil du candidat
Profil :
Vous préparez un diplôme de niveau Bac+5 (Master 2 ou diplôme d’ingénieur) dans le domaine de l’informatique, des mathématiques appliquées, de l’intelligence artificielle ou dans un domaine connexe.
Vous êtes intéressé par la recherche scientifique et technologique et êtes reconnu pour votre rigueur, votre autonomie et votre curiosité scientifique.
Vous possédez de bonnes connaissances en Python, PyTorch et Linux, ainsi qu’en apprentissage profond.
Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !
Vous avez encore un doute ? Nous vous proposons :
- L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
- Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
- Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
- Des moyens expérimentaux exceptionnels et un encadrement de qualité,
- De réelles opportunités de carrière à l’issue de votre stage,
- Un poste au cœur de l’écosystème scientifique et technologique de Paris-Saclay, facilement accessible en transports en commun,
- Une participation aux transports en commun à hauteur de 85%,
- Un équilibre vie privée – vie professionnelle reconnu,
- Un restaurant d'entreprise,
- Une politique diversité et inclusion.
*Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.*