Stage : Utilisation des modèles LLM sur cas d'applications aéronautiques F/H

Description de l'offre

Stage : Utilisation des modèles LLM sur cas d'applications aéronautiques F/H

Company :

Safran

Job field : Mathematics and algorithms

Location : Magny-les-hameaux France , Ile de France , France

Contract type : Internship / Student

Contract duration : Full-time

Required degree : Master Degree

Required experience : First experience

# 2025-158870-145393

Apply with one click Any questions ?

Job Description

Safran est un groupe international de haute technologie, équipementier de premier rang dans les domaines de l'Aéronautique, de l'Espace, de la Défense et de la Sécurité. Au sein de Safran Tech (le centre de R&T du groupe), l'Unité de Recherche Maths & Algorithms for Temporal Data (MATD) développe de nouveaux outils pour répondre aux grands enjeux en aéronautique ; en particulier, des méthodes de suivi efficaces de la santé des équipements, afin d'optimiser la maintenance et garantir la sécurité.

Des avancées récentes des grands modèles de langage génératifs (en anglais, Large Language Models (LLM)) rencontrent un succès dans de nombreux domaines et applications. En particulier, au sein de Safran, il existe plusieurs besoins d'utilisation des modèles LLM pour différents cas d'applications, notamment pour faciliter l'extraction d'information à partir d'un ensemble de données de documentation métier. L'un des défis de l'utilisation de ces modèles dans cette tâche est de savoir comment ré-entraîner les modèles LLM avec des connaissances spécifiques au domaine ou des données supplémentaires, ce qui nécessite souvent des pipelines complexes et des ressources informatiques coûteuses.

Par ailleurs, la Génération Augmentée par Récupération (en anglais, Retrieval Augmented Generation (RAG)) a été introduite récemment comme une technique prometteuse pour faciliter l'incorporation de données supplémentaires aux LLM. Comparé aux modèles de génération conventionnels, RAG présente des avantages remarquables et a notamment atteint des performances de pointe dans de nombreuses tâches de traitement du langage naturel, telles que la génération de réponses de dialogue, la traduction automatique et le résumé [1]. Le pipeline RAG ne nécessite que quelques étapes de code (voire pas de code) pour permettre au modèle d'accéder et de s'améliorer à partir de données supplémentaires, grâce à l'environnement tel que Langchain [2].

Dans le cadre de ce stage et au sein de cet environnement, nous explorerons l'aspect « fine-tuning » de modèles LLM sur notre documentation interne, en utilisant des approches à l'état de l'art du type LoRa [3], QLoRA [4] etc. L'objectif est la spécialisation de grands modèles de langage à notre domaine d'application, vocabulaire, pratiques spécifiques etc. Nous analyserons si le fine-tuning apporte un gain par rapport à d'autres approches : prompt engineering, solution RAG contextuelle à une base documentaire etc. Enfin, dans un but d'évaluation de la sortie du modèle, nous chercherons à caractériser la sortie du modèle et aussi à maîtriser le fonctionnement du réseau appris.

Complementary Description

La mission pendant le stage consiste à :

· 
Constituer un état de l'art sur le fine-tuning de modèles LLM,

· 
Proposer et mettre en œuvre un schéma de fine-tuning de modèles LLM en fonction des ressources informatiques disponibles,

· 
Expérimenter et analyser les résultats obtenus,

· 
Travailler sur la partie évaluation,

· 
Participer aux travaux de l'équipe comme la mise en place et l'exécution d'expériences pour réaliser des articles scientifiques.

Bibliographie :

[1] Li, H., Su, Y., Cai, D., Wang, Y., & Liu, L. (2022). A survey on retrieval-augmented text generation. arXiv preprint arXiv:2202.01110.

[2] https://python.langchain.com/docs/expression_language/cookbook/retrieval

[3] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen (2021). LoRA: Low-Rank Adaptation of Large Language Models.

[4] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer (2023). QLoRA: Efficient Finetuning of Quantized LLMs.

Job Requirements

Programmation : Python (librairies scientifiques)

Disciplines: LLM, NLP, prompt engineering, RAG, fine-tuning.

Langues : Anglais pour lecture scientifique + communiquer

Locate your future workplace

Rue des jeunes bois78114

Magny-les-hameaux France

Ile de France France

Safran is an Equal Opportunity Employer

All qualified applicants will receive consideration for employment without regard to race, color, sex, sexual orientation, gender identity, religion, national origin, disability, veteran status, or other legally protected status.