Stage de recherche - Stage recherche – Etude des biais dans le résumé de conversations F/H

Description de l'offre

about the role

Contexte :

Orange est une entreprise pionnière en matière d’éthique et de responsabilité de l’IA (charte de la data et de l’IA ? Conseil éthique de la data et de l’IA, membre fondateur d'Impact AI). Au sein du programme de recherche IAR (IA Responsable), le projet FAIR AI analyse les enjeux d’équité posés par l’usage de l’Intelligence Artificielle. Les modèles de langage constituent un nouveau défi dans la lutte contre les biais, les discriminations. La mise en application prochaine du AI Act rend par ailleurs obligatoire la lutte contre les biais dans certains cas.

Sujet du stage :

Vous travaillerez sur la création d’un benchmark qui servira à terme de référence pour l’évaluation des biais des  modèles de langue sur la tâche spécifique de résumé de conversation et/ou de réunion en français notamment. Parmi les critères d’évaluation des modèles, en complément de la performance technique, nous visons l’équité via l’absence de biais que ce soient des biais liés aux attributs sensibles (biais de genre...) ou des biais propres à la tache de résumé (biais de position...).

Puis les activités associées au poste, dans le cadre du stage

Il s’agira d’abord d’effectuer une brève revue de littérature sur le sujet des biais des LLM sur la tache de résumé ; puis de construire un benchmark, de l’évaluer et d’en faire la synthèse.

Étapes de l’étude

§  Vous réalisez un état de l’art des biais des LLM sur la tâche de résumé de conversations

§  Vous proposez une taxonomie de ces biais et des métriques de mesure associées

§  Vous définissez le benchmark nécessaire au besoin d’Orange et le protocole d’évaluation

§  Vous construisez le benchmark (collecte, préparation, annotation et anonymisation des donnée puis proposition de métriques).

§  Vous testerez le benchmark sur plusieurs modèles LLM

§  Vous réaliserez une synthèse des résultats

§  Vous présentez vos résultats devant différents publiques experts, utilisateurs qui pourront être concernés par la décision ou par la prise en compte de l’éthique dans leurs propres travaux

 

about you

Vous terminez une formation de niveau Bac +5 (master ou école d’ingénieurs) en datascience

Vous avez une bonne connaissance :

- D’au moins un langage de programmation : Python, pour faire du prototype logiciel

- De quelques modèles de langage et de ses applications

Vous êtes à l’aise avec l’anglais technique. 

Vous avez une bonne maitrise de la langue française (niveau avancé C1 minimum)

Compétences et qualité personnelles recherchées

Vous savez construire un objet de recherche et mobiliser la littérature académique pour le faire
Vous nourrissez une curiosité à l’égard des services numériques et des enjeux sociaux portés par l’innovation technologique
Vous savez être force de proposition, vous faites preuve d’organisation et d’autonomie
Vous avez un bon sens de l'analyse et êtes rigoureux dans l’exécution de votre mission
Vous êtes autonome, passionné(e) par le développement et l'innovation utilisant des données. 
Vous avez un bon relationnel et appréciez le travail en équipe. 

additional information

Vous serez intégré au sein d’une équipe de recherche dynamique, à la pointe de l’innovation et de l’expertise dans le domaine de l’intelligence artificielle et des modèles de langage. Vous contribuez à un projet de recherche mêlant une vision technologique et éthique. Le stage pourra donner lieu à des activités de valorisation industrielles (brevets) ou scientifiques (publications) selon les résultats obtenus.

department

Au sein d' Orange Innovation, la direction Data AI a pour ambition de développer l’usage de la Data et de l’Intelligence Artificielle, en étroite collaboration avec les pays dans lesquels Orange est implanté, sur leurs cas d’usages et leurs besoins métier. Dans cette direction, l’équipe DESKIN développe des produits et des services à base de technologies d’Intelligence Artificielle (IA), et d’IA Générative pour le Traitement Automatique du Langage Naturel.
Plus précisément, les missions de l’équipe DESKIN sont les suivantes :
1.    Développer des outils d’IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d’évaluation et visualisation de données textuelles à destination des directions métiers d’Orange, en utilisant les dernières technologies et modèles d’IA Génératives,
2.    Accompagner les équipes métiers pays dans l’analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins.

contract

Internship

Duration : 6 mois

Start date : 06 Jan 2025

Niveau d’études préparé pendant le stage

Indemnité brute selon école

Bac+5

de 1572 € à 2096 € / mois

Only your skills matter

Regardless of your age, gender, origin, religion, sexual orientation, neuroatypia, disability or appearance, we encourage diversity within our teams because it is a strength for the collective and a vector of innovation. Orange Group is a disabled-friendly company: don't hesitate to tell us about your specific needs.