Développement Python: indexation de données & flux d'orchestration pour analyse de données massives F/H (2024-121676)

Description de l'offre

Description de l'offre

Le groupe EDF est une entreprise innovante et leader en France de la production et la fourniture d’énergie. Le groupe compte parmi les premiers producteurs d’électricité bas carbone au monde. Acteur clé de la lutte contre le réchauffement climatique, EDF participe activement à la décarbonation des usages.

Curiosity est une solution logicielle expérimentale mise au point par la R&D d’EDF qui sert à ses utilisateurs via une IHM Web et une API Python, un grand volume de données hétérogènes et historisées, enregistrées sur les sites de production du parc nucléaire, allant de l’ensemble des mesures des capteurs aux comptes rendus des interventions.

 

Objectifs du stage

 De nombreux indexes aux performances optimisées sont construits et mis à jour quotidiennement par un processus ETL reposant sur l’orchestrateur de flux Airflow, rendant possible des études big data sur des données récentes. 

Le référentiel des capteurs installés dans toutes les unités de production du parc nucléaire joue un rôle central dans le requêtage des données par les utilisateurs puisque toute recherche commence par la sélection d’un périmètre de sites, de tranches, de capteurs. Le processus d’indexation de ce référentiel a été développé à l’origine du projet dans l’application Web, écrite en Java. L’objectif est de s’approprier sa logique fonctionnelle et de le développer en tant que traitement Python orchestré dans Airflow en s’assurant que son contenu est correct et complet.

 Le/la stagiaire sera intégré(e) dans l’équipe projet et contribuera au développement des flux de données qui alimentent les bases de données, servies par Curiosity. Pour atteindre les objectifs le stagiaire sera amené à travailler sur différentes tâches (en fonction de l’avancée du projet et du stage) : 

·  Analyser le type de données manipulées,
·  Analyser l’alimentation des bases de données via l’orchestrateur de flux Airflow,
·  Développer des nouveaux flux dans l’orchestrateur Airflow, en priorité celui d’indexation des données de recherche,
·  Rédiger les tests et la documentation,
·  Assurer la mise en production,
·  Assurer la cohérence de l’environnement de l’orchestrateur,
·  Améliorer la performance des flux.

 

Mots-clés : Indexation de données, Elasticsearch, traitement de données, langage Python, Java, SQL, orchestration, Airflow, réacteur nucléaire, Big Data

Profil souhaité

Appétence certaine pour la manipulation de données et la programmation.

Niveau d’études : M1/M2

 

Compétences techniques 

·  Langage de programmation : Python, Java
·  Base de données : SQL
·  GitLab
·  Linux

Langue : anglais de bon niveau (écrit et parlé)

 

Savoir-être 

·  Autonomie, capacité d’initiative
·  Rigueur
·  Persévérance, motivation
·  Esprit critique

Les connaissances suivantes sont un plus :

·  Index Elasticsearch, Kibana
·  Concept des orchestrateurs de flux, Airflow

 

 

Informations pratiques

 Groupe d’accueil : Système d’information et de Télécommunication (16 personnes environs).

Lieu : EDF Lab Chatou, 6 quai Watier, 78400 Chatou (station Reuil Malmaison, RER A)

Durée : 6 mois

 

 

Contacts 

Cécile GASNIER, cecile.gasnier@edf.fr

Mikaël BERROU, mikael.berrou@edf.fr

François LE GOFF, francois.le-goff@edf.fr