Au sein de la direction DATA & BI, le Data Engineer s’occupe du côté applicatif et de la préparation de l’infrastructure Data permettant le travail des Data Scientist. Il développe et entretient les systèmes de collecte, stockage et mise à disposition des données.
Missions principales:
- S’assurer que l’infrastructure reste fluide et opérationnelle
- S’assurer que les applications sont assez robustes pour supporter des volumes de données importantes
- Développer et automatiser les déploiements
- Installer des sondes afin de surveiller l’ensemble du système
- Accompagner les équipes marketing qui veulent exploiter les données en les aidant à déployer les solutions d’envoi et de récupération de données traitées par les Data Scientists
- Travailler avec l’architecte pour maintenir et faire évoluer l’architecture Big Data en vue de traiter des volumes de données toujours plus importants
- Gérer les Big Data
- Concevoir, construire et intégrer des données de sources variées
- Exécuter des ETL et créer des Big Data warehouse qui pourront être utilisés à des fins de reporting et d’analyse par les Data Scientists
- Concevoir des requêtes et réfléchir à des solutions techniques pour faciliter l’analyse des données faite par le Data Scientist
- Faciliter l’accès à la donnée et à son analyse en regroupant les données
- Assurer la disponibilité des données en assurant le lien entre l’équipe projet et les équipes SI
- Définir la structure des données, et développer des programmes pour extraire des informations des bases de données existantes
- Interagir avec l’équipe pour comprendre les requêtes en termes de traitement et de présentation des données
· Compétences comportementales :
-
- Engagement
- Esprit de d’analyse et de synthèse
- Organisation
- Etre force de proposition
- Etre capable de comprendre les aspects business et opérationnels des requêtes des équipes
- Etre capable de travailler en équipe et se mettre à disposition des collaborateurs
- Etre capable de travailler de manière autonome
· Compétences techniques :
-
- Très bonnes connaissances en SQL
- Connaissances si possible en Hadoop, HIVE, C#, Python, Java, R
- Une expérience en bases de données non structurées est un plus
- La connaissance des outils suivants est un plus : DashDB, MySQL, MongoDB, Cassandra
Profil général:
· Formation bac+5 minimum type école d’ingénieur ou universitaire avec une dominante en informatique
· Une ou plusieurs expériences en traitement des données et automatisation de process
