Développeur principal, ingénierie des données II

Résumé

Nous recherchons un développeur principal en ingénierie des données II hautement qualifié et expérimenté pour se joindre à notre équipe en pleine croissance. Dans ce rôle, vous serez un contributeur clé à la conception, au développement et à la maintenance de notre infrastructure de données. Vous dirigerez des projets, encadrerez les ingénieurs juniors et jouerez un rôle crucial dans l'élaboration de notre stratégie de données. C'est une excellente occasion pour une personne motivée et axée sur les résultats d'avoir une incidence considérable sur une équipe dynamique et innovante.

Principales responsabilités

• Concevoir, développer et maintenir des systèmes de traitement de données hautement évolutifs, robustes et résistants aux pannes.
• Diriger et gérer des projets d'ingénierie des données avec une supervision minimale, en évaluant l'impact sur l'infrastructure de données existante et en mettant en œuvre de nouvelles structures de données au besoin.
• Concevoir et déployer des processus de transformation des données basés sur l'IA et des cadres intelligents de qualité des données qui identifient, signalent et suggèrent de manière proactive des mesures correctives pour les anomalies, les dérives et les incohérences des données, en automatisant les tâches critiques de validation et de nettoyage.
• Développer et mettre en œuvre des systèmes de gestion des métadonnées et de catalogage des données alimentés par l'IA pour automatiser la découverte des données, le suivi de la lignée et la compréhension sémantique, simplifiant considérablement la gouvernance et l'accessibilité des données pour les ingénieurs de données et les praticiens de l'IA.
• Concevoir des solutions de données sophistiquées, y compris des magasins de fonctionnalités et des couches d'accès aux données optimisées, spécifiquement conçues pour accélérer le développement, la formation et le déploiement de modèles avancés d'IA et d'apprentissage automatique, permettant des résultats d'IA percutants.
• Utiliser des modèles d'apprentissage automatique pour optimiser les solutions de stockage de données à grande échelle, en intégrant la gestion du cycle de vie des données pilotée par l'IA, la hiérarchisation prédictive et les stratégies d'optimisation automatisées pour une performance de requête améliorée et une rentabilité accrue.
• Mettre en œuvre des systèmes intelligents de surveillance et d'alerte tirant parti de l'IA/ML pour la détection prédictive des pannes, l'identification des anomalies dans la performance des pipelines et l'analyse automatisée des causes profondes, minimisant les temps d'arrêt et simplifiant le dépannage opérationnel.
• Contribuer à la conception stratégique et à l'évolution des architectures de données, en préconisant et en mettant en œuvre des optimisations pilotées par l'IA qui améliorent l'évolutivité, l'efficacité et la résilience des plateformes de données soutenant les initiatives d'IA.

Qualifications essentielles

• Baccalauréat en informatique, en génie logiciel, en technologies de l'information ou dans un domaine technique tout aussi rigoureux, ou une expérience professionnelle équivalente et étendue.
  
• 5 à 7 ans d'expérience dans des rôles d'ingénierie des données de niveau senior ou des rôles axés sur les données étroitement liés.
  
• Maîtrise des technologies de bases de données, y compris le traitement des bases de données et l'optimisation des performances.
  
• Solide expérience dans la conception de modèles de données efficaces et compréhension des modèles de conception d'entrepôts de données pour une évolutivité maximale.
  
• Compétences avancées en transformation des données brutes en éléments de données organisés et exploitables pour une consommation en aval.
  
• Démontrer une expérience pratique substantielle tirant parti des services de données natifs du cloud au sein des principaux environnements cloud, incluant spécifiquement les services Google Cloud Platform (GCP) tels que BigQuery, Dataflow, Dataproc, Cloud Storage et Pub/Sub.
  
• Posséder une expérience pratique et démontrable dans la mise en œuvre et la gestion de solutions d'entreposage de données, en appliquant des techniques de modélisation dimensionnelle (par exemple, schéma en étoile, schéma en flocon) et en concevant des datamarts efficaces.
  
• Faire preuve d'un sens aigu de l'analyse et de capacités sophistiquées de résolution de problèmes, associé à un engagement inébranlable envers l'exactitude des données et une attention méticuleuse aux détails dans la conception et la mise en œuvre des systèmes.

Qualifications souhaitées

• Certifications pertinentes (par exemple, AWS Certified Data Analytics – Specialty, Google Cloud Certified Professional Data Engineer).
• Certifications pertinentes en ingénierie ou architecture de données infonuagiques, en particulier Google Cloud Professional Data Engineer ou Google Cloud Professional Cloud Architect.
• Expérience réussie antérieure travaillant avec des méthodologies de développement Agile ou Scrum dynamiques, contribuant efficacement au développement itératif et aux cycles de livraison rapides.
• Démontrer une familiarité pratique avec les principes, pratiques et outils associés de MLOps (Machine Learning Operations) pour rationaliser la gestion du cycle de vie des modèles d'apprentissage automatique.
• Posséder une solide compréhension des paradigmes de diffusion de données et une expérience dans la mise en œuvre d'architectures de traitement de données en temps réel utilisant des technologies comme Kafka Streams.
• Démontrer une expérience avérée en optimisation des performances et en gestion stratégique des coûts spécifiquement pour les solutions de mégadonnées et de traitement de données basées sur le cloud.
• Posséder d'excellentes compétences en communication interpersonnelle, écrite et verbale, transmettant efficacement des informations techniques complexes aux parties prenantes techniques et non techniques.
• Capacité démontrée à traiter, gérer et intégrer efficacement des données résidant dans divers formats, y compris des sources de données structurées (par exemple, CSV, Parquet, ORC), semi-structurées (par exemple, JSON, XML) et potentiellement non structurées au sein de pipelines de données à grande échelle.
• Expérience dans l'architecture et la mise en œuvre de pipelines de données intelligents et adaptatifs tirant parti des techniques d'IA/ML pour l'optimisation automatisée des performances, la détection des anomalies et l'allocation prédictive des ressources, simplifiant ainsi la gestion opérationnelle et améliorant la résilience des pipelines.
• Expérience antérieure en partenariat avec des spécialistes de l'IA/ML pour co-concevoir et mettre en œuvre une infrastructure de données robuste, des magasins de fonctionnalités et des pipelines de déploiement de modèles qui rationalisent le cycle de vie de bout en bout des solutions d'IA, rendant le développement de l'IA plus efficace.