Définir les processus d’intégration, d’analyse et de contrôle qualité, de détection et de suivi des incohérences et de nettoyage des données pour le référentiel des entreprises.
Le Data Engineer est responsable de la conception, de la mise en œuvre et de l’amélioration continue des processus permettant d’alimenter, de contrôler, de fiabiliser et de maintenir la qualité des données du Référentiel des Entreprises. Il assure l’intégration cohérente des données provenant de multiples sources internes et externes, met en place les mécanismes de détection des anomalies et garantit la disponibilité de données fiables, complètes et réutilisables pour l’ensemble des applications et processus du SPW.
Cette mission s’inscrit dans une logique de « quality by design », où la qualité des données est intégrée dès les phases d’ingestion, d’intégration et d’exploitation du référentiel.
Dans ce cadre, il assurera notamment les missions suivantes :
Définition et mise en œuvre de la consolidation et de la gestion des données de référence
Le Data Engineer apporte son expertise pour définir, concevoir et mettre en œuvre
Les mécanismes assurant la génération et la gestion de l’identifiant unique du SPW ;
Les mécanismes de déduplication des entreprises ;
Les règles de consolidation et de priorisation entre sources
Les mécanismes de gestion des conflits de données.
Il collabore avec le Centre de Service Virtualisation des Données et la DGVD pour garantir la cohérence de la vue consolidée des entreprises mise à disposition des applications.
Définition et mise en œuvre des processus d’intégration des données
Le Data Engineer apporte son expertise pour
Concevoir et maintenir, sur base de la plate-forme FME, les chaînes d’alimentation du référentiel à partir des sources de données et des applications contributrices, en étroite collaboration avec la DGVD et le CS VD et en assurant le respect des standards en matière de partage et d’échange de données.
Définir, sur base de la plate-forme FME, les règles de transformation, de normalisation et de consolidation des données.
Mettre en œuvre les connecteurs et flux d’intégration nécessaires à l’alimentation et à la diffusion des données du référentiel.
Garantir la traçabilité complète des échanges de données et le respect des standards d’architecture du SPW.
Définition des contrôles qualité et des règles de validation
En liaison avec l’équipe de la Direction de la Gestion et Valorisation des données, il définit les contrôles de qualité applicables aux données lors de leur intégration dans le référentiel. Pour ce faire, il se base sur les outils FME mais également sur le DataLift développé au sein de la direction de la Gestion et Valorisation des Données. Il veille à définir notamment les contrôles de qualité préalables à l’intégration des données dans le référentiel en termes de :
validation des formats ;
contrôles de complétude ;
contrôles de cohérence temporelle ;
validation croisée entre plusieurs sources ;
contrôles d’unicité.
Il veille à automatiser l’exécution de ces contrôles lors de l’ingestion et sur les données déjà présentes dans le référentiel et à prévoir les outils permettant au futur gestionnaire du référentiel des entreprises de faire évoluer les règles de validation en fonction des nouveaux besoins métiers et des évolutions réglementaires.
Détection et suivi des incohérences
Le Data Engineer apporte son expertise pour :
Concevoir les mécanismes de détection des anomalies et incohérences et d’alertes au sein du référentiel :
doublons ;
valeurs aberrantes ;
incohérences entre systèmes ;
divergences entre sources de données ;
Contribuer à la définition des indicateurs de qualité et des tableaux de bord de suivi.
Concevoir les services permettant la production de rapports identifiant les problèmes récurrents et d’en mesurer l’évolution.
Contribuer à la définition d’une classification des anomalies selon leur criticité afin de prioriser les actions correctrices.
Nettoyage et remédiation des données
Développer les processus de nettoyage automatisé des données :
standardisation ;
normalisation ;
déduplication ;
enrichissement ;
correction des erreurs détectées.
Concevoir les mécanismes et processus permettant
D’identifier les causes racines des défauts de qualité.
De favoriser la correction des anomalies à la source conformément aux principes de gouvernance du référentiel.
Monitoring et amélioration continue
Mettre en place un dispositif permanent de surveillance de la qualité des données.
Mesurer les principaux indicateurs de qualité :
exactitude ;
complétude ;
cohérence ;
unicité ;
fraîcheur ;
conformité.
Analyser les tendances et proposer des améliorations techniques ou organisationnelles.
Contribuer à l’exploitation opérationnelle du référentiel
Durant la phase de construction et de raccordement progressif du référentiel aux sources de données du SPW, le Data Engineer
Assiste les équipes du SPW Digital à la résolution des incidents techniques liés aux données
Documente les processus et outils pour garantir la maintenance évolutive et la reprise des dispositifs de gestion du référentiel par les équipes du SPW Digital ;
Coordonner techniquement le raccordement progressif des applications au référentiel des entreprises.
Le Data Engineer apporte son expertise afin de
Analyser les impacts techniques et fonctionnels de chaque raccordement
Contribuer à la définition des scénarios de tests fonctionnels et techniques et les campagnes de tests d’intégration.
