Le data lineage, ou traçage de données, permet de retracer les étapes de la création d’un élément de données mises en mémoire. Il est possible de retracer son emplacement et son origine, ainsi que son utilisation et la trajectoire qu’il a parcourue. Voici comment fonctionne le data lineage et les nombreux avantages qu’il apporte.
Le traçage de données de plus en plus nombreuses
À l’heure où les données se multiplient, leur traitement devient un enjeu majeur dans le développement des entreprises et des services. Les données se complexifient tout en se montrant de plus en plus dynamiques. La connaissance des données et de leur historique fait du data lineage un outil essentiel en matière d’utilisation des données.
La data lineage est lié au processus métier et au modèle d’objets métier. Il implique aussi la cartographie et le dictionnaire de données. Ce dernier sert à fournir une description des connaissances sur les données de chacun des systèmes. Il recense les mises en œuvre des informations sur l’ensemble des systèmes de l’entreprise. C’est au carrefour de ces éléments que le data lineage entre en jeu en traçant les éléments de ses transformations dans le temps.
La vision offerte par le data lineage se présente généralement sous forme de cartographie montrant les processus de traitement de l’information basée sur les données. Ce traçage peut être mis à profit dans plusieurs domaines. Il peut s’agir de documentation ou d’évaluation d’impacts. Le data lineage est aussi fréquemment utilisé pour évaluer la conformité réglementaire. Il représente donc un aspect essentiel de la gestion des données.
De nombreux avantages
Les avantages du data lineage sont nombreux, notamment en matière de conformité réglementaire. La pression est forte sur les entreprises et les institutions afin qu’elles améliorent leur production et qu’elles soient de plus en plus fiables sur le plan de la conformité réglementaire. Les données personnelles doivent aussi être mieux protégées. Une connaissance profonde des processus de production est donc essentielle.
Le data lineage permet d’obtenir ces informations essentielles, qu’il s’agisse de rapports et indicateurs ou de règles de calcul. Le contrôle sur les traitements où des données personnelles sont impliquées est devenu indispensable. Le data lineage permet de mettre en lumière les différents processus liés à la donnée, de son origine à sa transformation, ce qui contribue à identifier les erreurs survenues aux différentes étapes de production.
En mettant le doigt sur les risques d’erreur à l’aide des données, il devient plus simple de s’assurer de la conformité des données personnelles.
L’entreprise dispose aussi, grâce au data lineage, d’une description du flux de données et d’une vue d’ensemble des métadonnées. Cette vue d’ensemble contribue à établir une gouvernance efficace des données de l’entreprise et d’établir une architecture fiable basée sur des données précises. Le fonctionnement de l’ensemble de l’entreprise et des étapes de production apparaît de façon claire.
Le data lineage est aussi important dans les entreprises modernes où les projets IT sont de plus en plus privilégiés. Lorsqu’ils font partie de l’architecture applications patrimoine, ils deviennent complexes et les analyses d’impact demandent beaucoup de temps et d’énergie. Le data lineage permet d’automatiser la documentation des flux. La mise en valeur de la donnée doit être effectuée avec compétence et le data lineage procure des informations fiables et essentielles.
Bien entendu, les équipes de soutien IT ont tout à gagner à miser sur le data lineage pour réduire de manière considérable leur charge de travail. Grâce à la vue d’ensemble du processus dont ils profitent, ils peuvent analyser les disfonctionnements et apporter les correctifs nécessaires, ce qui facilite la prise de décision à tous les niveaux de l’entreprise. Comme la nature de l’erreur est identifiée au niveau de la donnée, la correction s’effectue plus rapidement.
De plus, le data lineage a fait ses preuves sur sa capacité à corriger les erreurs techniques autant sur le plan technique que sur le plan métier.
Le lineage fonctionnel
Le data lineage se décline en plusieurs approches. L’une des principales est le lineage fonctionnel.
Grâce à ce type de data lineage, il est possible d’obtenir une vision globale du parcours et des transformations d’une donnée de façon à ce que son trajet soit lisible et compréhensible à tous les niveaux de l’entreprise. Les détails techniques sont éliminés, ce qui clarifie la vision de l’historique de la donnée.
Cette façon de présenter la donnée permet de prendre des décisions à partir d’informations suffisantes.
Le lineage manuel fonctionnel consiste quant à lui à documenter différents aspects de la connaissance métier. Ces aspects peuvent provenir des responsables applicatifs ou des spécialistes en intégration des données, par exemple.
Cette approche a l’avantage de décrire comment la donnée est censée circuler et ne décrit donc pas la façon dont elle circule au moment actuel, alors qu’elle peut circuler avec des défauts. Il est important d’avoir une bonne connaissance des jeux de données pour tirer profit du lineage manuel fonctionnel.
Le lineage technique
Le lineage technique doit absolument être utilisé en data lineage puisque les spécialistes en informatique et leurs assistants doivent connaître exactement le parcours et les transformations subies par la donnée pour favoriser la prise de décision.
C’est une étape nécessaire de la mise en œuvre des divers projets de l’entreprise ou de l’organisme. Les stockages physiques associés à la donnée doivent aussi être identifiés.
Le lineage technique constitue donc un avantage important dans la constitution du lineage métier. Grâce à lui, la gouvernance des données est facilitée par les informations essentielles qu’il fournit.
Le lineage manuel technique apporte de plus une consolidation des informations techniques, la plupart du temps dans un tableur, qui sert à la manipulation de tableaux.
Le lineage manuel technique comporte plusieurs avantages puisqu’il permet d’évaluer différentes transformations de la donnée et dans quel ordre elles se sont produites. Il est alors possible d’obtenir un portrait précis du fonctionnement de l’entreprise et aide à identifier les correctifs à apporter sur une base factuelle. Il fournit aussi une vision d’ensemble et chronologique des processus manuels.
Chaque jeu de données peut faire l’objet d’une extraction manuelle et transformé pour être réutilisé par un métier. Des connaissances pointues sont nécessaires pour l’application de cette approche, mais les résultats en valent la peine.
Le lineage assisté
Le lineage assisté est une approche souvent indispensable et de plus en plus envisagée dans les entreprises.
Il peut s’agir entre autres de lineage par tag. Avec cette approche, un moteur de transformation étiquette chaque donnée, peu importe à quelle étape elle en est. La donnée est alors suivie à toutes les étapes de sa transformation à partir de son origine.
Son grand avantage est que le pistage est automatique. Le terme métier peut être utilisé pour l’étiquetage de chacune des données physiques. Il faut veiller à ce que le moteur de transformation contrôle tous les mouvements de la donnée étiquetée.
L’auto-lineage assisté est une autre forme de lineage assisté intéressante. Il faut se servir d’un environnement tout-en-un qui fournit tout le nécessaire pour procéder au lineage. Cet environnement permet de définir la logique et de gérer les métadonnées, entre autres. Tous les événements qui exercent une interaction avec l’environnement peuvent être contrôlés grâce à cette approche. Il est alors facile de cibler toutes les transformations subies par la donnée.
Pour mettre en place ces différentes techniques, n’hésitez pas à faire appel à une équipe de professionnels comme Ryax.
La Ryax Team.