Rappel du concept de Data Warehousing et du rôle de l’ETL

Description de l’architecture Data Warehouse et de la modélisation dimensionnelle.

Description des fonctionnalités de la couche d’alimentation des données décisionnelles :

• Operational Data Store,

• Data Staging Area,

• Collecte et intégration des données.

Présentation de l’outil BODI

Définition de l’architecture de BODI et son interface de développement des flux.

Définition d’un projet, des objets et des flux et leurs relations dans BODI.

Travaux pratiques : création d’un projet BODI, visualisation des différentes interfaces : « data flow », composant, planification, mapping et code généré.

Définition des données sources et cibles et des métadonnées

Connexions à des données sources et cible : bases de données et fichiers fichiers XML et fichiers positionnels.

Gestion des métadonnées et modification des formats.

Définition du référentiel d’accès aux données.

Notion de « datastore ».

Audit des données et gestion des exceptions.

Reporting des métadonnées.

Travaux pratiques : création des connexions à des fichiers source et une base de données cible. Import des métadonnées et définition des formats. Audit des données des fichiers sources. Génération de son référentiel et dictionnaire de données.

Création et gestion des « jobs »

« Job », « workflow » et « data flow ».

Objets dans les schémas source et cible.

« Query Transform ».

Planification et exécution du « job ».

Ajout de table au « data flow » selon un modèle prédéfini.

Description de l’éditeur de la cible.

Travaux pratiques : mise en place des « data flow » pour l’alimentation d’une base de données. Utilisation du mapping et des objets dérivés. Planification de l’exécution des « jobs ».

Utilisation des fonctionnalités de transformation de Data Integrator

Panorama et typologie des fonctionnalités de transformation.

Fonctionnalités incontournables : pivot, aplatissement d’une hiérarchie, XML Pipeline, « merge » de fichiers, variables et paramètres, langage de scripting, options de mise à jour des données, « look-up ».

Travaux pratiques : mise en pratique des différentes transformations à partir de fichiers sources différents pour alimenter une base de données cible : pivot, aplatissement de hiérarchie fichier XML, « scripting ».Utilisation des techniques du « look-up », variables et du « merge » et les options de mise à jour des données.

Change Data Capture (CDC) ou la Capture des Données Modifiées (CDM)

Définition des différences entre le CDM basé sur la source et le CDM basé sur la cible.

Gestion des erreurs et des exceptions.

Procédures de reprise.

Exécution de données malgré des problèmes.

Travaux pratiques : génération de fichiers sources extraits en mode « delta » via le CDC et CDM. Identification des erreurs et exceptions. Procédures de reprise de l’exécution.

Clés de substitution

Rôle des clés de substitution.

Gestion des modifications apportées aux données avec des clés de substitution.

Travaux pratiques : génération de clés de substitution. Utilisation de la technique du « Slowly Changing Dimension ».

Gestion des environnements et des utilisateurs

Environnement multiutilisateur.

Tâches communes.

Gestion des environnements de développement, test et production.

Outils de migration.

Migration et portabilité des environnements.

Travaux pratiques : création de plusieurs utilisateurs BODI et plusieurs environnements.

Interface d’administration

Administration via le Web.

Sécurité sur le référentiel central.

Administration des « batch ».

Analyser les effets d’une modification de structure de table avec l’interface d’analyse d’impact.

Visualiser les statistiques d’exécution des jobs avec les tableaux de bord opérationnels.

Travaux pratiques : modification des métadonnées dans les fichiers sources et en analyser l’impact sur les « jobs ». Analyse des statistiques sur les « jobs ».

Validation, exécution et débogage des « jobs » et des transformations

Descriptions et des annotations.

Validation et exécution des « jobs ».

Visualisation en mode « trace ».

Débogage des « jobs ».

Description des transformations « built-in ».

Encapsulation des « data flow ».

Fonctions « built-in ».

Travaux pratiques : introduction de données de mauvaise qualité dans les fichiers sources et débogage. Exécution des « jobs » en mode ligne-à-ligne.

Optimisation des performances des flux

Optimisation des performances de la source et de la cible.

Optimisation des performances des traitements.

Partitionnement et d’exécution parallèle des flux.

Fonctionnalité de « Data Transfer ».

Travaux pratiques : mise en place d’exécutions parallèles des « jobs ». Sous-traitance des traitements à la base de données.