Tutoriel d'intégration de données: Intégration de données

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:40.

Commencez par un flux DataStage de base qui joint les demandeurs d'hypothèque et les jeux de données d'applications d'hypothèque, puis génère un résultat dans un fichier CSV dans le projet. Procédez comme suit pour exécuter le flux DataStage :

1. Commencez dans le projet Data integration . Si le projet n'est pas ouvert, procédez comme suit:

   1. Dans le Cloud Pak for Data , sélectionnez Projets > Afficher tous les projets.

   2. Ouvrez le projet Intégration de données .

2. Cliquez sur l'onglet Actifs pour afficher tous les actifs du projet.

3. Cliquez sur Flux > DataStage.

   Astuce: Si vous ne voyez aucun flux DataStage , revenez voir vos instances de service pour vérifier que votre instance DataStage a été mise à disposition. Voir Mise à disposition des services nécessaires.

4. Cliquez sur le flux Intégration de données dans la liste pour l'ouvrir. Ce flux joint les tables Mortgage demandeurs et Mortgage Applications qui sont stockées dans Db2 Warehouse, filtre les données de ces enregistrements à partir de l'état de Californie et crée un fichier séquentiel au format CSV comme sortie.

5. Cliquez sur l'icône zoom avant et sur l'icône zoom arrière de la barre d'outils pour définir votre vue préférée du canevas.

6. Cliquez deux fois sur le noeud MORTGAGE_APPLICATIONS_1 pour afficher les paramètres.

   1. Développez la section Propriétés.

   2. Faites défiler vers le bas, puis cliquez sur Prévisualiser les données. Cet ensemble de données inclut les informations capturées sur une application de prêt hypothécaire.

   3. Cliquez sur Fermer.

7. Cliquez deux fois sur le noeud MORTGAGE_APPLICANTS_1 pour afficher les paramètres.

   1. Développez la section Propriétés.

   2. Faites défiler vers le bas, puis cliquez sur Prévisualiser les données. Cet ensemble de données inclut des informations sur les demandeurs d'hypothèque qui ont demandé un prêt.

   3. Facultatif: Visualisez les données.

      1. Cliquez sur le panneau Graphique .

      2. Dans la liste Colonnes à visualiser , sélectionnez STATE.

      3. Cliquez sur Visualiser les données pour afficher un graphique circulaire montrant la distribution des données par état.

      4. Cliquez sur l'icône Carte d'arborescence pour afficher les mêmes données dans un graphique de carte d'arborescence.

   4. Cliquez sur Fermer.

8. Cliquez deux fois sur le noeud Join_on_ID pour afficher les paramètres.

   1. Développez la section Propriétés.

   2. Notez que la clé de jointure est la colonne ID.
      

   3. Cliquez sur Annuler pour fermer les paramètres.

9. Cliquez sur l'icône Journaux dans la barre d'outils pour surveiller la progression du flux.

10. Cliquez sur Compiler, puis sur Exécuter. Vous pouvez également cliquer sur Exécuter qui compile puis exécute le flux DataStage . L'exécution peut prendre environ une minute.

11. Affichez les journaux. Vous pouvez utiliser le nombre total de lignes et de lignes par seconde pour chaque étape du flux afin de vérifier visuellement que le filtre fonctionne comme prévu.

12. Une fois l'exécution terminée, cliquez sur Intégration de données dans la trace de navigation pour revenir au projet.
    

13. Dans l'onglet Actifs , cliquez sur Données > Actifs de données.

14. Ouvrez le fichier MORTGAGE_INTEREST_RATES.CSV. Vous pouvez voir que ce fichier contient les colonnes des ensembles de données des demandeurs d'hypothèque et des demandes d'hypothèque.

Maintenant que vous avez rejoint le demandeur d'hypothèque et les données d'application, vous êtes prêt à éditer le flux DataStage pour:

• Tâche 2: Indiquez une colonne clé pour l'étape Join.
• Tâche 3: Ajouter des données de score de crédit à partir d'une base de données PostgreSQL .
• Tâche 4: Ajouter une étape Joindre pour joindre les données de score de crédit au demandeur et aux données d'application.
• Tâche 5: Ajouter une étape Transformer pour calculer la dette totale.
• Tâche 6: Ajouter des données de taux d'intérêt à partir d'une base de données MongoDB .
• Tâche 7: Ajouter une étape de recherche pour rechercher les taux d'intérêt des candidats en fonction de leurs scores de crédit et des fourchettes de taux d'intérêt quotidiens de la Golden Bank.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 04:33.

L'identification d'une colonne de clé indique à DataStage que cette colonne contient des valeurs uniques. Le noeud Join_on_ID joint les demandeurs d'hypothèque et les fichiers d'applications d'hypothèque à l'aide de la colonne ID de la clé de jointure. La phase suivante consiste à joindre le jeu de données résultant avec les données de score de crédit. Par la suite, vous joindrez les données filtrées résultantes au jeu de données de score de crédit. La deuxième jointure utilise la colonne EMAIL_ADDRESS comme clé de jointure. Dans cette tâche, vous éditez le flux DataStage pour spécifier la colonne EMAIL_ADDRESS comme colonne de clé pour le jeu de données résultant lorsqu'il est joint aux données de score de crédit.

L'image animée suivante fournit une représentation visuelle comme alternative à la description des deux noeuds de jointure. Cliquez sur l'image pour afficher une image plus grande.

Pour modifier les paramètres du noeud Joindre, procédez comme suit:

1. Cliquez sur Intégration de données dans la trace de navigation pour revenir au projet.
   

2. Dans l'onglet Actifs , cliquez sur Flux > DataStage.

3. Ouvrez le flux Intégration de données .

4. Cliquez deux fois sur le noeud ID_joint_joint_joint_jointes pour modifier les paramètres.

5. Cliquez sur l'onglet Sortie et développez la section Colonnes pour afficher la liste des colonnes du fichier joint.

6. Cliquez sur le bouton Editer.

7. Pour le nom de colonne EMAIL_ADDRESS, sélectionnez Clé.

8. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud Join_on_ID.

9. Cliquez sur Sauvegarder pour enregistrer les paramètres du noeud Join_on_ID.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:14.

Procédez comme suit pour ajouter les données de score de crédit stockées dans une base de données PostgreSQL au flux DataStage :

1. Dans la palette de nœuds, développez la section Connecteurs.

2. Faites glisser le connecteur Navigateur d'actifs sur le canevas en regard du noeud MORTGAGE_APPLICANTS_1 .

3. Localisez l'actif en sélectionnant Connexion > Data Fabric Trial- Databases for PostgreSQL > BANKING > CREDIT_SCORE.

   Remarque: Cliquez sur le nom de la connexion ou du schéma à la place de la case à cocher pour développer la connexion et le schéma.

   

4. Cliquez sur l'icône Aperçu pour prévisualiser les données de score de crédit de chaque candidat.

5. Cliquez sur Ajouter.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:46.

Procédez comme suit pour ajouter une autre étape Join afin de rejoindre l'application de prêt hypothécaire filtrée et le demandeur de prêt hypothécaire a joint des données avec les données de score de crédit dans le flux DataStage :

1. Dans la palette de nœuds, développez la section Étapes.

2. Faites glisser l'étape Join sur le canevas et déposez le noeud sur la ligne de lien entre les noeuds Filter_State_Code et Sequential_file_1 .

3. Survolez le connecteur CREDIT_SCORE_1 pour afficher la flèche. Connectez la flèche à l'étape de Jointure.

4. Cliquez deux fois sur le noeud CREDIT_SCORE_1 pour modifier les paramètres.

   1. Cliquez sur l'onglet Sortie et développez la section Colonnes pour afficher la liste des colonnes du fichier joint.

   2. Cliquez sur le bouton Editer.

   3. Pour les noms de colonne EMAIL_ADDRESS et CREDIT_SCORE, sélectionnez Clé.

   4. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud CREDIT_SCORE_1.

   5. Cliquez sur Sauvegarder pour enregistrer les paramètres du noeud CREDIT_SCORE_1.

5. Cliquez deux fois sur le noeud Join_1 pour modifier les paramètres.

   1. Développez la section Propriétés.

   2. Cliquez sur Ajouter une clé.

      1. Cliquez à nouveau sur Ajouter une clé.

      2. Sélectionnez EMAIL_ADDRESS dans la liste des clés possibles.

      3. Cliquez sur Appliquer.

   3. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud Join_1 .

   4. Remplacez le nom du noeud Join_1 par Join_on_email.

   5. Cliquez sur Sauvegarder pour enregistrer les paramètres du noeud Join_1.

Pour prévisualiser cette tâche, regardez la vidéo à partir de 07:00.

Pour ajouter une étape Transformer qui crée une nouvelle colonne en additionnant les colonnes LOAN_AMOUNT et CREDITCARD_DETTE, procédez comme suit:

1. Dans la section Etapes , faites glisser l'étape Transformer sur la grille et déposez le noeud sur la ligne de lien entre les noeuds Join_on_email et Sequential_file_1 .

2. Cliquez deux fois sur le noeud de transformateur pour modifier les paramètres.

3. Cliquez sur l'onglet Sortie.

   1. Cliquez sur Ajouter une colonne.

   2. Faites défiler la liste des colonnes vers le bas pour afficher la nouvelle colonne.

   3. Nommez la colonne TOTAL_DEBT.

   4. Cliquez sur l'icône Editer dans la colonne Dérivation de la ligne.

   5. Cliquez sur l'icône Calculatrice dans la colonne Dérivation pour ouvrir le générateur d'expressions.

   6. Recherchez LOAN_AMOUNTet cliquez deux fois sur le nom de la colonne pour l'ajouter à l'expression. Notez que le numéro de lien est ajouté au nom de la colonne.

   7. Entrez un signe plus +.

   8. Recherchez CREDITCARD_DEBT, puis cliquez deux fois sur le nom de la colonne pour l'ajouter à l'expression. Notez que le numéro de lien est ajouté au nom de la colonne.

   9. Vérifiez que l'expression finale est Link_5.LOAN_AMOUNT + Link_5.CREDITCARD_DEBT.

      Remarque: votre numéro de lien peut être différent.

   10. Cliquez sur Appliquer et renvoyer pour revenir à la page de transformateur.

   11. Pour le nom de colonne CREDIT_SCORE , sélectionnez Clé.

4. Cliquez sur Enregistrer et renvoyer pour revenir au canevas.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:49.

Procédez comme suit pour inclure les taux d'intérêt dans le flux en ajoutant un connecteur d'actif de données à une base de données MongoDB :

1. Dans la palette de nœuds, développez la section Connecteurs.

2. Faites glisser le connecteur Navigateur d'actifs sur la grille à coté du noeud CREDIT_SCORE_1.

3. Localisez l'actif en sélectionnant Connexion > Data Fabric Trial-Mongo DB > DOCUMENT > DS_INTEREST_RATES.

4. Cliquez sur l'icône Aperçu pour prévisualiser les taux d'intérêt de chaque plage de scores de crédit.
   
   Vous pouvez utiliser les valeurs des colonnes STARTING_LIMIT et ENDING_LIMIT pour rechercher le taux d'intérêt approprié en fonction du score de crédit du candidat. La colonne ID n'est pas nécessaire, vous devez donc supprimer cette colonne à l'étape suivante.

5. Cliquez sur Ajouter.

Pour prévisualiser cette tâche, regardez la vidéo à partir de 08:35.

En fonction du score de crédit de chaque candidat, vous souhaitez rechercher le taux d'intérêt approprié. Procédez comme suit pour ajouter une étape de recherche et spécifier la plage des limites de score de crédit de début et de fin pour chaque taux d'intérêt:

1. Dans la section Etapes , faites glisser l'étape Lookup sur le canevas et déposez le noeud sur la ligne de lien entre les noeuds Transformer_1 et Sequential_file_1 .

2. Connectez le connecteur DS_INTEREST_RATES_1 à l'étape Lookup_1.

3. Cliquez deux fois sur le noeud DS_INTEREST_RATES_1 pour modifier les paramètres.

4. Cliquez sur l'onglet Sortie.

   1. Développez la section Colonnes et cliquez sur Éditer.

   2. Sélectionnez la colonne _ID.

   3. Cliquez sur l'icône Supprimer pour supprimer la colonne _ID .

   4. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud DS_INTEREST_RATES_1.

   5. Cliquez sur Sauvegarder pour enregistrer les modifications apportées au noeud DS_INTEREST_RATES_1.

5. Cliquez deux fois sur le noeud Lookup_1 pour modifier les paramètres.

6. Développez la section Propriétés.

   1. Dans la zone Appliquer la plage aux colonnes, sélectionnez CREDIT_SCORE. Les zones Reference Links, Operatoret Range column s'affichent.

   2. Pour les liens de référence, sélectionnez Link_9.

      Remarque: votre numéro de lien peut être différent.

   3. Pour le premier opérateur, sélectionnez < =.

   4. Pour la première Colonne de plage, sélectionnez ENDING_LIMIT.

   5. Pour le second opérateur, sélectionnez > =.

   6. Pour la seconde colonne de plage, sélectionnez STARTING_LIMIT.

7. Cliquez sur l'onglet Sortie.

   1. Développez la section Colonnes et cliquez sur Éditer.

   2. Sélectionnez les colonnes STARTING_LIMIT et ENDING_LIMIT .

   3. Cliquez sur l'icône Supprimer pour supprimer ces colonnes inutiles STARTING_LIMIT et ENDING_LIMIT .

   4. Cliquez sur Appliquer et renvoyer pour revenir aux paramètres du noeud Lookup_1.

   5. Cliquez sur Sauvegarder pour enregistrer les modifications apportées au noeud Lookup_1.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 09:56.

Procédez comme suit pour éditer le noeud de fichier séquentiel afin de créer un fichier de sortie final en tant qu'actif de données dans le projet, puis compilez et exécutez le flux DataStage :

1. Cliquez deux fois sur le noeud Sequential_file_1 pour modifier les paramètres.

2. Cliquez sur l'onglet Entrée.

3. Développez la section Propriétés.

4. Pour le fichier cible, copiez et collez MORTGAGE_APPLICANTS_INTEREST_RATES.CSV pour le nom de fichier.

5. Sélectionnez Créer un actif de données.

6. Pour la zone La première ligne correspond aux noms de colonne , sélectionnez True.

7. Cliquez sur Sauvegarder.

8. Cliquez sur Exécuter qui compile, puis exécute le flux DataStage . Le travail prend environ 1 minute.

9. Cliquez sur Journaux dans la barre d'outils pour surveiller la progression du flux. Il est normal de voir des avertissements pendant l'exécution, puis vous voyez que le flux s'est exécuté avec succès.

Pour prévisualiser cette tâche, regardez la vidéo à partir de 10:28.

D'autres ingénieurs de données et analystes métier de Golden Bank doivent avoir accès aux taux d'intérêt hypothécaire. Avec le plan Lite IBM Knowledge Catalog , vous pouvez créer deux catalogues. Si vous avez déjà un catalogue, ignorez cette étape. Sinon, procédez comme suit pour créer un catalogue dans lequel vous pouvez publier le jeu de données sur les taux d'intérêt.

1. Dans le Cloud Pak for Data , sélectionnez Catalogues > Afficher tous les catalogues.

2. Si vous voyez un catalogue d'approbation hypothécaire sur la page Catalogues , passez à la Tâche 10: Afficher la sortie et publier dans un catalogue. Sinon, procédez comme suit pour créer un nouveau catalogue:

3. Cliquez sur Créer un catalogue.

4. Pour le Nom, copiez et collez le nom du catalogue exactement comme indiqué sans espaces de début ou de fin:

   Mortgage Approval Catalog
   

5. Sélectionnez Appliquer les règles de protection des données, confirmez la sélection et acceptez les valeurs par défaut pour les autres zones.

6. Cliquez sur Créer.

Pour prévisualiser cette tâche, regardez la vidéo à partir de 10:57.

Pour afficher le fichier de sortie dans le projet, puis le publier dans un catalogue, procédez comme suit:

1. Dans le Cloud Pak for Data , sélectionnez Projets > Afficher tous les projets.

2. Ouvrez le projet Intégration de données .

3. Dans l'onglet Actifs , cliquez sur Données > Actifs de données.

4. Ouvrez le fichier MORTGAGE_APPLICANTS_INTEREST_RATES.CSV.

5. Faites défiler pour afficher toutes les colonnes de votre ensemble de données intégré avec les taux d'intérêt à la fin de chaque entrée de données.

6. Cliquez sur Intégration de données dans la trace de navigation pour revenir au projet.

7. Dans l'onglet Actifs , cliquez sur le menu Dépassement à la fin de la ligne correspondant à MORTGAGE_APPLICANTS_INTEREST_RATES.CSV et choisissez Publier dans le catalogue.

   1. Sélectionnez le catalogue d'approbation hypothécaire (ou le nom de votre catalogue) dans la liste, puis cliquez sur Suivant.

   2. Sélectionnez l'option permettant d' accéder au catalogue après sa publication, puis cliquez sur Suivant.

   3. Passez en revue les actifs et cliquez sur Publier.

8. Dans le catalogue, recherchez Mortgage.

9. Ouvrez le fichier MORTGAGE_APPLICANTS_INTEREST_RATES.CSV.

10. Cliquez sur l'onglet Actif pour afficher les données.