Esercitazione sull'integrazione dei dati: Integrazione dei dati

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 02:40.

Iniziare con un flusso DataStage di base che unisca i richiedenti del mutuo e i dataset delle applicazioni del mutuo e quindi eseguire l'output che risulta in un file CSV nel progetto. Seguire questi passi per eseguire il flusso DataStage :

1. Iniziare nel progetto Integrazione dati . Se il progetto non è aperto, attenersi alla seguente procedura:

   1. Dal menu di navigazione Cloud Pak for Data , scegli Progetti> Visualizza tutti i progetti.

   2. Aprire il progetto Integrazione dati .

2. Fare clic sulla scheda Asset per visualizzare tutti gli asset nel progetto.

3. Fare clic su Flussi> DataStage.

   Suggerimento: se non vedi alcun flusso DataStage , torna indietro per visualizzare le tue istanze del servizio per verificare che il provisioning della tua istanza DataStage sia stato eseguito correttamente. Vedi Provisioning dei servizi necessari.

4. Fai clic sul flusso Data integration nell'elenco per aprirlo. Questo flusso unisce le tabelle Richiedenti mutuo e Applicazioni mutuo memorizzate in Db2 Warehouse, filtra i dati a tali record dallo Stato della California e crea un file sequenziale in formato CSV come output.

5. Fare clic sull'icona zoom avanti e sull'icona zoom indietro sulla Barra degli strumenti per impostare la vista preferita dell'area.

6. Fare doppio clic su MORTGAGE_APPLICATIONS_1 per visualizzare le impostazioni.

   1. Espandere la sezione Proprietà .

   2. Scorrere verso il basso e fare clic su Anteprima dati. Questo dataset include le informazioni acquisite su un'applicazione di mutuo.

   3. Fare clic su Chiudi.

7. Fare doppio clic sul nodo MORTGAGE_APPLICANTS_1 per visualizzare le impostazioni.

   1. Espandere la sezione Proprietà .

   2. Scorrere verso il basso e fare clic su Anteprima dati. Questo dataset include informazioni sui richiedenti del mutuo che hanno richiesto un prestito.

   3. Facoltativo: visualizzare i dati.

      1. Fare clic su Grafico .

      2. Nell'elenco Colonne da visualizzare , selezionare STATE.

      3. Fare clic su Visualizza dati per visualizzare un grafico a torta che mostra la distribuzione dei dati per stato.

      4. Fare clic sull'icona Treemap per visualizzare gli stessi dati in un grafico treemap.

   4. Fare clic su Chiudi.

8. Fare doppio clic sul nodo Join_on_ID per visualizzare le impostazioni.

   1. Espandere la sezione Proprietà .

   2. Notare che la chiave di unione è la colonna ID.
      

   3. Fare clic su Annulla per chiudere le impostazioni.

9. Fare clic sull'icona Log sulla barra degli strumenti in modo da poter visualizzare l'avanzamento del flusso.

10. Fare clic su Compila, quindi fare clic su Esegui. In alternativa, fare clic su Esegui per compilare ed eseguire il flusso DataStage . Il completamento dell'esecuzione può richiedere circa un minuto.

11. Visualizzare i log. È possibile utilizzare il numero totale di righe e righe / sec per ogni passo del flusso per verificare visivamente che il filtro funzioni come previsto.

12. Quando l'esecuzione viene completata correttamente, fare clic su Integrazione dati nella traccia di navigazione per tornare al progetto.
    

13. Sulla scheda Asset , fare clic su Dati> Asset dati.

14. Aprire MORTGAGE_INTEREST_RATES.CSV . È possibile vedere che questo file contiene le colonne sia dei richiedenti del mutuo che dei dataset delle applicazioni del mutuo.

Ora che hai unito il richiedente del mutuo e i dati della domanda, sei pronto a modificare il flusso DataStage per:

• Attività 2: specificare una colonna chiave per lo stage Join.
• Attività 3: aggiungere i dati del punteggio di credito da un database PostgreSQL .
• Attività 4: aggiungere una fase di unione per unire i dati dell'indice di affidabilità creditizia con i dati del richiedente e della domanda.
• Attività 5: aggiungere uno stage Transformer per calcolare il debito totale.
• Attività 6: aggiungere i dati del tasso di interesse da un database MongoDB .
• Attività 7: aggiungere una fase di ricerca per cercare i tassi di interesse per i candidati in base ai loro punteggi di credito e agli intervalli di tassi di interesse giornalieri della Golden Bank.

Per visualizzare in anteprima questa attività, guardare il video a partire dalle 04:33.

L'identificazione di una colonna chiave indica a DataStage che la colonna contiene valori univoci. Il nodo Join_on_ID unisce i richiedenti del mutuo e i dataset di applicazione del mutuo utilizzando la colonna ID per la chiave di unione. La fase successiva consiste nell'unire il dataset risultante con i dati dell'indice di affidabilità creditizia. Successivamente, si uniranno i dati filtrati risultanti con il dataset dell'indice di affidabilità creditizia. La seconda unione utilizzerà la colonna EMAIL_ADDRESS come chiave di unione. In questa attività, si modifica il flusso DataStage per specificare la colonna EMAIL_ADDRESS come colonna chiave per il dataset risultante quando viene unito ai dati del punteggio di credito.

La seguente immagine animata fornisce una rappresentazione visiva alternativa alla descrizione dei due nodi di unione. Fare clic sull'immagine per visualizzare un'immagine più grande.

Attenersi alla seguente procedura per modificare le impostazioni del nodo Unione:

1. Fare clic su Integrazione dati nella traccia di navigazione per tornare al progetto.
   

2. Nella scheda Asset , fare clic su Flussi> DataStage flussi.

3. Aprire il flusso Integrazione dati .

4. Fare doppio clic su Join_on_ID per modificare le impostazioni.

5. Fare clic sulla scheda Output ed espandere la sezione Colonne per visualizzare un elenco delle colonne nel dataset unito.

6. Fare clic su Modifica.

7. Per il nome della colonna EMAIL_ADDRESS , selezionare Chiave.

8. Fare clic su Applica e ritorna per tornare alle impostazioni di nodo Join_on_ID .

9. Fare clic su Salva per salvare le impostazioni del nodo Join_on_ID .

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 05:14.

Attieniti alla seguente procedura per aggiungere i dati dell'indice di affidabilità creditizie memorizzati in un database PostgreSQL al flusso DataStage :

1. Nella palette dei nodi, espandere la sezione Connettori .

2. Trascinare il connettore Browser asset nell'area di disegno accanto al nodo MORTGAGE_APPLICANTS_1 .

3. Individuare l'asset selezionando Connessione> Data Fabric Prova - Databases for PostgreSQL > BANKING> CREDIT_SCORE.

   Nota: fare clic sul nome della connessione o dello schema invece che sulla casella di spunta per espandere la connessione e lo schema.

   

4. Fare clic su Anteprima per visualizzare l'anteprima dei dati di punteggio del credito per ogni richiedente.

5. Fare clic su Aggiungi.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 05:46.

Seguire questi passi per aggiungere un altro stage Join per unire i dati uniti dell'applicazione del mutuo filtrato e del richiedente del mutuo con i dati dell'indice di affidabilità creditizia nel flusso DataStage :

1. Nella tavolozza dei nodi, espandere la sezione Stage .

2. Trascinare lo stage Join nell'area di disegno e rilasciare il nodo sulla riga di link tra i nodi Filter_State_Code e Sequential_file_1 .

3. Passare con il mouse sul connettore CREDIT_SCORE_1 per visualizzare la freccia. Connetti la freccia allo stage Join .

4. Fare doppio clic sul nodo CREDIT_SCORE_1 per modificare le impostazioni.

   1. Fare clic sulla scheda Output ed espandere la sezione Colonne per visualizzare un elenco delle colonne nel dataset unito.

   2. Fare clic su Modifica.

   3. Per i nomi colonna EMAIL_ADDRESS e CREDIT_SCORE , selezionare Chiave.

   4. Fare clic su Applica e ritorna per tornare alle impostazioni del nodo CREDIT_SCORE_1 .

   5. Fare clic su Salva per salvare le impostazioni del nodo CREDIT_SCORE_1 .

5. Fare doppio clic su Join_1 per modificare le impostazioni.

   1. Espandere la sezione Proprietà .

   2. Fare clic su Aggiungi chiave.

      1. Fare nuovamente clic su Aggiungi chiave .

      2. Selezionare EMAIL_ADDRESS dall'elenco di chiavi possibili.

      3. Fai clic su Applica.

   3. Fare clic su Applica e ritorna per tornare alle impostazioni di nodo Join_1 .

   4. Modificare il nome nodo Join_1 in Join_on_email.

   5. Fare clic su Salva per salvare le impostazioni del nodo Join_1 .

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 07:00.

Seguire questa procedura per aggiungere uno stage Transformer che crea una nuova colonna sommando le colonne LOAN_AMOUNT e CREDITCARD_DEBT:

1. Nella sezione Stage , trascinare lo stage Transformer nell'area di disegno e rilasciare il nodo sulla riga di collegamento tra i nodi Join_on_email e Sequential_file_1 .

2. Fare doppio clic sul nodo Transformer per modificare le impostazioni.

3. Fare clic sulla scheda Output .

   1. Fare clic su Aggiungi colonna.

   2. Scorrere verso il basso nell'elenco di colonne per visualizzare la nuova colonna.

   3. Denominare la colonna TOTAL_DEBT.

   4. Fare clic su Modifica nella colonna Derivazione della riga.

   5. Fare clic sull'icona Calcolatrice nella colonna Derivazione per aprire il builder dell'espressione.

   6. Ricercare LOAN_AMOUNTe fare doppio clic sul nome della colonna per aggiungerlo all'espressione. Notare che il numero del collegamento viene aggiunto al nome della colonna.

   7. Immettere un segno più +.

   8. Ricercare CREDITCARD_DEBTe fare doppio clic sul nome della colonna per aggiungerlo all'espressione. Notare che il numero del collegamento viene aggiunto al nome della colonna.

   9. Verificare che l'espressione finale sia Link_5.LOAN_AMOUNT + Link_5.CREDITCARD_DEBT.

      Nota: il numero del link potrebbe essere diverso.

   10. Fare clic su Applica e ritorna per tornare alla pagina Transformer .

   11. Per il nome colonna CREDIT_SCORE , selezionare Chiave.

4. Fare clic su Salva e torna per ritornare al canvas.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 07:49.

Effettuare le operazioni riportate di seguito per includere i tassi di interesse nel flusso aggiungendo un connettore dell'asset di dati a un database MongoDB :

1. Nella palette dei nodi, espandere la sezione Connettori .

2. Trascinare il connettore Browser asset nell'area di disegno accanto al nodo CREDIT_SCORE_1 .

3. Individuare l'asset selezionando Connessione> Data Fabric Trial - Mongo DB> DOCUMENT> DS_INTEREST _RATES.

4. Fare clic sull'icona Anteprima per visualizzare un'anteprima dei tassi di interesse per ciascun intervallo di punteggio di credito.
   
   È possibile utilizzare i valori nelle colonne STARTING_LIMIT e ENDING_LIMIT per cercare il tasso di interesse appropriato in base all'indice di affidabilità creditizia del richiedente. La colonna ID non è necessaria, quindi verrà eliminata nel passo successivo.

5. Fare clic su Aggiungi.

Per visualizzare in anteprima questa attività, guardare il video a partire dalle 08:35.

In base all'indice di affidabilità creditizia di ciascun richiedente, si desidera ricercare il tasso di interesse appropriato. Seguire questa procedura per aggiungere una fase di ricerca e specificare l'intervallo per i limiti di punteggio di credito iniziale e finale per ciascun tasso di interesse:

1. Nella sezione Stages , trascinare lo stage Lookup nell'area e rilasciare il nodo sulla linea di link tra i nodi Transformer_1 e Sequential_file_1 .

2. Connetti il connettore DS_INTEREST_RATES_1 allo stage Lookup_1 .

3. Fare doppio clic sul nodo DS_INTEREST_RATES_1 per modificare le impostazioni.

4. Fare clic sulla scheda Output .

   1. Espandere la sezione Colonne e fare clic su Modifica.

   2. Selezionare la colonna _ID .

   3. Fare clic su Elimina per eliminare la colonna _ID .

   4. Fare clic su Applica e ritorna per tornare alle impostazioni del nodo DS_INTEREST_RATES_1 .

   5. Fare clic su Salva per salvare le modifiche al nodo DS_INTEREST_RATES_1 .

5. Fare doppio clic sul nodo Lookup_1 per modificare le impostazioni.

6. Espandere la sezione Proprietà .

   1. Per il campo Applica intervallo alle colonne , selezionare CREDIT_SCORE. Vengono visualizzati i campi Link di riferimento, Operatoree Colonna intervallo .

   2. Per Link di riferimenti, selezionare Link_9.

      Nota: il numero del link potrebbe essere diverso.

   3. Per il primo Operatore, selezionare < =.

   4. Per la prima Colonna intervallo, selezionare ENDING_LIMIT.

   5. Per il secondo Operatore, selezionare > =.

   6. Per la seconda colonna Intervallo, selezionare STARTING_LIMIT.

7. Fare clic sulla scheda Output .

   1. Espandere la sezione Colonne e fare clic su Modifica.

   2. Selezionare le colonne STARTING_LIMIT e ENDING_LIMIT .

   3. Fare clic sull'icona Elimina per eliminare queste colonne STARTING_LIMIT e ENDING_LIMIT non necessarie.

   4. Fare clic su Applica e torna per tornare alle impostazioni del nodo Lookup_1 .

   5. Fare clic su Salva per salvare le modifiche al nodo Lookup_1 .

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 09:30.

Seguire questa procedura per modificare il nodo del file sequenziale per creare un file di output finale come asset di dati nel progetto, quindi compilare ed eseguire il flusso DataStage :

1. Fare doppio clic sul nodo Sequential_file_1 per modificare le impostazioni.

2. Fare clic sulla scheda Input .

3. Espandere la sezione Proprietà .

4. Per il file di destinazione, copiare e incollare MORTGAGE_APPLICANTS_INTEREST_RATES.CSV come nome file.

5. Selezionare Crea asset di dati.

6. Per il campo La prima riga è nomi colonna , selezionare True.

7. Fare clic su Salva.

8. Fare clic su Esegui per compilare ed eseguire il flusso DataStage . Il completamento del lavoro richiede circa 1 minuto.

9. Fare clic su Log sulla barra degli strumenti per osservare l'avanzamento del flusso. È normale visualizzare le avvertenze durante l'esecuzione, quindi si vede che il flusso è stato eseguito correttamente.

Per visualizzare in anteprima questa attività, guardare il video a partire dalle 10:28.

Altri data engineers e analisti di Golden Bank hanno bisogno di accedere ai tassi di interesse ipotecari. Con il piano IBM Knowledge Catalog Lite, è possibile creare due cataloghi. Se si dispone già di un catalogo, ignorare questo passaggio. Altrimenti, completare la seguente procedura per creare un catalogo in cui è possibile pubblicare il dataset dei tassi di interesse.

1. Dal menu di navigazione Cloud Pak for Data , scegli Cataloghi> Visualizza tutti i cataloghi.

2. Se viene visualizzato un Catalogo di approvazione del mutuo nella pagina Cataloghi , passare all' Attività 10: visualizzare l'output e pubblicarlo in un catalogo. Altrimenti, attenersi alla seguente procedura per creare un nuovo catalogo:

3. Fare clic su Crea catalogo.

4. Per il Nome, copiare e incollare il nome del catalogo esattamente come mostrato senza spazi iniziali o finali:

   Mortgage Approval Catalog
   

5. Selezionare Applica regole di protezione dati, confermare la selezione e accettare i valori predefiniti per gli altri campi.

6. Fare clic su Crea.

Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 10:00.

Attenersi alla seguente procedura per visualizzare il file di output nel progetto e pubblicarlo in un catalogo:

1. Dal menu di navigazione Cloud Pak for Data , scegli Progetti> Visualizza tutti i progetti.

2. Aprire il progetto Integrazione dati .

3. Sulla scheda Asset , fare clic su Dati> Asset dati.

4. Aprire MORTGAGE_APPLICANTS_INTEREST_RATES.CSV .

5. Scorrere per visualizzare tutte le colonne nel dataset integrato con i tassi di interesse alla fine di ciascuna voce di dati.

6. Fare clic su Integrazione dati nella traccia di navigazione per tornare al progetto.

7. Sulla scheda Asset , fare clic sul menu Overflow alla fine della riga per MORTGAGE_APPLICANTS_INTEREST_RATES.CSV e scegliere Pubblica nel catalogo.

   1. Selezionare il Catalogo approvazione mutuo (o il nome del catalogo) dall'elenco e fare clic su Avanti.

   2. Selezionare l'opzione Vai al catalogo dopo averlo pubblicatoe fare clic su Avanti.

   3. Esaminare gli asset e fare clic su Pubblica.

8. Nel catalogo, cercare Mortgage.

9. Aprire MORTGAGE_APPLICANTS_INTEREST_RATES.CSV .

10. Fare clic sulla scheda Asset per visualizzare i dati.