Esercitazione sull'integrazione dei dati: replica dei dati

Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 03:05.

Come parte dei Prerequisiti, hai eseguito il provisioning di una nuova istanza di Event Streams . Ora, devi configurare tale istanza del servizio. Seguire questa procedura per:

• Crea un argomento per memorizzare i dati replicati dai dati di origine in Db2 on Cloud. L'argomento è il nucleo dei flussi Event Streams . I dati passano attraverso un argomento dalle applicazioni di produzione a quelle di consumo.

• Copiare il codice di esempio che contiene le informazioni sul server bootstrap necessarie per impostare la replica dei dati.

• Creare credenziali che verranno utilizzate per creare una connessione al servizio nel progetto.

1. Torna alla console IBM Cloud Elenco risorse.

2. Espandere la sezione Integrazione .

3. Fai clic sul nome dell'istanza del servizio per la tua istanza Event Streams per visualizzarne i dettagli.

4. Innanzitutto, per creare l'argomento, fare clic sulla pagina Argomenti .

   1. Fare clic su Crea argomento.

   2. Per Nome argomento, immettere golden-bank-mortgage.

   3. Fare clic su Avanti.

   4. Nella sezione Partizioni , accettare il valore predefinito e fare clic su Avanti.

   5. Nella sezione Conservazione messaggi , accettare il valore predefinito e fare clic su Crea argomento.

   6. Aprire un editor di testo e incollare il nome dell'argomento golden-bank-mortgage nel file di testo da utilizzare in un secondo momento.

5. Successivamente, nella pagina Argomenti , fai clic su Connect to this service per recuperare le informazioni di connessione.

   1. Copiare il valore nel campo Server di avvio . Il server di bootstrap è richiesto quando si crea una connessione all'istanza Event Streams nel progetto.

   2. Incollare il valore del server di avvio nello stesso file di testo da utilizzare in un secondo momento.

   3. Fare clic sulla scheda Codice di esempio .

   4. Copiare il valore nel campo Proprietà di configurazione di esempio . Si utilizzeranno alcune proprietà da questo frammento per connettersi in modo sicuro al servizio.

   5. Incollare il codice di esempio nello stesso file di testo da utilizzare in un secondo momento.

   6. Fare clic sulla X per chiudere il pannello Connetti a questo servizio .

6. Infine, per creare le credenziali, fai clic sulla pagina Credenziali del servizio .

   1. Fai clic su New credential.

   2. Accettare il nome predefinito o modificarlo se si preferisce.

   3. Per il Ruolo, accettare il valore predefinito Gestore.

   4. Espandere la sezione Opzioni avanzate .

   5. Nel campo Seleziona ID servizio , selezionare Genera automaticamente.

   6. Fare clic su Aggiungi.

   7. Accanto alle nuove credenziali, fare clic su Copia negli appunti .

   8. Incollare le credenziali nello stesso file di testo da utilizzare in un secondo momento.

Il file di testo deve contenere tutte le seguenti informazioni:

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 05:00.

Il progetto di esempio include una connessione all'istanza Db2 on Cloud in cui sono archiviati i dati di origine. Seguire questa procedura per visualizzare l'asset di connessione e i dati dell'indice di affidabilità creditizia:

1. Tornare alla scheda del browser Cloud Pak for Data as a Service . Verrà visualizzato il progetto di integrazione dati. Se il progetto non viene visualizzato, effettuare le seguenti operazioni:

   1. Dal menu di navigazione Cloud Pak for Data , scegli Progetti> Visualizza tutti i progetti.

   2. Fare clic sul progetto Integrazione dati per aprirlo.

2. Sulla scheda Asset , fare clic su Tutti gli asset.

3. Individua l'asset di connessione Data Fabric di prova - Db2 on Cloud - Source .

4. Individuare l'asset di dati connesso CREDIT_SCORE .

5. Fare clic sull'asset CREDIT_SCORE per visualizzare un'anteprima. Questo asset di dati viene associato alla tabella CREDIT_SCORE nello schema BANKING nell'istanza Db2 on Cloud del provider. Include informazioni sui richiedenti del mutuo come ID, nome, indirizzo e indice di affidabilità creditizia. Si desidera impostare la replica dei dati per questo asset di dati.

6. Fare clic su Integrazione dati nel percorso di navigazione per tornare al progetto.
   

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 05:34.

Per impostare la replicazione, è necessaria anche una connessione alla nuova istanza Event Streams di cui è stato eseguito il provisioning come parte dei Prerequisiti utilizzando le informazioni raccolte nell' Attività 1. Attenersi alla seguente procedura per creare l'asset di collegamento:

1. Nella pagina Asset , fare clic su Nuovo asset> Connetti a una origine dati.

2. Seleziona ilApache Kafka connettore, quindi fare clic su Prossimo .

3. Per Nome, immettere Event Streams.

4. In Sezione Dettagli connessione, completare i campi seguenti:

   • Nome host del server Kafka : incolla il valore del server di avvio dal file di testo che hai creato in Attività 1.
   • Connessione sicura: selezionare SASL_SSL.
   • Nome principal utente: incollare il valore utente da credenziali del servizio nel file di testo. Questo valore è generalmente token.
   • Password: incolla il valore password dalle credenziali del servizio nel tuo file di testo.

5. Fare clic su Verifica connessione.

6. Quando il test ha esito positivo, fare clic su Crea. Se il test non ha esito positivo, verificare le informazioni copiate e incollate dal file di testo e riprovare. Se viene richiesto di confermare la creazione della connessione senza impostare l'ubicazione e la sovranità, fare di nuovo clic su Crea .

7. Fare clic su Tutti gli asset per visualizzare la nuova connessione.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:32.

Per utilizzare il servizio Data Replication nel progetto, è necessario associare l'istanza del servizio al progetto. Attenersi alla seguente procedura per associare il servizio Event Streams al progetto di integrazione dati:

1. Nel progetto Integrazione dati , fare clic sulla scheda Gestisci .

2. Fai clic su Servizi e integrazioni .

3. Fare clic su Associa servizio.

4. Seleziona la casella accanto all'istanza del servizio Data Replication .

5. Fare clic su Associa.

6. Fare clic su Annulla per tornare alla pagina Servizi & Integrazioni .

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:53.

Ora è possibile creare un asset Data Replication per avviare la replica continua dei dati tra l'origine Db2 on Cloud e la destinazione Event Streams . Per impostare la replica dei dati, attenersi alla seguente procedura:

1. Fare clic sulla scheda Asset nel progetto.

2. Fare clic su Nuovo asset> Replica dati.

3. Per Nome, immettere CreditScoreReplication.

4. Fare clic su Opzioni di origine.

5. Nella pagina Opzioni di origine , seleziona Data Fabric Trial - Db2 on Cloud - Source dall'elenco di connessioni.

6. Fare clic su Seleziona dati.

7. Nella pagina Seleziona dati , selezionare lo schema BANKING > tabella CREDIT_SCORE .

8. Fare clic su Opzioni di destinazione.

9. Nella pagina Opzioni di destinazione , selezionare Event streams dall'elenco di connessioni.

10. Nel campo Argomento predefinito , incollare il nome dell'argomento creato in Attività 1, golden-bank-mortgage.

11. Accettare il valore predefinito per il resto dei campi e fare clic su Rivedi.

12. Rivedere il riepilogo e fare clic su Crea.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 07:54.

Dopo aver creato l'asset Data Replication , è possibile eseguire la replica dei dati e visualizzare informazioni sullo stato della replica. Attenersi alla seguente procedura per eseguire la replica dei dati:

1. SulCreditScoreReplication schermata, fare clic su Correre icona per avviare il processo di replica.

   Se questa è la prima volta che si esegue un asset Data Replication , potrebbe essere richiesto di fornire una chiave API. Gli asset di replica dei dati utilizzano la tua chiave API personale IBM Cloud per eseguire le operazioni di replica in modo sicuro senza interruzioni. Se vuoi utilizzare una chiave API specifica, fai clic sull'icona Impostazioni .

   • Se hai una chiave API esistente, fai clic su Utilizza chiave API esistente, incolla la chiave API e fai clic su Salva.
   • Se non hai una chiave API esistente, fai clic su Genera nuova chiave APIe fai quindi clic su Genera. Salva la chiave API per un utilizzo futuro e fai clic su Chiudi.

2. Nella sezione Log eventi , fare clic sull'icona Aggiorna per visualizzare eventuali nuovi messaggi.

3. Dopo pochi minuti, viene visualizzato il messaggio Completed initial synchronization for table "BANKING"."CREDIT_SCORE" nella sezione Log eventi .

Da questo punto in poi, eventuali modifiche al BANKING.CREDIT_SCORE nell'istanza Db2 on Cloud verrà rilevata automaticamente e replicata nella destinazione.

Per visualizzare in anteprima questa attività, guardare il video a partire dalle 09:03.

Puoi utilizzare il codice Python per verificare che i dati dell'indice di affidabilità creditizia siano stati replicati nell'hub Event Streams di Golden Bank. Il progetto di esempio include un notebook Jupyter contenente il codice Python di esempio. Seguire questa procedura per modificare ed eseguire il codice nel blocco note:

1. Fare clic su Integrazione dati nel percorso di navigazione per tornare al progetto.
   

2. Fai clic sulla scheda Assets.

3. Fare clic su Tutti gli asset.

4. Fare clic sul menu Overflow alla fine della riga per il notebook Monitora replica dati e scegliere Modifica.

5. Eseguire la prima cella di codice per installare la libreria Kafka-python.

6. Modificare la seconda cella utilizzando le informazioni salvate in un file di testo da Attività 1.

   • topic: Incolla il nome dell'argomento. Questo valore è golden-bank-mortgage.

   • bootstrap_servers: incolla il valore del server bootstrap dal file di testo, che dovrebbe essere simile a questo valore:

     broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
     

   • sasl_plain_username: incollare il valore utente da credenziali del servizio nel file di testo. Questo valore è generalmente token.

   • security_protocol: incollare il valore security.protocol dal file di testo. Questo valore è generalmente SASL_SSL.

   • sasl_mechanism: incollare il valore sasl.mechanism dal file di testo. Questo valore è generalmente PLAIN.

   • sasl_plain_password: incollare il valore password da credenziali del servizio nel file di testo.

7. Una volta completati tutti i valori, eseguire il codice nella seconda cella per fornire le informazioni di connessione per la propria istanza Event Streams .

8. Eseguire il codice nella terza cella per utilizzare i record dall'argomento Event Streams .

9. Eseguire il codice nella quarta cella per stampare i messaggi catturati nell'oggetto consumer.

10. Esaminare l'output che mostra il contenuto dei messaggi consegnati dalla replica nell'argomento Event Streams . Confrontarlo con l'asset di dati CREDIT_SCORE visualizzato in Attività 2.

11. Fare clic su File> Salva per salvare il blocco appunti Jupyter con le credenziali memorizzate.