0 / 0
Torna alla versione inglese della documentazione
Esercitazione Data Science and MLOps: Orchestrate una pipeline AI con monitoraggio del modello
Ultimo aggiornamento: 28 nov 2024
Esercitazione Data Science and MLOps: Orchestrate una pipeline AI con monitoraggio del modello

Questa esercitazione consente di creare una pipeline end - to - end per fornire dati concisi, pre - elaborati e aggiornati memorizzati in un'origine dati esterna per il caso d'uso Data Science and MLOps. L'obiettivo è quello di utilizzare le pipeline di orchestrazione per orchestrare tale flusso di lavoro end-to-end per generare risultati automatizzati, coerenti e ripetibili. Il gasdotto utilizzaData Refinery EAutoAI, che automatizza diversi aspetti del processo di costruzione di un modello come l'ingegneria delle funzionalità e l'ottimizzazione degli iperparametri. AutoAI classifica gli algoritmi dei candidati e seleziona il modello migliore.

Avvio rapido: se non è stato già creato il progetto di esempio per questa esercitazione, accedere al progetto di esempio Data Science and MLOps nell'hub di risorse.

La storia del tutorial è che Golden Bank vuole espandere il suo business offrendo speciali rinnovi ipotecari a basso tasso per le applicazioni online. Le applicazioni online ampliano la portata dei clienti della banca e riducono i costi di elaborazione delle applicazioni. Per aiutare i finanziatori nel processo decisionale, il team utilizzerà Orchestration Pipelines per creare una pipeline di dati che fornisca dati aggiornati su tutti i richiedenti del mutuo. I dati vengono memorizzati in Db2 Warehouse. È necessario preparare i dati perché sono potenzialmente incompleti, obsoleti e potrebbero essere offuscati o completamente inaccessibili a causa della privacy dei dati e delle politiche di sovranità. Quindi, il team crea un modello di approvazione del mutuo da dati attendibili e distribuisce e verifica il modello in un ambiente di pre - produzione. Infine, il gruppo utilizza un blocco note per configurare i monitoraggi di Watson OpenScale , quindi valuta e osserva i monitoraggi in Watson OpenScale per assicurarsi che il modello trattasse in modo equo tutti gli aspiranti.

La seguente immagine animata fornisce una rapida anteprima di ciò che verrà realizzato entro la fine di questa esercitazione. Si modificherà ed eseguirà una pipeline per creare e distribuire un modello di machine learning, eseguire un notebook per configurare i monitor e convalidare il modello. Fare clic sull'immagine per visualizzare un'immagine più grande.

Immagine animata

Anteprima dell'esercitazione

In questa esercitazione, verranno completate le seguenti attività:

Se si desidera continuare a vedere come monitorare il modello utilizzando Watson OpenScale, completare le attività 6-10:

Guarda il video Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione. Potrebbero esserci lievi differenze nell'interfaccia utente mostrata nel video. Il video è destinato ad essere un compagno del tutorial scritto.

Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.





Suggerimenti per completare questa esercitazione
Di seguito sono riportati alcuni suggerimenti per completare correttamente questa esercitazione.

Utilizzare il video immagine - in - immagine

Suggerimento: avviare il video, quindi, scorrendo l'esercitazione, il video passa alla modalità immagine - in - immagine. Chiudere il sommario video per la migliore esperienza con l'immagine in foto. È possibile utilizzare la modalità immagine - in - immagine in modo da poter seguire il video mentre si completano le attività in questa esercitazione. Fare clic sulla data / ora per ciascuna attività da seguire.

La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:

Come usare l'immagine e i capitoli

Ottieni aiuto nella community

Se si ha bisogno di aiuto con questa esercitazione, è possibile porre una domanda o trovare una risposta nella sezione 'Cloud Pak for Data Forum di discussione della comunità.

Configurare le finestre del browser

Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.

Esercitazione e IU affiancati

Suggerimento: se si incontra un tour guidato mentre si completa questa esercitazione nell'interfaccia utente, fare clic su Forse in seguito.



Imposta i requisiti

Registrati per Cloud Pak for Data as a Service

Devi registrarti per Cloud Pak for Data as a Service e fornire i servizi necessari per il caso di utilizzo dell'integrazione dei dati.

  • Se hai un account Cloud Pak for Data as a Service esistente, puoi iniziare con questa esercitazione. Se hai un account del piano Lite, solo un utente per account può eseguire questa esercitazione.
  • Se non hai ancora un account Cloud Pak for Data as a Service , allora registrati.

Verificare i servizi di cui è stato eseguito il provisioning necessari

video dell'esercitazione di anteprima Per avere un'anteprima di questo compito, guardate il video a partire da 00:50.

Attenersi alla seguente procedura per verificare o eseguire il provisioning dei servizi necessari:

  1. Dal menu di navigazione 'Menu di navigazione, scegliere Servizi > Istanze di servizio.

  2. Utilizzare l'elenco a discesa Prodotto per determinare se esiste un'istanza del servizio watsonx.ai Studio.

  3. Se è necessario creare un'istanza del servizio watsonx.ai Studio, fare clic su Aggiungi servizio.

    1. Selezionare watsonx.ai Studio.

    2. Seleziona il piano Lite.

    3. Fare clic su Crea.

  4. Attendere il provisioning del servizio watsonx.ai Studio, che potrebbe richiedere alcuni minuti.

  5. Ripetere questi passi per verificare o eseguire il provisioning dei seguenti servizi aggiuntivi:

    • runtime watsonx.ai
    • Cloud Object Storage
    • watsonx.governance - se si desidera monitorare il modello distribuito

Icona Checkpoint Controllare i progressi

La seguente immagine mostra le istanze del servizio di cui è stato eseguito il provisioning:

Servizi con provisioning

Crea il progetto di esempio

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 01:27.

Se si dispone già del progetto di esempio per questa esercitazione, ignorare questa attività. In caso contrario, attenersi alla seguente procedura:

  1. Accedere al progetto campione Data Science e MLOps nell'hub Risorse.

  2. Fare clic su Crea progetto.

  3. Se ti viene richiesto di associare il progetto a un'istanza Cloud Object Storage , seleziona un'istanza Cloud Object Storage dall'elenco.

  4. Fare clic su Crea.

  5. Attendere il completamento dell'importazione del progetto, quindi fare clic su Visualizza nuovo progetto per verificare che il progetto e gli asset siano stati creati correttamente.

  6. Fare clic sulla scheda Asset per visualizzare gli asset per questa esercitazione.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra la scheda Asset del progetto di esempio. È ora possibile avviare l'esercitazione.

Progetto di esempio

Nota: potresti visualizzare un tour guidato che mostra le esercitazioni incluse con questo caso di utilizzo. I link nel tour guidato apriranno queste istruzioni dell'esercitazione.

Associare il servizio watsonx.ai Runtime al progetto di esempio

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 02:17.

Si utilizzerà watsonx.ai Runtime per creare e distribuire il modello, quindi seguire questi passaggi per associare l'istanza del servizio watsonx.ai Runtime al progetto di esempio.

  1. Nel progetto Data Science and MLOps , fai clic sulla scheda Manage .

  2. Fare clic su Servizi & Integrazioni .

  3. Fare clic su Associa servizio.

  4. Selezionare la casella accanto all'istanza del servizio watsonx.ai Runtime.

  5. Fare clic su Associa.

  6. Fare clic su Annulla per tornare alla pagina Servizi & Integrazioni .

Icona Checkpoint Controllare i progressi

L'immagine seguente mostra la pagina Servizi e integrazioni con l'elenco del servizio watsonx.ai Runtime. Si è ora pronti a creare il progetto di esempio.

Associa servizio al progetto




Attività 1: visualizzazione degli asset nel progetto di esempio

video dell'esercitazione di anteprima Per vedere l'anteprima di questo compito, guardate il video a partire da 02:37.

Il progetto di esempio include diversi asset tra cui una connessione, una definizione dati, un flusso Data Refinery e una pipeline. Attenersi alla seguente procedura per visualizzare tali asset:

  1. Fare clic sulla scheda Asset nel progetto Data Science and MLOps , quindi visualizzare Tutti gli asset.

  2. Visualizzare l'elenco di asset di dati utilizzati nel flusso Data Refinery e nella pipeline. Questi asset sono memorizzati in una connessione Data Fabric di prova - Db2 Warehouse nello schema AI_MORTGAGE . Fare clic su Importa asset, quindi passare alla versione di prova di Data Fabric - Db2 Warehouse > AI_MORTGAGE. La seguente immagine mostra gli asset da tale connessione:

    Tabelle Db2 Warehouse

  3. Il flusso Mortgage Age_Data_Approvals_flow Data Refinery integra i dati relativi a ciascun richiedente del mutuo. I dati integrati includono informazioni di identificazione personale, con i relativi dettagli dell'applicazione, i punteggi di credito, lo status di acquirente commerciale e, infine, i prezzi di ogni casa scelta del richiedente. Il flusso crea quindi un file sequenziale con il nome Mortgage_Data_with_Approvals_DS.csv nel progetto contenente i dati uniti. La seguente immagine mostra il flusso Mortgage Data_Approvals_flow Data Refinery :

    Flusso di approvazioni dei dati del mutuo

Icona Checkpoint Controllare i progressi

La seguente immagine mostra tutti gli asset nel progetto di esempio. Ora è possibile esplorare la pipeline nel progetto di esempio

La seguente immagine mostra tutti gli asset nel progetto di esempio.




Attività 2: esplorazione di una pipeline esistente

video dell'esercitazione di anteprima Per vedere un'anteprima di questa attività, guardate il video a partire da 03:25.

Il progetto di esempio include una pipeline di orchestrazione, che automatizza le seguenti attività:

  • Eseguire un lavoro Data Refinery esistente.

  • Creare un esperimento AutoAI .

  • Eseguire l'esperimento AutoAI e salvare il modello con le prestazioni migliori che utilizza il file di output risultante dal lavoro Data Refinery come dati di addestramento.

  • Creare un spazio di distribuzione.

  • Promuovere il modello salvato allo spazio di distribuzione.

Seguire questa procedura per esplorare la pipeline:

  1. Dalla scheda Asset nel progetto Data Science and MLOps , visualizzare Tutti gli asset.

  2. Fare clic su Pipeline di approvazione del mutuo - Data Science per aprire la pipeline.

  3. Fare doppio clic sul lavoro Integra dati di approvazione del mutuo Data Refinery , che combina diverse tabelle dalla connessione Db2 Warehouse on Cloud in un dataset con etichetta coesa utilizzato come dati di addestramento per l'esperimento AutoAI . Fare clic su Annulla per tornare alla pipeline.

  4. Fare clic sulla condizione Verifica stato e scegliere Modifica. Questa condizione è un punto di decisione nella pipeline per confermare il completamento del lavoro Data Refinery con un valore di Completato o Completato con avvertenze. Fare clic su Annulla per tornare alla pipeline.

  5. Fare doppio clic sul nodo Crea esperimento AutoAI per visualizzare le impostazioni. Questo nodo crea un esperimento AutoAI con le impostazioni.

    1. Rivedere i valori per le seguenti impostazioni:

      • Nome esperimento AutoAI

      • Ambito

      • Tipo di previsione

      • Colonna previsione

      • Classe positiva

      • Rapporto di suddivisione dei dati di addestramento

      • Algoritmi da includere

      • Algoritmi da utilizzare

      • Ottimizza metrica

    2. Fare clic su Annulla per chiudere le impostazioni.

  6. Fare doppio clic sul nodo Esegui esperimento AutoAI per visualizzare le impostazioni. Questo nodo esegue l'esperimento AutoAI creato dal nodo Crea esperimento AutoAI che utilizza l'output del lavoro Integra approvazione mutuo Data Refinery come dati di addestramento.

    1. Rivedere i valori per le seguenti impostazioni:

      • Esperimento AutoAI

      • Asset dei dati di addestramento

      • Prefisso nome modello

    2. Fare clic su Annulla per chiudere le impostazioni.

  7. Tra i nodi Esegui esperimento AutoAI e Crea spazio di distribuzione , fare clic su Si desidera distribuire il modello? e scegliere Modifica. Il valore Vero per questa condizione è un punto di decisione nella pipeline per continuare a creare lo spazio di distribuzione. Fare clic su Annulla per tornare alla pipeline.

  8. Fare doppio clic sul nodo Crea spazio di distribuzione per aggiornare le impostazioni. Questo nodo crea un nuovo spazio di distribuzione con il nome specificato e richiede l'inserimento dei servizi Cloud Object Storage e watsonx.ai Runtime.

    1. Rivedi il valore per l'impostazione Nuovo nome spazio .

    2. Per il campo Nuovo CRN istanza COS spazio , seleziona la tua istanza Cloud Object Storage dall'elenco.

    3. Nel campo Nuovo spazio WML Istanza CRN, selezionare l'istanza watsonx.ai Runtime dall'elenco.

    4. Fare clic su Salva.

  9. Fare doppio clic sul nodo Promuovi modello nello spazio di distribuzione per visualizzare le impostazioni. Questo nodo promuove il modello migliore dal nodo Esegui esperimento AutoAI allo spazio di distribuzione creato dal nodo Crea spazio di distribuzione .

    1. Rivedere i valori per le seguenti impostazioni:

      • Asset origine

      • Destinazione

    2. Fare clic su Annulla per chiudere le impostazioni.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra la pipeline iniziale. Si è ora pronti a modificare la pipeline per aggiungere un nodo.

Pipeline iniziale




Attività 3: aggiungere un nodo alla pipeline

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 05:41.

La pipeline crea il modello, crea uno spazio di distribuzione e quindi lo promuove a uno spazio di distribuzione. È necessario aggiungere un nodo per creare una distribuzione in linea. Seguire questa procedura per modificare la pipeline per automatizzare la creazione di una distribuzione online:

  1. Aggiungere il nodo Crea distribuzione in linea all'area di disegno:

    1. Espandere la sezione Crea nella tavolozza dei nodi.

    2. Trascinare il nodo Crea distribuzione online nell'area e rilasciare il nodo dopo il nodo Promuovi modello a spazio di distribuzione .

  2. Passare con il mouse sul nodo Promuovi modello a spazio di distribuzione per visualizzare la freccia. Collegare la freccia al nodo Crea distribuzione in linea .

    Nota: i nomi dei nodi nella tua pipeline potrebbero essere diversi dalla seguente immagine animata.

    Nodi di connessione pipeline

  3. Connettere il commento Crea distribuzione online per il modello promosso al nodo Crea distribuzione in linea collegando il cerchio nella casella del commento al nodo.

    Nota: i nomi dei nodi nella tua pipeline potrebbero essere diversi dalla seguente immagine animata.

    Commento pipeline

  4. Fare doppio clic su Crea distribuzione in linea per visualizzare le impostazioni.

  5. Modificare il nome nodo in Create Online Deployment.

  6. Accanto a Asset ML, fare clic su Seleziona da un altro nodo dal menu.

    Seleziona da un altro asset ML del nodo

  7. Selezionare il nodo Promuovi modello a spazio di distribuzione dall'elenco. L'ID nodo winning_model è selezionato.

  8. Per il Nuovo nome distribuzione, immettere Mortgage approval model deployment - Data Science.

  9. Per Modalità creazione, selezionare Sovrascrivi.

  10. Fare clic su Salva per salvare le impostazioni del nodo Crea distribuzione in linea .

Icona Checkpoint Controllare i progressi

La seguente immagine mostra la pipeline completata. Sei ora pronto per eseguire la pipeline.

Pipeline completata




Attività 4: esecuzione della pipeline

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 06:57.

Ora che la pipeline è completa, segui questi passi per eseguire la pipeline:

  1. Dalla barra degli strumenti, fai clic su Run pipeline> Trial run.

  2. Nella pagina Definisci parametri pipeline , selezionare True per la distribuzione.

    • Se è impostato su True, la pipeline verifica il modello distribuito e calcola il punteggio del modello.

    • Se impostato su False, la pipeline verifica che il modello sia stato creato nel progetto dall'esperimento AutoAI e riesamina le informazioni sul modello e le metriche di addestramento.

  3. Fornire una chiave API se questa occasione è la prima volta che si esegue una pipeline. Gli asset pipeline utilizzano la tua chiave API IBM Cloud personale per eseguire le operazioni in modo sicuro senza interruzioni.

    • Se hai una chiave API esistente, fai clic su Utilizza chiave API esistente, incolla la chiave API e fai clic su Salva.

    • Se non hai una chiave API esistente, fai clic su Genera nuova chiave API, fornisci un nome e fai clic su Salva. Copia la chiave API e salva la chiave API per un utilizzo futuro. Al termine, fare clic su Chiudi.

  4. Fare clic su Esegui per avviare l'esecuzione della pipeline.

  5. Monitorare l'avanzamento della pipeline.

    1. Scorrere i log consolidati durante l'esecuzione della pipeline. Il completamento dell'esecuzione di prova potrebbe richiedere fino a 10 minuti.

    2. Al termine di ciascuna operazione, selezionare il nodo per tale operazione nell'area.

    3. Sulla scheda Node Inspector , visualizzare i dettagli dell'operazione.

    4. Fare clic sulla scheda Output nodo per visualizzare un riepilogo dell'output per ciascuna operazione del nodo.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra la pipeline dopo aver completato l'esecuzione di prova. Si è ora pronti a esaminare gli asset creati dalla pipeline.

Esecuzione della pipeline completata




Attività 5: visualizzare gli asset, il modello distribuito e la distribuzione in linea

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 08:58.

La pipeline ha creato diversi asset. Seguire questi passi per visualizzare gli asset:

  1. Fare clic su Data Science and MLOps nel percorso di navigazione per tornare al progetto.

    Traccia di navigazione

  2. Sulla scheda Asset , visualizzare Tutti gli asset.

  3. Visualizzare gli asset di dati.

    1. Fare clic sull'asset di dati Mortgage_Data_with_Approvals_DS.csv . Il lavoro Data Refinery ha creato questo asset.

    2. Fare clic sul nome progetto Data Science and MLOps nella traccia di navigazione per tornare alla scheda Asset .

  4. Visualizzare il modello.

    1. Fare clic sull'asset del modello di machine learning che inizia con ds_mortgage _approval_best_model. L'esperimento AutoAI ha generato diversi candidati del modello e lo ha scelto come modello migliore. Salvare questo nome modello in un file di testo. Il nome del modello è richiesto per configurare i monitoraggi Watson OpenScale nell'attività successiva.

    2. Scorrere le informazioni sul modello.

    3. Fare clic sul nome progetto Data Science and MLOps nella traccia di navigazione per tornare alla scheda Asset .

  5. Fare clic sulla scheda Lavori nel progetto per visualizzare le informazioni sui lavori Data Refinery e Pipeline.

  6. Apri lo spazio di distribuzione che hai creato con la pipeline.

    1. Dal menu di navigazione 'Menu di navigazione, scegliere Deployments.

    2. Fare clic sulla scheda Spazi .

    3. Fare clic sullo spazio di distribuzione Approvazione mutuo - Data Science and MLOps .

  7. Fare clic sulla scheda Asset e visualizzare il modello distribuito che inizia con ds_mortgage age_approval_best_model.

  8. Fare clic sulla scheda Distribuzioni .

  9. Fai clic su Distribuzione del modello di approvazione del mutuo - Data Science per visualizzare la distribuzione.

    1. Nella scheda Riferimento API , visualizza l'endpoint API e i frammenti di codice.

    2. Fare clic sulla scheda Test .

    3. Fai clic sulla scheda JSON input e sostituisci il testo di esempio con il seguente testo JSON.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      
    4. Fare clic su Previsione. I risultati mostrano che il primo richiedente non sarà approvato e il secondo sarà approvato.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra i risultati del test. I punteggi di confidenza per il tuo test potrebbero essere diversi dai punteggi mostrati nell'immagine.

Previsioni dei risultati del test




Attività 6: eseguire il notebook per configurare i monitoraggi Watson OpenScale

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 10:40.

Ora è possibile eseguire il notebook incluso nel progetto di esempio. Il notebook include il codice per:

  • Recuperare il modello e le distribuzioni.
  • Configurare Watson OpenScale.
  • Creare il fornitore del servizio e la sottoscrizione per il proprio servizio di machine learning.
  • Configurare il monitor qualità.
  • Configurare il monitoraggio della correttezza.
  • Configurare l'esplicabilità.

Seguire questa procedura per eseguire il notebook incluso nel progetto di esempio. Prendere un po 'di tempo per leggere i commenti nel notebook, che spiegano il codice in ogni cella.

  1. Dal menu di navigazione 'Menu di navigazione, scegliere Progetti > Visualizza tutti i progetti.

  2. Fare clic sul nome progetto Data Science and MLOps .

  3. Fare clic sulla scheda Attività, quindi spostarsi su Appunti.
    'Barra di spostamento a sinistra

  4. Apri il notebook monitor - wml - model - with - watson - openscale - pipeline .

  5. Fare clic sull'icona Modifica 'Modifica per mettere il blocco note in modalità di modifica.

  6. Quando si importa un progetto dall'hub di risorse, la prima cella del notebook contiene il token di accesso al progetto. Se questo notebook non contiene una prima cella con un token di accesso al progetto, è necessario generare il token. Dal menu Altro , selezionare Inserisci token progetto. Questa azione inserisce una nuova cella come prima cella nel notebook contenente il token del progetto.

  7. Fornisci la tua chiave API nella sezione Fornisci la tua chiave API IBM Cloud . È necessario passare le proprie credenziali all'API watsonx.ai Runtime utilizzando una chiave API. Se non disponi già di una chiave API salvata, attieniti a questa procedura per creare una chiave API.
    video dell'esercitazione di anteprima Per vedere l'anteprima di questo compito, guardate il video a partire da 04:55.

    1. Accedere alla pagina delle chiavi API della consoleIBM Cloud.

    2. Fai clic su Crea una chiave API IBM Cloud. Se hai delle chiavi API esistenti, il pulsante può essere etichettato come Crea.

    3. Immettere un nome e una descrizione.

    4. Fare clic su Crea.

    5. Copia la chiave API.

    6. Scarica la chiave API per un utilizzo futuro.

    7. Torna al notebook e incolla la chiave API nel campo ibmcloud_api_key .

  8. Nella sezione 3. Modello e distribuzione, per la variabile nome_modello , incollare il nome del modello salvato in un file di testo nell'attività precedente. space_name e deployment_name vengono compilati utilizzando i nomi specificati nella pipeline.

  9. Fare clic su Cella> Esegui tutto per eseguire tutte le celle nel notebook. In alternativa, fare clic sull'icona Esegui 'Esegui per eseguire il blocco note cella per cella ed esplorare ciascuna cella e il relativo risultato.

  10. Monitorare la cella di avanzamento per cella, notando l'asterisco "In [*]" che cambia in un numero, ad esempio "In [1]". Il completamento del notebook richiede da 1 a 3 minuti.

  11. Provare questi suggerimenti se si verificano errori durante l'esecuzione del notebook:

    • Fare clic su Kernel> Restart & Clear Output per riavviare il kernel, quindi eseguire nuovamente il notebook.
    • Verificare di aver copiato e incollato il nome della distribuzione esattamente senza spazi iniziali o finali.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra il notebook quando l'esecuzione è completa. Il notebook ha salvato il modello nel progetto, quindi ora si è pronti a valutare il modello.

Esecuzione blocco note completata




Attività 7: valutare il modello

video dell'esercitazione di anteprima Per vedere l'anteprima di questo compito, guardate il video a partire da 13:35.

Segui questa procedura per valutare il modello in Watson OpenScale:

  1. Fare clic sul progetto Data Science e MLOps nel percorso di navigazione.
    'Traccia di navigazione

  2. Nella scheda Asset , espandere il tipo di asset Dati e fare clic su Asset dati.

  3. Fare clic sul menu Overflow 'Menu di overflow per la risorsa dati mortgage_sample_test_data.csv e scegliere Download. Per convalidare che il modello funziona come richiesto, hai bisogno di una serie di dati con etichetta, che è stata trattenuta dall'addestramento del modello. Questo file CSV contiene tali dati di controllo.

  4. Avvia Watson OpenScale.

    1. Dal menu di navigazione 'Menu di navigazione, scegliere Servizi > Istanze di servizio.

    2. Fare clic sul nome dell'istanza Watson OpenScale . Se richiesto, accedi utilizzando le stesse credenziali che hai utilizzato per registrarti a Cloud Pak for Data.

    3. Nella pagina dell'istanza del servizio Watson OpenScale , fai clic su Avvia applicazione.

  5. Nel dashboard Insights, fai clic su Distribuzione del modello di approvazione del mutuo - Data Science .

  6. Dal menu Azioni , selezionare Valuta ora.

  7. Dall'elenco di opzioni di importazione, selezionare dal file CSV.

  8. Trascinare il file di dati mortgage_sample_test_data.csv scaricato dal progetto nel pannello laterale.

  9. Fare clic su Carica e valuta. Il completamento della valutazione potrebbe richiedere diversi minuti.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra il risultato della valutazione per il modello distribuito in Watson OpenScale. Una volta valutato il modello, è possibile osservare la qualità del modello.

modello valutato




Attività 8: Osservare i monitor del modello per la qualità

video dell'esercitazione di anteprima Per avere un'anteprima di questo compito, guardate il video a partire da 14:44.

Il monitor della qualità Watson OpenScale genera una serie di metriche per valutare la qualità del proprio modello. È possibile utilizzare queste metriche di qualità per determinare in che modo il modello prevede i risultati. Quando la valutazione che utilizza i dati di holdout viene completata, attenersi alla seguente procedura per osservare la qualità o l'accuratezza del modello:

  1. Nel pannello di navigazione sinistro, fare clic sull'icona del dashboard Insights 'Dashboard Insight.

  2. Individuare il riquadro Distribuzione del modello di approvazione del mutuo - Data Science . Si noti che la distribuzione ha 0 problemi e che entrambi i test Qualità e Correttezza non hanno generato alcun errore, il che significa che il modello ha soddisfatto le soglie richieste.

    Nota: potrebbe essere necessario aggiornare il dashboard per visualizzare gli aggiornamenti dopo la valutazione.
  3. Fare clic sul riquadro Distribuzione del modello di approvazione del mutuo - Data Science per visualizzare ulteriori dettagli.

  4. Nella sezione Qualità, fare clic sull'icona Configura 'Configura. Qui puoi vedere che la soglia di qualità configurata per questo monitor è del 70% e che la misura della qualità utilizzata è un'area sotto la curva ROC.

  5. Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.

  6. Nella sezione Qualità, fare clic sull'icona Dettagli 'Dettagli per visualizzare i risultati dettagliati della qualità del modello. Qui è possibile vedere un certo numero di calcoli di metrica di qualità e una matrice di confusione che mostra le decisioni del modello corrette insieme a falsi positivi e falsi negativi. L'area calcolata sotto la curva ROC è 0.9 o superiore, che supera la soglia 0.7 , quindi il modello soddisfa i requisiti di qualità.

  7. Fare clic su Distribuzione del modello di approvazione del mutuo - Data Science nel percorso di navigazione per tornare al pannello dei dettagli del modello.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra i dettagli della qualità in Watson OpenScale. I punteggi di qualità possono variare. Dopo aver osservato la qualità del modello, è possibile osservare la correttezza del modello.

Qualità




Attività 9: Osservare i monitor del modello per la correttezza

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 15:59.

Il monitor della correttezza Watson OpenScale genera una serie di metriche per valutare la correttezza del tuo modello. È possibile utilizzare le metriche di correttezza per stabilire se il proprio modello produce risultati distorti. Attenersi alla seguente procedura per osservare la correttezza del modello:

  1. Nella sezione Equità, fare clic sull'icona Configura 'Configura. Qui si vede che il modello è in fase di revisione per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso. Le donne sono identificate come il gruppo monitorato per il quale viene misurata la correttezza, e la soglia per la correttezza deve essere almeno dell ' 80%. Il monitor di correttezza utilizza il metodo di impatto disparato per determinare la correttezza. L'impatto disparato confronta la percentuale di risultati favorevoli per un gruppo monitorato con la percentuale di risultati favorevoli per un gruppo di riferimento.

  2. Fare clic su Vai al riepilogo del modello per tornare alla schermata dei dettagli del modello,

  3. Nella sezione Equità, fare clic sull'icona Dettagli 'Dettagli per visualizzare i risultati dettagliati dell'equità del modello. Qui viene visualizzata la percentuale di candidati di sesso maschile e femminile che vengono approvati automaticamente, insieme a un punteggio di correttezza di circa il 100%, quindi le prestazioni del modello superano di gran lunga la soglia di correttezza dell ' 80% richiesta.

  4. Notare i dataset identificati nell'elenco Dataset . Per garantire che le metriche di correttezza siano più accurate, Watson OpenScale utilizza la perturbazione per determinare i risultati in cui vengono modificati solo gli attributi protetti e gli input del modello correlati, mentre le altre funzioni rimangono le stesse. La perturbazione modifica i valori della funzione dal gruppo di riferimento al gruppo monitorato o viceversa. Questi guardrail aggiuntivi vengono utilizzati per calcolare la correttezza quando viene utilizzato il dataset "bilanciato", ma è anche possibile visualizzare i risultati della correttezza utilizzando solo i dati di addestramento del modello o del payload. Poiché il modello si comporta in modo corretto, non è necessario entrare in ulteriori dettagli per questa metrica.
    Dataset di correttezza

  5. Fare clic sul percorso di navigazione Distribuzione del modello di approvazione del mutuo - Data Science per tornare alla schermata dei dettagli del modello.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra i dettagli di correttezza in Watson OpenScale. Ora che hai osservato la correttezza del modello, puoi osservare l'esplicabilità del modello.

Equità




Attività 10: Osservare i monitoraggi del modello per l'esplicabilità

video dell'esercitazione di anteprima Per vedere un'anteprima di questo compito, guardate il video a partire da 17:42.

È necessario capire come il modello è arrivato alla sua decisione. Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del mutuo sia per garantire ai proprietari del modello che le decisioni siano valide. Per comprendere queste decisioni, attenersi alla seguente procedura per osservare l'esplicabilità del modello:

  1. Nel pannello di navigazione sinistro, fare clic sull'icona Spiega una transazione 'Spiega una transazione.

  2. Seleziona Distribuzione del modello di approvazione mutuo - Data Science per visualizzare un elenco di transazioni.

  3. Per qualsiasi transazione, fare clic su Spiega nella colonna Azioni . Qui vedete la spiegazione dettagliata di questa decisione. Verranno visualizzati gli input più importanti per il modello e l'importanza di ciascuno per il risultato finale. Le barre blu rappresentano gli input che tendono a supportare la decisione del modello mentre le barre rosse mostrano gli input che potrebbero aver portato a un'altra decisione. Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere altrimenti approvato, ma la sua storia di credito scadente e il debito elevato insieme portano il modello a rifiutare la domanda. Esaminare questa spiegazione per essere soddisfatti della base della decisione del modello.

  4. Facoltativo: se si desidera approfondire il modo in cui il modello ha preso la sua decisione, fare clic sulla scheda Ispeziona . Utilizzare la funzione Ispeziona per analizzare la decisione di trovare aree di sensibilità in cui piccole modifiche a pochi input risulterebbero in una decisione diversa. È possibile testare la sensibilità da soli sovrascrivendo alcuni degli input effettivi con alternative per vedere se questi influiscono sul risultato.

Icona Checkpoint Controllare i progressi

La seguente immagine mostra l'esplicabilità di una transazione in Watson OpenScale. È stato stabilito che il modello è accurato e che tutti i candidati vengono trattati in modo equo. Ora, è possibile avanzare il modello alla fase successiva nel suo ciclo di vita.

Esplicabilità



Il team di Golden Bank ha utilizzato Orchestration Pipelines per creare una pipeline di dati che fornisce dati aggiornati su tutti i richiedenti di mutui e un modello di machine learning che i prestatori possono utilizzare per il processo decisionale. Quindi, il team ha utilizzato Watson OpenScale per garantire che il modello trattasse tutti i candidati in modo equo.


Ripulitura (facoltativo)

Se si desidera riprendere questa esercitazione, eliminare le seguenti risorse utente.

Risorse utente Come eliminare
Distribuzione del modello di approvazione del mutuo - Data Science nello spazio di distribuzione Data Science and MLOps Elimina una distribuzione
Approvazione del mutuo - Data Science e MLOps spazio di implementazione Elimina uno spazio di distribuzione
Progetto di esempio Data Science e MLOps Eliminare un progetto

Passi successivi

Ulteriori informazioni

Argomento principale: Esercitazioni del caso d'uso

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni