0 / 0
Torna alla versione inglese della documentazione
Avvio rapido: valutazione di una distribuzione negli spazi

Avvio rapido: valutazione di una distribuzione negli spazi

Puoi valutare le distribuzioni del modello in uno spazio di distribuzione per ottenere informazioni dettagliate sulle tue prestazioni del modello. Quando configuri le valutazioni, puoi analizzare i risultati della valutazione e modellare i record della transazione direttamente negli spazi.

Servizi richiesti
watsonx.governance
watsonx.ai

Il flusso di lavoro di base include le seguenti attività:

  1. Aprire un progetto. I progetti sono dove è possibile collaborare con altri per lavorare con i dati.
  2. Creare e salvare un modello di machine learning. Ci sono vari strumenti per creare un modello, come ad esempio un esperimento AutoAI , un notebook Jupyter, un flusso SPSS Modeler o una pipeline. Consultare Analisi dei dati e utilizzo dei modelli.
  3. Distribuisci e verifica il modello in un spazio di distribuzione.
  4. Configurare le valutazioni nello spazio di distribuzione.
  5. Valutare le prestazioni del modello.

Informazioni su come valutare le distribuzioni negli spazi

watsonx.governance valuta le distribuzioni del tuo modello per aiutarti a misurare le prestazioni e comprendere le previsioni del modello. Quando configuri le valutazioni del modello, watsonx.governance genera metriche per ogni valutazione che forniscono informazioni dettagliate differenti che puoi esaminare. watsonx.governance registra anche le transazioni elaborate durante le valutazioni per aiutarti a comprendere come vengono determinate le previsioni del tuo modello.

Ulteriori informazioni sulla valutazione delle implementazioni negli spazi

Ulteriori informazioni su altri modi per valutare i modelli in Watson OpenScale

Guarda un video su come valutare le distribuzioni negli spazi

Guarda il video Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione. Potrebbero esserci lievi differenze nell'interfaccia utente mostrata nel video. Il video è destinato ad essere un compagno del tutorial scritto.

Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.


Prova un'esercitazione per valutare le distribuzioni negli spazi

In questa esercitazione, verranno completate le seguenti attività:





Suggerimenti per completare questa esercitazioneDi seguito sono riportati alcuni suggerimenti per completare correttamente questa esercitazione.

Utilizzare il video immagine - in - immagine

Suggerimento: avviare il video, quindi, scorrendo l'esercitazione, il video passa alla modalità immagine - in - immagine. Chiudere il sommario video per la migliore esperienza con l'immagine in foto. È possibile utilizzare la modalità immagine - in - immagine in modo da poter seguire il video mentre si completano le attività in questa esercitazione. Fare clic sulle date / ore per ciascuna attività da seguire.

La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:

Come usare il picture-in-picture e i capitoli

Ottieni aiuto nella community

Se hai bisogno di aiuto con questa esercitazione, puoi fare una domanda o trovare una risposta nel forum di discussione della comunitàwatsonx.

Configurare le finestre del browser

Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.

Esercitazione e IU affiancati

Suggerimento: se si incontra un tour guidato mentre si completa questa esercitazione nell'interfaccia utente, fare clic su Forse in seguito.



Attività 1: creare un progetto basato su un esempio

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:00.

È necessario un progetto per memorizzare gli asset utilizzati per creare il modello. Ad esempio, i dati di addestramento, l'esperienza AutoAI o il notebook Jupyter e il modello salvato. Per creare un progetto basato su un esempio, attenersi alla seguente procedura:

  1. Accedere a Valuta un progetto di esempio di modello ML nell'hub risorse.

  2. Fare clic su Crea progetto.

  3. Se ti viene richiesto di associare il progetto a un'istanza Cloud Object Storage , seleziona un'istanza Cloud Object Storage dall'elenco.

  4. Fare clic su Crea.

  5. Attendere il completamento dell'importazione del progetto, quindi fare clic su Visualizza nuovo progetto per verificare che il progetto e gli asset siano stati creati correttamente.

  6. Fare clic sulla scheda Asset per visualizzare gli asset nel progetto di esempio.

  7. Visualizzare il Modello di previsione approvazione mutuo. Questo modello prevede se un richiedente di un'ipoteca deve essere approvato in base a diversi fattori, come la storia creditizia, il debito totale, il reddito, l'ammontare del prestito e la storia di impiego.

  8. Tornare alla scheda Asset del progetto.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra il progetto di esempio. È ora possibile avviare l'esercitazione.

Progetto di esempio




Attività 2: distribuire il modello

Prima di poter distribuire il modello, è necessario promuovere il modello a un nuovo spazio di distribuzione. Gli spazi di distribuzione consentono di organizzare le risorse di supporto come i dati di input e gli ambienti, di distribuire modelli o funzioni per generare previsioni o soluzioni e di visualizzare o modificare i dettagli di distribuzione. L'attività successiva consiste nel promuovere i dati di valutazione e il modello in uno spazio di distribuzione, quindi creare una distribuzione online.

Attività 2a: Scarica i dati di valutazione

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:34.

Per convalidare che il modello funziona come richiesto, hai bisogno di una serie di dati con etichetta, che sono stati tenuti fuori dalla formazione del modello. Il progetto di esempio include i dati di valutazione (GoldenBank_HoldoutData.csv), che è possibile caricare per eseguire la valutazione nello spazio di distribuzione in un secondo momento. Seguire questa procedura per scaricare il data set:

  1. Fare clic sul menu Overflow Menu di overflow per l'asset di dati GoldenBank_HoldoutData.csv e scegliere Download.

Attività 2b: promuovere il modello a uno spazio di distribuzione

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:42.

Prima di poter distribuire il modello, è necessario promuoverlo in uno spazio di distribuzione. Attenersi alla seguente procedura per promuovere il modello a uno spazio di distribuzione:

  1. Dalla scheda Asset , fare clic sul menu Overflow Menu di overflow per il modello Modello di approvazione mutuo e scegliere Promuovi nello spazio.

  2. Scegliere uno spazio di distribuzione esistente. Se non si dispone di uno spazio di distribuzione:

    1. Fare clic su Crea un nuovo spazio di distribuzione.

    2. Per il nome, immettere:

      Golden Bank Preproduction Space
      ```   1. Select a storage service.
      
      
    3. Selezionare un servizio di machine learning.

    4. Selezionare Sviluppo per la Fase di distribuzione.

    5. Fare clic su Crea.

    6. Chiudere la notifica quando lo spazio è pronto.

  3. Seleziona l'opzione Vai al modello nello spazio dopo averlo promosso .

  4. Fare clic su Promuovi.

Nota: se non hai selezionato l'opzione per andare al modello nello spazio dopo averlo promosso, puoi utilizzare il menu di navigazione per passare a Distribuzioni per selezionare il tuo spazio di distribuzione e il modello.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra il modello nello spazio di installazione.

La seguente immagine mostra il modello nello spazio di distribuzione.

Attività 2c: creare una distribuzione del modello

video dell'esercitazione di anteprima Per visualizzare in anteprima questa attività, guardare il video a partire dalle 01:02.

Ora che il modello è nello spazio di distribuzione, attenersi alla seguente procedura per creare la distribuzione del modello:

  1. Con il modello aperto, fare clic su Nuova distribuzione.

    1. Selezionare In linea come Tipo di distribuzione.

    2. Per il nome distribuzione, immettere:

      Mortgage Approval Model Deployment
      
    3. Fare clic su Crea.

  2. Una volta completata la distribuzione, fare clic sul nome della distribuzione per visualizzare la pagina dei dettagli della distribuzione.

  3. Esaminare l'endpoint di calcolo del punteggio, che è possibile utilizzare per accedere a questo modello in modo programmatico nelle applicazioni.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la distribuzione del modello nello spazio di distribuzione.

La seguente immagine mostra la distribuzione del modello nello spazio di distribuzione.




Attività 3: configurare le valutazioni in un spazio di distribuzione

video dell'esercitazione di anteprima Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 01:19.

Seguire questa procedura per configurare le valutazioni in questo spazio di distribuzione:

Attività 3a: configurare i dettagli del modello

Innanzitutto. seguire questa procedura per configurare i dettagli del modello.

  1. Nella distribuzione, fare clic sulla scheda Valutazioni .
  2. Fare clic su Configura impostazioni di valutazione OpenScale.
  3. Accanto a Input modello, fare clic sull'icona Modifica Modifica.

Specifica input modello

I dati di addestramento contengono dati numerici e categoriali adatti per un modello di classificazione binario.

  1. Per Tipo dati, selezionare Numerico / categoriale.
  2. Per Tipo di algoritmo, selezionare Classificazione binaria.
  3. Seleziona *Configure training data details manualmente.
  4. Fare clic su Salva e continua.

Connetti ai dati di addestramento

I dati di addestramento vengono archiviati in un'istanza Db2 Warehouse on Cloud .

  1. Accanto a Dati di addestramento, fare clic sull'icona Modifica Modifica.
  2. Selezionare Database o archiviazione cloud per il tipo di archiviazione.
  3. Selezionare Db2 come ubicazione.
  4. Fornire le seguenti informazioni di connessione:
    • Nome host o indirizzo IP: db2w-ruggyab.us-south.db2w.cloud.ibm.com
    • Porta SSL: 50001
    • Database: BLUDB
    • Nome utente: CPDEMO
    • Password: DataFabric@2022IBM
  5. Fai clic su CONNETTI.
  6. Selezionare AI_MORTGAGE per lo schema.
  7. Selezionare MORTGAGE - approval_table per la tabella.
  8. Fare clic su Avanti.

Selezionare le colonne di etichetta e funzione

La colonna IPOTECAGE_APPROVAZIONE indica se il richiedente è approvato e le colonne della funzione contengono informazioni che contribuiscono alla decisione di approvazione.

  1. Ricercare MORTGAGE_APPROVALe fare clic su Avanti.
  2. Selezionare le seguenti colonne di funzioni:
    • genere
    • FORMAZIONE SCOLASTICA
    • STATO_IMPIEGO
    • STATO_DI_MARITT
    • Entrata
    • APPLICATOONLINE
    • privata
    • IRS_AT_CURRENT_ADDRESS
    • YRS_WITH_CURRENT_EMPLOYER
    • NUMERO_DI_SCHEDE
    • CREDITCARD_DEBT
    • Prestiti
    • IMPORTO_PRESTITO
    • PUNTO_CREDITO
    • CLIENT_COMMERCIALE
  3. Fare clic su Avanti.

Esame dell'output del modello

Watson OpenScale tiene traccia e memorizza le transazioni elaborate dal modello. Per preparare Watson OpenScale, inviare una richiesta di calcolo del punteggio alla distribuzione modello.

  1. Per il Metodo di calcolo del punteggio, seleziona Payload JSON.

  2. Sostituire la risposta e la richiesta di esempio con i seguenti dati JSON.

    [
       {
          "request": {
                "fields": [
                   "INCOME",
                   "YRS_AT_CURRENT_ADDRESS",
                   "YRS_WITH_CURRENT_EMPLOYER",
                   "NUMBER_OF_CARDS",
                   "CREDITCARD_DEBT",
                   "LOAN_AMOUNT",
                   "CREDIT_SCORE",
                   "PROPERTY_VALUE",
                   "AREA_AVG_PRICE",
                   "LOANS",
                   "GENDER",
                   "EDUCATION",
                   "EMPLOYMENT_STATUS",
                   "MARITAL_STATUS",
                   "APPLIEDONLINE",
                   "RESIDENCE",
                   "COMMERCIAL_CLIENT",
                   "COMM_FRAUD_INV"
                ],
                "values": [
                   [
                      49124,
                      11,
                      12,
                      2,
                      1075,
                      7246,
                      534,
                      550580,
                      null,
                      1,
                      "Male",
                      "Master",
                      "Employed",
                      "Married",
                      "YES",
                      "Private Renting",
                      "FALSE",
                      "FALSE"
                   ]
                ]
          },
          "response": {
                "fields": [
                   "prediction",
                   "probability"
                ],
                "values": [
                   [
                      0,
                      [
                            0.9999447513812154,
                            0.00005524861878453039
                      ]
                   ]
                ]
          }
       }
    ]
    
  3. Fai clic su Send now.

  4. Quando viene visualizzato il messaggio Richiesta di calcolo del punteggio riuscita , fare clic su Avanti.

Specifica dettagli di output del modello

Dai dati di output del modello, occorre selezionare la colonna di previsione generata dal modello distribuito e la colonna di probabilità, che contiene la confidenza del modello nella previsione.

  1. Selezionare le caselle di spunta appropriate per le colonne Previsione e Probabilità .
  2. Fare clic su Salva.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra i dettagli del modello completati. Ora è possibile configurare l'esplicabilità.

La seguente immagine mostra i dettagli del modello completati.

Attività 3b: configurare l'esplicabilità

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 02:00.

Quindi, attenersi alla seguente procedura per configurare l'esplicabilità.

Selezionare il metodo di spiegazione

Shapley Additive Spiegazioni, o SHAP, utilizza tutte le possibili combinazioni di input per scoprire come ogni input sposta una previsione verso o da un valore di previsione medio o un punteggio di confidenza. Il modello interpretabile locale - spiegazioni agnostiche, o LIME, crea modelli lineari sparsi per scoprire l'importanza di ciascuna funzione. SHAP è più completo e LIME è più veloce.

  1. Fare clic su Impostazioni generali.
  2. Accanto a Metodo di spiegazione, fare clic sull'icona Modifica Modifica.
  3. Attivare l'opzione spiegazione globale SHAP .
  4. Per il Metodo di spiegazione locale, selezionare Lime (avanzato).
  5. Fare clic su Avanti.

Selezionare le funzioni controllabili

È possibile specificare le funzioni che si desidera siano controllabili quando si esegue un'analisi per mostrare le funzioni più importanti nella determinazione del risultato del modello.

  1. Esaminare un elenco di funzioni controllabili e fare clic su Salva.

Configura spiegabilità globale

SHAP quantifica l'influenza che ogni caratteristica ha sul risultato del modello. SHAP produce un tracciato riepilogativo adatto alle spiegazioni globali, ma può anche generare spiegazioni di previsione singole.

  1. In Esplicabilità, fare clic su SHAP.
  2. Accanto a Impostazioni comuni, fare clic sull'icona Modifica Modifica.
    1. Accettare i valori predefiniti per le impostazioni comuni.
    2. Fare clic su Salva.
  3. Accanto a Spiegazione globale, fare clic sull'icona Modifica Modifica.
    1. Accedere ai valori predefiniti per la spiegazione globale.
    2. Fare clic su Salva.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la configurazione dell'esplicabilità completata. Ora è possibile configurare la correttezza.

La seguente immagine mostra la configurazione dell'esplicabilità completata.

Attività 3c: configurare la correttezza

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 04:00.

Quindi, attenersi alla seguente procedura per configurare la correttezza.

Selezionare un tipo di configurazione

È possibile configurare la correttezza manualmente o caricare un file di configurazione generato utilizzando il notebook Jupyter fornito.

  1. Fare clic su Correttezza.
  2. Accanto a Configurazione, fare clic sull'icona Modifica Modifica.
  3. Selezionare Configura manualmente per Tipo di configurazione.
  4. Fare clic su Avanti.

Selezionare i risultati favorevoli

Per questa distribuzione del modello, un risultato favorevole è quando un richiedente è approvato per un'ipoteca e un risultato sfavorevole è quando un richiedente non è approvato.

  1. Nella tabella, selezionare Favorable per il valore 1 , che indica che il richiedente è approvato per un'ipoteca.
  2. Nella tabella, selezionare Sfavorevole per il valore 0 , che indica che il richiedente non è approvato per un'ipoteca.
  3. Fare clic su Avanti.

Dimensione del campione

Regolare la dimensione del campione in base al dataset che verrà utilizzato per valutare il modello.

  1. Modificare Dimensione minima del campione in 100.
  2. Fare clic su Avanti.

Metriche

Il monitor Correttezza traccia più metriche di correttezza. L'impatto disparato è il rapporto tra la percentuale di risultati favorevoli per il gruppo monitorato e la percentuale di risultati favorevoli per il gruppo di riferimento.

  1. Rivedere le metriche monitorate generate da tutti i dati da applicare alle funzioni monitorate, quindi esaminare le metriche generate dai dati di feedback da applicare alle funzioni monitorate.
  2. Accettare le metriche predefinite e fare clic su Avanti.
  3. Accettare i valori predefiniti per le soglie inferiore e superiore e fare clic su Avanti.

Selezionare i campi da monitorare

Si desidera monitorare la tendenza del modello distribuito a fornire un risultato favorevole per un gruppo rispetto ad un altro. In questo caso, si desidera monitorare il modello per la distorsione di genere.

  1. Selezionare il campo GENDER .
  2. Fare clic su Avanti.
  3. Se i valori sono elencati nella tabella:
    1. Controllo femminile: monitorato
    2. Controllo maschio: riferimento.
  4. Se i valori non sono elencati nella tabella:
    1. Nel campo Aggiungi valore personalizzato , immettere Female.
    2. Fare clic su Aggiungi valore.
    3. Selezionare Monitorato accanto a Maschio nella tabella.
    4. Nel campo Aggiungi valore personalizzato , immettere Female.
    5. Fare clic su Aggiungi valore.
    6. Selezionare Riferimento accanto a Maschio nella tabella.
  5. Fare clic su Avanti.
  6. Accettare la soglia predefinita per il gruppo monitorato e fare clic su Salva.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la configurazione della correttezza completata. Ora si è pronti per configurare la qualità.

La seguente immagine mostra la configurazione della correttezza completata.

Attività 3d: configurare la qualità

video dell'esercitazione di anteprima Per visualizzare in anteprima questa attività, guardare il video a partire dalle 05:17.

Quindi, seguire questi passi per configurare la qualità. Il monitor Qualità valuta in che modo il modello prevede risultati accurati.

  1. Fare clic su Qualità.
  2. Accanto a Soglie di qualità, fare clic sull'icona Modifica Modifica.
  3. Modificare il valore per Area sotto ROC in 0.7.
  4. Fare clic su Avanti.
  5. Modificare la Dimensione minima degli esempi in 100.
  6. Fare clic su Salva.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la configurazione della qualità completata. Ora è possibile configurare la deviazione.

La seguente immagine mostra la configurazione della qualità completata.

Attività 3e: configurare la deviazione

video dell'esercitazione di anteprima Per visualizzare in anteprima questa attività, guardare il video a partire dalle 05:42.

Infine, seguire questa procedura per configurare la deviazione. Il monitor della deviazione controlla se le distribuzioni sono aggiornate e si comportano in modo congruente.

  1. Fare clic su Drift v2.
  2. Accanto a Calcola l'archivio di deviazione, fare clic sull'icona Modifica Modifica.
  3. Per l' opzione Compute, seleziona Compute in Watson OpenScale. Questa opzione indica a Watson OpenScale di eseguire un'analisi dei propri dati di addestramento per determinare le distribuzioni dei dati delle funzioni.
  4. Fare clic su Avanti.
  5. Accettare i valori predefiniti per le soglie superiori e fare clic su Avanti.
  6. Accettare i valori predefiniti per la dimensione del campione e fare clic su Salva.
  7. Fare clic su X per chiudere la finestra e attendere che Watson OpenScale recuperi i monitor.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la configurazione completata nello spazio di distribuzione. Ora è possibile monitorare la distribuzione del modello.

La seguente immagine mostra la configurazione completata nello spazio di distribuzione.




Attività 4: valutare il modello

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:22.

Attenersi alla seguente procedura per utilizzare i dati di holdout per valutare il modello:

  1. Dal menu Azioni , selezionare Valuta ora.

  2. Dall'elenco di opzioni di importazione, selezionare dal file CSV.

  3. Trascinare il file di dati Golden Bank_HoldoutData.csv scaricato dal progetto nel pannello laterale.

  4. Fare clic su Carica e valuta e attendere il completamento della valutazione.

  5. Una volta completata la valutazione, verrà visualizzato il numero di test eseguiti, i test riusciti e i test non riusciti. Scorrere per visualizzare i risultati per Correttezza, Qualità, Deviazionee Spiegazione globale.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine riporta il risultato della valutazione per il modello distribuito. Una volta valutato il modello, è possibile osservare la qualità del modello.

modello valutato




Attività 5: Osservazione della qualità dei monitor del modello

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:36.

Il monitor della qualità Watson OpenScale genera una serie di metriche per valutare la qualità del proprio modello. È possibile utilizzare queste metriche di qualità per determinare in che modo il modello prevede i risultati. Quando la valutazione che utilizza i dati di holdout viene completata, attenersi alla seguente procedura per osservare la qualità o l'accuratezza del modello:

  1. Nella sezione Qualità , fare clic sull'icona Configura Configura. Qui puoi vedere che la soglia di qualità configurata per questo monitor è del 70% e che la misura della qualità utilizzata è un'area sotto la curva ROC.

  2. Fare clic sulla X per chiudere la finestra e tornare al pannello di valutazione del modello.

  3. Nella sezione Qualità , fare clic sull'icona Dettagli Dettagli per visualizzare i risultati dettagliati della qualità del modello. Qui è possibile vedere un certo numero di calcoli di metrica di qualità e una matrice di confusione che mostra le decisioni del modello corrette insieme a falsi positivi e falsi negativi. L'area calcolata sotto la curva ROC è 0.9 o superiore, che supera la soglia 0.7 , quindi il modello soddisfa i requisiti di qualità.

  4. Fare clic su Torna al riepilogo per tornare alla finestra dei dettagli del modello.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra i dettagli della qualità in Watson OpenScale. Dopo aver osservato la qualità del modello, è possibile osservare la correttezza del modello.

Qualità




Attività 6: Osservare i monitor del modello per la correttezza

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 07:20.

Il monitor della correttezza Watson OpenScale genera una serie di metriche per valutare la correttezza del tuo modello. È possibile utilizzare le metriche di correttezza per stabilire se il proprio modello produce risultati distorti. Attenersi alla seguente procedura per osservare la correttezza del modello:

  1. Nella sezione Correttezza , fare clic su Configura Configura. Qui si vede che il modello è in fase di revisione per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso. Le donne sono identificate come il gruppo monitorato per il quale viene misurata la correttezza e la soglia per la correttezza deve essere almeno dell ' 80%. Il controllo della correttezza utilizza il metodo di impatto disparato per determinare la correttezza. L'impatto disparato confrontava la percentuale di risultati favorevoli per un gruppo monitorato con la percentuale di risultati favorevoli per un gruppo di riferimento.

  2. Fare clic sulla X per chiudere la finestra e tornare al pannello di valutazione del modello.

  3. Nella sezione Correttezza , fare clic sull'icona Dettagli Dettagli per visualizzare i risultati dettagliati della correttezza del modello. Qui viene visualizzata la percentuale di candidati di sesso maschile e femminile che vengono approvati automaticamente, insieme a un punteggio di correttezza superiore al 100%, in modo che le prestazioni del modello superino di gran lunga la soglia di correttezza dell ' 80% richiesta.

  4. Prendere nota dei dataset identificati. Per garantire che le metriche di correttezza siano più accurate, Watson OpenScale utilizza la perturbazione per determinare i risultati in cui vengono modificati solo gli attributi protetti e gli input del modello correlati, mentre le altre funzioni rimangono le stesse. La perturbazione modifica i valori della funzione dal gruppo di riferimento al gruppo monitorato o viceversa. Questi ulteriori guardrail vengono utilizzati per calcolare la correttezza quando viene utilizzato il dataset "bilanciato", ma è anche possibile visualizzare i risultati della correttezza utilizzando solo i dati di addestramento del modello o del payload. Poiché il modello si comporta correttamente, non è necessario entrare in ulteriori dettagli per questa metrica.

    Dataset di correttezza

  5. Fare clic su Torna al riepilogo per tornare alla finestra dei dettagli del modello.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra i dettagli di correttezza in Watson OpenScale. Ora che hai osservato la correttezza del modello, puoi osservare l'esplicabilità del modello.

Equità




Attività 7: Osservare i monitor del modello per la deviazione

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 08:25.

Il monitoraggio della deviazione Watson OpenScale misura le modifiche nei dati nel tempo per assicurare risultati coerenti per il modello. Utilizzare le valutazioni di deviazione per identificare le modifiche nell'output del modello, la precisione delle previsioni e la distribuzione dei dati di input. Attenersi alla seguente procedura per osservare la deviazione del modello:

  1. Nella sezione Deviazione , fare clic su Configura Configura. Qui vengono visualizzate le soglie di deviazione. La deviazione dell'output misura la variazione nella distribuzione della confidenza del modello. La deviazione della qualità del modello misura la diminuzione dell'accuratezza confrontando la precisione del tempo di esecuzione stimato con l'accuratezza dell'addestramento. La deviazione della funzione misura la modifica nella distribuzione del valore per funzioni importanti. La configurazione mostra anche il numero di funzioni selezionate e le funzioni più importanti.

  2. Fare clic sulla X per chiudere la finestra e tornare al pannello di valutazione del modello.

  3. Nella sezione Deviazione , fare clic sull'icona Dettagli Dettagli per vedere i risultati dettagliati della deviazione del modello. È possibile visualizzare la cronologia di come cambia ogni punteggio di metrica nel tempo con un grafico di serie temporali. I valori inferiori sono migliori, quindi, in questo caso, i risultati sono superiori alle soglie superiori impostate nella configurazione. Quindi, visualizzare i dettagli sul modo in cui vengono calcolati l'output dei punteggi e le drift delle funzioni. Puoi anche visualizzare dettagli su ogni funzione per comprendere come contribuiscono ai punteggi generati da Watson OpenScale .

  4. Fare clic su Torna al riepilogo per tornare alla finestra dei dettagli del modello.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra i dettagli della deviazione in Watson OpenScale. Dopo aver osservato la deviazione del modello, è possibile osservare l'esplicabilità del modello.

Deviazione




Attività 8: Osservare i monitoraggi del modello per l'esplicabilità

video dell'esercitazione di anteprima Per visualizzare in anteprima questa attività, guardare il video a partire dalle 09:10.

È anche importante capire come il modello sia giunto alla decisione. Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del mutuo sia per garantire ai proprietari del modello che le decisioni siano valide. Per comprendere queste decisioni, attenersi alla seguente procedura per osservare l'esplicabilità del modello:

  1. Fare clic sulla pagina Transazioni .

  2. Sul grafico, selezionare un intervallo di tempo per visualizzare un elenco di transazioni durante tale periodo.

  3. Per qualsiasi transazione, fare clic su Spiega nella colonna Azioni . Qui vedete la spiegazione dettagliata di questa decisione. Verranno visualizzati gli input più importanti per il modello e l'importanza di ciascuno per il risultato finale. Le barre blu rappresentano gli input che tendono a supportare la decisione del modello mentre le barre rosse mostrano gli input che potrebbero aver portato a un'altra decisione. Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere altrimenti approvato, ma la sua storia di credito scadente e il debito elevato insieme portano il modello a rifiutare la domanda. Esaminare questa spiegazione per essere soddisfatti della base della decisione del modello.

  4. Facoltativo: se si desidera approfondire il modo in cui il modello ha preso la sua decisione, fare clic sulla scheda Ispeziona . Utilizzare la funzione Ispeziona per analizzare la decisione di trovare aree di sensibilità in cui piccole modifiche a pochi input risulterebbero in una decisione diversa ed è possibile testare la sensibilità sovrascrivendo alcuni degli input effettivi con alternative per vedere se questi avrebbero un impatto sul risultato. Fai clic su Esegui analisi per fare in modo che Watson OpenScale riveli le modifiche minime richieste per fornire un risultato diverso. Selezionare Analizza solo funzioni controllabili per limitare le modifiche solo alle funzioni controllabili.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra l'esplicabilità di una transazione in Watson OpenScale. È stato stabilito che il modello è accurato e che tutti i candidati vengono trattati in modo equo. Ora, è possibile avanzare il modello alla fase successiva nel suo ciclo di vita.

Esplicabilità



Passi successivi

Prova queste esercitazioni aggiuntive:

Ulteriori risorse

  • Visualizza altri video

  • Panoramica di watsonx

  • Trova dataset di esempio, progetti, modelli, prompt e notebook nell'hub di risorse per ottenere un'esperienza pratica:

    Blocco appunti Notebooks che è possibile aggiungere al progetto per iniziare ad analizzare i dati e a creare modelli.

    Progetto Progetti che è possibile importare contenenti notebook, dataset, prompt e altri asset.

    Dataset Set di dati che è possibile aggiungere al proprio progetto per perfezionare, analizzare e creare modelli.

    Richiesta Richiedi che è possibile utilizzare in Prompt Lab per richiedere un modello di base.

    Modello Foundation models che è possibile utilizzare in Prompt Lab.

Argomento principale: Esercitazioni introduttive

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni