Utilizzando il servizio watsonx.governance o AI Factsheets , abilita la governance per i modelli creati nei notebook o al di fuori di Cloud Pak for Data. Tracciare i risultati delle valutazioni del modello e i dettagli del modello nei factsheet.
Oltre a governare i modelli addestrati utilizzando watsonx.ai Runtime, è possibile governare i modelli creati utilizzando strumenti di terze parti come Amazon Web Services o Microsoft Azure. Per un elenco dei fornitori supportati, consultare Provider di machine learning supportati. Inoltre, i modelli sviluppati nei notebook sono considerati modelli esterni, quindi puoi utilizzare i AI Factsheets per gestire i modelli che sviluppi, distribuisci e monitora su piattaforme diverse da Cloud Pak for Data.
Utilizzare le valutazioni del modello fornite con watsonx.governance per misurare le metriche delle prestazioni per un modello importato da un fornitore esterno. Acquisire i fatti nei factsheet per il modello e le metriche di valutazione come parte di un caso di utilizzo AI. Utilizzare i dati tracciati come parte della strategia di governance e conformità.
Prima di iniziare
Prima di iniziare, assicurarsi che l'utente, o un utente con un ruolo Admin, effettui le seguenti operazioni:
- Abilitare la traccia dei modelli esterni in un inventario.
- Assegnare un proprietario per l'inventario.
Per i dettagli, vedere Gestione degli inventari.
Preparazione per la traccia di modelli esterni
Questi punti sono una panoramica del processo di conservazione dei fatti per un modello esterno.
- I modelli esterni tracciati sono elencati in Casi di utilizzo AI nel menu di navigazione principale.
- È possibile utilizzare l'API in un notebook del modello per salvare un asset del modello esterno in un inventario.
- Associare l'asset del modello esterno ad un caso di utilizzo AI nell'inventario per iniziare a conservare i fatti. Insieme ai metadati del modello, i nuovi campi
External model identifiereExternal deployment identifierdescrivono in che modo i modelli e le distribuzioni vengono identificati nei sistemi esterni, ad esempio: AWS o Azure. - Puoi anche aggiungere automaticamente i modelli esterni a un inventario quando vengono valutati in watsonx.governance. L'inventario di destinazione viene stabilito seguendo queste regole:
- Il modello esterno viene creato nel Platform assets catalog se il modello del tempo di sviluppo corrispondente esiste nel Platform assets catalog o se non esiste alcun modello del tempo di sviluppo creato in un inventario.
- Se il modello del tempo di sviluppo corrispondente viene creato in un inventario utilizzando il client Python , il modello viene creato in tale inventario.
Associazione di un asset di modelli esterni a un caso d'uso AI
La traccia del modello esterno automatico aggiunge tutti i modelli esterni valutati in watsonx.governance all'inventario in cui esiste il modello del tempo di sviluppo. Una volta che il modello si trova nell'inventario, è possibile associare un asset di modello esterno ad un caso d'uso nei modi seguenti:
- Utilizzare l'API per salvare l'asset del modello esterno in qualsiasi inventario in modo programmatico da un notebook. L'asset del modello esterno può quindi essere associato a un caso di utilizzo AI.
- Associa il modello esterno creato con la valutazione Watson OpenScale a un caso di utilizzo AI.
Creazione di un asset di modello esterno con l'API
- Crea un modello in un notebook.
- Salvare il modello. Ad esempio, puoi salvare in un bucket S3 .
- Utilizzare la API per creare un asset del modello esterno (una rappresentazione del modello esterno) in un inventario. Per ulteriori informazioni sui comandi API che interagiscono con l'inventario, consultare la documentazione IBM_AIGOV_FACTS_CLIENT .
Registrazione di un asset di modello esterno con un inventario
- Aprire la scheda Asset nell'inventario in cui si desidera tenere traccia del modello.
- Selezionare l'asset del modello esterno che si desidera monitorare.
- Tornare alla scheda Asset nell'inventario e fare clic su Aggiungi al caso di utilizzo AI.
- Selezionare un caso di utilizzo AI esistente o crearne uno nuovo.
- Seguire le richieste per salvare i dettagli nell'inventario.
Registrazione di un modello esterno da Watson OpenScale
Se si sta convalidando un modello esterno in Watson OpenScale, è possibile associare un modello esterno a un caso di utilizzo AI per tenere traccia dei fatti del ciclo di vita.
- Aggiungere un modello esterno al dashboard OpenScale .
- Se è stato già definito un caso di utilizzo AI con l'API, il sistema riconosce l'associazione del caso di utilizzo.
- Quando si crea e si monitora una distribuzione, i fatti vengono registrati con il caso di utilizzo associato. Questi fatti vengono visualizzati nello stage Validate o Operate, in base a come è stato classificato il provider di machine learning per il modello.
Popolamento del caso di utilizzo AI
Quando i fatti vengono salvati per un asset del modello esterno, vengono associati al pilastro che rappresenta la loro fase nel ciclo di vita, come segue:
- Se l'asset di modello esterno viene creato da un notebook senza distribuzione, viene visualizzato nel pilastro Sviluppo.
- Se l'asset del modello esterno viene creato da un notebook con distribuzione, viene visualizzato nel pilastro Convalida.
- Quando viene valutata la distribuzione del modello esterno OpenScale, viene visualizzato nella fase Convalida o Utilizza, a seconda di come hai classificato il provider di machine learning per il modello.
Visualizzazione dei fatti per un modello esterno
La visualizzazione dei fatti per un modello esterno è leggermente diversa dalla visualizzazione dei fatti per un modello watsonx.ai Runtime. Queste regole si applicano:
- Fare clic sulla scheda Asset dell'inventario contenente gli asset del modello esterno per visualizzare i fatti.
- A differenza dei casi d'uso del modello watsonx.ai Runtime, che hanno schede informative diverse per i modelli e le implementazioni, le schede informative per i modelli esterni combinano le informazioni per il modello e le implementazioni nella stessa pagina.
- È possibile creare più asset con lo stesso nome in un inventario. Per differenziare le tag sviluppo, pre - produzione e produzione vengono assegnati automaticamente per riflettere il relativo stato.
Argomento principale: Asset di gestione nei casi di utilizzo AI