Crea un team di governance

Considera l'esperienza di cui hai bisogno nel tuo team di governance. Un tipico piano di governance potrebbe includere i seguenti ruoli. A volte, la stessa persona potrebbe ricoprire più ruoli. In altri casi, un ruolo potrebbe rappresentare un team di persone.

• Proprietario del modello: il proprietario crea un caso di utilizzo AI per tenere traccia di una soluzione per un'esigenza aziendale. Il proprietario richiede il modello o il modello di prompt, gestisce il processo di approvazione e tiene traccia della soluzione attraverso il ciclo di vita AI.
• Sviluppatore di modelli o Data scientist: lo sviluppatore utilizza i dati in un dataset o in un LLM (large language model) e crea il modello di machine learning o il modello di prompt LLM.
• Programma di convalida del modello: il programma di convalida verifica la soluzione per determinare se soddisfa gli obiettivi indicati nel caso di utilizzo AI.
• Gestore rischi e conformità: il gestore rischi determina le politiche e le soglie di conformità per il caso di utilizzo AI. Ad esempio, il gestore del rischio potrebbe determinare le regole da applicare per il test di una soluzione per la correttezza o per lo screening dell'output per il discorso odioso e abusivo.
• Ingegnere MLOps: l'ingegnere MLOps sposta una soluzione da un ambiente di pre - produzione (test) a uno di produzione quando una soluzione viene considerata pronta per essere completamente distribuita.
• Sviluppatore di app: dopo la distribuzione e lo sviluppatore di app esegue le valutazioni rispetto alla distribuzione per monitorare le prestazioni della soluzione rispetto alla soglia di metrica impostata dal proprietario del rischio e della conformità. Se le prestazioni scendono sotto le soglie specificate, lo sviluppatore dell'app collabora con le altre parti interessate per risolvere i problemi e aggiornare il modello o il prompt.

Creazione di una struttura di governance

Dopo aver identificato ruoli e assemblato un team, pianificare la propria struttura di governance.

1. Creare un inventario per archiviare i casi di utilizzo AI. Un inventario è il punto in cui si memorizzano e si visualizzano i casi di utilizzo AI e i factsheet associati agli asset gestiti. A seconda dei requisiti di governance, archiviare tutti i casi di utilizzo in un singolo inventario o creare più inventari per le attività di governance.
2. Creare progetti per la collaborazione. Se si utilizzano gli strumenti IBM, creare un progetto watsonx.ai Studio. Il progetto può contenere i dati richiesti per addestrare o testare la soluzione AI e il modello o il modello di prompt gestito. Utilizzare il controllo accessi per limitare l'accesso ai collaboratori approvati.
3. Creare uno spazio di distribuzione di preproduzione. Utilizzare lo spazio per testare il modello o il modello di prompt utilizzando i dati di test. Come per un progetto, uno spazio fornisce funzioni di controllo degli accessi in modo da poter includere i collaboratori richiesti.
4. Configurare le valutazioni di test e convalida. Fornire i dettagli del modello o del modello di prompt e configurare una serie di valutazioni per testare le prestazioni della propria soluzione. Ad esempio, è possibile testare un modello di machine learning per dimensioni quali correttezza, qualità e deviazione e testare un modello di prompt rispetto a metriche come perplessità (quanto sia accurato l'output) o tossicità (se l'output contiene discorsi odiosi o abusivi). Testando i dati noti (etichettati), è possibile valutare la prestazione prima di spostare una soluzione alla produzione.
5. Configurare uno spazio di produzione. Quando il modello o il modello di prompt è pronto per essere distribuito in un ambiente di produzione, spostare la soluzione e tutte le dipendenze in un spazio di produzione. Uno spazio di produzione in genere ha un elenco di controllo accessi più stretto.
6. Configurare le valutazioni per il modello distribuito. Fornire i dettagli del modello e configurare le valutazioni per la soluzione. È ora possibile verificare i dati in tempo reale piuttosto che i dati di test. È importante monitorare la soluzione in modo da essere avvisati se vengono superate le soglie, indicando un potenziale problema con la soluzione distribuita.

Gestione della collaborazione per la governance

Watsonx.governance è basato su una piattaforma collaborativa che consente a tutti i membri del team approvati di contribuire agli obiettivi di risoluzione dei problemi di business.

Per pianificare la collaborazione, considerare come gestire l'accesso a inventari, progetti e spazi utilizzati per la governance.

Utilizzare i ruoli insieme alle funzioni di controllo degli accessi per garantire che il proprio team disponga dell'accesso appropriato per raggiungere gli obiettivi.

Sviluppo di un piano di comunicazione

Alcuni dei flussi di lavoro relativi alla definizione di un caso di utilizzo AI e allo spostamento degli asset nel ciclo di vita si basano su una comunicazione efficace. Decidi come il tuo team comunicherà e stabilirà i dettagli. Ad esempio:

• Utilizzerai l'email per il processo decisionale o uno strumento di messaggistica come Slack?
• Esiste un processo formale per aggiungere commenti a un asset mentre si sposta attraverso un flusso di lavoro?

Crea il tuo piano di comunicazione e condividilo con il tuo team.

Implementare una semplice soluzione di governance

Man mano che si implementa la strategia di governance, iniziare con una semplice implementazione, quindi considerare come creare in modo incrementale una soluzione più completa. L'implementazione più semplice richiede un caso di utilizzo AI in un inventario, con un asset che passa dalla richiesta alla produzione.

Per l'implementazione più semplice della governance dell'intelligenza artificiale, creare un caso di utilizzo dell'intelligenza artificiale per tenere traccia degli asset. Un caso d'uso dell'IA in un inventario consiste in una serie di schede che contengono il lignaggio, la storia e altre informazioni rilevanti sul ciclo di vita di un modello. Aggiungere data scientist, data engineer e altri utenti come collaboratori.

La seguente figura mostra come i proprietari dei casi di utilizzo AI possono richiedere e monitorare gli asset:

• Gli utenti aziendali creano casi di utilizzo AI nell'inventario per richiedere modelli di machine - learning o modelli di prompt LLM.
• I data scientist associano l'asset addestrato a un caso di utilizzo AI per monitorare le attività del ciclo di vita.

I factsheet AI accumulano informazioni sul modello o sui modelli di prompt nei seguenti modi:

• Tutte le azioni associate all'asset tracciato vengono salvate automaticamente, incluse le distribuzioni e valutazioni.
• Tutte le modifiche agli asset di dati di input vengono salvate automaticamente.
• I data scientist possono aggiungere tag, documentazione di supporto e altre informazioni.
• I data scientist possono associare i modelli challenger ai casi di utilizzo AI per confrontare le prestazioni del modello.

I validatori e gli altri stakeholder esaminano le schede AI per garantire la conformità e certificare il progresso degli asset dallo sviluppo alla produzione. Possono anche generare report dai factsheet per stampare, condividere o archiviare i dettagli.

Pianificare soluzioni più complesse

Puoi estendere la tua implementazione di governance AI in qualsiasi momento. Considerare queste opzioni per estendere la governance:

• Gli ingegneri MLOps possono estendere la traccia del modello per includere modelli esterni creati con modelli di machine learning di terzi.
• Gli ingegneri MLOps possono aggiungere proprietà personalizzate ai fogli di calcolo per tenere traccia di ulteriori informazioni.
• Gli analisti di conformità possono personalizzare i modelli di report predefiniti per generare report personalizzati per l'organizzazione.
• Integrare AI Factsheets con la console di governance per supportare una visione aziendale dell'attività di governance e sviluppare flussi di lavoro a supporto dei processi di governance.