Decisioni strategiche iniziali

Qual è il vostro caso d'uso

Comprendete l'obiettivo della vostra soluzione, se tale obiettivo è fattibile e valido e come potete determinare quando la vostra soluzione è pronta:

Compito AI

A cosa serve il modello?

Fattibilità

Comprendere i limiti dell'IA per poter valutare se il vostro caso d'uso è fattibile.

Gen AI Ad esempio, è possibile verificare i punteggi di benchmark dei modelli di fondazione per il tipo di caso d'uso che si desidera implementare.

ML Ad esempio, per addestrare un modello di apprendimento automatico (ML), è necessario disporre di un numero sufficiente di dati etichettati di alta qualità affinché l'algoritmo possa effettuare predizioni o classificazioni accurate.

Valore di business

Valutare se i benefici della soluzione sono superiori ai costi di gestione della stessa.

Criteri di riuscita

Decidere come misurare il successo della soluzione. Ad esempio, si può fare affidamento sulle metriche di valutazione o sui feedback degli utenti target.

Se implementare l'intelligenza artificiale o l'apprendimento automatico

Il tipo di dati con cui si intende lavorare e ciò che si vuole fare con tali dati possono aiutare a decidere se è necessario l'apprendimento automatico o l'IA generativa.

Tipo di dati

Il fatto che i dati che si vogliono elaborare con l'IA siano strutturati o non strutturati può spesso indicare il tipo di IA di cui si ha bisogno:

• Strutturato: Se disponete di serie di dati etichettati in formato tabellare, probabilmente avete bisogno dell'apprendimento automatico.
• Non strutturati: Se avete grandi quantità di documenti o altri tipi di dati non strutturati, probabilmente avete bisogno dell'IA generativa.

Tipo di obiettivo

Il fatto che si vogliano analizzare i dati con algoritmi matematici o generare nuovi contenuti indica il tipo di IA di cui si ha bisogno:

• Analizzare o classificare i dati: Se si desidera utilizzare equazioni matematiche e statistiche per analizzare dati strutturati, è necessario l'apprendimento automatico. Ad esempio, con l'apprendimento automatico è possibile fare previsioni, individuare modelli e risolvere problemi di ottimizzazione.
• Generare contenuti: Se volete generare contenuti non strutturati, avete bisogno di un'intelligenza artificiale generativa. Ad esempio, con la gen AI è possibile riassumere, classificare, tradurre e generare testo o codice.

Chi coinvolgere

Se si coinvolgono le parti interessate fin dall'inizio, si riduce il rischio di dover cambiare direzione o di ripetere parti del processo. Come minimo, coinvolgere gli stakeholder di questi team nel processo di pianificazione:

Persone che definiscono le priorità e i processi dell'organizzazione

È necessario che queste persone vi informino sui requisiti e sulle restrizioni da rispettare. Potrebbe essere necessario documentare informazioni specifiche sulla soluzione, seguire un flusso di lavoro per conformarsi a una normativa o selezionare un modello di fondazione con un tipo specifico di sorgente. Ad esempio, la vostra organizzazione potrebbe richiedere la scelta di un modello di fondazione open source.

Persone che utilizzano la soluzione

È necessario che queste persone definiscano i requisiti della soluzione e contribuiscano a testare e convalidare il funzionamento della soluzione nei loro processi.

Persone che creano la soluzione

È necessario che queste persone siano coinvolte nelle decisioni progettuali e operative. Questo team di collaboratori potrebbe includere designer, ingegneri dei dati, ingegneri dell'intelligenza artificiale, data scientist e responsabili del rischio e della conformità.

Gen AI Ad esempio, se state implementando una soluzione di generazione aumentata del reperimento della documentazione, prendete in considerazione la possibilità di includere i vostri redattori di contenuti, che possono adattare i contenuti all'IA.

ML Ad esempio, se state implementando una soluzione per la richiesta di mutui, assicuratevi di coinvolgere i responsabili del rischio e della conformità.

Come gestire il rischio e la conformità

Se si comprendono i rischi e le esigenze di conformità prima di iniziare a sviluppare la soluzione, si può essere meglio preparati per gli audit successivi.

Rischi legati all'IA

Comprendere le principali dimensioni del rischio, come il rischio reputazionale, normativo e operativo. Molti rischi sono gli stessi per l'utilizzo dell'IA generativa e dei modelli di apprendimento automatico, ma alcuni rischi sono amplificati dall'IA generativa e altri rischi sono specifici dell'IA generativa.

Gen AI Ad esempio, un modello di fondazione potrebbe generare un output che contiene contenuti di fatto inesatti o non veritieri, il che viene definito allucinazione.

ML Ad esempio, il vostro modello di apprendimento automatico potrebbe mostrare una tendenza a fornire risultati favorevoli più spesso per un gruppo rispetto a un altro.

Conformità legale e normativa

Determinare le leggi e le normative da rispettare, i metodi per monitorare la conformità e i metodi per garantire la conformità. Ad esempio, la vostra organizzazione potrebbe richiedere una valutazione formale del rischio o un flusso di lavoro di approvazione per le soluzioni di IA.

Documentazione dei casi d'uso

Creare un caso d'uso dell'IA per raccogliere tutte le informazioni per la gestione di un modello o di un prompt dalla fase di richiesta, allo sviluppo e alla produzione. La documentazione del caso d'uso rappresenta un modo pratico per tenere traccia dei progressi compiuti, indipendentemente dal fatto che l'organizzazione lo richieda o meno a fini normativi.

Quanto automatizzare rispetto al codice

Voi e il vostro team di sviluppo potete scegliere tra diversi strumenti e metodi nell'interfaccia utente di watsonx.ai o lavorare interamente con il codice:

Linguaggio codifica

Se volete scrivere codice, potete scegliere tra API REST, Python e Node.js. I fattori che determinano la scelta del linguaggio includono le preferenze e le competenze degli sviluppatori, le modalità di distribuzione della soluzione e la quantità di lavoro che il team desidera svolgere nel proprio ambiente di sviluppo interattivo (IDE) rispetto all'interfaccia utente di watsonx.ai

Livello di automazione

Potete scegliere quanto codice della soluzione viene generato per voi:

• Nessun codice: È possibile completare tutte le attività di prompt engineering, di messa a punto del modello e di incorporazione e vettorializzazione dei documenti con gli strumenti.
  • Gen AI Ad esempio, è possibile automatizzare la ricerca del miglior modello RAG con AutoAI for RAG, creare un modello di prompt in Prompt Lab e creare un agente AI in Agent Lab.
  • ML Ad esempio, è possibile automatizzare la ricerca dei migliori algoritmi di dati, trasformazioni e impostazioni dei parametri con AutoAI per l'apprendimento automatico per creare il miglior modello predittivo. È possibile sviluppare modelli predittivi su un canvas grafico con SPSS Modeler.
• Un po' di codice: È possibile generare notebook Python con molti strumenti e poi adattare il codice secondo le necessità.
  • Gen AI Ad esempio, è possibile generare un blocco note basato su un modello di prompt, per incorporare e vettorializzare documenti o per implementare un agente AI.
  • ML Ad esempio, è possibile risolvere un problema di analisi prescrittiva con un notebook Decision Optimization.
• Tutto il codice: È possibile scrivere codice con le API REST nel proprio IDE. È possibile scrivere ed eseguire codice con le librerie Python con l'editor del blocco note.

Funzionalità

La maggior parte delle funzionalità dell' watsonx.ai e è disponibile sia con strumenti nell'interfaccia utente che con codice, come API e SDK.

Come scegliere un modello di fondazione per la gen AI

Non è necessario scegliere un modello di base prima di pianificare una soluzione di intelligenza artificiale. Tuttavia, se capite quali sono i criteri più importanti per voi e per la vostra organizzazione, potete ridurre il rischio di scegliere un modello di fondazione inadeguato.

Attività

Il compito che si vuole far svolgere al modello di fondazione può essere un fattore limitante per la scelta di un modello di fondazione. Per molti compiti di gen AI, è possibile scegliere tra molti modelli di fondazione. Tuttavia, per altri compiti di intelligenza artificiale, come la traduzione o la risposta in una lingua diversa dall'inglese, le scelte sono meno numerose.

Costo

Il costo dell'inferenza varia a seconda dei modelli di fondazione. Se mantenere bassi i costi di inferenziazione è una priorità per voi, scegliete un modello di fondazione più economico, un modello di fondazione più piccolo, un modello di fondazione quantizzato o un modello di fondazione che potete sintonizzare.

Impatto ambientale

In generale, i modelli più grandi hanno un impatto ambientale maggiore sia durante l'addestramento sia durante l'inferenza. I modelli di fondazione più piccoli e quelli quantizzati hanno un impatto ambientale minore.

Precisione e altri punteggi

Potete confrontare i benchmark dei modelli di fondazione e scegliere il modello di fondazione che ha ottenuto punteggi elevati nelle aree più importanti per voi.

Indennità e origine del modello

La vostra organizzazione potrebbe avere delle politiche sulla scelta di modelli di fondazione che siano trasparenti sui dati di formazione, che siano open source o che offrano un indennizzo.

Personalizzazione

È possibile personalizzare un modello di fondazione per un dominio specifico, mettendolo a punto. È possibile scegliere di mettere a punto alcuni modelli di fondazione forniti con watsonx.ai nel sito Tuning Studio. In alternativa, è possibile mettere a punto un modello di fondazione in uno strumento esterno e importare il modello di fondazione personalizzato in watsonx.ai.

È possibile aggiungere conoscenze o competenze ai modelli IBM Granite con InstructLab.

Se si desidera implementare modelli di fondazione nel proprio data center, è possibile acquistare e installare il softwar watsonx.ai.

Come preparare i dati per l'intelligenza artificiale

I modelli della Fondazione sono addestrati su grandi quantità di dati, ma non sui dati interni dell'azienda. Se hai bisogno di un modello di base per conoscere i dati della tua azienda, devi decidere come fornire i tuoi dati al modello.

Documenti di messa a terra

Se avete bisogno di una soluzione che risponda alle domande basando il modello sulle informazioni contenute nei vostri documenti, potete impostare un modello di retrieval-augmented generation (RAG). In un modello RAG, si vettorializzano i documenti per recuperare in modo efficiente i passaggi che rispondono alle domande degli utenti.

Messa a punto e test dei dati

Se è necessario migliorare o adattare l'output per attività di elaborazione del linguaggio naturale come la classificazione, la sintesi e la generazione, è possibile sintonizzare il modello di base. Se volete verificare la qualità del vostro prompt, potete valutarlo con le metriche dell'IA generativa. Per entrambi i compiti, è necessario fornire una serie di esempi di input e output del prompt convalidati. Se i vostri dati contengono informazioni sensibili, come le informazioni di identificazione personale (PII), assicuratevi di conoscere la politica della vostra organizzazione in materia di PII. Ad esempio, potrebbe essere necessario mascherare le PII o generare dati sintetici per mettere a punto o testare il modello di fondazione.

Conoscenze o competenze

Fornire serie di dati che informino il modello di fondazione. È possibile utilizzare IntructLab per aumentare un modello di fondazione esistente con le funzionalità necessarie per il proprio caso d'uso. Fornite esempi di semi o dati di base che sono la base per generare dati sintetici per l'istruzione che mette a punto il modello di base.

Come valutare la qualità e ridurre il rischio

Dovete decidere come misurare la qualità e garantire la sicurezza.

Valutazione

È possibile valutare le prestazioni e i rischi della soluzione rispetto alle metriche standard del settore. Queste metriche aiutano a garantire che le soluzioni di IA siano prive di pregiudizi, possano essere facilmente spiegate e comprese dagli utenti aziendali e siano verificabili nelle transazioni commerciali.

Gen AI È possibile misurare l'accuratezza testuale, la somiglianza e la qualità dei risultati dei modelli di fondazione. È inoltre possibile valutare l'equità, le prestazioni e la deriva dei risultati del modello. È possibile valutare le prestazioni di più risorse contemporaneamente e visualizzare analisi comparative dei risultati per individuare le soluzioni migliori.

ML È possibile monitorare i risultati dell'implementazione dei modelli di apprendimento automatico per verificarne la correttezza, la qualità, la deriva e la spiegabilità.

Valutazione dei rischi

È possibile identificare i rischi potenziali completando un questionario di valutazione dei rischi.

Guardrail

Gen AI È possibile attivare i guardrail per rimuovere i contenuti potenzialmente dannosi o i contenuti PII dal testo in ingresso e in uscita nei prompt.

Test

Considerate la possibilità di creare un red team per emulare gli attacchi avversari.

Come ottimizzare e gestire i modelli di fondazione

È possibile ottimizzare un modello di fondazione per quanto riguarda precisione, costi, latenza inferenziale e controllo del ciclo di vita del modello.

Ottimizzazione predefinita

IBM offre una serie di modelli di fondazione che vengono distribuiti su hardware multi-tenant. L'inferenza si paga a gettone. IBM controlla il ciclo di vita del modello aggiornando e deprecando i modelli. Quando un modello viene deprecato, è necessario aggiornare la soluzione in modo che faccia riferimento alla nuova versione del modello o a un modello diverso.

Ottimizzare la precisione e i costi

Se è necessario migliorare l'accuratezza del prompt e ridurre i costi inferendo un modello di fondazione più piccolo, è possibile sintonizzare un modello di fondazione fornito. Si distribuisce un modello sintonizzato su hardware multitenant e si paga l'inferenza per token.

Ottimizzare la precisione e il controllo

Se si è addestrato o messo a punto un modello esterno a watsonx.ai per il proprio caso d'uso, è possibile importare e distribuire un modello personalizzato. Il modello viene distribuito su hardware dedicato. Si paga all'ora per l'hosting del modello invece che per l'inferenza. L'utente controlla il ciclo di vita del modello.

Ottimizzazione della latenza e del controllo

Se la soluzione deve supportare un numero elevato di utenti contemporanei, è possibile implementare un modello deploy-on-demand fornito da IBM su hardware dedicato. L'hardware dedicato offre una latenza inferiore rispetto all'hardware multi-tenant. Si paga all'ora per l'hosting del modello invece che per l'inferenza. L'utente controlla il ciclo di vita del modello.

Come consegnare e mantenere la soluzione

Dovete decidere come fornire la vostra soluzione di IA gen e contribuire a garantirne la qualità costante.

Implementazione della soluzione

Si distribuisce la risorsa AI in uno spazio di distribuzione e poi si recupera l'endpoint di distribuzione per invocare la soluzione AI nell'applicazione.

Gen AI Per l'inferenza di un modello di base, l'endpoint per l'inferenza del modello potrebbe trovarsi in uno snippet di codice, in una funzione di Python, in un servizio di AI o nel codice sviluppato dal vostro team.

ML Per una soluzione di apprendimento automatico, l'endpoint potrebbe essere un modello di apprendimento automatico, una funzione Python, un'applicazione R Shiny, un modello NLP o uno script.

Gestione di ModelOps con gli spazi di distribuzione

È possibile supportare un flusso ModelOps creando spazi di distribuzione separati per le versioni di test, staging e produzione della soluzione. È possibile gestire l'accesso alla soluzione di produzione aggiungendo i collaboratori appropriati a ogni spazio.

Orchestrare le pipeline di ML

ML È possibile assemblare e configurare una pipeline per creare, addestrare, distribuire e aggiornare i modelli di apprendimento automatico e gli script Python.

Monitoraggio

Analogamente alla valutazione della soluzione durante lo sviluppo, è possibile monitorare le prestazioni e i rischi della soluzione, come l'equità, la qualità e la spiegabilità. È possibile visualizzare le tendenze nel tempo e impostare soglie per avvisare quando le prestazioni calano.

Feedback degli utenti

Prendete in considerazione l'implementazione di un meccanismo di feedback da parte degli utenti e la creazione di un processo per raccogliere tali feedback e migliorare la vostra soluzione con essi.

Gen AI Ad esempio, se si implementa un pattern RAG, si può aggiungere un meccanismo di feedback per gli utenti, per valutare le risposte alle loro domande. È possibile impostare un processo per valutare le risposte errate e inadeguate e adattare il modello RAG o adattare i contenuti per fornire risposte migliori.

Ulteriori informazioni

• Confronto tra strumenti e codice
• Pianificazione del flusso di lavoro per l'implementazione della soluzione di IA generativa
• Pianificazione del flusso di lavoro per l'implementazione della soluzione di apprendimento automatico

Argomento principale: Pianificazione di una soluzione di IA generativa