Per mettere a punto un foundation model, creare un esperimento di messa a punto che guidi il foundation model a restituire l'output desiderato nella forma desiderata.
Requisiti
Il Tuning Studio non è disponibile con tutti i piani o in tutti i data center. I modelli di fondazione disponibili per la messa a punto in Tuning Studio possono variare anche in base al data center. Per ulteriori informazioni, consultare i piani diwatsonx.ai Runtime e la disponibilità regionale per i servizi e le funzionalità.
In genere, Tuning Studio è disponibile in un progetto creato automaticamente quando ci si iscrive a watsonx.ai. Il progetto è denominato sandbox e puoi utilizzarlo per iniziare a testare e personalizzare i modelli di base.
Se non si dispone di un progetto, crearne uno. Dal menu principale, espandere Progetti, quindi fare clic su Tutti i progetti.
Fare clic su Nuovo progetto.
Denominare il progetto e, facoltativamente, aggiungere una descrizione.
Per ulteriori informazioni sulle opzioni del progetto, come la creazione di report o la registrazione, consultare Creazione di un progetto.
Fare clic su Crea.
Prima di iniziare
Prendere decisioni sulle seguenti opzioni di messa a punto:
- Trovate il foundation model più adatto al vostro caso d'uso. Vedere Scelta del foundation model da sintonizzare.
- Creare una serie di prompt di esempio che seguono il modello che genera i migliori risultati in base al lavoro di progettazione del prompt. Vedere Formati di dati.
Mettere a punto un foundation model
Da ' home page watsonx.ai , scegliete il vostro progetto e poi fate clic su 'Nuova risorsa > Sintonizzare un 'foundation model con dati etichettati.
Denominare l'esperimento di ottimizzazione.
Facoltativo: aggiungi una descrizione e tag. Aggiungere una descrizione come promemoria per se stessi e per aiutare i collaboratori a comprendere l'obiettivo del modello ottimizzato. L'assegnazione di un tag consente di filtrare gli asset di ottimizzazione in un secondo momento per mostrare solo gli asset associati a un tag.
Fare clic su Crea.
Fare clic su Seleziona un foundation model per scegliere il foundation model che si desidera sintonizzare.
Fare clic su una piastrella per visualizzare una scheda modello con i dettagli sul foundation model. Quando si trova il foundation model che si desidera utilizzare, fare clic su Seleziona.
Per ulteriori informazioni, vedere Scelta del foundation model da sintonizzare.
Scegliere come inizializzare il prompt dalle opzioni seguenti:
- Testo
- Utilizza il testo specificato.
- Casuale
- Utilizza i valori generati come parte dell'esperimento di ottimizzazione.
Queste opzioni sono correlate al metodo di ottimizzazione dei prompt per i modelli di ottimizzazione. Per ulteriori informazioni sul modo in cui ciascuna opzione influenza l'esperimento di ottimizzazione, consultare Funzionamento dell'ottimizzazione delle richieste.
Obbligatorio solo per il metodo di inizializzazione Testo: aggiungere il testo di inizializzazione che si desidera includere nel prompt.
- Per un'attività di classificazione, fornire un'istruzione che descrive cosa si desidera classificare ed elenca le etichette di classe da utilizzare. Ad esempio, Classifica se l'opinione di ciascun commento è positiva o negativa.
- Per un'attività generativa, descrivere cosa si desidera che il modello fornisca nell'output. Ad esempio, Ragioni per consentire ai dipendenti di lavorare da casa qualche giorno alla settimana.
- Per un'attività di riepilogo, fornire un'istruzione come, ad esempio, Riepilogare i punti principali da una trascrizione della riunione.
Scegliere un tipo di attività.
Scegliere il tipo di attività che più si avvicina a quello che si desidera che il modello esegua:
- Classificazione
- Prevede le etichette categoriali dalle funzioni. Ad esempio, data una serie di commenti del cliente, è possibile etichettare ogni istruzione come una domanda o un problema. Separando i problemi dei clienti, puoi trovarli e risolverli più rapidamente. Questo tipo di compito gestisce la classificazione a etichetta singola.
- Generazione
- Genera testo. Ad esempio, scrive una email promozionale.
- Riepilogo
- Genera un testo che descrive le idee principali espresse in un corpo di testo. Ad esempio, riassume un documento di ricerca.
Qualunque sia il compito scelto, l'input viene inviato al foundation model sottostante come tipo di richiesta generativa durante l'esperimento. Per le attività di classificazione, i nomi classe vengono presi in considerazione nei prompt utilizzati per ottimizzare il modello. Con l'evoluzione dei modelli e dei metodi di ottimizzazione, è probabile che vengano aggiunti miglioramenti specifici delle attività che è possibile sfruttare se le attività sono rappresentate in modo accurato.
Richiesta solo per attività di classificazione: nel campo Classificazione in uscita, aggiungere le etichette delle classi che si desidera che il modello utilizzi una alla volta.
Importante: specificare le stesse etichette utilizzate nei dati di addestramento.Durante l'esperimento di ottimizzazione, le informazioni sull'etichetta della classe vengono inoltrate insieme agli esempi di input dai dati di addestramento.
Aggiungere i dati di addestramento che verranno utilizzati per ottimizzare il modello. È possibile caricare un file o utilizzare un asset dal proprio progetto.
Per visualizzare esempi su come formattare il file, espandere Come dovrebbero essere i dati?, e fare clic su Anteprima modello. È possibile copiare o scaricare uno dei modelli di dati per inserirvi i propri dati.
Per ulteriori informazioni, vedere Formati dei dati.
Facoltativo: se vuoi limitare la dimensione degli esempi di input o output utilizzati durante l'addestramento, regola il numero massimo di token consentiti.
Espandere Come dovrebbero essere i dati?, e quindi scorrere per visualizzare i campi Token di input massimi e Token di output massimi . Trascinare i dispositivi di scorrimento per modificare i valori. La limitazione della dimensione può ridurre il tempo necessario per eseguire l'esperimento di ottimizzazione. Per ulteriori informazioni, consultare Controllo del numero di token utilizzati.
Facoltativo: fare clic su Configura parametri per modificare i parametri utilizzati dall'esperimento di ottimizzazione.
L'esecuzione dell'ottimizzazione è configurata con valori di parametro che rappresentano un buon punto di partenza per l'ottimizzazione di un modello. Puoi regolarli se vuoi.
Per ulteriori informazioni sui parametri disponibili e sulle relative operazioni, consultare Ottimizzazione dei parametri.
Una volta modificati i valori dei parametri, fare clic su Salva.
Fare clic su Avvia ottimizzazione.
Inizia l'esperimento di ottimizzazione. Potrebbero essere necessari da pochi minuti a poche ore a seconda della dimensione dei tuoi dati di addestramento e della disponibilità delle risorse di calcolo. Al termine dell'esperimento, lo stato viene visualizzato come completato.
Un asset del modello ottimizzato non viene creato fino a quando non si crea una distribuzione da un esperimento di ottimizzazione completato. Per ulteriori informazioni, vedi Distribuzione di un modello ottimizzato.
Controllo del numero di token utilizzati
Per i modelli di linguaggio naturale, le parole vengono convertite in token. 256 token è pari a circa 130-170 parole. 128 token è pari a circa 65-85 parole. Tuttavia, i numeri token sono difficili da stimare e possono differire per modello. Per ulteriori informazioni, vedi Token e tokenizzazione.
È possibile modificare il numero di token consentiti nell'input e nell'output del modello durante un esperimento di messa a punto.
| Nome del parametro | Valore predefinito | Opzioni di valore | Opzioni di valore solo per flan-t5-xl-3b |
|---|---|---|---|
| Numero massimo di token di input | 256 | 1-1024 | 1-256 |
| Numero massimo di token di output | 128 | 1-512 | 1-128 |
Maggiore è il numero di token di input e di output consentiti, maggiore è il tempo necessario per ottimizzare il modello. Utilizza il minor numero di token nei tuoi esempi che è possibile utilizzare ma che rappresentano ancora correttamente il tuo caso d'uso.
Si dispone già di un certo controllo sulla dimensione di input. Il testo di input utilizzato durante un esperimento di ottimizzazione proviene dai tuoi dati di addestramento. Quindi, è possibile gestire la dimensione dell'input mantenendo gli input di esempio ad una lunghezza impostata. Tuttavia, potresti ottenere dati di formazione non curati da un altro team o processo. In tal caso, è possibile utilizzare il dispositivo di scorrimento Numero massimo di token di input per gestire la dimensione di input. Se si imposta il parametro su 200 e i dati di addestramento hanno un input di esempio con 1.000 token, ad esempio, l'esempio viene troncato. Vengono utilizzati solo i primi 200 token dell'input di esempio.
Il valore Numero massimo token di output è importante perché controlla il numero di token che il modello può generare come output al momento del training. È possibile utilizzare il dispositivo di scorrimento per limitare la dimensione di output, consentendo al modello di generare un output conciso.
Valutazione dell'esperimento di ottimizzazione
Quando l'esperimento è terminato, viene visualizzato un grafico della funzione di perdita che illustra il miglioramento dell'output del modello nel tempo. Le epoche sono mostrate sull'asse x e una misura della differenza tra i risultati previsti e quelli effettivi per epoch è mostrata sull'asse y. Il valore che viene mostrato per epoch viene calcolato dal valore del gradiente medio da tutti i passi di accumulo nell'epoch.
Per ulteriori informazioni su come valutare i risultati, consultare Valutazione dei risultati di un esperimento di ottimizzazione.
Quando si è soddisfatti dei risultati dell'esperimento di messa a punto, distribuire il foundation model messo a punto. Per ulteriori informazioni, vedi Distribuzione di un modello ottimizzato.
Esecuzione di un nuovo esperimento di ottimizzazione
Per rieseguire un esperimento di ottimizzazione, completare la seguente procedura:
- Dalla pagina Asset del progetto, filtrare gli asset in base al tipo di asset Ottimizzazione esperimenti .
- Individuare e aprire l'asset dell'esperimento di ottimizzazione, quindi fare clic su Nuovo modello ottimizzato.
La funzione di perdita per l'esperimento di ottimizzazione viene visualizzata nello stesso grafico con le funzioni di perdita delle precedenti esecuzioni in modo da poterle confrontare.
Ulteriori informazioni
- Distribuzione di un modello ottimizzato
- Avvio rapido: Messa a punto di un foundation model
- Taccuino di esempio: Messa a punto di un modello per classificare i documenti CFPB in watsonx
- Taccuino di esempio: Messa a punto del prompt per la classificazione multiclasse con watsonx
Argomento padre: Tuning Studio