Sintonizzare un foundation model con Tuning Studio per guidare un foundation model AI in modo che restituisca risultati utili.
- Autorizzazioni richieste
Per eseguire gli esperimenti di sintonizzazione, è necessario avere il ruolo Admin o Editor in un progetto.
Tuning Studio non è disponibile con tutti i piani o in tutti i data center. Vedere 'watsonx.ai Piani di esecuzione e 'Disponibilità regionale per servizi e funzionalità.
- Credenziali richieste
- Formato dei dati
Tabella: JSON, JSONL
- Dimensione dati
- Da 50 a 10.000 coppie di esempio di input e output. La dimensione massima del file è 200 MB.
Si utilizza Tuning Studio per creare una versione sintonizzata di un foundation model esistente.
Guardate un video che spiega quando e perché mettere a punto un foundation model.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
I modelli di base sono modelli di intelligenza artificiale preaddestrati su terabyte di dati provenienti da Internet e altre risorse pubbliche. Sono impareggiabili nella loro capacità di prevedere la prossima parola migliore e generare linguaggio. Mentre la generazione linguistica può essere utile per il brainstorming e per stimolare la creatività, i modelli di base in genere devono essere guidati per raggiungere attività concrete. L'ottimizzazione del modello e altre tecniche, come la generazione aumentata del richiamo, consentono di utilizzare i modelli di base in modi significativi per il business.
Con Tuning Studio è possibile mettere a punto un foundation model più piccolo per migliorarne le prestazioni in compiti di elaborazione del linguaggio naturale come la classificazione, la sintesi e la generazione. La messa a punto può aiutare un foundation model più piccolo a ottenere risultati paragonabili a quelli di modelli più grandi della stessa famiglia di modelli. Ottimizzando e distribuendo il modello più piccolo, è possibile ridurre i costi di inferenza a lungo termine.
Come nel caso del prompt engineering, la messa a punto di un foundation model consente di influenzare il contenuto e il formato dell'output del foundation model. Sapere cosa ci si aspetta da un foundation model è essenziale se si vuole inserire la fase di inferenza di un foundation model in un flusso di lavoro aziendale.
Il diagramma seguente illustra come la messa a punto di un foundation model possa aiutare a guidare il modello per generare risultati utili. L'utente fornisce dati etichettati che possono includere informazioni proprietarie sconosciute al foundation model e che illustrano il formato e il tipo di output che si desidera che il modello restituisca. I vostri esempi forniscono al foundation model un modello da seguire e da applicare ai risultati futuri.
Invece di generalizzare in compiti tradizionali come la traduzione di testi e la generazione di testi o risposte, dopo aver messo a punto un foundation model, l'output è più adatto alle vostre esigenze.
- Il testo generato o le risposte possono seguire uno stile specifico
- Il modello ottimizzato può riepilogare o estrarre le informazioni nel modo desiderato
- Con prompt molto più piccoli, il modello ottimizzato può classificare il testo in modo efficace
Per saperne di più su quando la messa a punto di un modello è l'approccio giusto, vedere Quando mettere a punto un foundation model.
Flusso di lavoro
La messa a punto di un foundation model comporta i seguenti compiti:
I suggerimenti dell'ingegnere che funzionano bene con il modello che si desidera utilizzare.
La messa a punto non significa che si possa saltare del tutto l'ingegneria preventiva. La sperimentazione è necessaria per trovare il foundation model giusto per il vostro caso d'uso. Sperimentare fino a quando non si capisce quali formati di prompt mostrano il maggior potenziale per ottenere buoni risultati dal modello. È possibile utilizzare il Prompt Lab per inviare le richieste di test. Per informazioni, consultare il Prompt Lab.
Individuare il foundation model più grande e più adatto all'attività da svolgere.
Creare i dati di addestramento da utilizzare per l'ottimizzazione del modello.
Creare un esperimento di ottimizzazione per ottimizzare il modello.
Valutare il modello ottimizzato.
Se necessario, modificare i dati di addestramento o i parametri dell'esperimento ed eseguire più esperimenti finché non si è soddisfatti dei risultati.
Distribuire il modello ottimizzato.
Inoltrare le richieste di inferenza al modello ottimizzato.
Costi di ottimizzazione del modello di base
Il costo della messa a punto di un foundation model è misurato in ore di unità di capacità, che misura il consumo di risorse di calcolo dell'esperimento di messa a punto. Per ulteriori informazioni, consultare Capacity Unit Hours metering.
Il costo dell'inferenza di un modello ottimizzato viene misurato in unità di risorse. La tariffa dipende dalla classe di fatturazione del modello. Un foundation model sintonizzato su prompt ha la stessa classe di fatturazione del foundation model che sintonizza. Per ulteriori informazioni, vedi Misurazione dell'unità di risorsa.
Ulteriori informazioni
Introduzione
- Avvio rapido: Messa a punto di un foundation model
- Esempio di notebook: sintonizzare un modello per classificare i documenti CFPB in watsonx
- Esempio di quaderno: Ottimizzazione rapida per la classificazione multi-classe con watsonx
Argomento principale: Sviluppo di soluzioni AI generative