Trovate il foundation model giusto da personalizzare per la vostra attività.
Modelli di base per una pronta messa a punto
È possibile eseguire la sintonizzazione immediata dei seguenti modelli dal Tuning Studio in watsonx.ai:
- flan-t5-xl-3b
- granite-13b-instruct-v2
La tabella seguente mostra i modelli di fondazione da sperimentare prima di scegliere un foundation model da mettere a punto.
| Modello per la progettazione rapida | Modello per l'ottimizzazione |
|---|---|
| flan-t5 - xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Scelta di un foundation model per la messa a punto
Per aiutarvi a scegliere il foundation model migliore da accordare, seguite questi passaggi:
Considerare se sono state adottate misure per curare i dati utilizzati per addestrare il foundation model, al fine di migliorare la qualità dei risultati del foundation model.
Esaminare altre considerazioni generali per la selezione di un modello.
Per ulteriori informazioni, vedere Scelta del foundation model.
Consideriamo i costi associati al foundation model, sia al momento dell'inferenza sia al momento della messa a punto. Un modello più piccolo, come un modello da 3 miliardi di parametri, costa meno per sintonizzarsi ed è un buon punto di partenza.
L'ottimizzazione comporta costi di utilizzo delle risorse di calcolo misurati in CUH (capacity unit hours). Più grande è il modello, maggiore è il tempo necessario per ottimizzare il modello. Un foundation model quattro volte più grande richiede un tempo di messa a punto quattro volte superiore.
Ad esempio, su un set di dati con 10.000 esempi e una dimensione di 1.25 MB, sono necessarie 3 ore e 25 minuti per mettere a punto il foundation model flan-t5-xl-3b.
Per ulteriori informazioni sui costi CUH, vedere watsonx.ai Piani di esecuzione e utilizzo del calcolo.
Sperimentare i modelli nel Prompt Lab.
Utilizzare la versione più grande (ovvero la versione con il maggior numero di parametri) del modello nella stessa famiglia di modelli per scopi di test. Testando con un modello più grande e potente è possibile stabilire il modello di prompt migliore per ottenere l'output desiderato. Quindi, è possibile ottimizzare una versione più piccola dello stesso tipo di modello per risparmiare sui costi. Una versione ottimizzata di un modello più piccolo può generare risultati simili, se non migliori, e costa meno all'inferenza.
Lavorare e provare le richieste fino a trovare il modello di input che genera i migliori risultati dal foundation model di grandi dimensioni.
Per ulteriori informazioni, consultare Prompt Lab.
Argomento padre: Tuning Studio