Scegliere un modello di fondazione da mettere a punto
Trovate il modello di fondazione corretto che potete mettere a punto per personalizzare il modello per il vostro compito.
Modelli di base per una pronta messa a punto
È possibile eseguire la sintonizzazione immediata dei seguenti modelli dal Tuning Studio in watsonx.ai:
- flan-t5-xl-3b
- granite-13b-instruct-v2
La tabella seguente mostra i modelli di fondazione da sperimentare prima di scegliere un modello di fondazione da mettere a punto.
| Modello per la progettazione rapida | Modello per l'ottimizzazione |
|---|---|
| flan-t5 - xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Scelta di un modello di fondazione per la messa a punto
Per aiutarvi a scegliere il modello di fondazione migliore da accordare, seguite questi passaggi:
Considerare se sono state adottate misure per curare i dati utilizzati per addestrare il modello di fondazione, al fine di migliorare la qualità dei risultati del modello di fondazione.
Esaminare altre considerazioni generali per la selezione di un modello.
Per ulteriori informazioni, vedere Scelta del modello di fondazione.
Consideriamo i costi associati al modello di base, sia al momento dell'inferenza sia al momento della messa a punto. Un modello più piccolo, come un modello da 3 miliardi di parametri, costa meno per sintonizzarsi ed è un buon punto di partenza.
L'ottimizzazione comporta costi di utilizzo delle risorse di calcolo misurati in CUH (capacity unit hours). Più grande è il modello, maggiore è il tempo necessario per ottimizzare il modello. Un modello di fondazione quattro volte più grande richiede un tempo di messa a punto quattro volte superiore.
Ad esempio, su un set di dati con 10.000 esempi e di dimensioni pari a 1.25 MB, sono necessarie 3 ore e 25 minuti per mettere a punto il modello della fondazione flan-t5-xl-3b.
Per ulteriori informazioni sui costi CUH, vedere watsonx.ai Piani di esecuzione e utilizzo del calcolo.
Sperimenta con i modelli nell' Prompt Lab.
Utilizzare la versione più grande (ovvero la versione con il maggior numero di parametri) del modello nella stessa famiglia di modelli per scopi di test. Testando con un modello più grande e potente è possibile stabilire il modello di prompt migliore per ottenere l'output desiderato. Quindi, è possibile ottimizzare una versione più piccola dello stesso tipo di modello per risparmiare sui costi. Una versione ottimizzata di un modello più piccolo può generare risultati simili, se non migliori, e costa meno all'inferenza.
Lavorate e provate le richieste fino a trovare il modello di input che genera i migliori risultati dal modello di fondazione di grandi dimensioni.
Per ulteriori informazioni, vedere Prompt Lab.
Argomento padre: Tuning Studio