Ottimizzazione prompt

Come funziona la messa a punto rapida

I modelli di base sono sensibili agli input che vengono loro forniti. Il tuo input, o il modo in cui solleciti il modello, può introdurre un contesto che il modello utilizzerà per adattare l'output generato. Spesso funziona bene chiedere all'ingegneria di trovare il giusto suggerimento. Tuttavia, può richiedere molto tempo, essere soggetta a errori e la sua efficacia può essere limitata dalla lunghezza della finestra di contesto consentita dal modello sottostante.

La messa a punto rapida di un modello nell' Tuning Studio, applica l'apprendimento automatico al compito di ingegneria rapida. Invece di aggiungere parole all'input stesso, la sintonizzazione rapida è un metodo per trovare una sequenza di valori che, se aggiunti come prefisso al testo di input, migliorano la capacità del modello di generare l'output desiderato. Questa sequenza di valori è chiamata vettore di prompt.

Normalmente, le parole nel prompt vengono vettorializzate dal modello. La vettorizzazione è il processo di conversione del testo in token, e quindi in numeri definiti dal tokenizer del modello per identificare i token. Infine, gli ID dei token vengono codificati, ovvero convertiti in una rappresentazione vettoriale, che è il formato di input previsto dal livello di incorporamento del modello. La sintesi del prompt bypassa il processo di vettorizzazione del testo del modello e crea invece direttamente un vettore prompt. Questo vettore prompt variabile viene concatenato al testo di input vettorizzato e i due vengono passati come un unico input al livello di incorporamento del modello. I valori di questo vettore prompt elaborato influenzano i pesi di word embedding impostati dal modello e le parole che il modello sceglie di aggiungere all'output.

Per trovare i valori migliori per il vettore di prompt, si esegue un esperimento di ottimizzazione. Si dimostra il tipo di output che si desidera per un input corrispondente fornendo al modello coppie di input e output di esempio nei dati di addestramento. Ad ogni sessione di addestramento dell'esperimento, l'output generato viene confrontato con l'output dei dati di addestramento. Sulla base di ciò che apprende dalle differenze tra i due, l'esperimento regola i valori nel vettore prompt. Dopo molte esecuzioni attraverso i dati di addestramento, il modello trova il vettore di prompt che funziona meglio.

È possibile scegliere di avviare il processo di formazione fornendo un testo vettorializzato dall'esperimento. Oppure si può lasciare che l'esperimento utilizzi valori casuali nel vettore prompt. In ogni caso, a meno che i valori iniziali non siano esattamente corretti, verranno modificati ripetutamente come parte del processo di formazione. Fornire il proprio testo di inizializzazione può aiutare l'esperimento a raggiungere un buon risultato più rapidamente.

Il risultato dell'esperimento è una versione modificata del modello di base. Si inviano input al modello sintonizzato per l'inferenza e il modello genera output che segue lo schema sintonizzato.

Per ulteriori informazioni sul processo di ottimizzazione rapida utilizzato in Tuning Studio, vedere Flusso di lavoro di ottimizzazione rapida.

Flusso di lavoro di messa a punto rapida

Durante l'esperimento, il modello di ottimizzazione regola ripetutamente la struttura del prompt in modo che le sue previsioni possano migliorare nel tempo.

Il diagramma seguente illustra le fasi che si verificano durante un esperimento di ottimizzazione rapida.

Le parti del flusso dell'esperimento che è possibile configurare sono evidenziate con un'icona utente . Questi punti di decisione corrispondono ai parametri di regolazione dell'esperimento che controlli. Vedere Parametri per la messa a punto dei modelli di fondazione.

Il diagramma mostra le seguenti fasi dell'esperimento:

1. Inizia dal metodo di inizializzazione che scegli di utilizzare per inizializzare il prompt.

   Se il parametro del metodo di inizializzazione è impostato su " text", è necessario aggiungere il testo di inizializzazione.

2. Se specificato, tokenizza il testo di inizializzazione e lo converte in un prompt vettoriale.

3. Legge i dati di addestramento, li tokenizza e li converte in batch.

   La dimensione dei lotti è determinata dal parametro relativo alla dimensione del lotto.

4. Invia l'input dagli esempi nel batch al modello di base affinché il modello elabori e generi l'output.

5. Confronta l'output del modello con l'output dei dati di addestramento che corrisponde all'input dei dati di addestramento che è stato inviato. Quindi, calcola il gradiente di perdita, che è la differenza tra l'output previsto e l'output effettivo dai dati di addestramento.

   L'esperimento regola il vettore prompt che viene aggiunto all'input in base alla perdita calcolata del modello. Il momento in cui avviene questa regolazione dipende da come è configurato il parametro Passi di accumulo.

6. Le regolazioni vengono applicate al vettore di prompt inizializzato nel passaggio 2. Il grado di modifica del vettore è controllato dal parametro Velocità di apprendimento. Il vettore prompt modificato viene aggiunto come prefisso all'input dal prossimo esempio nei dati di addestramento e viene inviato al modello come input.

7. Il processo si ripete fino a quando tutti gli esemplari di tutti i lotti sono stati trattati.

8. L'intero insieme di batch viene rielaborato tante volte quante specificato nel parametro Numero di epoche.

Ulteriori informazioni

• Parametri per la messa a punto dei modelli di fondazione
• IBM Post sul blog di ricerca: Che cos'è la messa a punto rapida?
• Documento di ricerca: Il potere della scala per una regolazione rapida ed efficiente dei parametri

Argomento principale: Metodi per la messa a punto dei modelli di fondazione