0 / 0

Creare un esperimento di sintonizzazione dei prompt

Ultimo aggiornamento: 01 mag 2025
Creare un esperimento di sintonizzazione dei prompt

Creare un esperimento di messa a punto che si possa eseguire per mettere a punto un modello di fondazione.

Compito preliminare : Tuning Studio

Per continuare la messa a punto di un modello di fondazione, completare i passaggi seguenti:

  1. Scegliete come inizializzare il prompt tra le seguenti opzioni:

    Testo
    Utilizza il testo specificato dall'utente.
    Casuale
    Utilizza i valori generati per l'utente nell'ambito dell'esperimento di sintonizzazione.

    Queste opzioni sono legate al metodo di sintonizzazione richiesto per la messa a punto dei modelli. Per ulteriori informazioni su come ciascuna opzione influisce sull'esperimento di sintonizzazione, vedere Come funziona il prompt tuning.

  2. Richiesta solo per il metodo di inizializzazione del testo: Aggiungere il testo di inizializzazione che si desidera includere nel prompt.

    • Per un compito di classificazione, fornire un'istruzione che descriva ciò che si vuole classificare ed elenchi le etichette di classe da utilizzare. Ad esempio, Classificare se il sentiment di ogni commento è positivo o negativo.
    • Per un compito generativo, descrivere cosa si vuole che il modello fornisca in uscita. Ad esempio, promuovete l'opportunità di consentire ai dipendenti di lavorare da casa alcuni giorni alla settimana.
    • Per un compito di riassunto, date un'istruzione del tipo: Riassumi i punti principali della trascrizione di una riunione.

  3. Scegliere un tipo di attività.

    Scegliete il tipo di compito che più si avvicina a quello che volete far svolgere al modello:

    Classificazione
    Prevede etichette categoriche dalle caratteristiche. Ad esempio, se si considera una serie di commenti dei clienti, si potrebbe etichettare ogni affermazione come una domanda o un problema. Separando i problemi dei clienti, è possibile individuarli e risolverli più rapidamente. Questo tipo di compito gestisce la classificazione a etichetta singola.
    Generazione
    Genera testo. Ad esempio, scrive un'e-mail promozionale.
    Riepilogo
    Genera un testo che descrive le idee principali espresse in un corpo di testo. Ad esempio, riassume un documento di ricerca.

    Qualunque sia il compito scelto, l'input viene sottoposto al modello di fondazione sottostante come tipo di richiesta generativa durante l'esperimento. Le informazioni aggiuntive che l'utente condivide sull'obiettivo vengono utilizzate nei compiti di classificazione, ad esempio quando i nomi delle classi specificati dall'utente vengono presi in considerazione nei suggerimenti utilizzati per sintonizzare il modello.

  4. Richiesta solo per attività di classificazione: nel campo Classificazione in uscita, aggiungere le etichette delle classi che si desidera che il modello utilizzi una alla volta.

    Importante: Specificare le stesse etichette utilizzate nei dati di addestramento.

    Durante l'esperimento di sintonizzazione, le informazioni sull'etichetta della classe vengono inviate insieme agli esempi di input dai dati di addestramento.

  5. Facoltativo: se si desidera modificare la formattazione dei campioni di addestramento quando vengono inviati al modello di base durante un esperimento di messa a punto, fare clic su Sì, modificare nella sezione Le richieste hanno bisogno di una formattazione speciale? .

    Per ulteriori informazioni, vedere Modifica del verbalizzatore per la messa a punto del prompt.

  6. Aggiungere i dati di addestramento che verranno utilizzati per mettere a punto il modello. È possibile caricare un file o utilizzare una risorsa del proprio progetto.

    Per vedere esempi di come formattare il file, espandere Che aspetto devono avere i dati? , e quindi fare clic su Anteprima del modello. Per ulteriori informazioni, vedere Formati dei dati.

  7. Opzionale: Se si desidera modificare la dimensione dei token degli esempi utilizzati durante l'addestramento, espandere Come devono essere i dati? per effettuare le regolazioni.

    Per ulteriori informazioni, vedere Impostazione dei limiti dei token di sintonizzazione dei prompt.

  8. Opzionale: Fare clic su Configura parametri per modificare i parametri utilizzati dall'esperimento di sintonizzazione.

    La corsa di messa a punto è configurata con valori dei parametri che rappresentano un buon punto di partenza per la messa a punto di un modello. Se volete, potete regolarli.

    Per ulteriori informazioni sui parametri disponibili e sulle loro funzioni, vedere Parametri di sintonizzazione.

    Dopo aver modificato i valori dei parametri, fare clic su Salva.

  9. Fare clic su Avvia la sintonizzazione.

L'esperimento di sintonizzazione ha inizio. Potrebbero essere necessari da pochi minuti a qualche ora, a seconda delle dimensioni dei dati di addestramento e della disponibilità di risorse di calcolo. Al termine dell'esperimento, lo stato viene visualizzato come completato.

Una risorsa modello sintonizzata viene creata solo dopo aver creato un'installazione client da un esperimento di sintonizzazione completato. Per ulteriori informazioni, vedere Distribuzione di un modello sintonizzato.

Modifica del verbalizzatore per la messa a punto del prompt

È possibile modificare il verbalizzatore utilizzato per la messa a punto del modello di fondazione.

Il verbalizzatore per il prompt tuning ha il seguente formato:

Input: {{input}} Output:

Il formato predefinito aggiunge la parola Input: prima del testo di input e aggiunge Output: dopo il testo di input per mostrare al modello di fondazione dove aggiungere il testo generato.

Si potrebbe voler personalizzare il verbalizzatore se un testo di prefisso più descrittivo può guidare il modello di fondazione a generare risposte migliori. Per sintonizzare un modello di fondazione per riassumere gli articoli, ad esempio, si può modificare il verbalizzatore come segue:

Article: {{input}} Summary:

Utilizzando i prefissi Article e Summary invece dei generici Input e Output, si forniscono al modello di fondazione più informazioni contestuali sull'input e sull'output atteso.

Per i modelli di fondazione progettati per i casi d'uso della chat, il verbalizzatore predefinito ha un formato più semplice:

{{input}}

Seguite queste linee guida quando cambiate il verbalizzatore:

  • Modificare il verbalizzatore solo dopo aver chiesto all'ingegneria di convalidare che il formato personalizzato migliora l'output del modello di fondazione.

  • Non modificare la variabile {{input}}.

    Questa variabile indica all'esperimento di sintonizzazione di estrarre il testo dal segmento input degli esempi nel file dei dati di allenamento.

  • Per i compiti di classificazione, le etichette di classe specificate dall'utente vengono passate automaticamente al modello di fondazione. Non è necessario specificarli nel verbalizzatore personalizzato.

    Tuttavia, se l'ingegneria di base dimostra che l'uso di prefissi per rappresentare l'informazione che si sta classificando genera un risultato migliore, è possibile modificare il verbalizzatore per utilizzare tali prefissi. Per un'attività in cui si vuole classificare il feedback dei clienti, si potrebbe usare, ad esempio, Feedback: {{input}} Class:.

  • Se si cambia il verbalizzatore utilizzato per sintonizzare un modello di base, utilizzare gli stessi prefissi quando si inferisce il modello sintonizzato in un secondo momento.

    Ad esempio, se il verbalizzatore personalizzato è Article: {{input}} Summary:, quando si inferisce il modello di fondazione sintonizzato dalla modalità freeform in Prompt Lab, specificare il prompt come segue:

    Article: IBM watsonx Challenge empowers partners to solve real-world problems with AI. In June, IBM invited ecosystem partners in Europe, the Middle East and Africa to participate in an IBM watsonx Challenge, a hands-on experience designed to bring the watsonx platform capabilities to some of the most important members of the IBM ecosystem.These ecosystem partners, who sell, build or service IBM technologies, enthusiastically embraced the challenge. Participants formed teams and focused on quickly crafting a solution to one of three selected challenges. The challenges included using prompt engineering to analyze customer experience by using IBM® watsonx.ai, automating repetitive manual tasks to improve productivity by using IBM watsonx Orchestrate, and building a generative AI-powered virtual assistant by using IBM watsonx™ Assistant and IBM watsonx™ Discovery. This experience enabled passionate learners to experience exciting new generative AI technologies firsthand and it led to innovation and creativity.
Summary:

    Dalla modalità strutturata, modificate i prefissi dei segnaposto nella sezione Prova. Cambiare Input in Article e cambiare Output in Summary, per esempio.

Impostazione dei limiti dei token di sintonizzazione dei prompt

Per i modelli di linguaggio naturale, le parole vengono convertite in token. 256 token equivalgono a circa 130-170 parole. 128 token equivalgono a circa 65-85 parole. Tuttavia, i numeri dei gettoni sono difficili da stimare e possono variare a seconda del modello. Per ulteriori informazioni, vedere Token e tokenizzazione.

È possibile modificare il numero di token consentiti nell'input e nell'output del modello durante un esperimento di messa a punto.

Tabella 1: Parametri del numero di token
Nome del parametro Valore predefinito Opzioni di valore Opzioni del valore solo per flan-t5-xl-3b
Numero massimo di token di input 256 1-1024 1-256
Numero massimo di token di output 128 1-512 1-128

Maggiore è il numero di token di ingresso e di uscita consentiti, più lungo è il tempo necessario per sintonizzare il modello. Nei vostri esempi, utilizzate il minor numero di token possibile, pur rappresentando correttamente il vostro caso d'uso.

Si ha già un certo controllo sulle dimensioni dell'ingresso. Il testo di input utilizzato durante un esperimento di sintonizzazione proviene dai dati di addestramento. Pertanto, è possibile gestire le dimensioni degli input mantenendo gli input di esempio a una lunghezza prestabilita. Tuttavia, potreste ricevere dati di formazione non curati da un altro team o processo. In questo caso, si può usare il cursore Massimo gettoni di input per gestire la dimensione dell'input. Se si imposta il parametro a 200 e i dati di addestramento hanno un esempio di input con 1.000 token, ad esempio, l'esempio viene troncato. Vengono utilizzati solo i primi 200 token dell'esempio di input.

Il valore Max output tokens è importante perché controlla il numero di tokens che il modello può generare come output durante l'addestramento. È possibile utilizzare il cursore per limitare le dimensioni dell'output, in modo da aiutare il modello a generare risultati concisi.

Consiglio: Per i compiti di classificazione, la minimizzazione delle dimensioni dell'output è un buon modo per costringere un modello generativo a restituire solo l'etichetta della classe, senza ripetere il modello di classificazione nell'output.

Ulteriori informazioni

Argomento principale: Tuning Studio