Distribuire un modello ottimizzato in modo da poterlo aggiungere a un flusso di lavoro di business e iniziare a utilizzare i modelli di base in modo significativo.
Prima di iniziare
L'esperimento di messa a punto utilizzato per mettere a punto il foundation model deve essere terminato. Per ulteriori informazioni, vedere Messa a punto di un foundation model.
È necessario impostare le credenziali dell'attività generando una chiave API. Per ulteriori informazioni, vedere Gestione delle credenziali delle attività.
distribuire un modello ottimizzato
Per distribuire un modello ottimizzato, completare la seguente procedura:
Dal menu di navigazione, espandere Progetti, quindi fare clic su Tutti i progetti.
Fare clic per aprire il progetto.
Nella scheda Asset , fare clic sul tipo di asset Esperimenti .
Fare clic per aprire l'esperimento di ottimizzazione per il modello che si desidera distribuire.
Dall'elenco Modelli ottimizzati , individuare l'esperimento di ottimizzazione completato e fare clic su Nuova distribuzione.
Denominare il modello ottimizzato.
Il nome dell'esperimento di ottimizzazione viene utilizzato come nome del modello ottimizzato se non viene modificato. Il nome ha un numero dopo di esso tra parentesi, che conta le distribuzioni. Il numero inizia da uno e viene incrementato di uno ogni volta che si distribuisce questo esperimento di ottimizzazione.
Facoltativo: aggiungi una descrizione e tag.
Per il contenitore di distribuzione, scegliere una delle seguenti opzioni:
- Questo progetto: Distribuisce il modello sintonizzato e lo aggiunge al progetto in cui è possibile testare il modello sintonizzato. È possibile promuovere la distribuzione del modello sintonizzato a uno spazio di distribuzione in qualsiasi momento. Scegliere questa opzione se si desidera eseguire ulteriori test sul modello messo a punto prima di utilizzarlo in produzione.
- Spazio di distribuzione: Promuove il modello sintonizzato in uno spazio di distribuzione e distribuisce il modello sintonizzato. Uno spazio di installazione è separato dal progetto in cui si crea l'asset. Questa separazione consente di promuovere le risorse da più progetti a uno spazio e di distribuire le risorse in più di uno spazio. Scegliere questa opzione quando il modello messo a punto è pronto per essere promosso all'uso di produzione.
Per ulteriori informazioni su questa opzione, vedere Utilizzo di uno spazio di distribuzione.
Suggerimento: selezionare l'opzione per visualizzare dopo la creazione. In caso contrario, è necessario eseguire ulteriori operazioni per trovare il proprio modello distribuito.
Fare clic su Distribuisci.
Dopo che il modello sintonizzato è stato distribuito, una copia del modello sintonizzato viene memorizzata nel progetto come risorsa del modello.
Utilizzo di uno spazio di distribuzione
Quando si sceglie uno spazio di distribuzione come contenitore per il modello sintonizzato, il modello sintonizzato viene promosso a uno spazio di distribuzione e quindi distribuito. Uno spazio di distribuzione è associato ai seguenti servizi che utilizza per distribuire gli asset:
watsonx.ai Runtime: Un prodotto con strumenti e servizi da utilizzare per costruire, addestrare e distribuire modelli di apprendimento automatico. Questo servizio ospita il tuo modello trasformato.
IBM Cloud Object Storage: Una piattaforma sicura per l'archiviazione di dati strutturati e non strutturati. La risorsa modello distribuita è memorizzata in un bucket Cloud Object Storage associato al progetto.
Per ulteriori informazioni, consultare Spazi di distribuzione.
Per utilizzare uno spazio di distribuzione, completare i seguenti passaggi:
Dopo aver scelto Spazio di distribuzione come contenitore di distribuzione, nel campo Spazio di distribuzione di destinazione, scegliere uno spazio di distribuzione.
Lo spazio di distribuzione deve essere associato a un'istanza di machine learning che si trova nello stesso account del progetto in cui è stato creato il modello ottimizzato.
Se non disponi di uno spazio di distribuzione, scegli Crea un nuovo spazio di distribuzionee segui la procedura in Creazione di spazi di distribuzione.
Nel campo Nome server di distribuzione , aggiungere un'etichetta per la distribuzione.
Il nome di servizio viene utilizzato nell'URL per l'endpoint API che identifica la propria distribuzione. L'aggiunta di un nome è utile perché il nome leggibile che si aggiunge sostituisce un ID lungo generato dal sistema assegnato altrimenti.
Il nome del servizio astrae anche la distribuzione dai dettagli dell'istanza del servizio. Le applicazioni possono fare riferimento a questo nome che consente di modificare l'istanza del servizio sottostante senza influire sugli utenti.
Il nome può contenere fino a 36 caratteri. I caratteri supportati sono [a-z,0-9, _].
Il nome deve essere univoco nella regione IBM Cloud . Potrebbe essere richiesto di modificare il nome del servizio se il nome scelto è già in uso.
Verifica del modello distribuito
Il vero test del modello ottimizzato è il modo in cui risponde all'input che segue i pattern ottimizzati.
È possibile testare il modello ottimizzato da una delle seguenti pagine:
- Progetto: Utile quando si vuole testare il modello durante le fasi di sviluppo e di test prima di trasferirlo in produzione.
- Spazio di distribuzione: utile quando si desidera testare il modello in modo programmatico. Dalla scheda Riferimento API , puoi trovare informazioni sugli endpoint disponibili e sugli esempi di codice. È anche possibile inoltrare l'input come testo e scegliere di restituire l'output o in uno stream, man mano che l'output viene generato. Tuttavia, non è possibile modificare i parametri di richiesta per il testo di input.
- Prompt Lab: Utile quando si desidera utilizzare uno strumento con un'interfaccia utente intuitiva per la richiesta di modelli di fondazione. È possibile personalizzare i parametri del prompt per ogni input. È anche possibile salvare la richiesta come notebook in modo da potervi interagire in modo programmatico.
Testare il modello di distribuzione in un progetto
Per testare il modello messo a punto nel progetto, completare i seguenti passaggi:
Dal progetto, fare clic sulla scheda Deployments.
Fare clic sul nome del modello distribuito.
Fare clic sulla scheda Test .
Nel campo Dati di immissione , aggiungere un prompt che segua il modello di prompt che il modello ottimizzato deve riconoscere e fare clic su Genera.
È possibile fare clic su Visualizza impostazioni parametro per visualizzare i parametri di prompt applicati al modello per impostazione predefinita. Per modificare i parametri del prompt, è necessario andare a Prompt Lab.
Testare il modello di distribuzione in uno spazio di distribuzione
Per testare il modello messo a punto in uno spazio di distribuzione, completare i seguenti passaggi:
Nel menu di navigazione, selezionare Distribuzioni.
Fare clic sul nome dello spazio di distribuzione in cui è stato distribuito il modello ottimizzato.
Fare clic sul nome del modello distribuito.
Fare clic sulla scheda Test .
Nel campo Dati di immissione , aggiungere un prompt che segua il modello di prompt che il modello ottimizzato deve riconoscere e fare clic su Genera.
È possibile fare clic su Visualizza impostazioni parametro per visualizzare i parametri di prompt applicati al modello per impostazione predefinita. Per modificare i parametri del prompt, è necessario andare a Prompt Lab.
Test del modello di distribuzione in Prompt Lab
Per testare il modello sintonizzato in Prompt Lab, completare i seguenti passaggi:
Seguite i passi della procedura precedente per aprire il modello distribuito nello spazio del progetto o dell'installazione client.
Nel progetto, fate clic su Apri in Prompt Lab. Se si lavora in uno spazio di distribuzione, viene richiesto di scegliere il progetto in cui si desidera lavorare con il modello.
Si apre Prompt Lab e il modello sintonizzato che è stato distribuito viene selezionato dal campo Modello.
Nella sezione Prova , aggiungi un prompt al campo Input che segue il modello di prompt che il tuo modello ottimizzato è preparato a riconoscere e fai quindi clic su Genera.
Per ulteriori informazioni su come utilizzare l'editor prompt, consultare Prompt Lab.
Ulteriori informazioni
Argomento principale: Distribuzione delle risorse foundation model