Distribuzione dei modelli di fondazione su richiesta (percorso rapido)

Prima di iniziare

Copy link to section

1. È necessario impostare o abilitare le credenziali dell'attività per distribuire i modelli di fondazione su richiesta. Per ulteriori informazioni, vedere Gestione delle credenziali delle attività.
2. Esamina le architetture dei modelli di base supportate, i tipi di distribuzione e altre considerazioni per la distribuzione di un modello di base su richiesta. Per ulteriori informazioni, vedere Distribuzione dei modelli di fondazione su richiesta.

Guarda questo video per vedere come distribuire un modello di fondazione su richiesta.

Implementazione di un modello di fondazione su richiesta

Copy link to section

Per distribuire un modello di fondazione su richiesta dall'hub delle risorse, completare i seguenti passaggi:

1. Aprire l'hub Risorse dal menu di navigazione '.

   Suggerimento:

   Scegliere il filer Deploy-on-demand per visualizzare un elenco di modelli che è possibile distribuire su richiesta.

2. Nella sezione Pagamenti a ore, individuare il modello che si desidera distribuire su richiesta.

   

3. Dalla pagina dei dettagli del modello, fare clic su Deploy.

   

4. Fare clic su Distribuisci dal riquadro del modello di fondazione, quindi scegliere lo spazio di distribuzione in cui si desidera distribuire il modello di fondazione.

   

   Importante:

   È possibile distribuire solo un'istanza di un modello di fondazione su richiesta in uno spazio di distribuzione. Se il modello selezionato è già distribuito, l'utente avrà a disposizione il link alla distribuzione esistente nella sezione Dettagli. Per ulteriori informazioni, vedere la sezione Risoluzione dei problemi watsonx.ai Runtime.

5. Fare clic su Crea.

Dopo aver distribuito il modello, è possibile richiamare il modello di fondazione dall' Prompt Lab, o dall'API watsonx.ai.

Verifica della distribuzione

Copy link to section

Seguire questi passaggi per testare un modello di fondazione che viene distribuito su richiesta:

1. Nello spazio di installazione client, aprire la scheda Deployments e fare clic sul nome dell'installazione client.

2. Fare clic sulla scheda Test per immettere un testo di richiesta e ottenere una risposta dall'asset distribuito.

3. Inserite i dati di prova in uno dei seguenti formati, a seconda del tipo di risorsa distribuita:
   

   a. Testo: Immettere i dati di input del testo per generare un blocco di testo come output.
   b. Flusso: Immettere i dati di input del testo per generare un flusso di testo come output.
   c. JSON: inserire i dati di input JSON per generare l'output in formato JSON.
   

   

4. Fare clic su Genera per ottenere risultati basati sulla richiesta.

Gestione della distribuzione

Copy link to section

Accedi, aggiorna, ridimensiona o elimina il tuo modello di fondazione che viene distribuito su richiesta dall'hub delle risorse.

Ulteriori informazioni

Copy link to section

• Modelli di fondazione supportati
• Prompt Lab
• Distribuzione dei modelli di fondazione su richiesta utilizzando l'API REST
• Tariffe di fatturazione oraria per i modelli deploy on demand

Argomento principale: Distribuzione dei modelli di fondazione su richiesta