Codifica e distribuzione di servizi di intelligenza artificiale con ibm- watsonx -ai-cli
Utilizzare il pacchetto ibm-watsonx-ai-cli
Python per scaricare, modificare, testare e distribuire i servizi AI dall'ambiente locale.
Utilizzando ibm-watsonx-ai-cli
, a seconda delle esigenze, è possibile:
- Testare un servizio AI localmente, senza distribuirlo, passando gli argomenti a un modello scaricato nell'ambiente locale.
- Distribuire un servizio AI in watsonx.ai e poi testarlo localmente, passando argomenti al servizio distribuito.
- Scaricare, distribuire e testare un'applicazione basata su un servizio di intelligenza artificiale.
Prerequisiti:
- Python 3.11
- Lo strumento di gestione delle dipendenze e del packaging
Poetry
deve essere installato nell'ambiente locale. Per installarePoetry
, seguire le istruzioni riportate nella pagina di installazione di Poesia.
Per iniziare a lavorare con i modelli di servizio AI nell'ambiente locale, è necessario installare prima ibm-watsonx-ai-cli
. Per installare ibm-watsonx-ai-cli
, digitate questo comando sulla vostra macchina locale: pip install -U ibm-watsonx-ai-cli
.
- Alcuni modelli richiedono un file di configurazione correttamente preparato (
config.toml
). Se un modello scaricato contieneconfig.toml
con segnaposto, leggere attentamente la descrizione e compilare i campi richiesti. - Per motivi di sicurezza, si consiglia di non inserire la chiave API o altri segreti direttamente negli script o nel file
config.toml
. Invece, si possono impostare come variabili d'ambiente e poi accedere alle variabili dal codice. Ad esempio:WATSONX_APIKEY = os.environ.get("WATSONX_APIKEY", "")
.
Flusso di esempio per la distribuzione di un servizio AI
Per distribuire i modelli di servizio AI utilizzando ibm-watsonx-ai-cli
, fare riferimento a questo flusso di esempio:
Creare il modello nell'IDE:
watsonx-ai template new
Sullo schermo viene visualizzato un elenco dei modelli disponibili. Digitare il numero associato al modello con cui si desidera lavorare. Digitare quindi il nome della cartella da creare.
Navigare nella directory dei modelli:
cd <template directory> cp config.toml.example config.toml
Personalizzare il codice del modello e modificare il file
config.toml
per aggiornare il segnaposto valuesFor accedere facilmente ad alcune delle variabili richieste, vedere la pagina Accesso sviluppatori.Testare il codice del modello:
watsonx-ai template invoke "<your query>"
Creare un servizio:
watsonx-ai service new
Quando il servizio viene distribuito,
ibm-watsonx-ai-cli
restituisce l'ID della distribuzione. Se si desidera che questo ID sia l'ID di distribuzione predefinito quando si richiama il servizio distribuito, incollarlo comedeployment_id
nel fileconfig.toml
. Se non lo si fa, è necessario fornire l'ID di distribuzione ogni volta che si richiama il servizio distribuito.Test del servizio
watsonx-ai service invoke "<your query>"
Se si desidera testare il servizio in locale utilizzando un'interfaccia grafica, installare l'applicazione React UI. Per ulteriori informazioni, consultare l' applicazione watsonx.ai AI Service UI
Flusso di esempio per la creazione di un'applicazione basata su un modello di servizio AI
Per creare applicazioni basate su modelli di servizi AI utilizzando ibm-watsonx-ai-cli
, fare riferimento a questo flusso di esempio:
Creare un'applicazione nell'IDE:
watsonx-ai app new
Sullo schermo viene visualizzato un elenco delle applicazioni disponibili. Digitare il numero associato all'applicazione con cui si desidera lavorare. Digitare quindi il nome della cartella da creare.
Passare alla directory dell'applicazione e copiare il file della variabile d'ambiente:
cd <created folder with the app> cp template.env .env
Modificare il file
.env
per aggiornare i valori dei segnaposto. Per accedere facilmente ad alcune delle variabili richieste, consultare la pagina Accesso sviluppatori. Per l'indirizzoWATSONX_BASE_DEPLOYMENT_URL
, utilizzare l'indirizzo URL per l'endpoint di un servizio distribuito.Avvia l'applicazione:
watsonx-ai app run
In alternativa, se si desidera apportare modifiche al codice sorgente dell'applicazione mentre questa è in esecuzione, avviare l'applicazione in modalità di sviluppo:
watsonx-ai app run --dev
Se un'applicazione è in modalità di sviluppo, ogni volta che si salvano le modifiche l'applicazione viene ricaricata.
Ulteriori informazioni
Per maggiori dettagli, vedere
Argomento principale: Distribuzione dei servizi AI con il codice