Dopo aver caricato il foundation model personalizzato nell'archivio oggetti del cloud, creare una connessione al modello e una risorsa del modello corrispondente. Utilizzare il collegamento per creare un modello di asset in un progetto o in uno spazio.
Per creare una risorsa modello, aggiungere una connessione al modello e quindi creare una risorsa modello. Se si vuole prima testare il foundation model personalizzato in un progetto (per esempio valutandolo in un taccuino Jupyter), aggiungere la risorsa del foundation model personalizzato a un progetto e poi promuoverlo a uno spazio.
Dopo aver aggiunto la risorsa del modello, è possibile distribuirla e utilizzare Prompt Lab per l'inferenza.
- Se si carica il modello su un cloud storage remoto, è necessario creare una connessione basata sulle proprie credenziali personali. Con il cloud storage remoto sono consentite solo le connessioni che utilizzano credenziali personali. Di conseguenza, gli altri utenti dello stesso spazio di distribuzione non hanno accesso al contenuto del modello, ma possono fare inferenze sulle distribuzioni del modello. Creare la connessione utilizzando la chiave di accesso e la chiave di accesso segreta. Per informazioni su come abilitare le credenziali personali per il proprio account, vedere Impostazioni account.
Prima di iniziare
È necessario abilitare le credenziali dell'attività per poter distribuire un foundation model personalizzato. Per ulteriori informazioni, vedere Aggiungi le credenziali dell'attività.
Aggiunta di un collegamento al modello
È possibile aggiungere una connessione al modello da uno spazio di distribuzione o da un progetto. Per aggiungere una connessione in modo programmatico, vedere Creazione di una connessione tramite il client Python o Creazione di una connessione tramite l'API.
Per utilizzare l'API watsonx.ai, è necessario un token portatore. Per ulteriori informazioni, vedere Credenziali per l'accesso programmatico.
Aggiunta di una connessione al modello dal proprio spazio di distribuzione
Per aggiungere una connessione al modello dallo spazio di distribuzione:
- Accedere alla scheda Attività e fare clic su Importa attività.
- Selezionate Attività dati e seguite i passaggi visualizzati sullo schermo.
Per Credenziali, selezionare Access key and Secret access key. Se si seleziona un'altra opzione, l'installazione non funzionerà.
Aggiunta di una connessione al modello dal proprio progetto
Per aggiungere una connessione al modello dal progetto:
- Accedere alla scheda Assets e fare clic su New asset.
- selezionare Collegamento a un'origine dati e seguire i passaggi visualizzati sullo schermo.
Per Credenziali, selezionare Access key and Secret access key. Se si seleziona un'altra opzione, l'installazione non funzionerà.
Per informazioni dettagliate su come creare tipi specifici di connessioni, vedere Connettori.
Creazione di una risorsa modello
Per creare una risorsa foundation model personalizzata:
Nello spazio di distribuzione o nel progetto, andate su Assets e poi fate clic su Import assets.
Selezionare il foundation model personalizzato.
Selezionare la connessione al cloud storage in cui si trova il modello.
Selezionare la cartella che contiene il modello.
Immettere le informazioni richieste. Se non si inseriscono voci per i parametri del modello, vengono utilizzati i valori predefiniti.
Fare clic su Importa.
Per informazioni sui parametri del modello disponibili, vedere Parametri globali per i modelli di fondazione personalizzati.
Creare una risorsa foundation model personalizzata in modo programmatico
Per utilizzare l'API watsonx.ai, è necessario un token portatore. Per ulteriori informazioni, vedere Credenziali per l'accesso programmatico.
Per informazioni sui parametri del modello disponibili, vedere Parametri globali per i modelli di fondazione personalizzati. Se non si inseriscono voci per i parametri del modello, vengono utilizzati i valori predefiniti.
Vedere il codice di esempio per aggiungere una risorsa modello a uno spazio di distribuzione:
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"space_id": "<your space ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Vedere il codice di esempio per aggiungere una risorsa modello a un progetto:
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"project_id": "<your project ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Parametri globali per modelli di fondazione personalizzati
È possibile utilizzare parametri globali per distribuire i modelli di fondazione personalizzati. Impostare il valore del parametro del modello di base entro l'intervallo specificato nella tabella seguente. Se non lo si fa, la distribuzione potrebbe fallire e l'inferenza non sarà possibile.
| Parametro | Tipo | Intervallo di valori | Valore predefinito | Descrizione |
|---|---|---|---|---|
dtype |
Stringa | float16, bfloat16 |
float16 |
Utilizzare questo parametro per specificare il tipo di dati per il modello. |
max_batch_size |
Numero | max_batch_size >= 1 |
256 | Utilizzare questo parametro per specificare la dimensione massima del batch per il modello. |
max_concurrent_requests |
Numero | max_concurrent_requests >= 1 e max_concurrent_requests >= max_batch_size |
1024 | Usare questo parametro per specificare il numero massimo di richieste contemporanee che possono essere fatte al modello. Questo parametro non è disponibile per le distribuzioni che utilizzano le watsonx-cfm-caikit-1.1 specifiche del software. |
max_new_tokens |
Numero | max_new_tokens >= 20 |
2047 | Usare questo parametro per specificare il numero massimo di token che il modello deve generare per una richiesta di inferenza. |
max_sequence_length |
Numero | max_sequence_length >= 20 e max_sequence_length > max_new_tokens |
2048 | Utilizzare questo parametro per specificare la lunghezza massima della sequenza per il modello. |
Passi successivi
Distribuzione di un foundation model personalizzato
Argomento principale: Distribuzione di un foundation model personalizzato