Creazione di una risorsa modello
Dopo aver caricato il modello di fondazione personalizzato nell'archivio oggetti del cloud, creare una connessione al modello e una risorsa del modello corrispondente. Utilizzare il collegamento per creare un modello di asset in un progetto o in uno spazio.
Per creare una risorsa modello, aggiungere una connessione al modello e quindi creare una risorsa modello. Se si vuole prima testare il modello di fondazione personalizzato in un progetto (per esempio valutandolo in un taccuino Jupyter), aggiungere la risorsa del modello di fondazione personalizzato a un progetto e poi promuoverlo a uno spazio.
Dopo aver aggiunto l'asset del modello, è possibile distribuirlo e utilizzare Prompt Lab per fare l'inferenza.
- Se si carica il modello su un cloud storage remoto, è necessario creare una connessione basata sulle proprie credenziali personali. Con il cloud storage remoto sono consentite solo le connessioni che utilizzano credenziali personali. Di conseguenza, gli altri utenti dello stesso spazio di distribuzione non hanno accesso al contenuto del modello, ma possono fare inferenze sulle distribuzioni del modello. Creare la connessione utilizzando la chiave di accesso e la chiave di accesso segreta. Per informazioni su come abilitare le credenziali personali per il proprio account, vedere Impostazioni account.
Prima di iniziare
È necessario abilitare le credenziali dell'attività per poter distribuire un modello di fondazione personalizzato. Per ulteriori informazioni, vedere Aggiungi le credenziali dell'attività.
Aggiunta di un collegamento al modello
È possibile aggiungere una connessione al modello da uno spazio di distribuzione o da un progetto. Per aggiungere una connessione in modo programmatico, vedere Creazione di una connessione tramite il client Python o Creazione di una connessione tramite l'API.
Per utilizzare l'API watsonx.ai, è necessario un token portatore. Per ulteriori informazioni, vedere Credenziali per l'accesso programmatico.
Aggiunta di una connessione al modello da un progetto o da uno spazio di distribuzione
Per aggiungere una connessione al modello dal progetto o dallo spazio di distribuzione, seguite i passaggi elencati in Aggiunta di connessioni alle origini dati in un progetto.
Per Credenziali, selezionare
Access key and Secret key. Se si seleziona un'altra opzione, l'installazione non funzionerà.Per l'endpoint di connessione è necessario utilizzare uno di questi tipi di endpoint:
- Pubblico
- Pubblico (legato)
- Diretto
- Diretto (legato)
Quando viene richiesta l'impostazione delle credenziali, assicurarsi di selezionare
Personal credentials. Se non si vede l'opzione di impostazione delle credenziali, è necessario attivarla nel proprio account. Per ulteriori informazioni, vedere Impostazioni dell'account.
Creazione di una risorsa modello
Per creare una risorsa modello di fondazione personalizzata:
Nello spazio di distribuzione o nel progetto, andate su Assets e poi fate clic su Import assets.
Selezionare il modello di fondazione personalizzato.
Selezionare la connessione al cloud storage in cui si trova il modello.
Selezionare la cartella che contiene il modello.
Immettere le informazioni richieste. Se non si inseriscono voci per i parametri del modello, vengono utilizzati i valori predefiniti.
Fare clic su Importa.
Per informazioni sui parametri del modello disponibili, vedere Parametri globali per i modelli di fondazione personalizzati.
Creare una risorsa del modello di fondazione personalizzata in modo programmatico
Per utilizzare l'API watsonx.ai, è necessario un token portatore. Per ulteriori informazioni, vedere Credenziali per l'accesso programmatico.
Per informazioni sui parametri del modello disponibili, vedere Parametri globali per i modelli di fondazione personalizzati. Se non si inseriscono voci per i parametri del modello, vengono utilizzati i valori predefiniti.
Vedere il codice di esempio per aggiungere una risorsa modello a uno spazio di distribuzione:
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"space_id": "<your space ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Vedere il codice di esempio per aggiungere una risorsa modello a un progetto:
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"project_id": "<your project ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Parametri globali per modelli di fondazione personalizzati
È possibile utilizzare parametri globali per distribuire i modelli di fondazione personalizzati. Impostare il valore del parametro del modello di base entro l'intervallo specificato nella tabella seguente. Se non lo si fa, la distribuzione potrebbe fallire e l'inferenza non sarà possibile.
I modelli a serie temporali non richiedono alcun parametro. Non fornire alcun parametro quando si distribuisce un modello di serie temporali personalizzato. Se si forniscono parametri quando si distribuisce un modello di serie temporali personalizzato, questi non avranno alcun effetto.
| Parametro | Tipo | Intervallo di valori | Valore predefinito | Descrizione |
|---|---|---|---|---|
dtype |
La stringa | float16, bfloat16 |
float16 |
Utilizzare questo parametro per specificare il tipo di dati per il modello. |
max_batch_size |
Numero | max_batch_size >= 1 |
256 | Utilizzare questo parametro per specificare la dimensione massima del batch per il modello. |
max_concurrent_requests |
Numero | max_concurrent_requests >= 1 e max_concurrent_requests >= max_batch_size |
1024 | Usare questo parametro per specificare il numero massimo di richieste contemporanee che possono essere fatte al modello. Questo parametro non è disponibile per le distribuzioni che utilizzano le watsonx-cfm-caikit-1.1 specifiche del software. |
max_new_tokens |
Numero | max_new_tokens >= 20 |
2047 | Usare questo parametro per specificare il numero massimo di token che il modello deve generare per una richiesta di inferenza. |
max_sequence_length |
Numero | max_sequence_length >= 20 e max_sequence_length > max_new_tokens |
2048 | Utilizzare questo parametro per specificare la lunghezza massima della sequenza per il modello. |
Passi successivi
Distribuzione di un modello di fondazione personalizzato
Argomento principale: Distribuzione di un modello di fondazione personalizzato