Quando si crea una distribuzione in linea per un modello o una funzione da uno spazio di distribuzione o in modo programmatico, una singola copia dell'asset viene distribuita per impostazione predefinita. Per aumentare la scalabilità e la disponibilità, è possibile aumentare il numero di copie (repliche) modificando la configurazione della distribuzione. Più copie consentono un volume maggiore di richieste di calcolo del punteggio.
Le distribuzioni possono essere ridimensionate nei modi seguenti:
- Aggiorna la configurazione per una distribuzione in un spazio di distribuzione.
- Programmaticamente, utilizzando la libreria client Python di watsonx.ai Runtime o le API REST di watsonx.ai Runtime.
Prima di iniziare
È necessario impostare le credenziali dell'attività generando una chiave API. Per ulteriori informazioni, vedere Gestione delle credenziali delle attività.
Modifica del numero di copie di una distribuzione in linea da uno spazio
- Fare clic sulla scheda Distribuzione dello spazio di distribuzione.
- Dal menu di azioni per il tuo nome distribuzione, fai clic su Modifica.
- Nella casella di dialogo Modifica distribuzione , cambiare il numero di copie e fare clic su Salva.
Aumento programmatico del numero di repliche di una distribuzione
Per visualizzare o eseguire un esempio di ridimensionamento programmatico di una distribuzione, puoi aumentare il numero di repliche nei metadati per una distribuzione.
Esempio di Python
Questo esempio utilizza il client Python per impostare il numero di replica su 3.
change_meta = {
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"name":"S",
"num_nodes":3}
}
client.deployments.update(<deployment_id>, change_meta)
Il valore HARDWARE_SPEC include un nome perché l'API richiede un nome o un ID da fornire.
Esempio API REST
curl -k -X PATCH -d '[ { "op": "replace", "path": "/hardware_spec", "value": { "name": "S", "num_nodes": 2 } } ]' <Deployment end-point URL>
È necessario specificare un nome per il valore hardware_spec , ma l'argomento non viene applicato per la scala.
Argomento principale: Gestione delle distribuzioni predittive