Quando si esegue il training o il calcolo del punteggio di un modello o di una funzione, è possibile scegliere il tipo, la dimensione e la potenza della configurazione hardware che corrisponde alle proprie esigenze di elaborazione.
Configurazioni hardware predefinite
Scegliere la configurazione hardware per l'asset watsonx.ai Runtime quando si addestra l'asset o quando lo si distribuisce.
| Tipo di capacità | Unità di capacità per ora |
|---|---|
| Extra piccolo: 1x4 = 1 vCPU e 4 GB di RAM | 0.5 |
| Piccolo: 2x8 = 2 vCPU e 8 GB RAM | 1 |
| Medio: 4x16 = 4 vCPU e 16 GB di RAM | 2 |
| Grande: 8x32 = 8 vCPU e 32 GB RAM | 4 |
| Extra large: 16x64 = 16 vCPU e 64 GB RAM | 8 |
Utilizzo del calcolo per le risorse del runtime watsonx.ai
Le distribuzioni e lo scoring consumano risorse di calcolo come unità di capacità oraria (CUH) dal servizio watsonx.ai Runtime.
Per verificare il consumo totale mensile di CUH per i servizi watsonx.ai Runtime, dal menu di navigazione selezionare Administration -> Environment runtimes.
Inoltre, puoi monitorare l'utilizzo mensile delle risorse in ciascuno specifico spazio di distribuzione. A tale scopo, dal tuo spazio di distribuzione, vai alla scheda Manage e seleziona quindi Resource usage. Il riepilogo mostra i CUA utilizzati per tipo di distribuzione: separatamente per le distribuzioni AutoAI , le distribuzioni Federated Learning, le distribuzioni batch e le distribuzioni online.
Dettagli di utilizzo del calcolo
La frequenza delle CUH utilizzate è determinata dai requisiti di elaborazione delle distribuzioni. Si basa su variabili quali:
- Tipo di distribuzione
- tipo di quadro
- Scalare una distribuzione per supportare più utenti e richieste simultanei aumenta anche il consumo di CUH. Poiché molte variabili influenzano il consumo di risorse per una distribuzione, si consiglia di eseguire test sui propri modelli e distribuzioni per analizzare il consumo CUH.
Il modo in cui le distribuzioni online utilizzano le unità di capacità è basato sul framework. Per alcuni framework, ai CUH viene addebitato il numero di ore per cui l'asset di distribuzione è attivo in un spazio di distribuzione. Ad esempio, i modelli di SPSS in modalità di distribuzione online che vengono eseguiti per 24 ore al giorno, sette giorni alla settimana, consumano CUH e vengono addebitati per tale periodo. Una distribuzione in linea attiva non ha tempo di inattività. Per altri framework, le CUH vengono addebitate in base alla durata del punteggio. Fare riferimento alla tabella di consumo CUH per i dettagli su come viene calcolato l'utilizzo di CUH.
Il tempo di calcolo viene calcolato al millisecondo, con un minimo di 1 minuto per ogni operazione distinta. Ad esempio:
- Un'esecuzione di addestramento che richiede 12 secondi viene fatturata come 1 minuto
- Un'esecuzione di addestramento che richiede 83.555 secondi viene fatturata esattamente come calcolata
Utilizzo CUH per distribuzione e tipo di framework
Il consumo di CUH viene calcolato utilizzando queste formule:
| Tipo di distribuzione | Framework | calcolo CUH |
|---|---|---|
| In linea | AutoAI, AI function, SPSS, librerie personalizzate Scikit-Learn, Tensorflow, RShiny | Durata attiva della distribuzione * Numero di nodi * Velocità CUH per il framework del tipo di capacità |
| In linea | Spark, PMML, Scikit-Learn, Pytorch, XGBoost | Durata del punteggio in secondi * Numero di nodi * Velocità CUH per il framework del tipo di capacità |
| Lavori | tutti i framework | Durata lavoro in secondi * Numero di nodi * Velocità CUH per il framework del tipo di capacità |
Ulteriori informazioni
- Distribuzione di asset
- servizio di runtimewatsonx.ai
- Monitoraggio dell'utilizzo delle risorse dell'account
Argomento principale: Gestione delle distribuzioni predittive