Opzioni di elaborazione per il calcolo del punteggio e l'addestramento del modello
Ultimo aggiornamento: 21 nov 2024
Opzioni di elaborazione per il calcolo del punteggio e l'addestramento del modello
Quando si esegue il training o il calcolo del punteggio di un modello o di una funzione, è possibile scegliere il tipo, la dimensione e la potenza della configurazione hardware che corrisponde alle proprie esigenze di elaborazione.
Scegliere la configurazione hardware per l'asset watsonx.ai Runtime quando si addestra l'asset o quando lo si distribuisce.
Configurazioni hardware disponibili per la formazione e la distribuzione di asset
Tipo di capacità
Unità di capacità per ora
Extra piccolo: 1x4 = 1 vCPU e 4 GB di RAM
0.5
Piccolo: 2x8 = 2 vCPU e 8 GB RAM
1
Medio: 4x16 = 4 vCPU e 16 GB di RAM
2
Grande: 8x32 = 8 vCPU e 32 GB RAM
4
Extra large: 16x64 = 16 vCPU e 64 GB RAM
8
Utilizzo del calcolo per le risorse del runtime watsonx.ai
Copy link to section
Le distribuzioni e lo scoring consumano risorse di calcolo come unità di capacità oraria (CUH) dal servizio watsonx.ai Runtime.
Per verificare il consumo totale mensile di CUH per i servizi watsonx.ai Runtime, dal menu di navigazione selezionare Administration -> Environment runtimes.
Inoltre, puoi monitorare l'utilizzo mensile delle risorse in ciascuno specifico spazio di distribuzione. A tale scopo, dal tuo spazio di distribuzione, vai alla scheda Manage e seleziona quindi Resource usage. Il riepilogo mostra i CUA utilizzati per tipo di distribuzione: separatamente per le distribuzioni AutoAI , le distribuzioni Federated Learning, le distribuzioni batch e le distribuzioni online.
Dettagli di utilizzo del calcolo
Copy link to section
La frequenza delle CUH utilizzate è determinata dai requisiti di elaborazione delle distribuzioni. Si basa su variabili quali:
Tipo di distribuzione
tipo di quadro
Scalare una distribuzione per supportare più utenti e richieste simultanei aumenta anche il consumo di CUH. Poiché molte variabili influenzano il consumo di risorse per una distribuzione, si consiglia di eseguire test sui propri modelli e distribuzioni per analizzare il consumo CUH.
Il modo in cui le distribuzioni online utilizzano le unità di capacità è basato sul framework. Per alcuni framework, ai CUH viene addebitato il numero di ore per cui l'asset di distribuzione è attivo in un spazio di distribuzione. Ad esempio, i modelli di SPSS in modalità di distribuzione online che vengono eseguiti per 24 ore al giorno, sette giorni alla settimana, consumano CUH e vengono addebitati per tale periodo. Una distribuzione in linea attiva non ha tempo di inattività. Per altri framework, le CUH vengono addebitate in base alla durata del punteggio. Fare riferimento alla tabella di consumo CUH per i dettagli su come viene calcolato l'utilizzo di CUH.
Il tempo di calcolo viene calcolato al millisecondo, con un minimo di 1 minuto per ogni operazione distinta. Ad esempio:
Un'esecuzione di addestramento che richiede 12 secondi viene fatturata come 1 minuto
Un'esecuzione di addestramento che richiede 83.555 secondi viene fatturata esattamente come calcolata
Utilizzo CUH per distribuzione e tipo di framework
Copy link to section
Il consumo di CUH viene calcolato utilizzando queste formule:
Tipo di distribuzione
Framework
calcolo CUH
In linea
AutoAI, AI function, SPSS, librerie personalizzate Scikit-Learn, Tensorflow, RShiny
Durata attiva della distribuzione * Numero di nodi * Velocità CUH per il framework del tipo di capacità
In linea
Spark, PMML, Scikit-Learn, Pytorch, XGBoost
Durata del punteggio in secondi * Numero di nodi * Velocità CUH per il framework del tipo di capacità
Lavori
tutti i framework
Durata lavoro in secondi * Numero di nodi * Velocità CUH per il framework del tipo di capacità