Scoprite come viene misurato l'utilizzo degli asset di apprendimento automatico utilizzando le unità di capacità oraria (CUH).
watsonx.ai Utilizzo del calcolo runtime e prezzi
watsonx.ai L'utilizzo del calcolo in tempo reale è calcolato in base al numero di unità di capacità oraria (CUH) consumate da un'istanza di apprendimento automatico attiva. Il tasso di unità di capacità per ora consumate è determinato dai requisiti di calcolo delle risorse e dei modelli di apprendimento automatico. Ad esempio, un modello con un set di dati ampio e complesso consumerà più risorse per l'addestramento rispetto a un modello con un set di dati più piccolo e semplice. Si noti che il ridimensionamento di un'implementazione per supportare più utenti e richieste simultanee aumenta anche il consumo di CUH.
Per tutti i piani:
- Il consumo di unità-ora di capacità (CUH) per l'addestramento si basa sullo strumento di addestramento, sulle specifiche hardware e sull'ambiente di esecuzione.
- Il consumo del tasso di capacità-unità-ora (CUH) per l'implementazione si basa sul tipo di implementazione, sulle specifiche hardware e sulle specifiche software.
- watsonx.ai Runtime pone dei limiti al numero di lavori di distribuzione conservati per ogni singolo spazio di distribuzione. Se si supera il limite, non è possibile creare nuovi lavori di distribuzione finché non si eliminano quelli esistenti o non si aggiorna il piano. Per impostazione predefinita, i metadati dei lavori vengono cancellati automaticamente dopo 30 giorni. È possibile sovrascrivere questo valore durante la creazione di un lavoro. Vedi Lavori di gestione.
- Il tempo di inattività si riferisce alla quantità di tempo per considerare attiva un'implementazione tra le richieste di punteggio. Se un'installazione non riceve richieste di punteggio per un determinato periodo di tempo, viene considerata inattiva o inattiva e la fatturazione si interrompe per tutti i framework diversi da SPSS.
- Un piano prevede almeno il limite tariffario dichiarato, mentre il limite tariffario effettivo può essere superiore a quello dichiarato. Ad esempio, il piano Lite potrebbe elaborare più di 2 richieste al secondo senza emettere un errore. Se si dispone di un piano a pagamento e si ritiene di aver raggiunto per errore il limite della tariffa, contattare il supporto IBM per assistenza.
- Il tempo di calcolo è calcolato al millisecondo. Tuttavia, è previsto un minimo di un minuto per ogni operazione distinta. In altre parole, una sessione di addestramento che dura 12 secondi viene conteggiata come un minuto per la quota di unità oraria di capacità, mentre una sessione di addestramento che dura 83.555 secondi viene conteggiata esattamente come calcolato.
- Il modo in cui le distribuzioni online consumano le unità di capacità si basa sul framework. Per alcuni framework, il CUH viene addebitato per il numero di ore in cui l'asset di distribuzione è attivo in uno spazio di distribuzione. Ad esempio, i modelli SPSS in modalità di distribuzione online che funzionano 24 ore al giorno per sette giorni alla settimana consumano CUH e vengono addebitati per quel periodo. Non ci sono tempi morti per una distribuzione online attiva. Per gli altri quadri, il CUH viene addebitato in base alla durata del punteggio. Per maggiori dettagli sulle modalità di calcolo del CUH, consultare la tabella dei consumi CUH.
Tassi di consumo di CUH per tipo di asset
Tipo di asset | Tipo di capacità | Unità di capacità all'ora |
---|---|---|
Esperimento AutoAI | 8 vCPU e 32 GB di RAM | 20 |
Formazione Decision Optimization | 2 vCPU e 8 GB di vCPU e 16 GB di vCPU e 32 GB di vCPU e 64 GB di RAM |
6 7 9 13 |
Implementazioni di Decision Optimization | 2 vCPU e 8 GB di vCPU e 16 GB di vCPU e 32 GB di vCPU e 64 GB di RAM |
30 40 50 60 |
Modelli di Machine Learning (addestramento, valutazione o punteggio) |
1 vCPU e 4 GB di vCPU e 8 GB di vCPU e 16 GB di vCPU e 32 GB di vCPU e 64 GB di RAM |
0.5 1 2 4 8 |
Tuning Studio ' solowatsonx ) |
GPU NVIDIA A100 80GB | 43 |
Consumo di CUH in base alla distribuzione e al tipo di struttura
Il consumo di CUH viene calcolato con queste formule:
Tipo di distribuzione | Framework | Calcolo del CUH |
---|---|---|
Online | AutoAI, AI function, servizio AI, SPSS, librerie personalizzate Scikit-Learn, Tensorflow, RShiny | deployment_active_duration_in_hours * no_of_nodes * CUH_rate_for_capacity_type_framework |
Online | Spark, PMML, Scikit-Learn, Pytorch, XGBoost | score_duration_in_hours * no_of_nodes * CUH_rate_for_capacity_type_framework |
Batch | tutti i quadri | durata del lavoro in ore * numero di nodi * tasso di CUH per il tipo di capacità quadro |
Ad esempio, si consideri un lavoro di distribuzione batch Decision Optimization che viene eseguito per 15 minuti. Il consumo di risorse è calcolato in questo modo: 15 minuti = 0.25 ore, su 2 nodi, con 2 vCPU e 8 GB di RAM. Questa combinazione determina un tasso di CUH di 30, quindi ogni volta che il lavoro viene eseguito consuma 0.25 * 2 * 30, pari a 15 CUH.
Queste tabelle mostrano il calcolo delle unità di capacità per ora per ambienti di apprendimento automatico predefiniti, per tipo di utilizzo.
Unità di capacità all'ora per la formazione, la valutazione o l'attribuzione di punteggi ai modelli
Tipo di capacità | Unità di capacità all'ora |
---|---|
Extra small: 1 vCPU e 4 GB di RAM | 0.5 |
Piccolo: 2 vCPU e 8 GB di RAM | 1 |
Media: 4 vCPU e 16 GB di RAM | 2 |
Grande: 8 vCPU e 32 GB di RAM | 4 |
Extra large: 16 vCPU e 64 GB di RAM | 8 |
Unità di capacità all'ora per gli esperimenti AutoAI
Tipo di capacità | Unità di capacità all'ora |
---|---|
8 vCPU e 32 GB di RAM | 20 |
Unità di capacità all'ora per gli esperimenti di Decision Optimization
Questi piani si applicano agli esperimenti di Decision Optimization eseguiti in watsonx.ai Studio.
Tipo di capacità | Unità di capacità all'ora |
---|---|
Decision Optimization: 2 vCPU e 8 GB di RAM | 6 |
Decision Optimization: 4 vCPU e 16 GB di RAM | 7 |
Decision Optimization: 8 vCPU e 32 GB di RAM | 9 |
Decision Optimization: 16 vCPU e 64 GB di RAM | 13 |
Unità di capacità oraria per l'Decision Optimization in watsonx.ai Runtime
Questi piani si applicano a Decision Optimization distribuita ed eseguita da watsonx.ai Runtime.
Tipo di capacità | Unità di capacità all'ora |
---|---|
Decision Optimization: 2 vCPU e 8 GB di RAM | 30 |
Decision Optimization: 4 vCPU e 16 GB di RAM | 40 |
Decision Optimization: 8 vCPU e 32 GB di RAM | 50 |
Decision Optimization: 16 vCPU e 64 GB di RAM | 60 |
Monitoraggio dell'utilizzo delle risorse
È possibile monitorare l'utilizzo delle risorse per le risorse di cui si è proprietari o su cui si collabora in un progetto o in uno spazio. Se si è proprietari o amministratori di un account, è possibile tenere traccia del CUH per un intero account. Per ulteriori informazioni, vedere Monitoraggio dell'utilizzo delle risorse dell'account.
È possibile monitorare l'utilizzo del runtime per un account nella pagina Environment Runtimes (Runtime dell'ambiente) se si è il proprietario o l'amministratore dell'account IBM Cloud o il proprietario del servizio watsonx.ai Runtime. Per ulteriori informazioni, vedere Monitoraggio delle risorse.
Tracciare il consumo di CUH per l'apprendimento automatico in un notebook
Per calcolare le ore dell'unità di capacità in un notebook, utilizzare:
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Ad esempio:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
rendimenti 5.49 CUH
Per maggiori dettagli, consultare la sezione Istanze di servizio della documentazione dell'API IBM watsonx.ai Runtime .
Ulteriori informazioni
- Dettagli di fatturazione per le risorse di IA generativa
- Opzioni di calcolo per gli esperimenti AutoAI
- Opzioni di calcolo per l'addestramento e il punteggio del modello
Argomento principale: Piani di esecuzione diwatsonx.ai