Quando si distribuiscono determinate risorse in watsonx.ai Runtime, è possibile scegliere il tipo, la dimensione e la potenza della configurazione hardware che corrisponde alle proprie esigenze di elaborazione.
Creazione di specifiche hardware per le distribuzioni
È possibile creare specifiche hardware per le proprie distribuzioni nei modi seguenti:
- Python : utilizzare la funzione
hardware_specifications.storedalla libreria client Python . Per ulteriori informazioni, consultare Python client library reference - API Data and AI Common Core: Utilizzare '
POST /v2/hardware_specificationsdall'elenco Environments dell'API Data and AI Common Core per creare una specifica hardware. Per ulteriori informazioni, vedi Environments API reference.
Tipi di distribuzione che richiedono specifiche hardware
La selezione di una specifica hardware è disponibile per tutti i tipi di distribuzione batch . Per le distribuzioni online, puoi selezionare una specifica hardware se stai distribuendo:
- Funzioni Python
- Modelli Tensorflow
- Modelli con specifiche software personalizzate
Configurazioni hardware disponibili per la distribuzione di asset
XS: 1x4 = 1 vCPU e 4 GB di RAMS: 2x8 = 2 vCPU e 8 GB RAMM: 4x16 = 4 vCPU e 16 GB RAML: 8x32 = 8 vCPU e 32 GB RAMXL: 16x64 = 16 vCPU e 64 GB RAM
È possibile utilizzare la configurazione XS per distribuire:
- Funzioni Python
- Script Python
- Script R
- Modelli basati su librerie e immagini personalizzate
Per le distribuzioni Decision Optimization , è possibile utilizzare le seguenti specifiche hardware:
SMLXL
Specifiche hardware per l'inferenza GPU
A partire dalla versione 4.8.5 di Cloud Pak for Data, è possibile selezionare le specifiche hardware della GPU per le specifiche software CUDA dall'interfaccia utente della piattaforma 'x86 quando si crea un'installazione client.
Utilizzare le seguenti specifiche hardware predefinite per l'inferenza GPU:
Ulteriori informazioni
Argomento principale: Gestione delle distribuzioni predittive