Wenn Sie bestimmte Assets in watsonx.ai Runtime einsetzen, können Sie den Typ, die Größe und die Leistung der Hardwarekonfiguration wählen, die Ihren Anforderungen entspricht.
Hardwarespezifikationen für Implementierungen erstellen
Sie können Hardwarespezifikationen für Ihre Implementierungen wie folgt erstellen:
- Python -Clientbibliothek: Verwenden Sie die Funktion
hardware_specifications.store
aus der Clientbibliothek Python . Weitere Informationen finden Sie unter Python Client Library Reference . - Data and AI Common Core API: Verwenden Sie "
POST /v2/hardware_specifications
aus der Umgebungsliste in der Data and AI Common Core API, um eine Hardwarespezifikation zu erstellen. Weitere Informationen finden Sie unter Environments API Reference.
Implementierungstypen, die Hardwarespezifikationen erfordern
Die Auswahl einer Hardwarespezifikation ist für alle Batchbereitstellungstypen verfügbar. Für Onlinebereitstellungenkönnen Sie eine bestimmte Hardwarespezifikation auswählen, wenn Sie die Bereitstellung durchführen:
- Python-Funktionen
- Tensorflow -Modelle
- Modelle mit angepassten Softwarespezifikationen
Verfügbare Hardwarekonfigurationen für die Implementierung von Assets
XS
: 1x4 = 1 vCPU und 4 GB RAMS
: 2x8 = 2 vCPU und 8 GB RAMM
: 4x16 = 4 vCPU und 16 GB RAML
: 8x32 = 8 vCPU und 32 GB RAMXL
: 16x64 = 16 vCPU und 64 GB RAM
Sie können die XS
-Konfiguration verwenden, um Folgendes zu implementieren:
- Python-Funktionen
- Python-Scripts
- R-Scripts
- Modelle auf der Basis angepasster Bibliotheken und angepasster Images
Für Decision Optimization -Implementierungen können Sie die folgenden Hardwarespezifikationen verwenden:
S
M
L
XL
Hardwarespezifikationen für GPU-Inferenzen
Ab Cloud Pak for Data Version 4.8.5 können Sie GPU-Hardware-Spezifikationen für CUDA-Software-Spezifikationen von der Benutzeroberfläche auf der " x86
auswählen, wenn Sie eine Bereitstellung erstellen.
Verwenden Sie die folgenden vordefinierten Hardwarespezifikationen für GPU-Inferenzen:
Weitere Informationen
Übergeordnetes Thema: Vorhersagebereitstellungen verwalten