Wenn Sie ein Modell oder eine Funktion trainieren oder scoren, wählen Sie den Typ, die Größe und die Leistung der Hardwarekonfiguration aus, die mit Ihren Rechenanforderungen übereinstimmt.
StandardHardwarekonfigurationen
Wählen Sie die Hardwarekonfiguration für Ihr watsonx.ai Runtime-Asset, wenn Sie das Asset trainieren oder es bereitstellen.
| Kapazitätstyp | Capacity-Units pro Stunde |
|---|---|
| Besonders klein: 1x4 = 1 vCPU und 4 GB RAM | 0.5 |
| Klein: 2x8 = 2 vCPU und 8 GB RAM | 1 |
| Mittel: 4x16 = 4 vCPU und 16 GB RAM | 2 |
| Groß: 8x32 = 8 vCPU und 32 GB RAM | 4 |
| Besonders groß: 16x64 = 16 vCPU und 64 GB RAM | 8 |
Berechnung der Nutzung von watsonx.ai Runtime-Assets
Deployments und Scoring verbrauchen Compute-Ressourcen in Form von Capacity Unit Hours (CUH) vom watsonx.ai Runtime Service.
Um den gesamten monatlichen CUH-Verbrauch für Ihre watsonx.ai Runtime Services zu überprüfen, wählen Sie im Navigationsmenü Administration -> Environment runtimes.
Darüber hinaus können Sie die monatliche Ressourcennutzung in jedem bestimmten Bereitstellungsbereich überwachen. Wechseln Sie dazu in Ihrem Bereitstellungsbereich zur Registerkarte Verwalten und wählen Sie Ressourcennutzungaus. Die Zusammenfassung zeigt CUHs, die nach Bereitstellungstyp verwendet werden: separat für AutoAI -Bereitstellungen, Federated Learning-Bereitstellungen, Stapelbereitstellungen und Onlinebereitstellungen.
Verwendungsdetails berechnen
Die Rate der verbrauchten CUHs wird durch die Rechenanforderungen Ihrer Implementierungen bestimmt. Sie basiert auf Variablen wie den folgenden:
- Implementierungstyp
- Frameworktyp
- Komplexität des Scorings Skalieren einer Bereitstellung, um mehr gleichzeitig angemeldete Benutzer und Anforderungen zu unterstützen, erhöht auch den CUH-Verbrauch. Da sich viele Variablen auf die Ressourcenauslastung für eine Bereitstellung auswirken, wird empfohlen, Tests für Ihre Modelle und Bereitstellungen auszuführen, um die CUH-Nutzung zu analysieren.
Die Art und Weise, wie Online-Bereitstellungen Kapazitätseinheiten verbrauchen, basiert auf einem Framework. Bei einigen Frameworks werden CUHs für die Anzahl der Stunden berechnet, die das Bereitstellungsasset in einem Bereitstellungsbereich aktiv ist. Beispiel: SPSS -Modelle im Onlinebereitstellungsmodus, die 24 Stunden am Tag, sieben Tage die Woche, ausgeführt werden, CUHs verbrauchen und für diesen Zeitraum berechnet werden. Eine aktive Onlineimplementierung hat keine Leerlaufzeit. Für andere Frameworks werden CUHs entsprechend der Scoring-Dauer berechnet. Details zur Berechnung der CUH-Nutzung finden Sie in der Tabelle zur CUH-Nutzung.
Die Rechenzeit wird auf die Millisekunde mit einem Minimum von 1 Minute für jede einzelne Operation berechnet. Beispiel:
- Ein Trainingslauf, der 12 Sekunden dauert, wird als 1 Minute berechnet.
- Ein Trainingslauf, der 83.555 Sekunden dauert, wird genau wie berechnet berechnet.
CUH-Verbrauch nach Implementierungs-und Framework-Typ
Der CUH-Verbrauch wird mithilfe der folgenden Formeln berechnet:
| Bereitstellungstyp | Framework | Berechnung der CUH |
|---|---|---|
| Online | AutoAI, AI Funktion, SPSS, Scikit-Erfahren Sie benutzerdefinierte Bibliotheken, Tensorflow, RShiny | Aktive Bereitstellungsdauer * Anzahl der Knoten * CUH-Rate für Kapazitätstyp-Framework |
| Online | Spark, PMML, Scikit-Learn, Pytorch, XGBoost | Bewertungsdauer in Sekunden * Anzahl der Knoten * CUH-Rate für Kapazitätstyp-Framework |
| Stapel- | Alle Frameworks | Jobdauer in Sekunden * Anzahl der Knoten * CUH-Rate für Kapazitätstyp-Framework |
Weitere Informationen
Übergeordnetes Thema: Vorhersagebereitstellungen verwalten