Erfahren Sie, wie die Auslastung von Anlagen für maschinelles Lernen anhand von Kapazitätsstunden (CUH) gemessen wird.
watsonx.ai Laufzeitrechnernutzung und Preise
watsonx.ai Runtime Compute Usage berechnet sich aus der Anzahl der Capacity Unit Hours (CUH), die von einer aktiven Machine Learning Instanz verbraucht werden. Die Menge der pro Stunde verbrauchten Capacity-Units hängt von den Datenverarbeitungsanforderungen Ihre Machine Learning-Assets und -Modelle ab. Ein Modell mit einem großen und umfangreichen Dataset beispielsweise verbraucht mehr Trainingsressourcen als ein Modell mit einem kleineren und einfacheren Dataset. Beachten Sie, dass die Skalierung einer Implementierung zur Unterstützung mehrerer gleichzeitig angemeldeter Benutzer und Anforderungen auch den CUH-Verbrauch erhöht.
Für alle Pläne:
- Der Verbrauch der Kapazitätseinheit pro Stunde (CUH) für das Training basiert auf dem Trainingstool, der Hardwarespezifikation und der Laufzeitumgebung.
- Der Verbrauch an Kapazitätsstunden (CUH) für die Bereitstellung hängt von der Art der Bereitstellung, den Hardware- und Softwarespezifikationen ab.
- watsonx.ai Runtime begrenzt die Anzahl der Verteilungsaufträge, die für jeden einzelnen Verteilungsraum gespeichert werden. Wenn Sie Ihr Limit überschreiten, können Sie keine neuen Verteilungsaufträge erstellen, bis Sie bestehende Aufträge löschen oder Ihren Plan aktualisieren. Standardmäßig werden die Metadaten für Jobs nach 30 Tagen automatisch gelöscht. Sie können diesen Wert überschreiben, wenn Sie einen Job erstellen. Siehe Jobs verwalten.
- Die Zeit bis zum Leerlauf bezieht sich auf die Zeitspanne, in der ein Einsatz zwischen den Scoring-Anfragen als aktiv betrachtet wird. Wenn eine Implementierung keine Scoring-Anforderungen für eine bestimmte Dauer empfängt, wird sie als inaktiv oder inaktiv behandelt, und die Fakturierung wird für alle anderen Frameworks als SPSS gestoppt.
- Ein Plan sieht mindestens die angegebene Ratengrenze vor, und die tatsächliche Ratengrenze kann höher sein als die angegebene Grenze. Der Lite-Plan kann beispielsweise mehr als 2 Anfragen pro Sekunde verarbeiten, ohne dass ein Fehler auftritt. Wenn Sie einen kostenpflichtigen Tarif haben und glauben, dass Sie irrtümlich das Tariflimit erreichen, wenden Sie sich bitte an den IBM Support, um Unterstützung zu erhalten.
- Die Rechenzeit wird bis auf die Millisekunde genau berechnet. Pro Operation gilt jedoch ein Mindestwert von einer Minute. Ein Trainingslauf, der nach 12 Sekunden abgeschlossen ist, wird also gegenüber dem Capacity-Unit-Stundenkontingent als eine Minute abgerechnet, während für einen Trainingslauf, der 83.555 Sekunden benötigt, genau dieser Wert abgerechnet wird.
- Die Art und Weise, wie Online-Bereitstellungen Kapazitätseinheiten verbrauchen, basiert auf einem Framework. Für einige Frameworks wird CUH für die Anzahl der Stunden berechnet, die die Implementierungsressource in einem Implementierungsbereich aktiv ist. Beispiel: SPSS-Modelle im Onlinebereitstellungsmodus, die 24 Stunden täglich für sieben Tage pro Woche ausgeführt werden, verbrauchen Capacity-Unit-Stunden und werden für diesen Zeitraum berechnet. Es ist keine Leerlaufzeit für eine aktive Online-Implementierung vorhanden. Bei anderen Frameworks wird CUH nach Scoring-Dauer berechnet. Details zur Berechnung der CUH-Tabelle finden Sie in der Tabelle CUH-Tabelle.
CUH-Verbrauchsraten nach Art der Anlage
Assettyp | Kapazitätstyp | Capacity-Units pro Stunde |
---|---|---|
AutoAI-Experiment | 8 vCPU und 32 GB RAM | 20 |
Schulung zur Decision Optimization | 2 vCPU und 8 GB vCPU und 16 GB vCPU und 32 GB vCPU und 64 GB RAM |
6 7 9 13 |
Einsatz von Decision Optimization | 2 vCPU und 8 GB vCPU und 16 GB vCPU und 32 GB vCPU und 64 GB RAM |
30 40 50 60 |
Modelle des Machine Learning (Training, Bewertung oder Scoring) |
1 vCPU und 4 GB vCPU und 8 GB vCPU und 16 GB vCPU und 32 GB vCPU und 64 GB RAM |
0.5 1 2 4 8 |
Tuning Studio ' nurwatsonx ) |
NVIDIA A100 80GB GPU | 43 |
CUH-Verbrauch nach Implementierungs-und Framework-Typ
Der CUH-Verbrauch wird mit Hilfe dieser Formeln berechnet:
Bereitstellungstyp | Framework | Berechnung der CUH |
---|---|---|
Online | AutoAI, AI Funktion, SPSS, Scikit-Erfahren Sie benutzerdefinierte Bibliotheken, Tensorflow, RShiny | deployment_active_duration_in_hours * no_of_nodes * CUH_rate_for_capacity_type_framework |
Online | Spark, PMML, Scikit-Learn, Pytorch, XGBoost | score_dauer_in_stunden * no_of_nodes * CUH_rate_für_kapazitätsart_framework |
Batch | Alle Frameworks | job_duration_in_hours * no_of_nodes * CUH_rate_for_capacity_type_framework |
Nehmen wir zum Beispiel einen Batch-Bereitstellungsauftrag Decision Optimization, der 15 Minuten lang läuft. Der Ressourcenverbrauch wird wie folgt berechnet: 15 Minuten = 0.25 Stunden, auf 2 Knoten, mit 2 vCPU und 8 GB RAM. Diese Kombination ergibt eine CUH-Rate von 30, d. h. bei jeder Ausführung des Auftrags werden 0.25 * 2 * 30 verbraucht, was 15 CUH entspricht.
Diese Tabellen zeigen die Berechnung der Kapazitätseinheiten pro Stunde für vordefinierte maschinelle Lernumgebungen, aufgeschlüsselt nach Nutzungsart.
Capacity-Units pro Stunde für das Trainieren, Evaluieren und Scoren von Modellen
Kapazitätstyp | Capacity-Units pro Stunde |
---|---|
Extra klein: 1 vCPU und 4 GB RAM | 0.5 |
Klein: 2 vCPU und 8 GB RAM | 1 |
Mittel: 4 vCPU und 16 GB RAM | 2 |
Groß: 8 vCPU und 32 GB RAM | 4 |
Extra groß: 16 vCPU und 64 GB RAM | 8 |
Capacity-Units pro Stunde für AutoAI-Experimente
Kapazitätstyp | Capacity-Units pro Stunde |
---|---|
8 vCPU und 32 GB RAM | 20 |
Kapazitätseinheiten pro Stunde für Experimente Decision Optimization
Diese Pläne gelten für Decision Optimization, die in watsonx.ai Studio ausgeführt werden.
Kapazitätstyp | Capacity-Units pro Stunde |
---|---|
Decision Optimization: 2 vCPU und 8 GB RAM | 6 |
Decision Optimization: 4 vCPU und 16 GB RAM | 7 |
Decision Optimization: 8 vCPU und 32 GB RAM | 9 |
Decision Optimization: 16 vCPU und 64 GB RAM | 13. |
Kapazitätseinheiten pro Stunde für die Decision Optimization in watsonx.ai Runtime
Diese Pläne gelten für die Decision Optimization, die über watsonx.ai Runtime bereitgestellt und ausgeführt wird.
Kapazitätstyp | Capacity-Units pro Stunde |
---|---|
Decision Optimization: 2 vCPU und 8 GB RAM | 30 Stunden |
Decision Optimization: 4 vCPU und 16 GB RAM | 40 |
Decision Optimization: 8 vCPU und 32 GB RAM | 50 |
Decision Optimization: 16 vCPU und 64 GB RAM | 60.000 |
Ressourcennutzung überwachen
Sie können die Ressourcennutzung für Assets verfolgen, die Ihnen gehören oder an denen Sie in einem Projekt oder Raum mitarbeiten. Als Kontoinhaber oder Administrator können Sie die CUH für ein ganzes Konto verfolgen. Weitere Informationen finden Sie unter Überwachung der Kontoressourcennutzung.
Sie können die Laufzeitnutzung für ein Konto auf der Seite Environment Runtimes verfolgen, wenn Sie der Eigentümer oder Administrator des IBM Cloud oder der Eigentümer des watsonx.ai Runtime-Service sind. Weitere Informationen finden Sie unter Überwachung von Ressourcen.
Verfolgung des CUH-Verbrauchs für maschinelles Lernen in einem Notebook
Um die Stunden der Kapazitätseinheit in einem Notizbuch zu berechnen, verwenden Sie:
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Beispiel:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
Rückgabe: 5,49 CUH
Details finden Sie im Abschnitt Service Instances der IBM watsonx.ai Runtime API Dokumentation.
Weitere Informationen
- Abrechnungsdetails für generative AI-Assets
- Berechnungsoptionen für AutoAI-Experimente
- Rechenoptionen für Modelltrainings und Scoring
Übergeordnetes Thema: watsonx.ai Laufzeitpläne