Rechenressourcenoptionen für den Notebookeditor in Projekten

Wenn Sie Notebooks im Notebook-Editor in einem Projekt ausführen, wählen Sie eine Umgebungsvorlage für die Laufzeitumgebung aus. Die Umgebungsschablone gibt Typ, Größe und Leistung der Hardwarekonfiguration sowie die Softwareschablone an. Für Notebooks enthalten Umgebungsvorlagen eine unterstützte Sprache von Python, R oder Scala.

Umgebungstypen

{: #types}Sie können diese Typen von Umgebungen für das Ausführen des Notizbuchs verwenden:

Die meisten Umgebungstypen für Notebooks verfügen über Standardumgebungsvorlagen, sodass Sie schnell beginnen können. Andernfalls können Sie angepasste Umgebungsvorlagen erstellen.

Umgebungstyp Standardvorlagen Benutzerdefinierte Vorlagen
Anaconda-CPU
Spark-Cluster
Graphic Processing Unit (GPU)

IBM Runtime-Releases

Beginnend mit dem Hinzufügen von Python 3.9 zu Cloud Pak for Data as a Service werden die Vorlagen für die Standardnotebookumgebung als Affiliate eines Laufzeitrelease mit dem Präfix IBM Runtime gefolgt vom Releasejahr und der Releaseversion hinzugefügt.

Ein Laufzeitrelease gibt eine Liste wichtiger Data-Science-Bibliotheken und eine Sprachversion an. Alle Umgebungen eines Laufzeitrelease basieren auf den im Release definierten Bibliotheksversionen und stellen so die konsistente Verwendung von Data-Science-Bibliotheken in allen Data-Science-Anwendungen sicher.

Das erste Laufzeitrelease 2022 ist nur für Python 3.9 verfügbar. Das Präfix des Laufzeitrelease lautet IBM Runtime 22.1.

Während IBM Runtime 22.1 unterstützt wird, aktualisiert IBM die Bibliotheksversionen, um Sicherheitsanforderungen zu erfüllen. Beachten Sie, dass diese Aktualisierungen die <Major>.<Minor>-Versionen der Bibliotheken nicht ändern, sondern nur die <Patch>-Versionen. Dadurch wird sichergestellt, dass Ihre Notebook-Assets weiterhin ausgeführt werden.

Beispiel: IBM Runtime 22.1 unterstützt TensorFlow 2.7 im ersten Release. Bei regelmäßigen Aktualisierungen von Cloud Pak for Data as a Service wird TensorFlow möglicherweise auf Version 2.7.1 oder 2.7.2 aktualisiert, jedoch nicht auf Version 2.8.

Bibliotheken in IBM Runtime 22.1

IBM Runtime 22.1 enthält die folgenden gängigen Data-Science-Bibliothekspakete:

Bibliothek Version
Dali 1.9
Horovod 0.23
Keras 2.7
Lale 0.6
LightGBM 3.3
NumPy 1.20
ONNX 1.10
ONNX-Laufzeit 1.10
OpenCV 4.5
pandas 1.3
PyArrow 5.0
PyTorch 1.10
scikit-learn 1.0
SciPy 1.7
SnapML 1.8
TensorBoard 2.7
TensorFlow 2.7
XGBoost 1.5

IBM Runtime 22.1 enthält neben den in der Tabelle aufgelisteten Bibliotheken eine große Gruppe weiterer nützlicher Bibliotheken. Zum Anzeigen der vollständigen Liste wählen Sie die IBM Runtime 22.1 on Python 3.9-Umgebungsdefinition auf der Seite Umgebungen eines Projekts aus und zeigen die Softwarekonfigurationsdetails an.

Standard-CPU-Umgebungsvorlagen

Sie können eine der folgenden Standardvorlagen für CPU-Umgebungen für Notebooks auswählen. Diese Standardumgebungsvorlagen werden auf der Seite Umgebungen des Projekts aufgelistet.

+ DO Gibt an, dass die Umgebungsvorlagen die CPLEX- und DOcplex-Bibliotheken enthalten, um Probleme bei der Entscheidungsoptimierung zu modellieren und zu lösen, die die Komplexität überschreiten, die von der Community Edition der Bibliotheken in den anderen Python-Standardumgebungen unterstützt wird. Siehe Decision Optimization-Notebooks.

+ Watson NLP Gibt an, dass die Umgebungsvorlagen die Watson Natural Language Processing-Bibliothek mit vorab trainierten Modellen für Sprachverarbeitungstasks enthalten, die Sie für unstrukturierte Daten ausführen können. Siehe Watson Natural Language Processing-Bibliothek verwenden. Diese Standardumgebung sollte groß genug sein, um die vorab trainierten Modelle auszuführen.

# Gibt an, dass sich die Umgebung im restriktiven Modus befindet. Mit dieser Umgebung können Sie keine neuen Notebooks mehr erstellen.

~ Gibt an, dass die Umgebungsvorlagen den Watson Studio-Standard- oder -Enterprise-Plan erfordern. Siehe Angebotspläne.

Name Hardwarekonfiguration CUH-Rate pro Stunde
IBM Runtime 22.1 unter Python 3.9 XXS 1 vCPU und 2 GB RAM 0.5
IBM Runtime 22.1 unter Python 3.9 XS 2 vCPU und 8 GB RAM 2
IBM Runtime 22.1 unter Python 3.9 S 4 vCPU und 16 GB RAM 4
IBM DO Runtime 22.1 unter Python 3.9 2 vCPU und 8 GB RAM 6
Standard Python 3.8 + Watson NLP XS (Beta) 2 vCPU und 8 GB RAM 6
Standard Python 3.8 XXS # 1 vCPU und 4 GB RAM 0.5
Standard Python 3.8 XS # 2 vCPU und 8 GB RAM 2
Standard Python 3.8 XS + DO # 2 vCPU und 8 GB RAM 6
Standard Python 3.8 S # 4 vCPU und 16 GB RAM 4
Default R 3.6 S 4 vCPU und 16 GB RAM 4
Standard R 3.6 M ~ 16 vCPU und 64 GB RAM 8

Sie sollten alle aktiven CPU-Runtimes stoppen, wenn Sie sie nicht mehr benötigen, um zu verhindern, dass zusätzliche Kapazitätseinheitenstunden (CUHs) verbraucht werden. Siehe CPU-Inaktivitätszeitlimit.

Notizbücher und CPU-Umgebungen

Wenn Sie ein Notizbuch im Bearbeitungsmodus in einer CPU-Runtimeumgebung öffnen, stellt genau eine interaktive Sitzung eine Verbindung zu einem Jupyter-Kernel für die Notizbuchsprache und der von Ihnen ausgewählten Umgebungsruntime her. Pro Benutzer und nicht pro Notebook wird eine Laufzeit gestartet. Wenn Sie also ein zweites Notebook mit derselben Umgebungsvorlage in demselben Projekt öffnen, wird ein zweiter Kernel in derselben Laufzeit gestartet. Runtimeressourcen werden gemeinsam genutzt. Laufzeitressourcen werden ebenfalls gemeinsam genutzt, wenn die CPU über GPU verfügt.

Wenn Sie die gemeinsame Nutzung von Laufzeiten vermeiden möchten, aber dieselbe Umgebungsvorlage für mehrere Notebooks in einem Projekt verwenden wollen, müssen Sie angepasste Umgebungsvorlagen mit denselben Spezifikationen erstellen und jedem Notebook eine eigene Definition zuordnen.

Sie können den Kernel bei Bedarf erneut starten oder eine erneute Verbindung zu ihm herstellen. Wenn Sie einen Kernel erneut starten, wird der Kernel gestoppt und dann in derselben Sitzung wieder gestartet, aber alle Ausführungsergebnisse gehen verloren. Wenn Sie nach einem Verbindungsverlust eine neue Verbindung zu einem Kernel herstellen, wird das Notebook mit derselben Kernelsitzung verbunden und alle vorherigen Ausführungsergebnisse sind verfügbar.

Standard-Spark-Umgebungsvorlagen

Sie können eine der folgenden standardmäßigen Spark-Umgebungsvorlagen für Notebooks auswählen. Diese Standardumgebungsvorlagen werden auf der Seite Umgebungen des Projekts aufgelistet.

* Gibt an, dass die Umgebung Bibliotheken aus IBM Runtime 22.1 enthält.

# Gibt an, dass sich die Umgebung im restriktiven Modus befindet. Mit dieser Umgebung können Sie keine neuen Notebooks mehr erstellen.

Name Hardwarekonfiguration CUH-Rate pro Stunde
Standard Spark 3.0 & Python 3.9 *
Standard Spark 3.0 & Python 3.8 #
Standard Spark 3.0 & R 3.6
Standard Spark 3.0 & Scala 2.12
Jeweils 2 Executors: 1 vCPU und 4 GB RAM;
-Treiber: 1 vCPU und 4 GB RAM
1
Standard Spark 2.4 & R 3.6 #
Standard Spark 2.4 & Scala 2.11 #
Jeweils 2 Executors: 1 vCPU und 4 GB RAM;
-Treiber: 1 vCPU und 4 GB RAM
1
Standard Spark 2.3 & Scala 2.11 #
Standard Spark 2.3 & R 2.4 #
Jeweils 2 Executors: 1 vCPU und 4 GB RAM;
-Treiber: 1 vCPU und 4 GB RAM
1

Sie sollten alle aktiven Spark-Laufzeiten stoppen, wenn Sie sie nicht mehr benötigen, um zusätzlichen Verbrauch von Kapazitätseinheiten (CUHs) zu vermeiden. Siehe Spark-Inaktivitätszeitlimit.

Große Spark-Umgebungen

Standard- und Unternehmensplanbenutzer können angepasste Umgebungsvorlagen für größere Spark-Umgebungen erstellen.

Standard- und Unternehmensplanbenutzer können bis zu 35 Executors haben und aus den folgenden Optionen für Treiber und Executor auswählen:

Hardwarekonfiguration
1 vCPU und 4 GB RAM
1 vCPU und 8 GB RAM
1 vCPU und 12 GB RAM

Die CUH-Rate pro Stunde erhöht sich für jede hinzugefügte vCPU um 0,5. Beispiel: 1x Driver: 3vCPU with 12GB of RAM und 4x Executors: 2vCPU with 8GB of RAM sind (3 + (4 * 2)) = 11 vCPUs und 5.5 CUH.

Notebooks und Spark-Umgebungen

Sie können dieselbe Spark-Umgebungsvorlage für mehrere Notebooks auswählen. Jedes Notizbuch, das dieser Umgebung zugeordnet ist, verfügt über einen eigenen dedizierten Spark-Cluster und es werden keine Ressourcen gemeinsam genutzt.

Wenn Sie eine Spark-Umgebung starten, werden zusätzliche Ressourcen für den Jupyter Enterprise Gateway, den Spark Master und die Spark Worker Daemons benötigt. Diese zusätzlichen Ressourcen betragen 1 vCPU und 2 GB RAM für den Treiber und 1 GB RAM für jeden Executor. Sie müssen diese zusätzlichen Ressourcen berücksichtigen, wenn Sie die Hardware-Größe einer Spark-Umgebung auswählen. Wenn Sie beispielsweise ein Notebook erstellen und Default Spark 3.0 & Python 3.9 auswählen, verbraucht der Spark-Cluster 3 vCPUs und 12 GB RAM, aber da 1 vCPU und 4 GB RAM für die zusätzlichen Ressourcen erforderlich sind, sind die für das Notebook verbleibenden Ressourcen 2 vCPU und 8 GB RAM.

Dateisystem in einem Spark-Cluster

Wenn Sie Dateien zwischen Executors und dem Treiber oder Kernel eines Spark-Clusters gemeinsam nutzen möchten, können Sie das gemeinsam genutzte Dateisystem unter /home/spark/shared verwenden.

Wenn Sie eigene angepasste Bibliotheken verwenden wollen, können Sie sie unter /home/spark/shared/user-libs/ speichern. Es gibt vier Unterverzeichnisse unter /home/spark/shared/user-libs/, die vorkonfiguriert sind, um für Python-, R- und Scala- oder Java-Laufzeiten verfügbar zu machen.

In den folgenden Tabellen werden die vorkonfigurierten Unterverzeichnisse aufgelistet, in denen Sie angepasste Bibliotheken hinzufügen können.

Verzeichnis Typ der Bibliothek
/home/spark/shared/user-libs/python3/ Python 3-Bibliotheken
/home/spark/shared/user-libs/R/ R-Pakete
/home/spark/shared/user-libs/spark2/ Java- oder Scala-JAR-Dateien

Gehen Sie wie folgt vor, um Bibliotheken für Spark-Treiber und Executors gemeinsam zu nutzen:

  1. Laden Sie die angepassten Bibliotheken oder JAR-Dateien in das entsprechende vorkonfigurierte Verzeichnis herunter.
  2. Starten Sie den Kernel über das Notebookmenü erneut, indem Sie auf Kernel > Kernel erneut starten klicken. Dadurch werden die angepassten Bibliotheken bzw. JAR-Dateien in Spark geladen.

Beachten Sie, dass diese Bibliotheken nicht persistent sind. Wenn Sie die Umgebungslaufzeit stoppen und später erneut starten, müssen Sie die Bibliotheken erneut laden.

Standard-GPU-Umgebungsdefinitionen

Sie können die folgende Standard-GPU-Umgebungsdefinition für Notebooks auswählen. Diese Standardumgebungsdefinition wird auf der Seite Umgebungen des Projekts aufgelistet.

~ Gibt an, dass die Umgebungsdefinition den Watson Studio-Standard- oder -Enterprise-Plan erfordert. Die CUH-Rate ändert sich am 6. Mai 2022 von 4 auf 6 CUH für Standard- und Enterprise-Pläne. Siehe Angebotspläne.

* Gibt an, dass die Umgebung Bibliotheken aus IBM Runtime 22.1 enthält.

# Gibt an, dass sich die Umgebung im restriktiven Modus befindet. Mit dieser Umgebung können Sie keine neuen Notebooks mehr erstellen.

Name Hardwarekonfiguration CUH-Rate pro Stunde
IBM GPU Runtime 22.1 auf Python 3.9 ~ * 4 vCPU + 24 GB + 0,5 NVIDIA TESLA K80 (1 GPU) 6
Standard-GPU Python 3.8 ~ # 4 vCPU + 24 GB + 0,5 NVIDIA TESLA K80 (1 GPU) 6

Sie sollten alle aktiven GPU-Laufzeiten stoppen, wenn Sie sie nicht mehr benötigen, um den Verbrauch zusätzlicher Kapazitätseinheiten (CUHs) zu vermeiden. Siehe GPU-Inaktivitätszeitlimit.

Notebooks und GPU-Umgebungen

GPU-Umgebungen für Notebooks sind nur für die Region Dallas des IBM Cloud-Service verfügbar.

Sie können die gleiche Python-und GPU-Umgebungsdefinition für mehr als ein Notizbuch in einem Projekt auswählen. In diesem Fall wird jeder Notebook-Kernel in derselben Laufzeitinstanz ausgeführt, und die Ressourcen werden gemeinsam genutzt. Um die gemeinsame Nutzung von Laufzeitressourcen zu vermeiden, erstellen Sie mehrere angepasste Umgebungsdefinitionen mit den gleichen Spezifikationen und ordnen Sie jedes Notizbuch einer eigenen Definition zu.

Standardhardware-Spezifikationen für Scoring-Modelle mit Watson Machine Learning

Wenn Sie die Watson Machine Learning-API in einem Notebook aufrufen, verbrauchen Sie Rechenressourcen aus dem Watson Machine Learning-Service sowie die Rechenressourcen für den Notebook-Kernel.

Sie können eine beliebige der folgenden Hardwarespezifikationen auswählen, wenn Sie eine Verbindung zu Watson Machine Learning herstellen und eine Implementierung erstellen.

Kapazitätsgröße Hardwarekonfiguration CUH-Rate pro Stunde
Besonders klein 1x4 = 1 vCPU und 4 GB RAM 0.5
Klein 2x8 = 2 vCPU und 8 GB RAM 1
Mittel 4x16 = 4 vCPU und 16 GB RAM 2
Groß 8x32 = 8 vCPU und 32 GB RAM 4
Besonders groß (veraltet) 16x64 = 16 vCPU und 64 GB RAM 8

Anmerkung: Die Spezifikation für besonders große Hardware ist veraltet. Die Unterstützung wird am 14. April 2022 eingestellt.

Datendateien in Notizbuchumgebungen

Wenn Sie mit großen Datasets arbeiten, sollten Sie die Datasets in IBM Cloud Object Storage für Ihr Projekt in kleineren Chunks speichern und die Daten im Notebook in Chunks verarbeiten. Alternativ sollten Sie das Notebook in einer Spark-Umgebung ausführen.

Beachten Sie, dass das Dateisystem jeder Laufzeit nicht persistent ist und in den Umgebungen nicht gemeinsam genutzt werden kann. Wenn Sie Dateien in Watson Studio als persistent definieren wollen, sollten Sie IBM Cloud Object Storage verwenden. Die einfachste Möglichkeit, IBM Cloud Object Storage in Notebooks in Projekten zu verwenden, ist die Nutzung des project-lib-Pakets für Python oder des project-lib-Pakets für R.

Rechenleistungsnutzung nach Service

Die Notebook-Laufzeiten verbrauchen Rechenressourcen als CUH von einem dieser Services in Projekten:

  • Watson Studio: während der Ausführung von Standardumgebungen oder angepassten Umgebungen. Sie können die Watson Studio-CUH-Nutzung im Projekt auf der Seite Umgebungen überwachen.
  • IBM Analytics Engine: während der Ausführung eines Notebooks in einer Spark-Umgebung, die vom Service bereitgestellt wird.

Notebooks können auch CUH aus dem Watson Machine Learning-Service verbrauchen, wenn das Notebook Watson Machine Learning aufruft, um ein Modellscoring durchzuführen. Sie können den monatlichen Gesamtverbrauch von CUH für den Watson Machine Learning-Service auf der Seite Umgebungen überwachen.

CUH-Verbrauch für Watson Machine Learning in einem Notebook verfolgen

Führen Sie den folgenden Code im Notebook aus, um die von einem Notebook verbrauchten Capacity-Unit-Stunden (Capacity Unit Hour, CHU) zu berechnen:

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Beispiel:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

Rückgabe: 5,49 CUH

Details finden Sie im Abschnitt zu den Serviceinstanzen in der IBM Watson Machine Learning-API-Dokumentation.

Laufzeitbereich

{: #scope} Umgebungslaufzeiten werden immer einer Umgebungsvorlage und einem Benutzer in einem Projekt zugeordnet. Wenn verschiedene Benutzer in einem Projekt mit derselben Umgebung arbeiten, erhält jeder Benutzer eine separate Laufzeit.

Wenn Sie eine Version eines Notebooks als geplanten Job ausführen lassen, startet jeder geplante Job immer in einer dedizierten Laufzeit. Die Laufzeit wird bei Beendigung des Jobs gestoppt.

Umgebung eines Notebooks ändern

Sie können Umgebungen aus verschiedenen Gründen wechseln, zum Beispiel:

  • Eine Umgebung mit mehr Verarbeitungsleistung oder mehr RAM auswählen.
  • Von der Verwendung einer Umgebung ohne Spark zu einer Spark-Umgebung wechseln.

Sie können nur die Umgebung eines freigegebenen Notebooks ändern. Sie können die Umgebung ändern:

  • Öffnen Sie das Notebook im Bearbeitungsmodus und gehen Sie wie folgt vor:

    1. Speichern Sie die Änderungen im Notebook.
    2. Klicken Sie in der Symbolleiste des Notebooks auf das Symbol für Notebookinformationen (Symbol für Notebookinformationen) und anschließend auf Umgebung. Eine Kurzbeschreibung der Umgebung wird angezeigt.
    3. Wählen Sie eine andere Laufzeit mit Rechenleistung und Speicherkapazität aus der Liste unter Umgebungen aus. Die aktive Laufzeit wird gestoppt und die von Ihnen ausgewählte Laufzeitumgebung wird instanziiert.
    4. Wählen Sie Umgebung ändern aus. Dadurch wird die aktive Laufzeit gestoppt und die neu ausgewählte Umgebung gestartet.
  • Gehen Sie auf der Seite Assets Ihres Projekts wie folgt vor:

    1. Wählen Sie das Notebook im Abschnitt Notebooks aus, klicken Sie auf Aktionen > Umgebung ändern und wählen Sie eine andere Umgebung aus. Der Kern muss gestoppt werden, bevor Sie die Umgebung ändern können. Diese neue Laufzeitumgebung wird instanziiert, wenn das Notebook das nächste Mal zur Bearbeitung geöffnet wird.
  • Im Notebook-Job durch Bearbeiten der Jobschablone. Siehe Jobeinstellungen bearbeiten.

Nächste Schritte

Weitere Informationen

Übergeordnetes Thema: Auswählen von Rechenressourcen für Tools