0 / 0
資料の 英語版 に戻る
プロジェクトでのノートブック・エディターの計算リソース・オプション
最終更新: 2024年11月28日
プロジェクトでのノートブック・エディターの計算リソース・オプション

プロジェクトのノートブック・エディターでノートブックを実行する場合は、ランタイム環境の計算リソースを定義する環境テンプレートを選択します。 環境テンプレートは、ハードウェア構成のタイプ、サイズ、および能力と、ソフトウェア構成を指定します。 ノートブックの場合、環境テンプレートには Python および R のサポート対象言語が含まれています。

環境のタイプ

ノートブックを走らせるのに、このような環境を使うことができる:

  • Anaconda CPU 環境 (標準ワークロードの場合)。
  • Spark 環境(プラットフォームまたはその他のサービスによって提供される並列処理の場合)。
  • GPU 環境 (計算主体の機械学習モデルの場合)。

ノートブックのほとんどの環境タイプにはデフォルトの環境テンプレートがあるため、すぐに開始できます。 それ以外の場合は、 カスタム環境テンプレートを作成できます。

ノートブック用の環境タイプ
環境タイプ デフォルト・テンプレート カスタム・テンプレート
Anaconda CPU
Spark クラスター
GPU

ランタイム・リリース

ノートブックのデフォルト環境は、ランタイム・リリースの関連会社として追加され、接頭部に Runtime が付き、その後にリリース年とリリース・バージョンが続きます。

ランタイム・リリースは、主要なデータ・サイエンス・ライブラリーと言語バージョンのリストを指定します (例: Python 3.10)。 ランタイム・リリースのすべての環境は、そのリリースで定義されているライブラリー・バージョンに基づいて構築されるため、すべてのデータ・サイエンス・アプリケーションでデータ・サイエンス・ライブラリーを一貫して使用することができます。

24.1ランタイムのリリースは、PythonとRの異なるバージョンに対応しています。

注:

IBMRuntime23.1には制約があります。 2024年11月21日以降、23.1ランタイムを使用して新しいノートブックやカスタム環境を作成することはできません。 また、23.1ランタイムに基づくソフトウェア仕様で新しいデプロイメントを作成することはできません。 シームレスなエクスペリエンスを保証し、最新の機能と改善を活用するには、IBMRuntime24.11に切り替えてください。 この変更は、Cloud Pak for Data as a ServiceおよびIBM watsonx as a Service 上のwatsonx.aiStudio に適用されます。

ランタイム・リリースがサポートされていますが、 IBM は、セキュリティー要件に対応するためにライブラリー・バージョンを更新します。 これらの更新では、ライブラリーの <Major>.<Minor> バージョンは変更されず、 <Patch> バージョンのみが変更されることに注意してください。 これにより、ノートブック資産が引き続き実行されます。

ランタイムに組み込まれているライブラリー・パッケージ

watsonx.aiStudio ランタイムに含まれる一般的なデータサイエンス・ライブラリ・パッケージのバージョンは、以下の表を参照のこと:

表 1. さまざまなランタイムリリースのパッケージとそのバージョンPython
ライブラリー ランタイム24.1の上Python3.11
Keras 2.14.0
Lale 0.8.x
LightGBM 4.2.0
NumPy 1.26.4
ONNX 1.16
ONNX ランタイム 1.16.3
OpenCV 4.8.1
pandas 2.1.4
PyArrow 15.0.1
PyTorch 2.1.2
scikit-learn 1.3.0
SciPy 1.11.4
SnapML 1.14.6
TensorFlow 2.14.1
XGBoost 2.0.3
表 2. R のさまざまなランタイム リリースのパッケージとそのバージョン
ライブラリー ランタイム24.1 Rで4.3
矢印 15.0
自動車 3.1
キャレット (挿入ポイント) 6.0
カツール 1.18
予測 8.21
ggplot2 3.4
グルムネット 4.1
HMISC 5.1
Keras 2.13
lme4 1.1
ムヴトノーム 1.2
パンドック 2.12
サイク 2.3
ニシキヘビ 3.11
ランダムフォレスト 4.7
網状 1.34
サンドイッチ 3.0
scikit-learn 1.3
空間 7.3
Tensorflow 2.15
ティディル 1.3
XGBoost 1.7

表にリストされているライブラリーに加えて、ランタイムには他の多くの便利なライブラリーが含まれています。 完全なリストを表示するには、プロジェクトの 「管理」 タブを選択し、 「テンプレート」をクリックし、 「環境」 タブを選択して、リストされている環境のいずれかをクリックします。

CPU 環境テンプレート

ノートブック用に以下のいずれかのデフォルト CPU 環境テンプレートを選択できます。 デフォルトの環境テンプレートは、プロジェクトの 「管理」 タブの 「環境」 ページの 「テンプレート」 の下にリストされます。

DO は、他のデフォルト Python 環境のライブラリーの Community Edition でサポートされている複雑さを超える意思決定最適化問題をモデル化して解決するために、環境テンプレートに CPLEX および DOcplex ライブラリーが含まれていることを示します。 Decision Optimization ノートブックを参照してください。

NLPは非構造化データに対して実行できる言語処理タスク用の事前トレーニング済みモデルを備えた Watson Natural Language Processing ライブラリーが環境テンプレートに含まれていることを示します。 Watson Natural Language Processing ライブラリーの使用を参照してください。 このデフォルト環境は、事前にトレーニングされたモデルを実行するのに十分な大きさでなければなりません。

ノートブック用のデフォルト CPU 環境テンプレート
名前 ハードウェア構成 1 時間当たりの CUH 率
ランタイム24.1の上Python3.10サイズ 1 vCPU および 4 GB RAM 0.5
ランタイム24.1の上Python3.10サイズ 2 vCPU および 8 GB RAM 1
ランタイム24.1の上Python3.10ス 4 vCPU および 16 GB RAM 2
NLP + DO ランタイム24.1の上Python3.11サイズ 2 vCPU および 8 GB RAM 6
ランタイム24.1 Rで4.3ス 4 vCPU および 16 GB RAM 2

キャパシティー・ユニット時間 (CUH) が余分に消費されないように、アクティブな CPU ランタイムが不要になったらすべて停止します。 CPU アイドル・タイムアウトを参照してください。

ノートブックおよび CPU 環境

CPU ランタイム環境で編集モードでノートブックを開いた場合、1 つの対話式セッションのみが、ノートブック言語用の Jupyter カーネルと、選択した環境ランタイムに接続します。 ランタイムは、ノートブックごとではなく、単一ユーザーごとに開始されます。 つまり、同じプロジェクト内の同じ環境テンプレートを使用して 2 つ目のノートブックを開くと、同じランタイムで 2 つ目のカーネルが開始されます。 ランタイム・リソースは、ランタイムで起動するJupyterカーネルによって共有される。 詳しくは、 ランタイム・スコープを参照してください。

必要であれば、カーネルを再始動したり、カーネルに再接続したりすることができます。 カーネルを再始動すると、カーネルは停止されてから再び同じセッションで開始されますが、実行結果はすべて失われます。 接続が失われた後にカーネルに再接続した場合、ノートブックは同じカーネル・セッションに接続され、保存されていた以前のすべての実行結果が使用可能です。

Spark 環境テンプレート

ノートブック用に、以下のいずれかのデフォルト Spark 環境テンプレートを選択できます。 デフォルトの環境テンプレートは、プロジェクトの 「管理」 タブの 「環境」 ページの 「テンプレート」 の下にリストされます。

ノートブック用のデフォルト Spark 環境テンプレート
名前 ハードウェア構成 1 時間当たりの CUH 率
Default Spark 3.4 & Python 3.10 2 Executors each: 1 vCPU and 4 GB RAM;
Driver: 1 vCPU and 4 GB RAM
1
Default Spark 3.4 & R 4.2 2 Executors each: 1 vCPU and 4 GB RAM;
Driver: 1 vCPU and 4 GB RAM
1

キャパシティー・ユニット時間 (CUH) が余分に消費されないように、アクティブな Spark ランタイムが不要になったら、それらをすべて停止します。 Spark アイドル・タイムアウトを参照してください。

大規模な Spark 環境

watsonx.aiStudio Professional プランをご利用の場合は、大規模な Spark 環境用のカスタム環境テンプレートを作成できます。

プロフェッショナル・プランのユーザーは、最大 35 個の実行プログラムを持つことができ、ドライバーと実行プログラムの両方について以下のオプションから選択できます。

Spark 環境のハードウェア構成
ハードウェア構成
1 vCPU および 4 GB RAM
2 vCPU および 8 GB RAM
3 個の vCPU および 12 GB の RAM

1 時間当たりの CUH 率は、追加される vCPU ごとに 0.5 ずつ増加します。 例えば、 1x Driver: 3vCPU with 12GB of RAM4x Executors: 2vCPU with 8GB of RAM は、 (3 + (4 * 2)) = 11 vCPUs5.5 CUHに相当します。

ノートブックおよび Spark 環境

複数のノートブックに対して同じ Spark 環境テンプレートを選択できます。 その環境に関連付けられているすべてのノートブックには専用の Spark クラスターがあり、リソースは共有されません。

Spark 環境を開始すると、Jupyter Enterprise Gateway、Spark マスター、および Spark ワーカー・デーモン用に追加のリソースが必要になります。 これらの追加リソースの量は、ドライバー用に 1 つの vCPU と 2 GB の RAM、各実行プログラム用に 1 GB の RAM です。 Spark 環境のハードウェア・サイズを選択する際には、これらの追加リソースを考慮する必要があります。 例えば、ノートブックを作成して Default Spark 3.4 & Python 3.10を選択すると、Spark クラスターは 3 vCPU と 12 GB RAM を消費しますが、追加リソースには 1 vCPU と 4 GB RAM が必要になるため、ノートブックの残りのリソースは 2 vCPU と 8 GB RAM になります。

Spark クラスター上のファイル・システム

実行プログラムと、Spark クラスターのドライバーまたはカーネルの間でファイルを共有する場合は、 /home/spark/sharedで共有ファイル・システムを使用できます。

独自のカスタム・ライブラリーを使用する場合は、 /home/spark/shared/user-libs/に保存できます。 /home/spark/shared/user-libs/ の下には、 Python および R または Java ランタイムで使用できるように事前構成された 4 つのサブディレクトリーがあります。

以下の表は、カスタム・ライブラリーを追加できる、事前構成されたサブディレクトリーをリストしています。

表 5. カスタム・ライブラリー用に事前構成されたサブディレクトリー
ディレクトリー ライブラリーのタイプ
/home/spark/shared/user-libs/python3/ Python 3 ライブラリー
/home/spark/shared/user-libs/R/ R パッケージ
/home/spark/shared/user-libs/spark2/ Java JAR ファイル

Spark ドライバーおよび実行プログラムの間でライブラリーを共有するには、以下のようにします。

  1. カスタム・ライブラリーまたは JAR ファイルを該当する事前構成ディレクトリーにダウンロードします。
  2. カーネル > カーネルの再始動をクリックして、ノートブック・メニューからカーネルを再始動してください。 これにより、カスタム・ライブラリーまたは JAR ファイルが Spark にロードされます。

これらのライブラリーは永続的には保存されないことに注意してください。 環境ランタイムを停止して、後で再始動する場合は、ライブラリーを再度ロードする必要があります。

GPU 環境テンプレート

ノートブック用に以下の GPU 環境テンプレートを選択できます。 環境テンプレートは、プロジェクトの 「管理」 タブの 「環境」 ページの 「テンプレート」 の下にリストされます。

GPU 環境テンプレート名は、アクセラレーターの能力を示します。 GPU 環境テンプレートには、非構造化データに対して実行できる言語処理タスク用の事前トレーニング済みモデルを備えた Watson Natural Language Processing ライブラリーが含まれています。 Watson Natural Language Processing ライブラリーの使用を参照してください。

~ 環境テンプレートにはwatsonx.aiStudio Professional プランが必要であることを示します オファリング・プランを参照してください。

ノートブック用のデフォルト GPU 環境テンプレート
名前 ハードウェア構成 1 時間当たりの CUH 率
グラフィックプロセッサV100ランタイム24.1の上Python3.11 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
グラフィックプロセッサ2xV100ランタイム24.1の上Python3.11 80 vCPU および 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

余分のキャパシティー・ユニット時間 (CUH) が消費されないように、不要になったアクティブな GPU ランタイムをすべて停止します。 GPU アイドル・タイムアウトを参照してください。

ノートブックおよび GPU 環境

ノートブック用の GPU 環境は、ダラスの IBM Cloud サービス・リージョンでのみ使用できます。

プロジェクト内の複数のノートブックに対して、同じ Python および GPU 環境テンプレートを選択できます。 この場合、すべてのノートブック・カーネルは同じランタイム・インスタンスで実行され、リソースは共有されます。 ランタイム・リソースを共有しないようにするには、同じ仕様で複数のカスタム環境テンプレートを作成し、各ノートブックを独自のテンプレートに関連付けます。

watsonx.aiランタイムを使用した採点モデルのデフォルトハードウェア仕様

ノートブック内でwatsonx.aiRuntime API を呼び出すと、watsonx.aiRuntime サービスの計算リソースとノートブックカーネルの計算リソースが消費されます。

watsonx.aiRuntime に接続し、配置を作成するときに、以下のハードウェア仕様 のいずれかを選択できます。

ノートブックでwatsonx.aiRuntime サービスを呼び出す際に利用可能なハードウェア仕様
キャパシティーのサイズ ハードウェア構成 1 時間当たりの CUH 率
極小 1x4 = 1 個の vCPU および 4 GB の RAM 0.5
2x8 = 2 個の vCPU および 8 GB の RAM 1
4x16 = 4 個の vCPU および 16 GB の RAM 2
8x32 = 8 個の vCPU および 32 GB の RAM 4

ノートブック環境のデータ・ファイル

大規模なデータ・セットを処理する場合、プロジェクトに関連付けられている IBM Cloud Object Storage に小さいチャンクでデータ・セットを保管し、ノートブックでチャンクごとにデータを処理する必要があります。 あるいは、Spark 環境でノートブックを実行する必要があります。

各ランタイムのファイル・システムは非永続であり、環境間で共有することはできないので注意してください。 watsonx.aiStudio でファイルを永続化するには、IBM Cloud Object Storageを使用する必要があります。 プロジェクトのノートブックで IBM Cloud Object Storage を使用する最も簡単な方法は、 Python 用の project-lib パッケージ または R 用の project-lib パッケージを活用することです。

サービスによるコンピュート使用量

ノートブックのランタイムは、デフォルトまたはカスタム環境を実行しながら、watsonx.aiStudioからCUHとして計算リソースを消費します。 プロジェクトのManageタブにあるResource usageページで、プロジェクト内のwatsonx.aiStudio の CUH 消費量を監視できます。

ノートブックがモデルを採点するために'watsonx.aiランタイムを呼び出すとき、ノートブックは'watsonx.aiランタイムサービスからCUHを消費することもできます。 プロジェクトのManageタブにあるResource usageページで、watsonx.aiRuntime サービスの月間 CUH 消費量の合計を監視できます。

ノートブックでwatsonx.aiランタイムの CUH 消費量を追跡する

ノートブックによって消費されるキャパシティー・ユニット時間を計算するには、ノートブックで次のコードを実行します。

CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

次に例を示します。

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

結果: 5.49 CUH

詳細については、IBM watsonx.aiRuntime APIドキュメントの Service Instances セクションを参照してください。

ランタイム・スコープ

環境ランタイムのスコープは、常にプロジェクト内の環境テンプレートとユーザーに設定されます。 プロジェクト内の複数のユーザーが同じ環境で作業した場合、各ユーザーに別個のランタイムが付与されます。

スケジュールされたジョブとしてノートブックの特定のバージョンを実行するように選択した場合、スケジュールされたジョブはそれぞれ、専用ランタイムで常に開始します。 ジョブが完了すると、ランタイムは停止します。

ノートブックの環境の変更

さまざまな理由で環境を切り替えることができます。例えば、以下を実行できます。

  • さらに多くの処理能力または RAM を備えた環境を選択する
  • Spark を使用しない環境から Spark 環境に変更する

ノートブックがロック解除されている場合にのみ、ノートブックの環境を変更できます。 環境は以下のように変更できます:

  • 編集モードで開いたノートブックから、以下を行います。

    1. ノートブックの変更を保存します。
    2. ノートブックツールバーのノートブック情報アイコン「ノートブック情報アイコン」をクリックし、「環境」をクリックします。
    3. 計算能力とメモリー容量を持つ別のテンプレートをリストから選択してください。
    4. 環境の変更を選択してください。 これにより、アクティブなランタイムが停止し、新しく選択された環境が始動します。
  • プロジェクトの 資産 ページから、以下のようにします:

    1. 「ノートブック」セクションでノートブックを選択し、 アクション > 環境の変更 をクリックして、別の環境を選択してください。 環境を変更するには、kernel を停止しておく必要があります。 次回ノートブックが編集用に開かれると、この新しいランタイム環境がインスタンス化されます。
  • ノートブック・ジョブで、ジョブ・テンプレートを編集します。 ジョブ設定の編集を参照してください。

次のステップ

もっと見る

親トピック: ツールのコンピュート・リソース

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細