0 / 0
資料の 英語版 に戻る
プロジェクトでのノートブック・エディターの計算リソース・オプション

プロジェクトでのノートブック・エディターの計算リソース・オプション

プロジェクトのノートブック・エディターでノートブックを実行する場合は、ランタイム環境の計算リソースを定義する環境テンプレートを選択します。 環境テンプレートは、ハードウェア構成のタイプ、サイズ、および能力と、ソフトウェア構成を指定します。 ノートブックの場合、環境テンプレートには Python および R のサポート対象言語が含まれています。

環境のタイプ

ノートブックを実行するために、以下のタイプの環境を使用できます。

  • Anaconda CPU 環境 (標準ワークロードの場合)。
  • Spark 環境(プラットフォームまたはその他のサービスによって提供される並列処理の場合)。
  • GPU 環境 (計算主体の機械学習モデルの場合)。

ノートブックのほとんどの環境タイプにはデフォルトの環境テンプレートがあるため、すぐに開始できます。 それ以外の場合は、 カスタム環境テンプレートを作成できます。

ノートブック用の環境タイプ
環境タイプ デフォルト・テンプレート カスタム・テンプレート
Anaconda CPU
Spark クラスター
GPU

ランタイム・リリース

ノートブックのデフォルト環境は、ランタイム・リリースの関連会社として追加され、接頭部に Runtime が付き、その後にリリース年とリリース・バージョンが続きます。

ランタイム・リリースは、主要なデータ・サイエンス・ライブラリーと言語バージョンのリストを指定します (例: Python 3.10)。 ランタイム・リリースのすべての環境は、そのリリースで定義されているライブラリー・バージョンに基づいて構築されるため、すべてのデータ・サイエンス・アプリケーションでデータ・サイエンス・ライブラリーを一貫して使用することができます。

Runtime 22.2 リリースおよび Runtime 23.1 リリースは、 Python 3.10 および R 4.2で使用可能です。

注: IBM Runtime 22.2 は非推奨になり、2024 年 4 月 11th に削除されます。 7th 以降、 22.2 ランタイムを使用して新規ノートブックを作成したり、カスタム環境を作成したりすることはできなくなりました。 また、 22.2 ランタイムに基づくソフトウェア仕様を使用して、新規モデルをトレーニング、保存、またはデプロイすることもできません。 2024 年 3 月 7th より前に IBM Runtime 23.1 を使用するように、資産とデプロイメントを更新します。

ランタイム・リリースがサポートされていますが、 IBM は、セキュリティー要件に対応するためにライブラリー・バージョンを更新します。 これらの更新では、ライブラリーの <Major>.<Minor> バージョンは変更されず、 <Patch> バージョンのみが変更されることに注意してください。 これにより、ノートブック資産が引き続き実行されます。

ランタイムに組み込まれているライブラリー・パッケージ

Watson Studio ランタイムに組み込まれている一般的なデータ・サイエンス・ライブラリー・パッケージの特定のバージョンについては、以下の表を参照してください。

テーブル3。 Python の各種ランタイム・リリースのパッケージとそのバージョン
ライブラリー Python 3.10 のランタイム 22.2 Python 3.10 のランタイム 23.1
Keras 2.9 2.12
Lale 0.7 0.7
LightGBM 3.3 3.3
NumPy 1.23 1.23
ONNX 1.12 1.13
ONNX ランタイム 1.12 1.13
OpenCV 4.6 4.7
pandas 1.4 1.5
PyArrow 8.0 11.0
PyTorch 1.12 2.0
scikit-learn 1.1 1.1
SciPy 1.8 1.10
SnapML 1.8 1.13
TensorFlow 2.9 2.12
XGBoost 1.6 1.6
テーブル4。 R 用の各種ランタイム・リリースにおけるパッケージとそのバージョン
ライブラリー ランタイム 22.2 (R 4.2 R 4.2 上のランタイム 23.1
矢印 8.0 11.0
自動車 3.0 3.0
キャレット (挿入ポイント) 6.0 6.0
カツール 1.18 1.18
予測 8.16 8.16
ggplot2 3.3 3.3
グルムネット 4.1 4.1
HMISC 4.7 4.7
Keras 2.9 2.12
lme4 1.1 1.1
ムヴトノーム 1.1 1.1
パンドック 2.12 2.12
サイク 2.2 2.2
ニシキヘビ 3.10 3.10
ランダムフォレスト 4.7 4.7
網状 1.25 1.25
サンドイッチ 3.0 3.0
scikit-learn 1.1 1.1
空間 7.3 7.3
Tensorflow 2.9 2.12
ティディル 1.2 1.2
XGBoost 1.6 1.6

表にリストされているライブラリーに加えて、ランタイムには他の多くの便利なライブラリーが含まれています。 完全なリストを表示するには、プロジェクトの 「管理」 タブを選択し、 「テンプレート」をクリックし、 「環境」 タブを選択して、リストされている環境のいずれかをクリックします。

CPU 環境テンプレート

ノートブック用に以下のいずれかのデフォルト CPU 環境テンプレートを選択できます。 デフォルトの環境テンプレートは、プロジェクトの 「管理」 タブの 「環境」 ページの 「テンプレート」 の下にリストされます。

DO は、他のデフォルト Python 環境のライブラリーの Community Edition でサポートされている複雑さを超える意思決定最適化問題をモデル化して解決するために、環境テンプレートに CPLEX および DOcplex ライブラリーが含まれていることを示します。 Decision Optimization ノートブックを参照してください。

NLPは非構造化データに対して実行できる言語処理タスク用の事前トレーニング済みモデルを備えた Watson Natural Language Processing ライブラリーが環境テンプレートに含まれていることを示します。 Watson Natural Language Processing ライブラリーの使用を参照してください。 このデフォルト環境は、事前にトレーニングされたモデルを実行するのに十分な大きさでなければなりません。

ノートブック用のデフォルト CPU 環境テンプレート
名前 ハードウェア構成 1 時間当たりの CUH 率
Python 3.10 XXS 上のランタイム 22.2 1 vCPU および 4 GB RAM 0.5
Python 3.10 XS 上のランタイム 22.2 2 vCPU および 8 GB RAM 1
Python 3.10 S 上のランタイム 22.2 4 vCPU および 16 GB RAM 2
Python 3.10 XXS 上のランタイム 23.1 1 vCPU および 4 GB RAM 0.5
Python 3.10 XS 上のランタイム 23.1 2 vCPU および 8 GB RAM 1
Python 3.10 S 上のランタイム 23.1 4 vCPU および 16 GB RAM 2
Python 3.10 XS 上の DO + NLP ランタイム 22.2 2 vCPU および 8 GB RAM 6
Python 3.10 XS 上の NLP + DO Runtime 23.1 2 vCPU および 8 GB RAM 6
R 4.2 S 上のランタイム 22.2 4 vCPU および 16 GB RAM 2
R 4.2 S 上のランタイム 23.1 4 vCPU および 16 GB RAM 2

余分なキャパシティー・ユニット時間 (CUH) を消費しないようにするために、アクティブな CPU ランタイムが不要になった場合は、それらをすべて停止する必要があります。 CPU アイドル・タイムアウトを参照してください。

ノートブックおよび CPU 環境

CPU ランタイム環境で編集モードでノートブックを開いた場合、1 つの対話式セッションのみが、ノートブック言語用の Jupyter カーネルと、選択した環境ランタイムに接続します。 ランタイムは、ノートブックごとではなく、単一ユーザーごとに開始されます。 つまり、同じプロジェクト内の同じ環境テンプレートを使用して 2 つ目のノートブックを開くと、同じランタイムで 2 つ目のカーネルが開始されます。 ランタイム・リソースは、ランタイムで開始する Jupyter カーネルによって共有されます。 CPU に GPU がある場合は、ランタイム・リソースも共有されます。

ランタイムの共有を避けたいが、プロジェクト内の複数のノートブックに同じ環境テンプレートを使用したい場合は、同じ仕様でカスタム環境テンプレートを作成し、各ノートブックを独自のテンプレートに関連付ける必要があります。

必要であれば、カーネルを再始動したり、カーネルに再接続したりすることができます。 カーネルを再始動すると、カーネルは停止されてから再び同じセッションで開始されますが、実行結果はすべて失われます。 接続が失われた後にカーネルに再接続した場合、ノートブックは同じカーネル・セッションに接続され、保存されていた以前のすべての実行結果が使用可能です。

Spark 環境テンプレート

ノートブック用に、以下のいずれかのデフォルト Spark 環境テンプレートを選択できます。 デフォルトの環境テンプレートは、プロジェクトの 「管理」 タブの 「環境」 ページの 「テンプレート」 の下にリストされます。

ノートブック用のデフォルト Spark 環境テンプレート
名前 ハードウェア構成 1 時間当たりの CUH 率
デフォルト Spark 3.3 & R 4.2 2 Executors each: 1 vCPU and 4 GB RAM;
Driver: 1 vCPU and 4 GB RAM
1
デフォルト Spark 3.4 & R 4.2 2 Executors each: 1 vCPU and 4 GB RAM;
Driver: 1 vCPU and 4 GB RAM
1

余分なキャパシティー・ユニット時間 (CUH) を消費しないようにするために、アクティブな Spark ランタイムが不要になったら、すべて停止する必要があります。 Spark アイドル・タイムアウトを参照してください。

大規模な Spark 環境

Watson Studio Professional プランを使用している場合は、より大規模な Spark 環境用のカスタム環境テンプレートを作成できます。

プロフェッショナル・プランのユーザーは、最大 35 個の実行プログラムを持つことができ、ドライバーと実行プログラムの両方について以下のオプションから選択できます。

Spark 環境のハードウェア構成
ハードウェア構成
1 vCPU および 4 GB RAM
2 vCPU および 8 GB RAM
3 個の vCPU および 12 GB の RAM

1 時間当たりの CUH 率は、追加される vCPU ごとに 0.5 ずつ増加します。 例えば、 1x Driver: 3vCPU with 12GB of RAM4x Executors: 2vCPU with 8GB of RAM は、 (3 + (4 * 2)) = 11 vCPUs5.5 CUHに相当します。

ノートブックおよび Spark 環境

複数のノートブックに対して同じ Spark 環境テンプレートを選択できます。 その環境に関連付けられているすべてのノートブックには専用の Spark クラスターがあり、リソースは共有されません。

Spark 環境を開始すると、Jupyter Enterprise Gateway、Spark マスター、および Spark ワーカー・デーモン用に追加のリソースが必要になります。 これらの追加リソースの量は、ドライバー用に 1 つの vCPU と 2 GB の RAM、各実行プログラム用に 1 GB の RAM です。 Spark 環境のハードウェア・サイズを選択する際には、これらの追加リソースを考慮する必要があります。 例えば、ノートブックを作成して Default Spark 3.3 & Python 3.10を選択すると、Spark クラスターは 3 vCPU と 12 GB RAM を消費しますが、追加リソースには 1 vCPU と 4 GB RAM が必要になるため、ノートブックの残りのリソースは 2 vCPU と 8 GB RAM になります。

Spark クラスター上のファイル・システム

実行プログラムと、Spark クラスターのドライバーまたはカーネルの間でファイルを共有する場合は、 /home/spark/sharedで共有ファイル・システムを使用できます。

独自のカスタム・ライブラリーを使用する場合は、 /home/spark/shared/user-libs/に保存できます。 /home/spark/shared/user-libs/ の下には、 Python および R または Java ランタイムで使用できるように事前構成された 4 つのサブディレクトリーがあります。

以下の表は、カスタム・ライブラリーを追加できる、事前構成されたサブディレクトリーをリストしています。

テーブル5。 カスタム・ライブラリー用に事前構成されたサブディレクトリー
ディレクトリー ライブラリーのタイプ
/home/spark/shared/user-libs/python3/ Python 3 ライブラリー
/home/spark/shared/user-libs/R/ R パッケージ
/home/spark/shared/user-libs/spark2/ Java JAR ファイル

Spark ドライバーおよび実行プログラムの間でライブラリーを共有するには、以下のようにします。

  1. カスタム・ライブラリーまたは JAR ファイルを該当する事前構成ディレクトリーにダウンロードします。
  2. カーネル > カーネルの再始動をクリックして、ノートブック・メニューからカーネルを再始動してください。 これにより、カスタム・ライブラリーまたは JAR ファイルが Spark にロードされます。

これらのライブラリーは永続的には保存されないことに注意してください。 環境ランタイムを停止して、後で再始動する場合は、ライブラリーを再度ロードする必要があります。

GPU 環境テンプレート

ノートブック用に以下の GPU 環境テンプレートを選択できます。 環境テンプレートは、プロジェクトの 「管理」 タブの 「環境」 ページの 「テンプレート」 の下にリストされます。

GPU 環境テンプレート名は、アクセラレーターの能力を示します。 GPU 環境テンプレートには、非構造化データに対して実行できる言語処理タスク用の事前トレーニング済みモデルを備えた Watson Natural Language Processing ライブラリーが含まれています。 Watson Natural Language Processing ライブラリーの使用を参照してください。

~ 環境テンプレートに Watson Studio Professional プランが必要であることを示します。 オファリング・プランを参照してください。

ノートブック用のデフォルト GPU 環境テンプレート
名前 ハードウェア構成 1 時間当たりの CUH 率
GPU V100 Runtime 22.2 on Python 3.10 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU V100 Runtime 23.1 on Python 3.10 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU 2xV100 Runtime 22.2 on Python 3.10 ~ 80 vCPU および 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136
GPU 2xV100 Runtime 23.1 on Python 3.10 ~ 80 vCPU および 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

余分なキャパシティー・ユニット時間 (CUH) が消費されないようにするために、アクティブな GPU ランタイムが不要になったら、すべて停止する必要があります。 GPU アイドル・タイムアウトを参照してください。

ノートブックおよび GPU 環境

ノートブック用の GPU 環境は、ダラスの IBM Cloud サービス・リージョンでのみ使用できます。

プロジェクト内の複数のノートブックに対して、同じ Python および GPU 環境テンプレートを選択できます。 この場合、すべてのノートブック・カーネルは同じランタイム・インスタンスで実行され、リソースは共有されます。 ランタイム・リソースを共有しないようにするには、同じ仕様で複数のカスタム環境テンプレートを作成し、各ノートブックを独自のテンプレートに関連付けます。

Watson Machine Learning を使用してスコアリング・モデルのデフォルトのハードウェア仕様です

ノートブック内で Watson Machine Learning API を呼び出す場合、Watson Machine Learning サービスの計算リソースのほか、ノートブック・カーネルの計算リソースを消費します。

Watson Machine Learning に接続してデプロイメントを作成するときに、以下のいずれかのハードウェア仕様を選択できます。

ノートブックで Watson Machine Learning サービスを呼び出すときに使用可能なハードウェア仕様
キャパシティーのサイズ ハードウェア構成 1 時間当たりの CUH 率
極小 1x4 = 1 個の vCPU および 4 GB の RAM 0.5
2x8 = 2 個の vCPU および 8 GB の RAM 1
4x16 = 4 個の vCPU および 16 GB の RAM 2
8x32 = 8 個の vCPU および 32 GB の RAM 4

ノートブック環境のデータ・ファイル

大規模なデータ・セットを処理する場合、プロジェクトに関連付けられている IBM Cloud Object Storage に小さいチャンクでデータ・セットを保管し、ノートブックでチャンクごとにデータを処理する必要があります。 あるいは、Spark 環境でノートブックを実行する必要があります。

各ランタイムのファイル・システムは非永続であり、環境間で共有することはできないので注意してください。 Watson Studio でファイルを永続化するには、IBM Cloud Object Storage を使用する必要があります。 プロジェクトのノートブックで IBM Cloud Object Storage を使用する最も簡単な方法は、 Python 用の project-lib パッケージ または R 用の project-lib パッケージを活用することです。

サービスによるコンピュート使用量

ノートブック・ランタイムは、デフォルト環境またはカスタム環境の実行中に、 Watson Studioから CUH として計算リソースを消費します。 プロジェクトの 「管理」 タブの 「リソース使用量」 ページで、プロジェクト内の Watson Studio CUH 使用量をモニターできます。

ノートブックがモデルをスコアリングするために Watson Machine Learning を呼び出す際、ノートブックは Watson Machine Learning サービスの CUH も消費する場合があります。 プロジェクトの 「管理」 タブの 「リソース使用量」 ページで、 Watson Machine Learning サービスの CUH 使用量の合計をモニターできます。

ノートブックでの Watson Machine Learning の CUH 使用量の追跡

ノートブックによって消費されるキャパシティー・ユニット時間を計算するには、ノートブックで次のコードを実行します。

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

次に例を示します。

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

結果: 5.49 CUH

詳しくは、 IBM Watson Machine Learning API 資料の「サービス・インスタンス」セクションを参照してください。

ランタイム・スコープ

環境ランタイムのスコープは、常にプロジェクト内の環境テンプレートとユーザーに設定されます。 プロジェクト内の複数のユーザーが同じ環境で作業した場合、各ユーザーに別個のランタイムが付与されます。

スケジュールされたジョブとしてノートブックの特定のバージョンを実行するように選択した場合、スケジュールされたジョブはそれぞれ、専用ランタイムで常に開始します。 ジョブが完了すると、ランタイムは停止します。

ノートブックの環境の変更

さまざまな理由で環境を切り替えることができます。例えば、以下を実行できます。

  • さらに多くの処理能力または RAM を備えた環境を選択する
  • Spark を使用しない環境から Spark 環境に変更する

ノートブックがロック解除されている場合にのみ、ノートブックの環境を変更できます。 環境は以下のように変更できます:

  • 編集モードで開いたノートブックから、以下を行います。

    1. ノートブックの変更を保存します。
    2. ノートブックのツールバーから「ノートブック情報 (Notebook Info)」アイコン (ノートブック情報アイコン) をクリックし、「環境」をクリックします。
    3. 計算能力とメモリー容量を持つ別のテンプレートをリストから選択してください。
    4. 環境の変更を選択してください。 これにより、アクティブなランタイムが停止し、新しく選択された環境が始動します。
  • プロジェクトの 資産 ページから、以下のようにします:

    1. 「ノートブック」セクションでノートブックを選択し、 アクション > 環境の変更 をクリックして、別の環境を選択してください。 環境を変更するには、kernel を停止しておく必要があります。 次回ノートブックが編集用に開かれると、この新しいランタイム環境がインスタンス化されます。
  • ノートブック・ジョブで、ジョブ・テンプレートを編集します。 ジョブ設定の編集を参照してください。

次のステップ

もっと見る

親トピック: ツールのコンピュート・リソース

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細