必要なサービスのプロビジョニングと構成を自動化し、評価アプリケーション (サンプル・データを含む) を表示するために、 Python モジュールをインストルできます。
このモジュールについて
- このモジュールは、 Getting started チュートリアルで説明されているように、テクニカル・ユーザーがサービスを自分でプロビジョンして構成することなく、 Watson OpenScale のインスタンスが実行されていることを確認するための代替方法を提供します。
- Python モジュールは、お客様が持っているサービスを検査し、必要なサービスを作成するプロセスを実行します。 モジュールが正常に実行されたら、 IBM Cloud ダッシュボードから Watson OpenScale を開始して、モデルがどのように評価されるかを確認できます。
Watson OpenScale Python クライアント
Python Client は、モデル評価サービスと直接連携するライブラリーです。 開発および自動化の目的で、 Python クライアントを使用して、データ・マート・データベースを直接構成し、機械学習エンジンにアクセスし、デプロイメントを選択して評価することができます。 例えば、このように Python クライアントを使用する場合には、Watson OpenScale サンプル・ノートブックを参照してください。
始める前に
IBM Cloud API キーを作成して、ダウンロードします。 この後のステップでこの API キーを入力する必要があります。
-
Python 3 には、pip パッケージ管理システムが含まれています。
以下のコマンドを実行して、
ibm-watson-openscale-cli
パッケージをインストールします:pip install -U ibm-watson-openscale-cli
pip の複数のバージョンがご使用のシステムにインストールされている場合は、
pip3 install -U ibm-watson-openscale-cli
のように、pip
の代わりにpip3
を実行する必要がある場合があります。既存のwatsonx.aiRuntime サービス・インスタンスがある場合は、そのサービスがCloud Foundry Cloud Identity and Access Management(IAM) によって管理されていることをIBM Cloudダッシュボードで確認してください。
重要:このモジュールはwatsonx.aiRuntime のインスタンスをチェックする。 インスタンスがある場合、モジュールはそのインスタンスを使用します。 ただし、インスタンスが Cloud Foundry によって管理されている場合、最初に IAM リソース・グループにマイグレーションしてからモジュールを実行する必要があります。
モジュールの実行
以下のコマンドを実行します。
ibm-watson-openscale-cli -a <Your API key>
結果の表示
モデルの公平性と正確度、評価されたデータの詳細、および個々のトランザクションの説明性に関する洞察を表示するには、 「洞察」ダッシュボードを開きます。
- サンプル・データのシナリオを理解するには、 Getting startedを参照してください。
洞察の表示
「洞察」ダッシュボードで、 「洞察」 タブをクリックします。このタブには、デプロイされたモデルのメトリックの概要が表示されます。
「インサイト」ページには、公平性と正確度に関する問題が一目で分かるように表示されます。問題の判定には、構成されたしきい値が使用されます。
各デプロイメントはタイルとして表示されます。 いずれかのチュートリアルに従っている場合は、ダッシュボードに
GermanCreditRiskModel
という名前のデプロイメントが表示されます。 以下のサンプルは、多数のデプロイされたモデルと評価されたモデルを含むダッシュボードを示しています:
評価データを表示する
「インサイト」ページで、
GermanCreditRiskModel
タイルをクリックして、評価されたデータに関する詳細を表示します。グラフの上でマーカーをスライドさせ、データを表示する日時期間を表示して「詳細を表示します」リンクをクリックします。
例えば、以下の画面には、特定の日時のデータが表示されています。 モジュールの実行タイミングによって日時は異なります。
時系列グラフの解釈について詳しくは、インサイトの取得を参照してください。
AGE
データ評価の詳細を表示するには、メニューからAGE
が選択されていることを確認します。以下の画面キャプチャーでは、バイアスが存在しないことに注目してください。
特定時間のデータ・ポイントグラフの解釈については、特定の時間のデータの視覚化を参照してください。
説明性の表示
特定の期間にバイアスが存在する要因を理解するには、前のセクションに表示されている視覚化画面で 「トランザクションの表示 (View transactions)」をクリックします。
過去の時刻においてバイアスが存在するトランザクションのトランザクション ID がリストされます。 このモジュールで使用されるモデルの場合、選択可能な要求においてはバイアスが存在しません。 そのため、以下の画面キャプチャーでは、対象期間において表示されているトランザクションはありません。
詳しくは、 トランザクションの説明を参照してください。
関連情報
- バイアスについては、公平性を参照してください。
- モデルの予測結果の精度については、正確度を参照してください。
- グラフとデータの解釈方法については、インサイトの取得を参照してください。
- 背後にある要因が結果に及ぼす影響については、説明性のモニターを参照してください。
親トピック: Watson OpenScale