0 / 0
資料の 英語版 に戻る
よくあるご質問
最終更新: 2024年11月22日
よくあるご質問

モデル評価に関するよくある質問への回答をご覧いただけます。

一般

データ・トレーニングの質問

リスク、バイアス、公平性、および説明可能性

ドリフト

その他

Watson OpenScale を自分のサーバーで実行するには、どのくらいのコンピューター処理能力が必要ですか?

3 ノード構成および 6 ノード構成については、固有のハードウェア構成ガイドラインがあります。 具体的な構成のサイズ設定について、IBM の技術販売チームから支援を受けることもできます。 Watson OpenScaleはIBM Cloud Pak for Data のアドオンとして動作するため、両方のソフトウェア製品の要件を考慮する必要があります。

Watson OpenScale がトレーニング・データへのアクセス権限を必要とするのはなぜですか?

Db2 または IBM Cloud Object Storage に保管されているトレーニング・データへのアクセス権限を Watson OpenScale に提供するか、トレーニング・データにアクセスするためにノートブックを実行する必要があります。

以下の理由で、Watson OpenScale にはトレーニング・データへのアクセス権限が必要です。

  • ローカル解釈可能モデルに依存しない説明 (LIME) および対比的説明を生成するには、説明を作成するために、トレーニング・データからの中央値、標準偏差、および個別値などの統計へのアクセスが必要です。
  • トレーニング・データの統計を表示するため。バイアスの詳細ページにデータを取り込むために、Watson OpenScale は、統計の生成元となるトレーニング・データを必要とします。
  • ドリフト検出モデルを作成するため。ドリフト・モニターは、トレーニング・データを使用してドリフト検出を作成および調整します。

ノートブック・ベースの方法では、Watson OpenScale でデプロイメントを構成する際に統計およびその他の情報をアップロードすることが求められます。 Watson OpenScale は、環境で実行されているノートブックの外部のトレーニング・データにはアクセスできません。 構成時にアップロードされた情報にのみアクセスできます。

使用できるコマンド・ライン・ツールはありますか?

そのとおりです! ModelOps CLI ツールがあります。正式名称は Watson OpenScale CLI モデル操作ツールです。 これを使用して、機械学習モデルのライフサイクル管理に関連するタスクを実行します。

Watson OpenScale では、どのバージョンの Python を使用できますか?

Watson OpenScale は、モデル作成プロセスから独立しているため、機械学習プロバイダーがサポートするどの Python バージョンでもサポートします。 Watson OpenScale Python クライアントは、IBM Cloud で Watson OpenScale サービスを直接操作できる Python ライブラリーです。 最新のバージョン情報については、『Requirements』セクションを参照してください。 Watson OpenScale クライアント UI ではなく Python クライアントを使用すると、ロギング・データベースの構成、機械学習エンジンのバインド、デプロイメントの選択とモニターを直接行うことができます。 この方法で Python クライアントを使用する例については、Watson OpenScale サンプル・ノートブックを参照してください。

Watson OpenScaleを実行するために使用できるブラウザーはどれですか?

Watson OpenScale サービス・ツールでは、IBM Cloud で必要とされるレベルと同じレベルのブラウザー・ソフトウェアが必要です。 詳しくは、 IBM Cloud 前提条件 のトピックを参照してください。

モデルを構成するには、トレーニング・データの場所に関する情報が必要であり、そのオプションは Cloud Object Storage および DB2 です。 データが Netezza にある場合、Watson OpenScale で Netezza を使用できますか?

この Watson OpenScale ノートブック を使用して、 Netezza からデータを読み取り、トレーニング統計とドリフト検出モデルを生成します。

モデルに対して行われた更新が Watson OpenScale に表示されないのはなぜでしょうか?

Watson OpenScale は、モデル自体ではなく、モデルのデプロイメントで機能します。 新規デプロイメントを作成し、その後、Watson OpenScale でこの新規デプロイメントを新規サブスクリプションとして構成する必要があります。 この準備によって、モデルの 2 つのバージョンを比較できます。

Watson OpenScale を使用することで、モデル・バイアスはどのように緩和されますか?

Watson OpenScale のバイアス緩和機能は、エンタープライズ・グレードです。 堅固で拡張性があり、さまざまなモデルを処理できます。 Watson OpenScale でのバイアス緩和は、2 ステップのプロセスで構成されます。

  1. 学習フェーズ: 顧客モデルの行動を学習して、バイアスのある方法で行動するタイミングを理解します。
  2. もう 1 つはアプリケーション・フェーズで、顧客のモデルが特定のデータ・ポイントでバイアス挙動を示すかどうかを特定し、必要に応じてバイアスを修正します。 詳しくは、 バイアス緩和済みトランザクションの確認を参照してください。

人種や性別などのセンシティブな属性に対してモデルがトレーニングされていない場合でも、そのモデルのバイアスを検査できますか?

はい。 最近、Watson OpenScale に「間接的バイアス検出」という画期的な機能が搭載されました。 これを使用すると、モデルがセンシティブな属性に対してトレーニングされていない場合でも、そのモデルがそれらの属性に対してバイアスを間接的に示すかどうかを検出できます。 詳しくは、 バイアス緩和済みトランザクションの確認を参照してください。

API を使用してモデルの公平性を構成できますか?

はい、Watson OpenScale SDK を使用して実行できます。 詳しくは、 IBM Watson OpenScale Python SDK 資料を参照してください。

機械学習モデルの使用には、どのような種類のリスクが関係しますか?

入力データの変更 (ドリフトとも呼ばれる) など、機械学習モデルに関連する複数の種類のリスクにより、モデルが不正確な意思決定を行い、ビジネス予測に影響を与える可能性があります。 トレーニング・データをクリーンアップしてバイアスを除去することはできますが、ランタイム・データがモデルのバイアスのある動作を引き起こす可能性があります。

従来の統計モデルは、比較的簡単に解釈および説明できますが、機械学習モデルの結果を説明できない一方で、そのモデルを使用するのは非常に危険な場合があります。

詳しくは、 モデル・リスクの管理を参照してください。

Watson OpenScale は、正確度のドリフトとデータのドリフトを検出しますか?

Watson OpenScale は、正確度のドリフトとデータのドリフトの両方を検出します。

  • 正確度のドリフトでは、実行時のモデルの正確度の低下が推定されます。 モデルがトレーニング・データで正しく評価しなかったトランザクションに類似するトランザクションが増加すると、モデルの正確度が低下します。 このタイプのドリフトは、構造化された 2 項分類モデルと多項分類モデルについてのみ計算されます。
  • データのドリフトは、トレーニング時のデータの特性と比較して、実行時のデータの整合性の低下を推定します。

Watson OpenScale では、どのような種類の説明が示されますか?

Watson OpenScale では、LIME、対比的説明、および SHAP の説明に基づいてローカルで説明します。 詳しくは、 説明性の表示を参照してください。

Watson OpenScale の what-if 分析は、どのようなものですか?

説明 UI には、what-if シナリオをテストする機能も用意されています。 例えば、ユーザーは、入力データ・ポイントの特徴量値を変更して、モデルの予測と確率に対する影響を確認できます。

どのモデルが LIME の説明をサポートしていますか?

以下のタイプのモデルは、 Watson OpenScaleで LIME の説明をサポートします。

  • 構造化回帰および分類モデル
  • 非構造化テキストおよびイメージ分類モデル

対比的説明および what-if 分析をサポートするモデルはどれですか?

対比的説明および what-if 分析は、構造化データおよび分類問題を使用するモデルに対してのみサポートされます。

Watson OpenScale の説明性構成の制御可能な特徴量とは何ですか?

制御可能な特徴量を使用すると、入力データ・ポイントの一部の特徴量をロックできます。これにより、特徴量は、対比的説明の生成時に変化せず、また what-if 分析でも変更できません。 変更してはならない特徴量は、説明可能性構成で制御不能または NO に設定する必要があります。

Watson OpenScale で機械学習プロバイダーを構成するとき、実動前サブスクリプションと実動サブスクリプションにはどのような違いがありますか?

モデルを実稼働環境に移行する前に、モデル・バリデーターは、実動前サービス・プロバイダーを使用してモデルの構成と検証を行うことができます。 Watson OpenScale は、リスク評価を実行する実動前処理の一部として機械学習プロバイダーを指定できます。 モデルが品質基準を満たしたら、そのモデルを実稼働環境に移行できます。 実動前環境と実稼働環境で異なる機械学習プロバイダーを使用したり、同じ機械学習プロバイダーの異なるインスタンスを使用して、実動前環境と実稼働環境のセグメント化を保持したりすることもできます。

Watson OpenScale ダッシュボードを継続的にモニターして、モデルの動作が予想通りか確認する必要がありますか?

いいえ。 Watson OpenScaleで実動モデル・デプロイメントの E メール・アラートをセットアップできます。 リスク評価テストが失敗するたびに E メール・アラートが送信されます。その後、問題を確認して対処することができます。

モデルのリスクが評価され、使用が承認された後に Watson OpenScale を使用する実動前環境では、実稼働環境ですべてのモニターを再構成する必要がありますか?

いいえ。Watson OpenScale には、実動前サブスクリプションの構成を実動サブスクリプションにコピーする方法が備わっています。 詳しくは、 モデル・リスクの管理を参照してください。

Watson OpenScale では、実動前のモデル・デプロイメントをベンチマーク・モデルと比較して、どれくらいよいか悪いか確認できますか?

はい。 Watson OpenScale には、2 つのモデル・デプロイメントまたはサブスクリプションを比較するオプションが用意されています。 構成されている各モニターで、2 つのモデルの動作を横並びで比較することができます。 比較するには、 Watson OpenScale ダッシュボードのモデル・サマリー・ページに移動し、 Actions -> Compareを選択します。 詳しくは、 評価結果の確認を参照してください。

Watson OpenScale では、品質メトリックの計算にどのようなデータが使用されますか?

品質メトリックは、手動でラベル付けされたフィードバック・データ、およびこのデータのモニター対象デプロイメント応答を使用して計算されます。

Watson OpenScale では、なぜ一部の構成タブが使用不可になっているのですか?

一部の条件によって、特定のタブが使用可能になります。 タブの円のアイコンの上にマウスを移動すると、そのタブが使用不可になっている理由が表示されます。

モデル正確度ドリフトまたはデータ・ドリフトに注目する必要があるのはなぜですか?

モデル正確度またはデータ整合性の低下は、そのモデルに関連するビジネス結果に悪影響を及ぼすため、モデルを再トレーニングして対処する必要があります。

IBM Watson OpenScale では、どのような種類のドリフトが検出されますか?

Watson OpenScale では、モデルの正確度のドリフトとデータのドリフトの両方が検出されます。

Watson OpenScale では、正確度の低下、つまりモデル正確度ドリフトはどのように計算されますか?

Watson OpenScale では、プロキシー・モデル (別名、ドリフト検出モデル) を作成することで、モデルの動作が学習されます。 トレーニング・データが調べられ、さらにモデルがトレーニング・データでどのように予測を行うかが調べられます。

詳しくは、ドリフト検出を参照してください。

IBM Watson OpenScale では、データ整合性の低下はどのように計算されますか?

IBM Watson OpenScale では、構成時にトレーニング・データで単一列および 2 列の制約または境界が学習されます。 次に、すべてのペイロード・トランザクションが分析され、データ整合性の低下の原因となっているトランザクションが特定されます。 詳しくは、 ドリフト・メトリックを参照してください。

Watson OpenScale では、テキスト・コーパスでトレーニングされたモデルのドリフトは検出できますか?

Watson OpenScale では、現時点ではテキスト・ベースのモデルのドリフトは検出できません。

Watson OpenScale では、イメージ・データでトレーニングされたモデルのドリフトは検出できますか?

Watson OpenScale では、現時点ではイメージ・ベースのモデルのドリフトは検出できません。

IBM watsonx.aiRuntime にデプロイしたPython関数のドリフトをWatson OpenScale検出できますか?

Watson OpenScale は、構造化データ・セットでトレーニングされた Python 関数のドリフトを検出できます。 テキスト・データ・セットまたはイメージ・データ・セットでトレーニングされた Python 関数はサポートされていません。 Python 関数のスコアリング出力には、分類問題のすべてのクラス確率を含む予測列と確率列を含める必要があります。

親トピック: Watson OpenScale