機械学習ソリューションの実装ワークフローの計画

AIユースケースの定義

AIのユースケースは、モデルのようなAI 資産ライフサイクルに関するリネージュ、歴史、その他の関連情報を含む一連のファクトシートで構成される。

あなたの組織は、透明性や規制遵守のために、AIソリューションを追跡し、文書化することを要求するかもしれません。 しかし、AIのユースケースは、ソリューションに関する進捗、意思決定、測定基準を追跡する統合的な方法を提供するため、必要でない場合でも有用である。

AIのユースケースを作成するには、まずインベントリーを作成し、次にユースケースを作成する。 データサイエンティスト、データエンジニア、およびソリューションの作成、テスト、管理に関与するその他のユーザーを、ユースケースの共同作業者として追加します。

ガバナンス・ワークフローの開発

ガバナンス・ワークフローは、AIのユースケースとモデルの使用に関するレビューと承認のプロセスを強制する。

あなたの組織では、以下のタイプのガバナンス・ワークフローの1つ以上が必要になるかもしれない：

• AIユースケースの承認、 基盤モデル承認、リスク評価の実行、モデルのパフォーマンス監視の自動化を行うモデルリスクガバナンスワークフロー。
• 規制コンプライアンス管理ワークフローは、規制当局から発表されるアラートを処理します。
• オペレーショナルリスク管理ワークフローにより、モデルリスクとその他のオペレーショナルリスクを全社的に追跡。

ガバナンス・ワークフローを設定するには、ガバナンス・コンソールで設定します。

プロジェクトの設定

プロジェクトとは、共有された目標を達成するために、人々がモデルやデータを使って作業する共同作業空間のことである。

データを準備し、実験を実行し、機械学習モデルを構築するプロジェクトが必要だ。

機械学習ソリューションのプロジェクトには通常、データサイエンティストやAIエンジニアによって明示的に追加されるか、プロセスの結果として作成される以下のタイプの項目が含まれる：

• トレーニングデータの保存場所など、データソースへの接続資産。
• モデルを訓練するためのデータセットを表すデータ資産。
• あなたが作成したノートブックや、 AutoAI 実験の実行などのプロセスによって生成されたノートブック。
• AutoAI, SPSS Modeler または Decision Optimization のような、実行中のツールから作成した実験および資産。
• ツールで資産実行することによって作成されるジョブ。

自動作成されたサンドボックス・プロジェクトがある。 しかし、自分の目標を反映した名前のプロジェクトを作りたいと思うかもしれない。 プロジェクトの作成は、ホームページまたはナビゲーションメニューから行うことができます。 解決策に取り組んでもらいたい人全員を追加する。 各コラボレーターにロールを割り当て、プロジェクト内での権限をコントロールします。

データの準備

データ準備には、ソリューションが必要とするフォーマットと品質レベルで、必要なデータへのアクセスを提供することが含まれます。

機械学習モデルの学習データを提供する必要がある。 学習データには、機械学習アルゴリズムで予測や分類を行うためのラベル付きデータが含まれていなければなりません。 また、ラベルのないホールドアウトデータセットやバックテストデータセットを提供することもできる。 分析やモデルのトレーニングのために、データをクレンジングしたり整形したりする必要があるかもしれない。

トレーニングデータは以下の方法で提供できます：

• ローカルシステムからファイルをアップロードする
• データセットを含むデータソースに接続する

データ準備ツールでデータを準備し、 AutoAI やノートブックなどの他のツールでそのデータを使用することができます：

• データファイルをアップロードするか、データソースのテーブルに接続します。
• Data Refinery を使用して、データをクレンジング、整形、視覚化します。
• Synthetic Data Generator を使用して、本番データまたはカスタムデータスキーマに基づく合成表データを生成します。

機械学習モデルをトレーニングするのと同じツールでデータを準備できる：

• SPSS Modeler 内でデータのクレンジング、変換、削減、統合、検証を行います。
• プリインストールされたオープンソースや IBM ライブラリを呼び出したり、ノートブックにカスタムライブラリをインストールして呼び出したりできます。

機械学習モデルをトレーニングする

機械学習モデルは、新しいデータを分析し学習するためのアルゴリズムを開発するために、一連のデータで学習される。

以下のように条件を変えて、機械学習モデルのトレーニングを試すことができる：

• データに最適なアルゴリズムをテストする
• 問題を最適に表現するための特徴の選択とスケーリング
• パフォーマンスと精度を最適化するためのハイパーパラメータ設定の調整

機械学習モデルを構築するには、ノートブックで Python。 最適な予測モデルを作成するためのアルゴリズム、変換、パラメータ設定を自動で見つけるには、機械学習のためのAuto AI実験を実行する。 データを探索し、結果をモデル化し、さまざまなモデルを試し、関係を調査して有用な情報を見つけるには、 SPSS Modeler フローを構築する。 最適化ビジネス問題を解決するには、 Decision Optimization モデルを構築する。

機械学習資産評価

機械学習モデルの評価は、選択した測定基準のセットに対するモデル出力の品質をテストします。 いくつかのメトリクスは、テスト・データ・セットで提供された適切な出力とモデルの出力を比較することに基づいています。 モデルがいかに効率的にレスポンスを生成するかも評価される。

あなたの組織では、規制遵守や内部ポリシーのために評価が必要になるかもしれません。 しかし、評価指標のスコアはソリューションの品質を示すことができ、スコアが低下したときにユーザー満足度の低下を予測できる可能性があるため、評価は必要ない場合でも有用である。

AI 資産評価する際、以下の要素を設定することができます：

• テストするサンプルサイズ
• どのメトリクスを含めるか
• 各メトリクスのしきい値

一般的なメトリクスは、機械学習モデルに関する以下の種類の情報を提供します：

• ラベル付けされたテストセットと比較したモデルの性能。
• モデルが偏った結果を生むかどうか。
• 精度とデータの変化。
• モデルがトランザクションをいかに効率的に処理するか。

現在の成績と過去の成績を見ることができる。 各評価の結果は、プロンプトのユースケースに追加される。

機械学習モデルを評価するには、 Watson OpenScale から Insights ダッシュボードを開く。 AutoAI for machine learning experimentを実行すると、候補モデルが自動的に評価され、ランク付けされる。

ソリューションの展開

資産デプロイすると、エンドポイントでのテストや生産的な使用に利用できるようになります。 デプロイメント作成したら、それをテストして管理し、本番前環境や本番環境にデプロイするための資産準備することができます。

デプロイメント、 デプロイメント・スペース作成します。デプロイメント スペースは、プロジェクトとは別のワークスペースであり、別のコラボレータ セットを追加できます。

機械学習モデル資産デプロイするには、 資産 デプロイメント・スペースプロモートし、エンドポイントを含むデプロイメント作成します。 その後、アプリケーションからエンドポイントを呼び出すことができます。 テスト用、ステージング用、本番用のデプロイメント デプロイメント・スペース個別に作成し、 ModelOps のワークフローをサポートできます。

機械学習パイプラインの自動化

機械学習モデルをトレーニングしてデプロイした後、モデルのトレーニング、デプロイ、評価のプロセスを自動化することができます。 複数の機械学習モデルの結果を比較して、最適なものを決定することができる。 スケールの大きな自動バッチスコアリングを設定することができます。

パイプラインは以下のタスクを実行するように設定できる：

• パイプラインに資産追加したり、 資産エクスポートする
• 資産、 デプロイメント、 デプロイメント・スペース作成と削除
• エラー処理とループなどのロジックの追加
• ユーザー変数を設定する
• パフォーマンスを向上させるために資産交換または更新する
• 実験のトレーニング、スクリプトの実行、データフローの実行のためのジョブ実行
• フローの実行条件を指定する
• 自分で書いたスクリプトを実行する

パイプラインを設計するには、パイプラインエディタのキャンバスにノードをドラッグし、オブジェクトとパラメータを指定し、パイプラインを実行して監視します。

ソリューションの監視と保守

ソリューションをアプリケーションに組み込み、本番稼動させた後は、ソリューションを保守しなければなりません。 また、モデルのパフォーマンスをモニターすることもできる。 ソリューションのメンテナンスには、機械学習モデルを最新のデータで再トレーニングすることも含まれる。 ソリューションのモニタリングは、本番環境におけるモデルのパフォーマンスを評価します。

お客様の組織では、ソリューションを監視し、パフォーマンスが指定の閾値を下回らないようにすることが求められるかもしれません。

ソリューションを監視するには、 デプロイメント・スペースソリューションのデプロイメント開き、評価 を有効にします。 ペイロードロギングエンドポイントを使用して、公平性とドリフト評価のためのスコアリング要求を送信し、フィードバックロギングエンドポイントを使用して、品質評価のためのフィードバックデータを提供することができます。