資料の 英語版 に戻るモデル評価用Pythonクライアントサンプル
モデル評価用Pythonクライアントサンプル
最終更新: 2024年11月21日
モデル評価のためのPythonクライアントライブラリを使用したサンプルJupyter Notebookをレビューし、使用することで、機能とタスクを実証する。
Pythonクライアントの機能やタスクをデモするためにサンプルノートブックを使用する場合、Jupyter Notebookでのコーディングに慣れている必要があります。 Jupyter ノートブックは、対話式計算処理のための Web ベースの環境です。 データを処理する小さなコード断片を実行して、計算結果を即時に表示することができます。 サンプルのJupyter Notebooksで、モデルの構築、トレーニング、デプロイ、モデル評価の設定などのタスクを実演するチュートリアルを完了できます。
サンプル・ノートブック
以下の Jupyter ノートブックを表示または実行して、さまざまなタスクを実行する方法を学習します。
サンプル名 | 示されているタスク |
---|---|
IBM watsonx.governance メトリクス ツールキットを使用して、プロンプト テンプレートの品質を評価する | プロンプトテンプレートの評価のために、内容分析と質問の堅牢性の評価指標を計算します。 |
RAGタスクのためにIBM watsonx.governanceで判断されるようなLLMを用いた検索と回答品質メトリクス計算 | RAGタスクの回答を生成するために、RAGおよび回答品質メトリクスを計算する。 |
IBM watsonx.governanceを使用して、敵対的ロバスト性と迅速な漏洩リスクを計算する | プロンプトインジェクション、ジェイルブレイク、システムプロンプト漏えいなどの攻撃に対してモデルがどのように防御するかを測定するために、Adversarial robustnessメトリックを計算します。 |
LLMのための埋め込み生成 | 入力列と出力列の埋め込みを生成するためにスコアデータのCSVファイルを使用し、埋め込みを含むモデル出力のCSVファイルをダウンロードします。 |
LLMのための埋め込み生成と永続性 | ペイロードテーブルの既存のレコードにエンベッディングを生成したり、ペイロードテーブルにエンベッディングを持つレコードを生成して保存するために新しいスコア付きデータフレームを提供したり、ドリフトv2評価を構成して評価したりします。 |
IBM WatsonX.governのための生成AI品質指標の多言語サポートのための設計時間ノートブック | 生成AI品質プロンプトテンプレートの評価結果を日本語で実証する。 |
今後のステップ
- ノートブック・エディターの使用について詳しくは、 ノートブックを参照してください。
- ノートブックでの作業について詳しくは、 ノートブックのコーディングと実行を参照してください。
- ノートブックでの認証について詳しくは、認証をご覧ください。