ユーザー評価指標

範囲

Copy link to section

ユーザーメトリクスは、生成型AI 資産と機械学習モデルを評価します。

• 生成型AIのタスク ：
  • テキストの要約
  • テキストの分類
  • コンテンツの生成
  • エンティティー抽出
  • 質問への回答
  • 検索支援強化型生成（RAG）
• 機械学習の問題タイプ ：
  • 二項分類
  • マルチクラス分類
  • 回帰
• 対応言語 ：英語

評価プロセス

Copy link to section

ユーザー数を計算するには、 user_id を使用して、モデルが受信するスコアリングリクエストを送信するユーザーを特定します。

watsonx.ai ランタイムデプロイメントの場合、評価版の設定時に user_id の値が自動的に検出されます。

外部およびカスタムデプロイメント、 Python SDK の次の例のように、ユーザー数を計算するためのスコアリングリクエストを送信する際に、 user_id の値を指定する必要があります

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 
Copy to clipboardクリップボードにコピーされました

親トピック： 評価基準