レコードレイテンシ評価指標

範囲

Copy link to section

レコードレイテンシの指標は、生成型AI 資産と機械学習モデルを評価します。

• 生成型AIのタスク ：
  • テキストの要約
  • テキストの分類
  • コンテンツの生成
  • エンティティー抽出
  • 質問への回答
  • 検索支援強化型生成（RAG）
• 機械学習の問題タイプ ：
  • 二項分類
  • マルチクラス分類
  • 回帰
• 対応言語 ：英語

評価プロセス

Copy link to section

スコアリングリクエストとトランザクションレコードの平均、最大、中央値、最小のレコードレイテンシは、モデルヘルスモニター評価中に計算されます。

To calculate the record latency metric, response_time value from your scoring requests is used to track the time that your model deployment takes to process scoring requests.

For watsonx.ai Runtime deployments, the response_time value is automatically detected when you configure evaluations.

For external and custom deployments, you must specify the response_time value when you send scoring requests to calculate throughput and latency as shown in the following example from the Python ソフトウェア開発キット:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        ) 
Copy to clipboardクリップボードにコピーされました

親トピック： 評価基準