사용자 평가 지표

범위

Copy link to section

사용자 지표는 생성적 AI 자산과 머신 러닝 모델을 평가합니다.

• 생성적 AI 작업 :
  • 텍스트 요약
  • 텍스트 분류
  • 컨텐츠 생성
  • 엔티티 추출
  • 질문 응답
  • 증강 검색 생성(RAG)
• 머신 러닝 문제 유형 :
  • 2진 분류
  • 다중 클래스 분류
  • 회귀분석
• 지원 언어 : 영어

평가 프로세스

Copy link to section

사용자 수를 계산하기 위해, 스코어링 요청의 user_id 를 사용하여 모델이 받는 스코어링 요청을 보낸 사용자를 식별합니다.

watsonx.ai 의 런타임 배포의 경우, 평가를 구성할 때 user_id 값이 자동으로 감지됩니다.

외부 및 사용자 지정 배포의 경우, Python SDK의 다음 예와 같이 사용자 수를 계산하기 위해 점수 요청을 보낼 때 사용자 수( user_id ) 값을 지정해야 합니다

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 
Copy to clipboard클립보드에 복사됨

상위 주제: 평가 지표