시작하기 전에

프롬프트 템플리트를 평가하려면 프로젝트에 대한 액세스 권한이 있어야 합니다. 자세한 정보는 watsonx.governance설정을 참조하십시오.

평가를 실행하려면 watsonx.governance 및 watsonx.ai 인스턴스가 설치된 watsonx 계정에 로그인하고 전환 해야 합니다. 그런 다음 프로젝트를 여십시오. 프로젝트를 열려면 계정에 대한 관리 또는 편집자 역할이 지정되어 있어야 합니다.

프로젝트에서 watsonx.ai Prompt Lab 사용하여 프롬프트 템플릿을 생성하고 저장해야 합니다. 평가를 사용하기 위해 프롬프트 템플리트를 작성할 때 변수를 지정해야 합니다. Prompt Lab 시도 섹션에는 변수가 하나 이상 포함되어야 합니다.

프로젝트에서 프롬프트 템플리트를 평가하는 방법을 보려면 이 비디오를 보십시오.

다음 섹션에서는 프로젝트에서 프롬프트 템플리트를 평가하고 평가 결과를 검토하는 방법에 대해 설명합니다.

평가 실행

프롬프트 템플리트 평가를 실행하려면 watsonx.governance 의 자산 탭에서 저장된 프롬프트 템플리트를 열 때 평가 를 클릭하여 프롬프트 템플리트 평가 마법사를 열 수 있습니다. 프로젝트에 대한 관리 또는 편집자 역할이 지정된 경우에만 평가를 실행할 수 있습니다.

평가 결과 검토

평가가 완료되면 watsonx.governance 의 평가 탭에서 평가 결과의 요약을 검토하여 모델 성능에 대한 통찰을 얻을 수 있습니다. 요약은 프롬프트 템플리트 평가에 대한 기본 점수 임계값 위반 및 메트릭 점수의 개요를 제공합니다.

프로젝트에 대한 뷰어 역할이 지정된 경우 자산 탭의 자산 목록에서 평가 를 선택하여 평가 결과를 볼 수 있습니다.

결과를 분석하려면 프롬프트 템플릿 평가 옆에 있는 화살표( )를 클릭하여 시간에 따른 결과의 데이터 시각화를 볼 수 있습니다. 또한 프롬프트 템플리트 평가 중에 기본적으로 실행되는 모델 상태 평가의 결과를 분석하여 모델이 데이터를 효율적으로 처리하는 방법을 이해할 수 있습니다.

조치 메뉴는 또한 결과를 분석하는 데 도움이 되는 다음 옵션을 제공합니다.

• 지금 평가: 다른 테스트 데이터 세트로 평가 실행
• 모든 평가: 시간 경과에 따라 결과가 변경되는 방식을 이해하기 위해 평가의 히스토리를 표시합니다.
• 모니터 구성: 평가 임계값 및 샘플 크기를 구성합니다.
• 모델 정보 보기: 모델에 대한 세부사항을 보고 배치 환경이 설정되는 방법을 이해할 수 있습니다.

프롬프트 템플리트를 추적하는 경우 평가 결과를 검토하여 AI 라이프사이클 전체에서 모델 성과에 대한 인사이트를 얻을 수 있습니다.

상위 주제: AI 모델 평가하기.