빠른 시작: 프롬프트 템플리트 평가 및 추적

이 태스크를 미리 보려면 00:09에 시작하는 비디오를 보십시오.

모델 인벤토리는 AI 유스 케이스를 저장하고 검토하기 위한 것입니다. AI 유스 케이스는 조직이 추적하는 AI 자산에 대한 거버넌스 팩트를 수집합니다. 인벤토리의 모든 AI 유스 케이스를 볼 수 있습니다.

이 태스크를 미리 보려면 00:51에서 시작하는 비디오를 보십시오.

프롬프트 템플리트 및 평가를 저장하려면 프로젝트가 필요합니다. 프로젝트를 이미 작성한 경우 이 태스크에서 1단계를 건너뛰고 Watson Machine Learning 서비스를 샘플 프로젝트와 연관시키십시오. 그렇지 않으면 다음 단계에 따라 샘플을 기반으로 프로젝트를 작성하십시오.

1. 리소스 허브에서 watsonx 통제 시작하기 프로젝트에 액세스하십시오.

   1. 프로젝트 작성을 클릭하십시오.

   2. 프로젝트 이름의 기본값을 승인하고 작성을 클릭하십시오.

   3. 프로젝트가 작성되면 새 프로젝트 보기 를 클릭하십시오.

2. Watson Machine Learning 서비스를 프로젝트와 연관시키십시오. 자세한 정보는 Watson Machine Learning을 참조하십시오.

   1. 프로젝트가 열리면 관리 탭을 클릭하고 서비스 및 통합 페이지를 선택하십시오.

   2. IBM 서비스 탭에서 서비스 연관을 클릭하십시오.

   3. Watson Machine Learning 인스턴스를 선택하십시오. Watson Machine Learning 서비스 인스턴스가 아직 프로비저닝되지 않은 경우 다음 단계를 수행하십시오.

      1. 새 서비스를 클릭하십시오.

      2. Watson Machine Learning을 선택하십시오.

      3. 작성을 클릭하십시오.

      4. 목록에서 새 서비스 인스턴스를 선택하십시오.

   4. 서비스 연관을 클릭하십시오.

   5. 필요한 경우 취소 를 클릭하여 서비스 및 통합 페이지로 돌아가십시오.

3. 샘플 자산을 보려면 프로젝트에서 자산 탭을 클릭하십시오.

추가 정보나 동영상을 보려면 프로젝트 작성을 참조하십시오.

연관된 서비스에 대한 추가 정보는 연관된 서비스 추가를 참조하십시오.

이 태스크를 미리 보려면 01:28에 시작하는 비디오를 보십시오.

샘플 프로젝트에는 테스트 데이터로 사용되는 몇 가지 프롬프트 템플리트 및 CSV 파일이 포함되어 있습니다. 다음 단계에 따라 테스트 데이터를 다운로드하고 샘플 프롬프트 템플리트 중 하나를 평가하십시오.

1. 샘플 프로젝트에서 테스트 데이터를 다운로드하십시오. 평가 중에 테스트 데이터에 대한 로컬 파일을 제공해야 합니다.

   1. 자산 탭을 클릭하십시오.
   2. 보험 청구 요약 테스트 data.csv 파일의 경우 오버플로우 메뉴 를 클릭하고 다운로드를 선택하십시오.
   3. CSV 파일을 로컬로 저장하십시오.

2. 보험 청구 요약 을 클릭하여 프롬프트 랩에서 프롬프트 템플리트를 열고 편집을 클릭하십시오.

3. 프롬프트 변수 아이콘 을 클릭하십시오.

   주: 평가를 실행하려면 하나 이상의 프롬프트 변수를 작성해야 합니다.

4. 시도 섹션으로 스크롤하십시오. 입력 필드의 {input} 변수에 유의하십시오. 프롬프트를 테스트하기 위한 입력으로 프롬프트 변수를 포함해야 합니다. 프롬프트 변수는 작성 시 프롬프트의 정적 텍스트에 포함시키고 런타임 시 동적으로 텍스트로 바꾸는 플레이스홀더 키워드입니다.

5. 평가 아이콘 을 클릭하십시오.

6. 차원 목록을 보려면 생성 AI 품질 섹션을 펼치십시오. 사용 가능한 메트릭은 프롬프트의 태스크 유형에 따라 다릅니다. 예를 들어, 요약에는 분류와 다른 메트릭이 있습니다.

7. 다음 을 클릭하십시오.

8. 테스트 데이터 선택:

   1. 찾아보기를 누르십시오.
   2. 이전에 다운로드한 보험 청구 요약 테스트 data.csv 파일을 선택하십시오.
   3. 열기를 누르십시오.
   4. 입력 열에 대해 Insurance_Claim을 선택하십시오.
   5. 참조 출력 열에 대해 요약을 선택하십시오.
   6. 다음 을 클릭하십시오.

9. 평가를 클릭하십시오. 평가를 완료하는 데 몇 분이 걸릴 수 있습니다. 평가가 완료되면 평가 탭에 테스트 결과가 표시됩니다. 이 페이지는 모델 성능에 대한 통찰력을 얻을 수 있도록 이 평가 실행에 대한 자세한 정보를 표시합니다. 요약은 프롬프트 템플리트 평가에 대한 기본 점수 임계값 위반 및 메트릭 점수의 개요를 제공합니다.

10. AI 패싯 시트 탭을 클릭하십시오.

    1. 탭의 각 섹션에 대한 정보를 보십시오.
    2. 평가 > 개발 > 테스트 를 클릭하여 테스트 결과를 다시 보십시오.

이 태스크를 미리 보려면 02:37에 시작하는 비디오를 보십시오.

AI 유스 케이스에서 프롬프트 템플리트를 추적하여 개발 및 테스트 프로세스를 피어에 보고할 수 있습니다. 프롬프트 템플리트 추적을 시작하려면 다음 단계를 수행하십시오.

1. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.
2. watsonx 통제 시작하기 프로젝트를 선택하십시오.
3. 자산 탭을 클릭하십시오.
4. 보험 청구 요약 프롬프트 템플리트의 오버플로우 메뉴 에서 AI Factsheet로 이동을 선택하십시오. 모든 AI 자산에는 AI factsheet가 있습니다. 여기에는 자산이 빌드된 방법, AI 라이프사이클 전체의 평가 결과 및 추가 첨부 파일에 대한 자세한 정보가 포함되어 있습니다.
5. AI 패싯 시트 탭에서 통제 페이지를 클릭하십시오.
6. AI 유스 케이스 추적을 클릭하십시오.
7. 보험 청구 처리 AI 유스 케이스를 선택하십시오.
8. 다음 을 클릭하십시오.
9. 접근 방식을 선택하십시오. 접근 방식은 AI 유스 케이스로 표시되는 비즈니스 문제점에 대한 솔루션의 한 가지 측면입니다. 예를 들어, 유스 케이스에서 여러 프롬프트 템플리트를 추적하는 접근 방식을 작성할 수 있습니다.
10. 다음 을 클릭하십시오.
11. 모델 버전의 경우 시범을 선택하십시오.
12. 버전 번호의 기본값을 승인하십시오.
13. 다음 을 클릭하십시오.
14. 정보를 검토한 후 자산 추적을 클릭하십시오.
15. 모델 추적이 시작되면 세부사항 보기 아이콘 을 클릭하여 AI 유스 케이스를 여십시오.
16. 라이프사이클 탭을 클릭하여 프롬프트 템플리트가 개발 단계에 있는지 확인하십시오. 프롬프트 템플리트가 AI 라이프사이클을 통해 이동할 때 다음 단계를 통해 이동합니다.
    • 개발 단계: 프로젝트 환경에서 개발된 AI 자산.
    • 테스트 단계 (Phase): 테스트를 위해 영역에 배치된 ML 모델입니다.
    • 유효성 검증 단계: 유효성 검증을 위해 영역 또는 프로젝트에 배치된 AI 자산입니다.
    • 운영 단계: 운영을 위해 영역에 배치된 AI 자산입니다.

이 태스크를 미리 보려면 03:27에서 시작하는 비디오를 보십시오.

일반적으로 프롬프트 엔지니어는 테스트 데이터를 사용하여 프롬프트를 평가하고 유효성 검증 엔지니어는 프롬프트를 유효성 검증합니다. 유효성 검증 엔지니어는 프롬프트 엔지니어에게 없을 수 있는 유효성 검증 데이터에 액세스할 수 있습니다. 이 경우 다른 프로젝트에서 유효성 검증 데이터가 발생합니다. 다음 단계에 따라 개발 프로젝트를 내보내고 이를 새 유효성 검증 프로젝트로 가져와서 자산을 AI 라이프사이클의 유효성 검증 단계로 이동하십시오.

1. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

2. watsonx 통제 시작하기 프로젝트를 선택하십시오.

3. 가져오기/내보내기 아이콘 > 프로젝트 내보내기를 클릭하십시오.

4. 모든 자산을 선택하려면 상자를 선택하십시오.

5. 프로젝트 이름에 대해 다음 텍스트를 복사하여 붙여넣은 후 저장을 클릭하십시오.

   validation project.zip
   ```1. Click **Export**.
   

6. 프로젝트 내보내기가 완료되면 프로젝트로 돌아가기를 클릭하십시오.

7. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

8. 새 프로젝트를 클릭하십시오.

9. 로컬 파일을 선택하십시오.

   1. 찾아보기를 누르십시오.

   2. 유효성 검증 project.zip을 선택하고 열기를 클릭하십시오.

   3. 프로젝트 이름에 대해 다음 텍스트를 복사하여 붙여넣으십시오.

      Validation project
      

   4. 작성을 클릭하십시오.

10. 프로젝트가 작성되면 새 프로젝트 보기.1을 클릭하십시오. 1단계 와 동일한 단계를 수행하여 Watson Machine Learning 서비스를 이 프로젝트와 연관시키십시오.

이 태스크를 미리 보려면 04:22에서 시작하는 비디오를 보십시오.

이제 이전과 동일한 평가 프로세스를 사용하여 이 유효성 검증 프로젝트에서 프롬프트 템플리트를 평가할 준비가 되었습니다. 평가에 동일한 테스트 데이터 세트를 사용하십시오. 그리고 이전과 동일한 입력 및 출력 열을 선택하십시오. 프롬프트 템플리트의 유효성을 검증하려면 다음 단계를 수행하십시오.

1. 유효성 검증 프로젝트에서 자산 탭을 클릭하십시오.
2. 태스크 2 의 단계를 반복하여 청구 처리 요약 프롬프트 템플리트를 평가하십시오.
3. 평가가 완료되면 AI 패싯 시트 탭을 클릭하십시오.
4. 두 테스트 결과 세트 모두 보기:
   1. 평가 > 개발 > 테스트를 클릭하십시오.
   2. 평가 > 유효성 검증 > 테스트를 클릭하십시오.

이 태스크를 미리보려면 05:04에서 시작하는 비디오를 보십시오.