0 / 0
영어 버전 문서로 돌아가기
빠른 시작: 프롬프트 템플리트 평가 및 추적

빠른 시작: 프롬프트 템플리트 평가 및 추적

프롬프트 템플리트를 평가하고 추적하는 방법을 학습하려면 이 학습서를 사용하십시오. 프로젝트 또는 배치 공간에서 프롬프트 템플리트를 평가하여 기초 모델 태스크의 성능을 측정하고 모델이 응답을 생성하는 방법을 이해할 수 있습니다. 그런 다음 AI 유스 케이스에서 프롬프트 템플리트를 추적하여 자산에 대한 팩트를 캡처하고 공유하여 통제 및 준수 목표를 충족하는 데 도움을 줄 수 있습니다.

필수 서비스
watsonx.governance

기본 워크플로우에는 다음 태스크가 포함됩니다.

  1. 평가할 프롬프트 템플리트를 포함하는 프로젝트를 여십시오. 프로젝트는 다른 사용자와 협업하여 자산에 대해 작업할 수 있는 위치입니다.
  2. 테스트 데이터를 사용하여 프롬프트 템플리트를 평가합니다.
  3. AI 패싯 시트에서 결과를 검토하십시오.
  4. AI 유스 케이스에서 평가된 프롬프트 템플리트를 추적합니다.
  5. 평가된 프롬프트 템플리트를 배치하고 테스트하십시오.

프롬프트 템플리트에 대한 정보 읽기

watsonx.governance를 사용하면 프로젝트에서 프롬프트 템플리트를 평가하여 기초 모델이 다음 태스크 유형에 대한 응답을 얼마나 효과적으로 생성하는지 측정할 수 있습니다.

  • 분류
  • 요약
  • 세대
  • 질문 응답
  • 엔티티 추출

프로젝트에서 프롬프트 템플리트 평가에 대해 자세히 읽기

배치 영역에서 프롬프트 템플리트 평가에 대해 자세히 알아보기

프롬프트 템플리트 평가 및 추적에 대한 비디오 보기

비디오 보기 비디오를 시청하면 이 학습서의 단계를 미리 볼 수 있습니다. 비디오에 표시된 사용자 인터페이스에 약간의 차이가 있을 수 있습니다. 이 비디오는 작성된 학습서와 함께 사용하기 위한 것입니다.

이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.


프롬프트 템플리트 평가 및 추적에 대한 학습서를 시도하십시오.

이 학습서에서는 다음 태스크를 완료합니다.





이 학습을 완료하기 위한 팁

다음은 이 학습서를 성공적으로 완료하기 위한 몇 가지 팁입니다.

비디오 사진 사용

팁: 비디오를 시작한 후 학습서를 스크롤하면 비디오가 그림 모드로 이동합니다. 픽처 인 픽처를 사용하여 최상의 경험을 얻으려면 비디오 목차를 닫으십시오. 그림 모드를 사용하여 이 학습서의 태스크를 완료할 때 비디오를 따라갈 수 있습니다. 수행할 각 태스크의 시간소인을 클릭하십시오.

다음 애니메이션 이미지는 비디오 픽처 인 픽처 및 목차 기능을 사용하는 방법을 보여줍니다.

그림 및 장을 사용하는 방법

커뮤니티에서 도움 받기

이 학습서에 대한 도움이 필요한 경우 watsonx 커뮤니티 토론 포럼에서 질문하거나 응답을 찾을 수 있습니다.

브라우저 창 설정

이 튜토리얼을 완료하는 최적의 경험을 위해 한 브라우저 창에서 Cloud Pak for Data 를 열고 두 애플리케이션 간에 쉽게 전환할 수 있도록 다른 브라우저 창에서 이 튜토리얼 페이지를 열어 두십시오. 따라하기 쉽도록 두 개의 브라우저 창을 나란히 배열하는 것을 고려하십시오.

병행 학습서 및 UI

팁: 사용자 인터페이스에서 이 학습서를 완료하는 동안 안내식 둘러보기가 표시되면 나중에를 클릭하십시오.



태스크 1: 모델 인벤토리 및 AI 유스 케이스 작성

학습서 비디오 미리보기 이 태스크를 미리 보려면 00:09에 시작하는 비디오를 보십시오.

모델 인벤토리는 AI 유스 케이스를 저장하고 검토하기 위한 것입니다. AI 유스 케이스는 조직이 추적하는 AI 자산에 대한 거버넌스 팩트를 수집합니다. 인벤토리의 모든 AI 유스 케이스를 볼 수 있습니다.

태스크 1a: 모델 인벤토리 작성

모델 인벤토리를 작성하려면 다음 단계를 수행하십시오.

  1. 탐색 메뉴 탐색 메뉴에서 AI 통제 > AI 유스 케이스를 선택하십시오.

  2. 자원 명세를 관리하십시오.

    • 기존 자원 명세가 있는 경우 새 AI 유스 케이스 작성 으로 건너뛰어 해당 자원 명세를 사용할 수 있습니다.
    • 재고가 없는 경우 재고 관리를 클릭하십시오.
    1. 새 인벤토리를 클릭하십시오.

    2. 이름에 대해 다음 텍스트를 복사하여 붙여넣으십시오.

      Golden Bank Insurance Inventory
      
    3. 설명에 대해 다음 텍스트를 복사하여 붙여넣으십시오.

      Model inventory for insurance related processing
      
    4. 작성 후 협업자 추가 옵션을 선택 취소하십시오. 인벤토리 및 AI 유스 케이스 레벨에서 액세스를 제한할 수 있습니다.

    5. 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

    6. 작성을 클릭하십시오.

  3. 인벤토리 관리 페이지를 닫으십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 모델 재고를 표시합니다. 이제 AI 유스 케이스를 작성할 준비가 되었습니다.

모델 인벤토리

태스크 1b: AI 유스 케이스 작성

AI 유스 케이스는 AI의 도움으로 해결할 수 있는 정의된 비즈니스 문제점입니다. 일반적으로 이는 AI 자산이 개발되기 전에 정의됩니다. 다음 단계에 따라 AI 유스 케이스를 작성하십시오.

  1. 새 AI 유스 케이스를 클릭하십시오.

  2. 이름에 대해 다음 텍스트를 복사하여 붙여넣으십시오.

    Insurance claims processing AI use case
    
  3. 기존 모델 재고를 선택하십시오.

  4. 나머지 필드에 대해 기본값을 승인하려면 작성 을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 AI 유스 케이스를 표시합니다. 이제 프롬프트 템플리트를 추적할 준비가 되었습니다.

AI 유스 케이스




태스크 2: 프로젝트 작성

학습서 비디오 미리보기 이 태스크를 미리 보려면 00:51에서 시작하는 비디오를 보십시오.

프롬프트 템플리트 및 평가를 저장하려면 프로젝트가 필요합니다. 다음 단계에 따라 샘플을 기반으로 프로젝트를 작성하십시오.

  1. 리소스 허브에서 watsonx 통제 시작하기 프로젝트에 액세스하십시오.

    1. 프로젝트 작성을 클릭하십시오.

    2. 프로젝트 이름의 기본값을 승인하고 작성을 클릭하십시오.

    3. 프로젝트가 작성되면 새 프로젝트 보기 를 클릭하십시오.

  2. Watson Machine Learning 서비스를 프로젝트와 연관시키십시오. 자세한 정보는 Watson Machine Learning을 참조하십시오.

    1. 프로젝트가 열리면 관리 탭을 클릭하고 서비스 및 통합 페이지를 선택하십시오.

    2. IBM 서비스 탭에서 서비스 연관을 클릭하십시오.

    3. Watson Machine Learning 인스턴스를 선택하십시오. Watson Machine Learning 서비스 인스턴스가 아직 프로비저닝되지 않은 경우 다음 단계를 수행하십시오.

      1. 새 서비스를 클릭하십시오.

      2. Watson Machine Learning을 선택하십시오.

      3. 작성을 클릭하십시오.

      4. 목록에서 새 서비스 인스턴스를 선택하십시오.

    4. 서비스 연관을 클릭하십시오.

    5. 필요한 경우 취소 를 클릭하여 서비스 및 통합 페이지로 돌아가십시오.

  3. 샘플 자산을 보려면 프로젝트에서 자산 탭을 클릭하십시오.

추가 정보나 동영상을 보려면 프로젝트 작성을 참조하십시오.

연관된 서비스에 대한 추가 정보는 연관된 서비스 추가를 참조하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 프로젝트 자산 탭을 표시합니다. 이제 프로젝트에서 샘플 프롬프트 템플리트를 평가할 준비가 되었습니다.

샘플 프로젝트 자산




태스크 3: 샘플 프롬프트 템플리트 평가

학습서 비디오 미리보기 이 태스크를 미리 보려면 01:28에 시작하는 비디오를 보십시오.

샘플 프로젝트에는 테스트 데이터로 사용되는 몇 가지 프롬프트 템플리트 및 CSV 파일이 포함되어 있습니다. 다음 단계에 따라 테스트 데이터를 다운로드하고 샘플 프롬프트 템플리트 중 하나를 평가하십시오.

  1. 샘플 프로젝트에서 테스트 데이터를 다운로드하십시오. 평가 중에 테스트 데이터에 대한 로컬 파일을 제공해야 합니다.

    1. 자산 탭을 클릭하십시오.
    2. 보험 청구 요약 테스트 data.csv 파일의 경우 오버플로우 메뉴 오버플로우 메뉴를 클릭하고 다운로드를 선택하십시오.
    3. CSV 파일을 로컬로 저장하십시오.
  2. 보험 청구 요약 을 클릭하여 프롬프트 랩에서 프롬프트 템플리트를 열고 편집을 클릭하십시오.

  3. 프롬프트 변수 아이콘 프롬프트 변수을 클릭하십시오.

    주: 평가를 실행하려면 하나 이상의 프롬프트 변수를 작성해야 합니다.
  4. 시도 섹션으로 스크롤하십시오. 입력 필드의 {input} 변수에 유의하십시오. 프롬프트를 테스트하기 위한 입력으로 프롬프트 변수를 포함해야 합니다. 프롬프트 변수는 작성 시 프롬프트의 정적 텍스트에 포함시키고 런타임 시 동적으로 텍스트로 바꾸는 플레이스홀더 키워드입니다.

  5. 평가 아이콘 평가을 클릭하십시오.

  6. 차원 목록을 보려면 생성 AI 품질 섹션을 펼치십시오. 사용 가능한 메트릭은 프롬프트의 태스크 유형에 따라 다릅니다. 예를 들어, 요약에는 분류와 다른 메트릭이 있습니다.

  7. 다음 을 클릭하십시오.

  8. 테스트 데이터 선택:

    1. 찾아보기를 누르십시오.
    2. 이전에 다운로드한 보험 청구 요약 테스트 data.csv 파일을 선택하십시오.
    3. 열기를 누르십시오.
    4. 입력 열에 대해 Insurance_Claim을 선택하십시오.
    5. 참조 출력 열에 대해 요약을 선택하십시오.
    6. 다음 을 클릭하십시오.
  9. 평가를 클릭하십시오. 평가를 완료하는 데 몇 분이 걸릴 수 있습니다. 평가가 완료되면 평가 탭에 테스트 결과가 표시됩니다. 이 페이지는 모델 성능에 대한 통찰력을 얻을 수 있도록 이 평가 실행에 대한 자세한 정보를 표시합니다. 요약은 프롬프트 템플리트 평가에 대한 기본 점수 임계값 위반 및 메트릭 점수의 개요를 제공합니다.

  10. AI 패싯 시트 탭을 클릭하십시오.

    1. 탭의 각 섹션에 대한 정보를 보십시오.
    2. 평가 > 개발 > 테스트 를 클릭하여 테스트 결과를 다시 보십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 평가 결과를 표시합니다. 이제 AI 유스 케이스에서 프롬프트 템플리트 추적을 시작할 수 있습니다.

프롬프트 템플리트 평가 테스트 결과




태스크 4: 프롬프트 템플리트 추적 시작

학습서 비디오 미리보기 이 태스크를 미리 보려면 02:37에 시작하는 비디오를 보십시오.

AI 유스 케이스에서 프롬프트 템플리트를 추적하여 개발 및 테스트 프로세스를 피어에 보고할 수 있습니다. 프롬프트 템플리트 추적을 시작하려면 다음 단계를 수행하십시오.

  1. 탐색 메뉴 탐색 메뉴에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.
  2. watsonx 통제 시작하기 프로젝트를 선택하십시오.
  3. 자산 탭을 클릭하십시오.
  4. 보험 청구 요약 프롬프트 템플리트의 오버플로우 메뉴 오버플로우 메뉴 에서 AI Factsheet 보기를 선택하십시오. 모든 AI 자산에는 AI factsheet가 있습니다. 여기에는 자산이 빌드된 방법, AI 라이프사이클 전체의 평가 결과 및 추가 첨부 파일에 대한 자세한 정보가 포함되어 있습니다.
  5. AI 패싯 시트 탭에서 통제 페이지를 클릭하십시오.
  6. AI 유스 케이스 추적을 클릭하십시오.
  7. 보험 청구 처리 AI 유스 케이스를 선택하십시오.
  8. 다음 을 클릭하십시오.
  9. 접근 방식을 선택하십시오. 접근 방식은 AI 유스 케이스로 표시되는 비즈니스 문제점에 대한 솔루션의 한 가지 측면입니다. 예를 들어, 유스 케이스에서 여러 프롬프트 템플리트를 추적하는 접근 방식을 작성할 수 있습니다.
  10. 다음 을 클릭하십시오.
  11. 모델 버전의 경우 시범을 선택하십시오.
  12. 버전 번호의 기본값을 승인하십시오.
  13. 다음 을 클릭하십시오.
  14. 정보를 검토한 후 자산 추적을 클릭하십시오.
  15. 모델 추적이 시작되면 세부사항 보기 아이콘 세부사항 보기 을 클릭하여 AI 유스 케이스를 여십시오.
  16. 라이프사이클 탭을 클릭하여 프롬프트 템플리트가 개발 단계에 있는지 확인하십시오. 프롬프트 템플리트가 AI 라이프사이클을 통해 이동할 때 다음 단계를 통해 이동합니다.
    • 개발 단계: 프로젝트 환경에서 개발된 AI 자산.
    • 테스트 단계 (Phase): 테스트를 위해 영역에 배치된 ML 모델입니다.
    • 유효성 검증 단계: 유효성 검증을 위해 영역 또는 프로젝트에 배치된 AI 자산입니다.
    • 운영 단계: 운영을 위해 영역에 배치된 AI 자산입니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 개발 단계에서 프롬프트 템플리트가 있는 AI 유스 케이스의 라이프사이클 탭을 표시합니다. 이제 유효성 검증 단계를 계속할 준비가 되었습니다.

AI 유스 케이스의 라이프사이클 탭




태스크 5: 유효성 검증을 위한 새 프로젝트 작성

학습서 비디오 미리보기 이 태스크를 미리 보려면 03:27에서 시작하는 비디오를 보십시오.

일반적으로 프롬프트 엔지니어는 테스트 데이터를 사용하여 프롬프트를 평가하고 유효성 검증 엔지니어는 프롬프트를 유효성 검증합니다. 유효성 검증 엔지니어는 프롬프트 엔지니어에게 없을 수 있는 유효성 검증 데이터에 액세스할 수 있습니다. 이 경우 다른 프로젝트에서 유효성 검증 데이터가 발생합니다. 다음 단계에 따라 개발 프로젝트를 내보내고 이를 새 유효성 검증 프로젝트로 가져와서 자산을 AI 라이프사이클의 유효성 검증 단계로 이동하십시오.

  1. 탐색 메뉴 탐색 메뉴에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

  2. watsonx 통제 시작하기 프로젝트를 선택하십시오.

  3. 가져오기/내보내기 아이콘 가져오기/내보내기 > 프로젝트 내보내기를 클릭하십시오.

  4. 모든 자산을 선택하려면 상자를 선택하십시오.

  5. 내보내기를 클릭하십시오.

  6. 프로젝트 이름에 대해 다음 텍스트를 복사하여 붙여넣은 후 저장을 클릭하십시오.

    validation project.zip
    
  7. 프로젝트 내보내기가 완료되면 프로젝트로 돌아가기를 클릭하십시오.

  8. 탐색 메뉴 탐색 메뉴에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

  9. 새 프로젝트를 클릭하십시오.

    1. 파일 샘플에서 프로젝트 작성을 선택하십시오.

    2. 찾아보기를 누르십시오.

    3. 유효성 검증 project.zip을 선택하고 열기를 클릭하십시오.

    4. 프로젝트 이름에 대해 다음 텍스트를 복사하여 붙여넣으십시오.

      Validation project
      
    5. 작성을 클릭하십시오.

  10. 프로젝트가 작성되면 새 프로젝트 보기.1을 클릭하십시오. 1단계 와 동일한 단계를 수행하여 Watson Machine Learning 서비스를 이 프로젝트와 연관시키십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 유효성 검증 프로젝트 자산 탭을 표시합니다. 이제 유효성 검증 프로젝트에서 샘플 프롬프트 템플리트를 평가할 준비가 되었습니다.

유효성 검증 프로젝트 자산




태스크 6: 프롬프트 템플리트 유효성 검증

학습서 비디오 미리보기 이 태스크를 미리 보려면 04:22에서 시작하는 비디오를 보십시오.

이제 이전과 동일한 평가 프로세스를 사용하여 이 유효성 검증 프로젝트에서 프롬프트 템플리트를 평가할 준비가 되었습니다. 평가에 동일한 테스트 데이터 세트를 사용하십시오. 그리고 이전과 동일한 입력 및 출력 열을 선택하십시오. 프롬프트 템플리트의 유효성을 검증하려면 다음 단계를 수행하십시오.

  1. 유효성 검증 프로젝트에서 자산 탭을 클릭하십시오.
  2. 태스크 2 의 단계를 반복하여 청구 처리 요약 프롬프트 템플리트를 평가하십시오.
  3. 평가가 완료되면 AI 패싯 시트 탭을 클릭하십시오.
  4. 두 테스트 결과 세트 모두 보기:
    1. 평가 > 개발 > 테스트를 클릭하십시오.
    2. 평가 > 유효성 검증 > 테스트를 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 유효성 검증 테스트 결과를 표시합니다. 이제 프롬프트 템플리트를 배치 영역으로 승격한 후 프롬프트 템플리트를 배치할 준비가 되었습니다.

프롬프트 템플리트 평가 테스트 결과




태스크 7: 프롬프트 템플리트 배치

학습서 비디오 미리보기 이 태스크를 미리보려면 05:04에서 시작하는 비디오를 보십시오.

태스크 7a: 프롬프트 템플리트를 배치 영역으로 승격

배치 준비를 위해 프롬프트 템플리트를 배치 영역으로 승격합니다. 프롬프트 템플리트를 프롬프트하려면 다음 단계를 수행하십시오.

  1. 프로젝트 탐색 추적에서 프로젝트 유효성 검증 을 클릭하십시오.
  2. 보험 청구 요약 프롬프트 템플리트의 오버플로우 메뉴 오버플로우 메뉴 에서 공간으로 승격을 선택하십시오.
  3. 대상 공간의 경우 새 배치 공간 작성을 선택하십시오.
    1. 공간 이름의 경우 다음 텍스트를 복사하여 붙여넣으십시오.

      Insurance claims deployment space
      
    2. 배치 단계에 대해 프로덕션을 선택하십시오.

      중요: 평가 단계에서 운영 단계로 배치를 이동하려면 배치 단계에 대해 프로덕션을 선택해야 합니다.
    3. 목록에서 기계 학습 서비스를 선택하십시오.

    4. 작성을 클릭하십시오.

    5. 닫기를 클릭하십시오.

  4. 목록에서 보험 청구 배치 영역 배치 영역을 선택하십시오.
  5. 프롬프트 템플리트를 승격한 후 공간으로 이동옵션을 선택하십시오.
  6. 승격을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 배치 영역의 프롬프트 템플리트를 표시합니다. 이제 배치를 작성할 준비가 되었습니다.

배치 영역의 프롬프트 템플리트

태스크 7b: 프롬프트 템플리트 배치

이제 배치 영역 내에서 프롬프트 템플리트의 온라인 배치를 작성할 수 있습니다. 배치를 작성하려면 다음 단계를 수행하십시오.

  1. 배치 영역의 보험 청구 요약 자산 페이지에서 새 배치를 선택하십시오.

  2. 배치 이름의 경우 다음 텍스트를 복사하여 붙여넣으십시오.

    Insurance claims summarization deployment
    
  3. 작성을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 배치된 프롬프트 템플리트를 표시합니다.

배치된 프롬프트 템플리트

태스크 7c: 배치된 프롬프트 템플리트 보기

라이프사이클의 현재 단계에서 배치된 프롬프트 템플리트를 보려면 다음 단계를 수행하십시오.

  1. 준비가 되면 배치를 보십시오. API 참조 탭은 애플리케이션에서 프롬프트 템플리트 배치를 사용하기 위한 정보를 제공합니다.
  2. 테스트 탭을 클릭하십시오. 테스트 탭을 사용하면 지시사항 및 입력을 제출하여 배치를 테스트할 수 있습니다.
  3. 생성을 클릭하십시오. 결과 창을 닫으십시오.
  4. AI 패싯 시트 탭을 클릭하십시오. AI Factsheet 는 프롬프트 템플리트가 현재 작동 단계에 있음을 표시합니다.
  5. AI Factsheet 페이지의 맨 아래로 스크롤하여 자세한 정보를 보려면 화살표를 클릭하십시오.
  6. 평가 > 조작 > 배치 1페이지를 선택하십시오.
  7. 팩트 시트의 맨 위에 있는 세부사항 보기 아이콘 세부사항 보기 을 클릭하여 AI 유스 케이스를 여십시오.
  8. 라이프사이클 탭을 클릭하십시오.
  9. 조작 단계에서 보험 청구 요약 프롬프트 템플리트를 클릭하십시오. 완료되면 취소를 클릭하십시오.
  10. 조작 단계에서 보험 청구 요약 배치 프롬프트 템플리트 배치를 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 라이프사이클의 운영 단계에서 프롬프트 템플리트 프롬프트 템플리트를 표시합니다.

운영 단계의 프롬프트 템플리트




다음 단계

다른 학습서 중 하나를 시도하십시오.

추가 자원

  • 비디오를 더 보십시오.

  • 자원 허브에서 샘플 데이터 세트, 프로젝트, 모델, 프롬프트 및 노트북을 찾아 실제 경험을 얻을 수 있습니다.

    데이터 분석 및 모델 빌드를 시작하기 위해 프로젝트에 추가할 수 있는 노트북 노트북 .

    노트북, 데이터 세트, 프롬프트 및 기타 자산을 포함하여 가져올 수 있는 프로젝트 프로젝트 .

    모델을 세분화, 분석 및 빌드하기 위해 프로젝트에 추가할 수 있는 데이터 세트 데이터 세트 .

    기본 모델을 프롬프트하기 위해 프롬프트 랩에서 사용할 수 있는 프롬프트 프롬프트 .

    프롬프트 랩에서 사용할 수 있는 모델 Foundation 모델 .

상위 주제: 빠른 시작 학습서

일반적인 AI 검색 및 응답
이러한 응답은 제품 문서의 컨텐츠를 기반으로 하는 watsonx.ai 의 대형 언어 모델에 의해 생성됩니다. 자세히 알아보기