빠른 시작: 프롬프트 템플리트 평가 및 추적

작업 1a: 샘플을 기반으로 개발 프로젝트 만들기

이 작업을 미리 보려면 00:11부터 시작하는 동영상을 시청하세요.

리소스 허브에는 평가하고 추적할 수 있는 샘플 프롬프트 템플릿이 포함된 샘플 프로젝트가 포함되어 있습니다. 이미 샘플 프로젝트를 만든 경우, 이 작업의 1단계를 건너뛰고 다음으로 Watson Machine Learning 서비스를 샘플 프로젝트에 연결합니다. 그렇지 않으면 다음 단계에 따라 샘플을 기반으로 개발 프로젝트를 만드세요:

1. 리소스 허브에서 watsonx.governance으로 시작하기 프로젝트에 액세스합니다.

   1. 프로젝트 작성을 클릭하십시오.

   2. 프로젝트 이름의 기본값을 승인하고 작성을 클릭하십시오.

   3. 프로젝트가 작성되면 새 프로젝트 보기 를 클릭하십시오.

2. Watson Machine Learning 서비스를 프로젝트와 연관시키십시오. 자세한 정보는 Watson Machine Learning을 참조하십시오.

   1. 프로젝트가 열리면 관리 탭을 클릭하고 서비스 및 통합 페이지를 선택하십시오.

   2. IBM 서비스 탭에서 서비스 연관을 클릭하십시오.

   3. Watson Machine Learning 인스턴스를 선택하십시오. Watson Machine Learning 서비스 인스턴스가 아직 프로비저닝되지 않은 경우 다음 단계를 수행하십시오.

      1. 새 서비스를 클릭하십시오.

      2. Watson Machine Learning을 선택하십시오.

      3. 작성을 클릭하십시오.

      4. 목록에서 새 서비스 인스턴스를 선택하십시오.

   4. 서비스 연관을 클릭하십시오.

   5. 필요한 경우 취소 를 클릭하여 서비스 및 통합 페이지로 돌아가십시오.

3. 샘플 자산을 보려면 프로젝트에서 자산 탭을 클릭하십시오.

추가 정보나 동영상을 보려면 프로젝트 작성을 참조하십시오.

연관된 서비스에 대한 추가 정보는 연관된 서비스 추가를 참조하십시오.

진행 상황 확인

다음 이미지는 개발 프로젝트 자산 탭을 보여줍니다. 이제 인벤토리 및 AI 사용 사례를 만들 준비가 되었습니다.

작업 1b: 유효성 검사 프로젝트 만들기

이 작업을 미리 보려면 00:44부터 시작하는 동영상을 시청하세요.

일반적으로 프롬프트 엔지니어는 테스트 데이터를 사용하여 프롬프트를 평가하고 유효성 검증 엔지니어는 프롬프트를 유효성 검증합니다. 유효성 검증 엔지니어는 프롬프트 엔지니어에게 없을 수 있는 유효성 검증 데이터에 액세스할 수 있습니다. 이 경우 다른 프로젝트에서 유효성 검증 데이터가 발생합니다. 빈 프로젝트를 만들려면 다음 단계를 따르세요. 나중에 개발 프로젝트에서 유효성 검사 프로젝트로 에셋을 가져옵니다.

1. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택합니다.
2. 프로젝트 페이지에서 새 프로젝트를 클릭합니다.
3. 프로젝트 이름을 입력합니다: Validation project
4. 작성을 클릭하십시오.
5. 작업 1a에서와 동일한 단계를 수행하여 Watson Machine Learning 서비스를 검증 프로젝트에 연결합니다.
6. 자산 탭을 클릭하면 빈 프로젝트를 볼 수 있습니다.

진행 상황 확인

다음 이미지는 빈 유효성 검사 프로젝트를 보여줍니다.

작업 1c: 배포 공간 만들기

이 작업을 미리 보려면 01:16부터 시작하는 동영상을 시청하세요.

지금 배포 공간을 만들어야 나중에 프롬프트 템플릿을 해당 배포 공간으로 승격할 수 있습니다. 배포 공간을 만들려면 다음 단계를 따르세요:

1. 내비게이션 메뉴 에서 배포를 선택합니다.

2. 새 배치 공간을 클릭하십시오.

3. 공간 이름에 다음 텍스트를 복사하여 붙여넣습니다: Insurance claims deployment space

4. 배치 단계에 대해 프로덕션을 선택하십시오.

   중요: 배포를 평가 단계에서 운영 단계로 이동하려면 배포 단계에 대해 프로덕션을 선택해야 합니다.

5. 목록에서 기계 학습 서비스를 선택하십시오.

6. 작성을 클릭하십시오.

진행 상황 확인

다음 이미지는 배포 공간을 보여줍니다.

작업 2a: 인벤토리 만들기

이 작업을 미리 보려면 01:45부터 시작하는 동영상을 시청하세요.

인벤토리를 만들려면 다음 단계를 따르세요:

1. 내비게이션 메뉴 에서 AI 거버넌스 > AI 사용 사례를 선택합니다.

2. 기존 자원 명세가 있는 경우 새 AI 유스 케이스 작성 으로 건너뛰어 해당 자원 명세를 사용할 수 있습니다. 인벤토리가 없는 경우 다음 단계를 따르세요.

   1. 인벤토리 관리 아이콘 을 클릭합니다.

   2. 인벤토리 페이지에서 새 인벤토리를 클릭합니다.

   3. 이름에 다음 텍스트를 복사하여 붙여넣습니다: Golden Bank Insurance Inventory

   4. 설명을 위해 다음 텍스트를 복사하여 붙여넣습니다: Inventory for insurance related claims processing

   5. 작성 후 협업자 추가 옵션을 선택 취소하십시오. 인벤토리 및 AI 유스 케이스 레벨에서 액세스를 제한할 수 있습니다.

   6. 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

   7. 작성을 클릭하십시오.

3. 인벤토리 관리 페이지를 닫으십시오.

진행 상황 확인

다음 이미지는 인벤토리를 보여줍니다. 이제 AI 유스 케이스를 작성할 준비가 되었습니다.

작업 2b: AI 사용 사례 만들기

이 태스크를 미리 보려면 02:08에서 시작하는 비디오를 시청하십시오.

AI 유스 케이스는 AI의 도움으로 해결할 수 있는 정의된 비즈니스 문제점입니다. 일반적으로 이는 AI 자산이 개발되기 전에 정의됩니다. 다음 단계에 따라 AI 유스 케이스를 작성하십시오.

1. 새 AI 유스 케이스를 클릭하십시오.
2. 이름에 다음 텍스트를 복사하여 붙여넣습니다: Insurance claims processing AI use case
3. 기존 인벤토리를 선택합니다.
4. 나머지 필드에 대해 기본값을 승인하려면 작성 을 클릭하십시오.
5. AI 사용 사례를 처음 사용하는 경우 기능을 설정하라는 메시지가 표시됩니다. Begin를 클릭하고 AI 사용 사례가 표시될 때까지 기다립니다.

진행 상황 확인

다음 이미지는 AI 사용 사례를 보여줍니다.

작업 2c: 워크스페이스를 사용 사례와 연결하기

이 작업을 미리 보려면 02:29부터 시작하는 동영상을 시청하세요.

다음 단계에 따라 워크스페이스를 이 사용 사례와 연결하세요:

1. 연결된 워크스페이스 섹션으로 스크롤합니다.
2. 개발 단계에서 워크스페이스 연결를 클릭합니다.
   1. watsonx.governance으로 시작하기 프로젝트를 선택합니다.
   2. 저장 을 클릭하십시오.
3. 검증 단계에서 워크스페이스 연결를 클릭합니다.
   1. 검증 프로젝트를 선택합니다.
   2. 저장 을 클릭하십시오.
4. 운영 단계 아래에서 워크스페이스 연결를 클릭합니다.
   1. 보험금 청구 배포 공간를 선택합니다.
   2. 저장 을 클릭하십시오.

진행 상황 확인

다음 이미지는 모든 관련 워크스페이스가 있는 AI 사용 사례를 보여줍니다.

작업 3a: 프롬프트 랩에서 샘플 프롬프트 템플릿 편집하기

이 작업을 미리 보려면 03:02부터 시작하는 동영상을 시청하세요.

프롬프트 템플릿이 어떻게 구성되어 있는지 확인하려면 다음 단계를 따르세요:

1. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택합니다.

2. watsonx.governance으로 시작하기 프로젝트를 선택합니다.

3. 자산 탭을 클릭하십시오.

4. 보험 청구 요약 을 클릭하여 프롬프트 랩에서 프롬프트 템플리트를 열고 편집을 클릭하십시오.

5. 변수 프롬프트 아이콘 을 클릭합니다.

   주: 평가를 실행하려면 하나 이상의 프롬프트 변수를 작성해야 합니다.

6. 시도 섹션으로 스크롤하십시오. 입력 필드의 {input} 변수에 유의하십시오. 프롬프트를 테스트하기 위한 입력으로 프롬프트 변수를 포함해야 합니다. 프롬프트 변수는 작성 시 프롬프트의 정적 텍스트에 포함시키고 런타임 시 동적으로 텍스트로 바꾸는 플레이스홀더 키워드입니다.

진행 상황 확인

다음 이미지는 프롬프트 랩을 보여줍니다.

작업 3b: 프롬프트 템플릿 평가하기

이 작업을 미리 보려면 03:24부터 시작하는 동영상을 시청하세요.

이제 프롬프트 템플릿을 평가할 준비가 되었습니다.

1. 평가하기 아이콘 을 클릭합니다.
2. 차원 목록을 보려면 생성 AI 품질 섹션을 펼치십시오. 사용 가능한 메트릭은 프롬프트의 태스크 유형에 따라 다릅니다. 예를 들어, 요약에는 분류와 다른 메트릭이 있습니다.
3. 다음 을 클릭하십시오.
4. 테스트 데이터 선택:
   1. 프로젝트에서 선택를 클릭합니다.
   2. 프로젝트 파일 > 보험금 청구 요약 테스트 data.csv를 선택합니다.
   3. 선택을 클릭하십시오.
   4. 입력 열에 대해 Insurance_Claim을 선택하십시오.
   5. 참조 출력 열에 대해 요약을 선택하십시오.
   6. 다음 을 클릭하십시오.
5. 평가를 클릭하십시오. 평가를 완료하는 데 몇 분이 걸릴 수 있습니다. 평가가 완료되면 평가 탭에 테스트 결과가 표시됩니다. 이 페이지는 모델 성능에 대한 통찰력을 얻을 수 있도록 이 평가 실행에 대한 자세한 정보를 표시합니다. 요약은 프롬프트 템플리트 평가에 대한 기본 점수 임계값 위반 및 메트릭 점수의 개요를 제공합니다.
6. AI 패싯 시트 탭을 클릭하십시오.
   1. 탭의 각 섹션에 대한 정보를 보십시오.
   2. 테스트 결과를 다시 보려면 개발 > 시작하기 watsonx.governance > 테스트 결과를 클릭합니다.

진행 상황 확인

다음 이미지는 평가 결과를 표시합니다. 이제 AI 유스 케이스에서 프롬프트 템플리트 추적을 시작할 수 있습니다.

진행 상황 확인

다음 이미지는 개발 단계의 프롬프트 템플릿이 있는 AI 사용 사례의 수명 주기 탭을 보여줍니다. 이제 유효성 검사 단계를 계속 진행할 준비가 되었습니다.

작업 5a: 샘플 프로젝트 내보내기

이 작업을 미리 보려면 05:07부터 시작하는 동영상을 시청하세요.

개발 프로젝트를 내보내려면 다음 단계를 따르세요:

1. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택합니다.
2. watsonx.governance으로 시작하기 프로젝트를 선택합니다.
3. 가져오기/내보내기 아이콘 > 프로젝트 내보내기를 클릭합니다.
4. 모든 자산을 선택하려면 상자를 선택하십시오.
5. 내보내기를 클릭하십시오.
6. 내보내기 계속를 클릭하여 에셋에 자격 증명이 포함되어 있을 수 있음을 확인합니다.
7. 프로젝트 파일 이름을 묻는 메시지가 표시될 때까지 기다렸다가 validation-project.zip을 입력한 다음 저장를 클릭합니다.
8. 프로젝트 내보내기가 완료되면 프로젝트로 돌아가기를 클릭하십시오.

진행 상황 확인

다음 이미지는 프로젝트 내보내기 페이지를 보여줍니다.

작업 5b: 에셋을 유효성 검사 프로젝트로 가져오기

이 태스크를 미리 보려면 05:28에서 시작하는 비디오를 시청하십시오.

개발 프로젝트에서 유효성 검사 프로젝트로 에셋을 가져오려면 다음 단계를 따르세요:

1. 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택합니다.
2. 검증 프로젝트를 엽니다.
3. 가져오기/내보내기 아이콘 > 프로젝트 가져오기를 클릭합니다.
4. 찾아보기를 누르십시오.
5. validation-project.zip 파일을 선택하고 열기를 클릭합니다.
6. 동의를 표시하는 옵션을 선택합니다: 일부 유형의 에셋은 이름과 유형이 같은 기존 에셋을 덮어쓴다는 것을 이해합니다.
7. 가져오기를 클릭하십시오.
8. 에셋 가져오기에 성공하면 새로 고침 아이콘 을 클릭하면 가져온 에셋을 확인할 수 있습니다.

진행 상황 확인

다음 이미지는 유효성 검증 프로젝트 자산 탭을 표시합니다. 이제 유효성 검증 프로젝트에서 샘플 프롬프트 템플리트를 평가할 준비가 되었습니다.

진행 상황 확인

다음 이미지는 유효성 검증 테스트 결과를 표시합니다. 이제 프롬프트 템플리트를 배치 영역으로 승격한 후 프롬프트 템플리트를 배치할 준비가 되었습니다.

태스크 7a: 프롬프트 템플리트를 배치 영역으로 승격

이 태스크를 미리 보려면 06:14에서 시작하는 비디오를 시청하십시오.

배치 준비를 위해 프롬프트 템플리트를 배치 영역으로 승격합니다. 프롬프트 템플리트를 프롬프트하려면 다음 단계를 수행하십시오.

1. 탐색 트레일에서 검증 프로젝트를 클릭합니다.

   

2. 초과 메뉴 에서 보험금 청구 요약 프롬프트 템플릿의 공백으로 승격을 선택합니다.

3. 대상 공간에서 보험금 청구 배포 공간를 선택합니다.

4. 프롬프트 템플리트를 승격한 후 공간으로 이동옵션을 선택하십시오.

5. 승격을 클릭하십시오.

진행 상황 확인

다음 이미지는 배치 영역의 프롬프트 템플리트를 표시합니다. 이제 배치를 작성할 준비가 되었습니다.

태스크 7b: 프롬프트 템플리트 배치

이 작업을 미리 보려면 06:33부터 시작하는 동영상을 시청하세요.

이제 배치 영역 내에서 프롬프트 템플리트의 온라인 배치를 작성할 수 있습니다. 배치를 작성하려면 다음 단계를 수행하십시오.

1. 배치 영역의 보험 청구 요약 자산 페이지에서 새 배치를 선택하십시오.

2. 배치 이름의 경우 다음 텍스트를 복사하여 붙여넣으십시오.

   Insurance claims summarization deployment
   

3. 작성을 클릭하십시오.

진행 상황 확인

다음 이미지는 배치된 프롬프트 템플리트를 표시합니다.

태스크 7c: 배치된 프롬프트 템플리트 보기

이 작업을 미리 보려면 06:47부터 시작하는 동영상을 시청하세요.

라이프사이클의 현재 단계에서 배치된 프롬프트 템플리트를 보려면 다음 단계를 수행하십시오.

1. 준비가 되면 배치를 보십시오. API 참조 탭은 애플리케이션에서 프롬프트 템플리트 배치를 사용하기 위한 정보를 제공합니다.
2. 테스트 탭을 클릭하십시오. 테스트 탭을 사용하면 지시사항 및 입력을 제출하여 배치를 테스트할 수 있습니다.
3. 생성을 클릭하십시오. 결과 창을 닫으십시오.
4. AI 패싯 시트 탭을 클릭하십시오.
5. AI Factsheet 페이지의 맨 아래로 스크롤하여 자세한 정보를 보려면 화살표를 클릭하십시오.
6. 배포된 프롬프트 템플릿에 대한 개발, 검증 및 운영 단계의 정보를 AI 팩트 시트에서 검토하세요.
7. 페이지 상단으로 스크롤하여 세부 정보 보기 아이콘 을 클릭하면 AI 사용 사례가 열립니다.
8. 사용 사례에서 라이프사이클 탭을 클릭합니다. 이제 프롬프트 템플릿이 작동 단계에 있는 것을 확인할 수 있습니다.
9. 보험금 청구 요약 프롬프트 템플릿을 작업 단계에서 클릭합니다. 완료되면 취소를 클릭하십시오.
10. 보험금 청구 요약 배포 프롬프트 템플릿 배포를 작동 단계에서 클릭합니다. 완료되면 취소를 클릭하십시오.

진행 상황 확인

다음 이미지는 라이프사이클의 운영 단계에 있는 프롬프트 템플릿 프롬프트 템플릿을 보여줍니다.