AI 유스 케이스의 프롬프트 템플리트를 추적하여 자산에 대한 팩트를 캡처하고 공유하여 통제 및 준수 목표를 충족하는 데 도움을 줍니다.
프롬프트 템플리트 추적
프롬프트 템플릿은 foundation model 대한 저장된 프롬프트 입력입니다. 프롬프트 템플리트는 다른 옵션으로 실행할 수 있도록 변수를 포함할 수 있습니다. 예를 들어, project-X에 대한 미팅 노트를 요약하는 프롬프트가 있는 경우, project-Y에 대해 동일한 프롬프트를 실행할 수 있도록 변수를 정의할 수 있습니다.
저장된 프롬프트 템플리트를 AI 유스 케이스에 추가하여 프롬프트 템플리트의 세부사항을 추적할 수 있습니다. 프롬프트 템플리트 작성 정보 및 소스 모델 세부사항에 대한 세부사항을 기록하는 것 외에도, 팩시밀리는 성능 메트릭을 캡처하기 위해 프롬프트 템플리트 평가에서 정보를 추적합니다. 프롬프트 템플리트 추적을 시작하기 전이나 후에 프롬프트 템플리트를 평가할 수 있습니다.
시작하기 전에
프롬프트 템플리트를 추적하기 전에 이러한 조건이 충족되어야 합니다.
- 프롬프트 템플리트를 포함하는 프로젝트의 관리자 또는 편집자여야 합니다.
- 프롬프트 템플리트에는 하나 이상의 변수가 포함되어야 합니다. 자세한 정보는 재사용 가능 프롬프트 빌드를 참조하십시오.
AI 유스 케이스에서 프롬프트 템플리트를 추적하는 방법을 보려면 이 비디오를 시청하십시오.
이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.
AI 유스 케이스에서 프롬프트 템플리트 추적
프로젝트 또는 공간에서 AI 유스 케이스에 프롬프트 템플리트를 추가할 수 있습니다.
- 통제할 프롬프트 템플리트가 포함된 프로젝트 또는 공간을 여십시오.
- 자산의 조치 메뉴에서 AI 유스 케이스 보기를 클릭하십시오.
- 이 프롬프트 템플리트가 아직 AI 유스 케이스의 일부가 아닌 경우 AI 유스 케이스에서 추적 하도록 프롬프트가 표시됩니다. 프롬프트 템플리트 추적을 시작하면 프롬프트 템플리트가 잠기고 더 이상 편집할 수 없습니다. 변경하려면 새 프롬프트 템플리트를 작성해야 합니다.
- 기존 AI 유스 케이스를 선택하거나 프롬프트에 따라 새 AI 유스 케이스를 작성하십시오.
- 기존 접근 방식을 선택하거나 새 접근 방식을 작성하십시오. 접근 방식은 완전한 솔루션의 한 가지 측면을 나타냅니다. 각 접근 방식은 동일한 접근 방식으로 모든 자산에 대한 버전 세트를 작성합니다.
- 버전 번호 지정 스킴을 선택하십시오. 접근 방식의 모든 자산은 공통 버전을 공유합니다. 다음 중에서 선택하십시오.
- 시범 -자주 업데이트하려는 경우.
- 안정적 -자산이 빠르게 변경되지 않는 경우입니다.
- 새 버전 번호를 시작하려면 사용자 정의 를 선택하십시오. 버전 번호 지정은 major.minor.patch스키마를 따라야 합니다.
추적이 사용으로 설정되면 유스 케이스의 모든 협업자가 프롬프트 템플리트에 대한 세부사항을 검토할 수 있습니다.
프롬프트 템플리트의 각 라이프사이클 단계에 대한 세부사항이 캡처됩니다.
- 개발은 프롬프트 자체, 생성 날짜, 사용된 foundation model, 프롬프트 매개변수 세트, 정의된 변수 등 프롬프트가 정의되는 방식에 대한 정보를 제공합니다.
- 평가 는 프롬프트 템플리트를 평가하여 차원 메트릭을 표시합니다.
- 작동 은 생산적인 사용을 위해 프롬프트 템플리트를 배치하는 방법과 관련된 세부사항을 제공합니다.
프롬프트 템플릿 추적에 대한 요구 사항
사용자 인터페이스에서 거버넌스를 위한 프롬프트 템플릿을 관리하기 위한 다음 요구 사항을 고려하세요.
- 모델 배포를 만든 프로젝트 또는 공간에서 모델 배포를 참조하는 프롬프트 템플릿의 배포는 모델 배포를 만든 프로젝트 또는 공간에서만 만들 수 있습니다. 배포된 모델을 참조하는 템플릿을 스페이스로 승격하면 모델 자산의 사본이 스페이스에 자동으로 추가됩니다. 프롬프트 템플릿을 배포하기 전에 해당 공간에 모델을 배포해야 합니다.
- 배포된 모델을 참조하는 프롬프트 템플릿을 내보내는 경우 연결된 모델 자산이 프롬프트 템플릿과 함께 자동으로 내보내집니다. 템플릿을 새 컨테이너로 가져오면 모델도 함께 가져옵니다. 프롬프트 템플릿을 배포하기 전에 모델을 새 컨테이너에 배포해야 합니다.
추적된 프롬프트 템플리트의 패싯 시트 보기
연관된 패싯 시트를 보려면 AI 유스 케이스에서 프롬프트 템플리트의 이름을 클릭하십시오.
프롬프트 템플리트의 패싯 시트는 다음 유형의 데이터를 수집합니다.
- 통제 는 AI 유스 케이스의 이름, 설명, 접근 방식 이름 및 버전 데이터와 같은 기본 정보를 수집합니다.
- 재단 모델에는 foundation model 이름, 라이선스 ID 및 모델 게시자가 표시됩니다.
- 프롬프트 템플리트 는 프롬프트 이름, ID, 프롬프트 입력 및 변수를 표시합니다.
- 프롬프트 매개변수 는 디코딩 방법 및 중지 기준을 포함하여 프롬프트 템플리트에 대한 구성 옵션을 수집합니다.
- 평가 는 경보 및 평가의 메트릭 데이터를 포함하여 평가의 데이터를 표시합니다. 예를 들어, 이 프롬프트 템플리트는 프롬프트 템플리트의 품질 평가에 대한 메트릭 데이터를 표시합니다. 평가에 의해 하나의 임계값 경고가 트리거되었습니다: '
- 유효성 검증 은 유효성 검증, 트리거된 경보 및 평가 메트릭 데이터에 사용된 데이터 세트를 포함하여 프롬프트 템플리트가 평가된 방법에 대한 데이터를 표시합니다.
- 첨부 는 유스 케이스를 지원하는 첨부에 대한 정보를 표시합니다.
라이프사이클 단계를 통해 프롬프트 템플리트 이동
프롬프트 템플리트가 추적되면 프롬프트 템플리트를 작성하고 적절한 메트릭에 대해 성능을 평가하여 세부사항을 볼 수 있습니다. 라이프사이클의 다음 단계는 프롬프트 템플리트를 _유효성 검증 하는 것입니다. 여기에는 새 데이터로 프롬프트 템플리트를 테스트하는 작업이 포함됩니다. 자산 유효성 검증을 담당하는 프롬프트 엔지니어인 경우 다음 단계를 수행하여 프롬프트 템플리트의 유효성을 검증하고 연관된 패싯 시트에서 유효성 검증 데이터를 캡처하십시오.
- 프롬프트 템플리트를 포함하는 프로젝트에서 프로젝트를 압축된 ZIP 파일로 내보내십시오.
- 새 프로젝트를 작성하고 내보낸 ZIP 파일로 채우십시오.
- 유효성 검증 데이터를 업로드하고 프롬프트 템플리트를 평가한 후 결과를 유효성 검증 프로젝트에 저장하십시오.
- 프로젝트에서 프롬프트 템플리트를 프로덕션 단계로 지정된 기존 또는 새 배치 영역으로 승격하십시오. 스테이지는 스페이스가 생성될 때 할당되며 업데이트할 수 없으므로 사용 가능한 프로덕션 스페이스가 없는 경우 새 스페이스를 생성하세요.
- 프롬프트 템플리트를 배치 영역으로 승격한 후 연속 모니터링을 구성할 수 있습니다.
- 프로덕션 공간에서 프롬프트 템플리트 모니터링의 세부사항은 AI 유스 케이스의 운영 라이프사이클 단계에 표시됩니다.
자세히 알아보기
- 빠른 시작: 프롬프트 템플리트 평가 및 추적 학습서에 따라 샘플 프롬프트 템플리트를 평가하고 추적하십시오.
- 프로덕션을 위한 프롬프트 템플리트 준비에 대한 세부사항은 프롬프트 템플리트 배치 를 참조하십시오.
- 정확성과 같은 차원에 대한 프롬프트 템플리트를 평가하거나 혐오스럽거나 욕설이 있는지 테스트하는 방법에 대한 세부사항은 프롬프트 템플리트 평가 를 참조하십시오.
상위 주제: AI 유스 케이스에서 자산 추적