프롬프트 엔지니어링에는 시행착오가 포함됩니다. 실험을 추적하고 원하는 출력을 생성하는 모델 및 프롬프트 조합을 저장하십시오.
작업을 저장할 때 다른 자산 유형으로 저장하도록 선택할 수 있습니다. 작업을 자산으로 저장하면 현재 프로젝트의 협업자와 작업을 공유할 수 있습니다.
자산 유형 | 이 자산 유형을 사용하는 경우 | 저장되는 항목 | 자산 검색 방법 |
---|---|---|---|
프롬프트 템플리트 자산 | 특정 모델에서 원하는 결과를 생성하고 이를 재사용하려는 프롬프트 정적 텍스트, 프롬프트 변수 및 프롬프트 엔지니어링 매개변수의 조합을 찾은 경우. | 프롬프트 텍스트, 모델, 프롬프트 엔지니어링 매개변수, 프롬프트 변수 및 AI 가드레일 설정. 참고: 모델에 의해 생성된 출력은 프롬프트가 대화 모드에서 작성되지 않으면 프롬프트 템플리트의 일부로 저장되지 않습니다.
|
저장된 프롬프트 템플리트 탭에서 다음을 수행하십시오. |
프롬프트 세션 자산 | 실험과 관련된 단계를 추적하여 시도한 것과 시도하지 않은 것을 알 수 있습니다. | 프롬프트 엔지니어링 세션 중에 제출되는 최대 500개의 프롬프트에 대한 프롬프트 텍스트, 모델, 프롬프트 엔지니어링 파라미터, AI 가드레일 설정 및 모델 출력을 제공합니다. | 히스토리 탭에서 다음을 수행하십시오. |
표준 노트북 에셋 | 프로그래밍 방식으로 모델을 작업하고 싶지만 보다 신속한 엔지니어링 환경을 위해 Prompt Lab 인터페이스에서 시작하고 싶은 경우. | 프롬프트 텍스트, 모델, 프롬프트 엔지니어링 파라미터, 프롬프트 변수 이름 및 기본값은 Python 코드로 형식화되어 Python 노트북에 저장됩니다. | 프로젝트의 자산 페이지에서 |
배치 노트북 | 프롬프트가 채팅에서 질문에 대한 답변을 찾기 위한 근거 문서 검색과 같은 고급 기능을 수행할 수 있고 이 기능을 AI 서비스로 배포하려는 경우입니다. | REST API에서 사용할 수 있는 배포 가능한 Python 함수입니다. 참고: 벡터 인덱스를 선택하고 채팅 모델을 사용하는 경우에만 작업을 배포 노트북으로 저장할 수 있습니다.
|
프로젝트의 자산 페이지에서 |
이러한 각 자산 유형은 프로젝트의 자산 페이지에서 사용 가능합니다. 관리 또는 편집자 역할의 프로젝트 협업자는 이를 열고 이에 대해 작업할 수 있습니다. 프롬프트 템플릿 및 프롬프트 세션 자산은 자동으로 잠겨 있지만 잠금 아이콘( )을 클릭하여 잠금을 해제할 수 있습니다.
편집자 및 관리자는 잠긴 프롬프트 템플리트 자산을 사용하여 추론을 생성할 수 있습니다. 잠금 소유자만 잠긴 프롬프트 세션 자산을 사용하여 추론을 생성할 수 있습니다.
작업 저장
프롬프트 엔지니어링 작업을 저장하려면 다음 단계를 완료하십시오.
프롬프트 편집기의 헤더에서 작업 저장 아이콘 을 클릭한 다음 다른 이름으로 저장을 클릭합니다.
자산 유형을 선택하십시오.
배포 가능한 Gen AI 플로우 노트북을 만들기로 선택한 경우, 프롬프트를 배포 스페이스와 연결해야 합니다. 자세한 내용은 배치 공간를 참조하세요.
자산의 이름을 지정한 후 선택적으로 설명을 추가하십시오.
Watsonx.governance 전용: 목표에 가장 잘 맞는 태스크 유형을 선택하십시오.
프롬프트를 노트북 자산으로만 저장하는 경우: 저장 후 프로젝트에서 보기를 선택하십시오.
저장 을 클릭하십시오.
노트북에 저장된 프롬프트에 대한 작업
작업을 노트북 자산으로 저장하면 Python 노트북이 빌드됩니다.
프롬프트 노트북 자산으로 작업하려면 노트북 유형에 따라 다음 단계를 완료하세요.
표준 노트북
프로젝트의 자산 탭에서 노트북 자산을 여십시오.
편집 아이콘( )을 클릭하여 노트북을 인스턴스화하여 코드를 단계별로 살펴볼 수 있도록 합니다.
노트북에는 다음 단계를 관리하는 실행 가능한 코드가 포함되어 있습니다.
- 서비스를 사용하여 인증합니다.
- Python 클래스를 정의합니다.
- 모델의 입력 텍스트를 정의하고 프롬프트 변수를 선언합니다. 정적 프롬프트 텍스트를 편집하고 프롬프트 변수에 값을 지정할 수 있습니다.
- 정의된 클래스를 사용하여 watsonx.ai 추론 API를 호출하고 사용자의 입력을 foundation model 전달합니다.
- foundation model 의해 생성된 출력을 표시합니다.
주: 프로젝트에 저장된 모델을 추론 조정하는 프롬프트의 경우 스페이스 ID를 프로젝트 ID로 바꿉니다.노트북을 그대로 사용하거나 유스 케이스의 요구에 맞게 변경하십시오.
Prompt Lab 사용하여 생성된 Python 코드가 성공적으로 실행됩니다. 코드에 대한 변경사항을 테스트하고 유효성을 검증해야 합니다.
배치 노트북
프로젝트의 자산 탭에서 노트북 자산을 여십시오.
편집 아이콘( )을 클릭하여 노트북을 인스턴스화하여 코드를 단계별로 살펴볼 수 있도록 합니다.
노트북에는 다음 단계를 관리하는 실행 가능한 코드가 포함되어 있습니다.
- 서비스를 사용하여 인증합니다.
- 대상 공간에 연결하고 벡터 인덱스를 승격시킵니다.
- 배포할 Python 함수를 정의합니다. 여기에는 벡터 인덱스를 초기화하고, 벡터 인덱스에 대해 쿼리를 만들고, 모델에 대한 입력 형식을 지정하고, 추론을 실행하는 코드가 포함됩니다.
- Python 함수를 로컬에서 테스트합니다.
- Python 함수를 대상 공간에 배포합니다.
- 배포된 Python 함수를 테스트합니다.
노트북을 그대로 사용하거나 유스 케이스의 요구에 맞게 변경하십시오.
Prompt Lab 사용하여 생성된 Python 코드가 성공적으로 실행됩니다. 코드에 대한 변경사항을 테스트하고 유효성을 검증해야 합니다.
그만큼Python 노트북에서 배포한 함수는 REST API를 사용하여 사용할 수 있습니다. 다음은 예시입니다cURL 배포 호출을 요청합니다.
curl --location '${PUBLIC_ENDPOINT}' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ${IAM_TOKEN}' \ --data '{ \ "input_data": [{ "fields": ["Search", "Access token"], "values": [ [${MESSAGES}], [${IAM_TOKEN}]] }] }'
여기서,
- PUBLIC_ENDPOINT는 배포의 공개 끝점입니다. 보다 온라인 배포 생성 .
- IAM_TOKEN은 액세스할 인증 토큰입니다.IBM Cloud 서비스. 보다 프로그래밍 방식 액세스를 위한 자격 증명 .
- MESSAGES는 다음 스키마를 사용하는 채팅 기록 텍스트 항목의 배열입니다.
{ "role": type, // "user" or "assistant" "content": content // The text content of the message }
저장된 프롬프트 템플리트에 대한 작업
저장된 프롬프트로 계속 작업하려면 Prompt Lab 저장된 프롬프트 템플릿 탭에서 해당 프롬프트를 엽니다.
저장된 프롬프트 템플리트를 열면 자동 저장 이 켜집니다. 이는 프롬프트에 대한 변경사항이 저장된 프롬프트 템플리트 자산에 반영됨을 의미합니다. 저장한 프롬프트 템플리트를 변경하지 않고 유지하려면 새 프롬프트 를 클릭하여 새 프롬프트를 시작하십시오.
저장된 프롬프트 템플리트에서 편집 모드를 변경할 수 없습니다.
다른 편집 모드와 달리, 대화 모드에서 저장되는 프롬프트 템플리트도 모델 출력을 저장합니다. 대화 모드에서 저장된 프롬프트 템플리트와 다른 모드로 전환할 수 없습니다.
watsonx.governance 가 프로비저닝될 때 프롬프트 템플리트에 하나 이상의 프롬프트 변수가 포함된 경우 모델 응답의 효율성을 평가할 수 있습니다.
- 프롬프트 변수에 대한 자세한 정보는 재사용 가능한 프롬프트 빌드를 참조하십시오.
- 모델 응답 평가에 대한 자세한 정보는 프로젝트에서 프롬프트 템플리트 평가를 참조하십시오.
저장된 프롬프트 세션에 대한 작업
저장된 프롬프트 세션으로 계속 작업하려면 Prompt Lab 기록 탭에서 해당 세션을 엽니다.
이전 프롬프트 제출을 검토하려면 히스토리에서 프롬프트 항목을 클릭하여 프롬프트 편집기에서 열 수 있습니다. 이전 프롬프트의 결과를 선호하는 경우 복원을 클릭하여 현재 프롬프트로 재설정할 수 있습니다. 이전 프롬프트를 복원하면 현재 프롬프트 세션이 이전 버전의 프롬프트 세션으로 대체됩니다.
자세히 알아보기
상위 주제: Prompt Lab