시작하기 전에

필수 권한
프롬프트 템플리트를 평가하려면 다음 역할이 있어야 합니다.
프로젝트의 관리 또는 편집자 역할

프로젝트에서 분리된 프롬프트 템플리트를 평가하기 전에 외부 모델을 watsonx.governance에 연결하는 분리된 프롬프트 템플리트를 작성해야 합니다. 분리된 프롬프트 템플리트를 작성할 때 변수를 지정하고 연결 세부사항 (예: 외부 모델의 이름 및 해당 URL) 을 제공해야 합니다. 다음 예제는 API를 사용하여 분리된 프롬프트 템플리트를 작성하는 방법을 보여줍니다.

{
    "name": "prompt name",
    "description": "prompt description",
    "model_version": {
        "number": "2.0.0-rc.7",
        "tag": "my prompt tag",
        "description": "my description"
    },
    "prompt_variables": {
        "var1": {},
        "var2": {}
    },
    "task_ids": [
        "retrieval_augmented_generation"
    ],
    "input_mode": "detached",
    "prompt": {
        "model_id": "",
        "input": [
            [
                "Some input",
                ""
            ]
        ],
        "data": {},
        "external_information": {
            "external_prompt_id": "external prompt",
            "external_model_id": "external model",
            "external_model_provider": "external provider",
            "external_prompt": {
                "url": "https://asdfasdf.com?asd=a&32=1",
                "additional_information": [
                    {
                        "additional_key": "additional settings"
                    }
                ]
            },
            "external_model": {
                "name": "An external model",
                "url": "https://asdfasdf.com?asd=a&32=1"
            }
        }
    }
}

평가 실행

프로젝트에서 분리된 프롬프트 템플리트 평가를 실행하려면 자산 탭에서 저장된 분리된 프롬프트 템플리트를 열고 watsonx.governance 의 평가 탭에서 평가 를 선택하여 프롬프트 템플리트 평가 마법사를 열 수 있습니다. 프로젝트에 대한 관리 또는 편집자 역할이 지정된 경우에만 평가를 실행할 수 있습니다.

다음 단계

프롬프트 템플리트를 배치 영역으로 승격하여 영역에서 분리된 프롬프트 템플리트를 평가 하여 AI 라이프사이클 전체에서 모델 성능에 대한 통찰력을 얻을 수 있습니다.

자세히 알아보기

AI 사용 사례에서 분리된 배포를 추적하는 경우, 모델 및 평가 결과에 대한 세부 정보가 팩트 시트에 기록됩니다.