사용자 인터페이스로 추론하기

모델 스키마와 일치하는 유효한 JSON 입력 페이로드를 제공하여 AI 서비스를 추론하는 데 사용자 인터페이스를 사용할 수 있습니다. AI 서비스 배포를 추론하려면 다음 단계를 따르세요:

1. 배포 공간 또는 프로젝트에서 배포 탭을 열고 배포 이름을 클릭합니다.

2. 테스트 탭을 클릭하여 프롬프트 텍스트를 입력하고 배포된 에셋에서 응답을 받습니다.

3. JSON 형식으로 테스트 데이터를 입력하여 JSON 형식의 출력을 생성합니다.

   제한사항:

   AI 서비스 배포를 테스트하기 위해 텍스트 형식의 입력 데이터를 입력할 수 없습니다. 테스트에는 JSON 형식을 사용해야 합니다.

   

Python 클라이언트 라이브러리를 사용한 추론

' run_ai_service ' 기능을 사용하여 채점 페이로드를 제공하여 AI 서비스를 실행합니다:

ai_service_payload = {"query": "testing ai_service generate function"}

client.deployments.run_ai_service(deployment_id, ai_service_payload)

자세한 내용은 AI 서비스 에셋 실행을 위한watsonx.ai Python 클라이언트 라이브러리 문서를 참조하세요.

REST API를 사용한 추론

온라인 채점을 위한 AI 서비스(' generate() ' 기능이 포함된 AI 서비스)를 추론하려면 ' /ml/v4/deployments/{id_or_name}/ai_service REST 엔드포인트를 사용하세요:

# Any valid json is accepted in POST request to /ml/v4/deployments/{id_or_name}/ai_service
payload = {
    "mode": "json-custom-header",
    't1': 12345 ,
    't2': ["hello", "wml"],
    't3': {
        "abc": "def",
        "ghi": "jkl"
    }
}

response = requests.post(
    f'{HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}',
    headers=headers,
    verify=False,
    json=payload
)

print(f'POST {HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}', response.status_code)

from json.decoder import JSONDecodeError
try:
    print(json.dumps(response.json(), indent=2))
except JSONDecodeError:
    print(f"response text >>\n{response.text}")
    
print(f"\nThe user customized content-type >> '{response.headers['Content-Type']}'")

Python 클라이언트 라이브러리를 사용한 추론

' run_ai_service_stream ' 기능을 사용하여 스코어링 페이로드를 제공하여 스트리밍 애플리케이션용 AI 서비스를 실행할 수 있습니다.

ai_service_payload = {"sse": ["Hello", "WatsonX", "!"]}

for data in client.deployments.run_ai_service_stream(deployment_id, ai_service_payload):
    print(data)

자세한 내용은 스트리밍용 AI 서비스 에셋을 실행하기 위한watsonx.ai Python 클라이언트 라이브러리 문서를 참조하세요.

REST API를 사용한 추론

스트리밍 애플리케이션(' generate_stream() 기능이 포함된 AI 서비스)을 위한 AI 서비스를 추론하려면 ' /ml/v4/deployments/{id_or_name}/ai_service_stream REST 엔드포인트를 사용하세요:

TOKEN=f'{client._get_icptoken()}'

%%writefile payload.json
{
    "sse": ["Hello" ,"WatsonX", "!"]
}

!curl -N \
    -H "Content-Type: application/json" -H  "Authorization: Bearer {TOKEN}" \
    {HOST}'/ml/v4/deployments/'{dep_id}'/ai_service_stream?version='{VERSION} \
    --data @payload.json

출력

id: 1 이벤트: 메시지 데이터: Hello

iD: 2 이벤트: 메시지 데이터: WatsonX

id: 3 이벤트: 메시지 데이터: !

id: 4 이벤트: EOS

사용자 인터페이스로 테스트

배포 공간 사용자 인터페이스에서 AI 서비스에 대한 일괄 배포 작업을 만들고 실행하는 방법에 대해 자세히 알아보려면 배포 공간에서 작업 만들기를 참조하세요.

Python 클라이언트 라이브러리로 테스트

다음 단계에 따라 작업을 만들고 실행하여 배치 배포를 테스트하세요:

1. 작업을 만들어 AI 서비스 일괄 배포를 테스트하세요:

   batch_reference_payload = {
       "input_data_references": [
           {
               "type": "connection_asset",
               "connection": {"id": "2d07a6b4-8fa9-43ab-91c8-befcd9dab8d2"},
               "location": {
                   "bucket": "wml-v4-fvt-batch-pytorch-connection-input",
                   "file_name": "testing-123",
               },
           }
       ],
       "output_data_reference": {
           "type": "data_asset",
           "location": {"name": "nb-pytorch_output.zip"},
       },
   }
   
   job_details = client.deployments.create_job(deployment_id, batch_reference_payload)
   job_uid = client.deployments.get_job_uid(job_details)
   print("The job id:", job_uid)
   

2. 작업 상태를 확인합니다:

   ##  Get job status
   client.deployments.get_job_status(job_uid)