AI 서비스를 배포하려면 watsonx.ai 런타임에 AI 서비스가 포함된 리포지토리 에셋을 생성하고 해당 에셋에 Python 파일을 업로드해야 합니다.
AI 서비스 자산 생성을 위한 요구 사항
VSCode, 이클립스, PyCharm, 등과 같은 통합 개발 환경(IDE)을 사용하여 생성형 AI 애플리케이션을 구축하는 경우, AI 서비스를 저장할 Python 파일을 만들어야 합니다. 함수를 정의한 후에는 AI 서비스를 압축하여 ' gzip
아카이브(.gz
' 파일 형식)를 만들어야 합니다.
watsonx.ai Python 클라이언트 라이브러리를 사용하여 AI 서비스 에셋을 생성하면 라이브러리가 자동으로 ' gzip
' 아카이브에 해당 함수를 저장합니다. 그러나 REST API를 사용하여 AI 서비스 에셋을 생성할 때는 ' gzip
아카이브에 Python 파일을 수동으로 압축하는 프로세스를 따라야 합니다.
Python 코딩된 AI 서비스 에셋을 생성하고 배포하려면 ' runtime-24.1-py3.11
소프트웨어 사양을 사용해야 합니다.
Python 클라이언트 라이브러리로 AI 서비스 에셋 생성하기
watsonx.ai Python 클라이언트 라이브러리의 ' store_ai_service
' 함수를 사용하여 AI 서비스 에셋을 생성할 수 있습니다.
다음 코드 샘플은 Python 클라이언트 라이브러리를 사용하여 AI 서비스 에셋을 생성하는 방법을 보여줍니다:
documentation_request = {
"application/json": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"query": {"type": "string"},
"parameters": {
"properties": {
"max_new_tokens": {"type": "integer"},
"top_p": {"type": "number"},
},
"required": ["max_new_tokens", "top_p"],
},
},
"required": ["query"],
}
}
documentation_response = {
"application/json": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {"query": {"type": "string"}, "result": {"type": "string"}},
"required": ["query", "result"],
}
}
meta_props = {
client.repository.AIServiceMetaNames.NAME: "AI service example",
client.repository.AIServiceMetaNames.DESCRIPTION: "This is AI service function",
client.repository.AIServiceMetaNames.SOFTWARE_SPEC_ID: client.software_specifications.get_id_by_name(
"runtime-24.1-py3.11"
),
client.repository.AIServiceMetaNames.REQUEST_DOCUMENTATION: documentation_request,
client.repository.AIServiceMetaNames.RESPONSE_DOCUMENTATION: documentation_response,
}
stored_ai_service_details = client.repository.store_ai_service(
basic_generate_demo, meta_props
)
ai_service_id = client.repository.get_ai_service_id(stored_ai_service_details)
print("The AI service asset id:", ai_service_id)
- '
REQUEST_DOCUMENTATION
' 및 'RESPONSE_DOCUMENTATION
' 매개변수는 선택 사항입니다. 이러한 매개변수를 사용하여 'generate
' 및 'generate_stream
' 함수의 요청 및 응답 스키마를 저장할 수 있습니다. - 함수 호출 '
client.repository.store_ai_service
'은 내부적으로 AI 서비스 함수 'basic_generate_demo
'를 'gzip
' 파일에 저장합니다.
자세한 내용은 AI 서비스 에셋 생성을 위한watsonx.ai Python 클라이언트 라이브러리 설명서를 참조하세요.
REST API로 AI 서비스 에셋 만들기
' /ml/v4/ai_services
REST API 엔드포인트를 사용하여 watsonx.ai 런타임 리포지토리에서 AI 서비스 에셋을 생성할 수 있습니다. 자세한 내용은 watsonx.ai REST API 설명서를 참조하세요.
자세히 알아보기
상위 주제: 직접 코딩으로 AI 서비스 배포하기