미리 정의된 템플릿을 사용하여 watsonx.ai AI 서비스를 배포할 수 있습니다. AI 서비스 템플릿은 AI 애플리케이션을 위한 사전 구축된 기반을 제공하므로 개발자는 처음부터 시작하지 않고 애플리케이션의 핵심 로직에 집중할 수 있습니다.
템플릿으로 AI 서비스 배포 표준화
AI 서비스 템플릿은 사전 빌드되고 재사용 가능하며 사용자 지정 가능한 구성 요소로, 생성형 AI 애플리케이션을 배포하고 관리하기 위한 구조화된 접근 방식을 제공합니다. AI 모델을 패키징, 배포 및 다른 애플리케이션 및 시스템과 통합하는 표준화된 방법을 제공하므로 개발자는 기본 인프라 및 배포 물류에 대한 걱정 없이 모델 구축 및 학습에만 집중할 수 있습니다. AI 서비스 템플릿은 사전 정의된 구조, 구성 및 도구 세트를 제공함으로써 AI 서비스 배포 프로세스를 간소화하고, 오류 위험을 줄이며, AI 개발 및 배포의 전반적인 효율성과 일관성을 개선합니다.
AI 서비스 템플릿의 구성 요소
AI 서비스 템플릿의 구성 요소는 다음과 같습니다:
소스 디렉터리 : 소스 디렉터리에는 배포된 함수에서 사용하는 코드가 포함되어 있습니다(
ai_service.py
파일에서). 배포 시 소스 디렉터리는 패키지 확장으로 패키징되어 클라우드로 전송됩니다.핵심 애플리케이션 로직 : 핵심 애플리케이션 로직은
ai_service.py
파일에 포함되어 있습니다. 이 파일에는 애플리케이션의 핵심 로직, 입력 스키마 정의, 인증 코드 등 배포할 기능이 포함되어 있습니다.구성 파일입니다 :
config.toml
파일에는 모델에 대한 배포 메타데이터 및 구성 설정이 저장됩니다.테스트 :
tests/
에는 도구 및 유틸리티 기능에 대한 테스트를 포함하여 템플릿에 대한 단위 테스트가 포함되어 있습니다.배포 스크립트 :
scripts/deploy.py
템플릿을 IBM Cloud 배포합니다.examples/execute_ai_service_locally.py
을 사용하여 로컬에서 AI 서비스를 실행할 수 있습니다.examples/query_existing_deployment.py
을 사용하여 기존 배포를 추론할 수 있습니다.프로젝트 구성 :
pyproject.toml
파일은 프로젝트의 종속성과 패키지를 관리합니다.
템플릿을 사용하여 AI 서비스 배포
템플릿을 사용하여 AI 서비스를 배포하려면 다음 단계를 따르세요:
템플릿을 준비합니다 : 템플릿을 준비하려면 템플릿 리포지토리를 복제하고
Pipx
또는Poetry
와 같은 필수 종속성 및 도구를 설치하여 로컬 시스템에 환경을 설정한 다음 가상 환경을 활성화해야 합니다. 이렇게 하면 템플릿이 올바르게 구성되고 배포할 준비가 된 것입니다.템플릿을 구성합니다 :
config.toml
파일에 필요한 자격 증명 및 구성 설정을 입력하여 템플릿을 구성합니다. 여기에는 AI 서비스의 특정 요구 사항에 맞게 필요에 따라 애플리케이션 로직으로 모델을 사용자 지정하는 것이 포함됩니다. 구성 파일은 모델의 배포 메타데이터와 구성 설정을 저장하며 로컬 실행을 위해 모델을 조정하는 데 사용됩니다.Parameter sets
또는config.toml
파일의CUSTOM
객체를 사용하여 앱에 추가 키-값 데이터를 제공할 수도 있습니다. 파라미터 세트의 저장 및 관리에 대한 자세한 내용은 watsonx.ai Python 클라이언트 라이브러리 문서의 파라미터 세트를 참조하십시오.외부 자격 증명을 처리하려면 IBM Secrets Manager 사용할 수 있습니다. Secrets Manager API 키 및 비밀번호와 같은 민감한 정보를 안전하게 저장하고 관리할 수 있는 서비스입니다. Secrets Manager 사용하면 코드와 구성 파일에 자격 증명을 보관할 수 있으므로 애플리케이션의 보안을 강화하는 데 도움이 됩니다. 자세한 내용은 IBM Cloud Secrets Manager API 설명서를 참조하세요.
템플릿 테스트하기 : 템플릿을 배포하기 전에 템플릿이 제대로 작동하는지 테스트하는 것이 중요합니다. 여기에는
examples/execute_ai_service_locally.py
스크립트를 실행하여 로컬에서 애플리케이션을 테스트하여 템플릿이 예상대로 작동하는지 확인하는 단위 테스트를 실행하는 것이 포함됩니다. 이 스크립트를 실행하여 로컬에서 AI 서비스를 실행하고 샘플 입력으로 테스트할 수 있습니다.템플릿을 배포합니다 : 템플릿을 테스트하고 유효성을 검사한 후에는
scripts/deploy.py
스크립트를 사용하여 배포할 수 있습니다. 이 스크립트는 배포 프로세스를 자동화하고 패키지 확장을 생성합니다. 배포 중에 Secrets Manager 사용하여 외부 자격 증명을 처리할 수 있습니다. 이렇게 하려면 사용하려는 자격 증명이 포함된 비밀번호를 만듭니다. 비밀번호를 생성한 후에는 배포 중에 참조할 수 있습니다. 그러면 시크릿의 자격 증명을 사용하여 앱을 배포합니다. 배포 프로세스를 완료하는 데 몇 분 정도 소요될 수 있으며, 완료 후 배포 ID를 받게 됩니다.템플릿 추론하기 :
examples/query_existing_deployment.py
스크립트를 사용하여 배포된 AI 서비스를 추론할 수 있습니다. 이 스크립트를 사용하여 샘플 입력으로 AI 서비스를 테스트하고 출력을 확인합니다. 또한 사용자 인터페이스를 사용하여 배포를 추론하고 AI 서비스와 상호 작용할 수도 있습니다.
샘플 템플리트
템플릿을 사용하여 AI 서비스를 배포하는 방법을 알아보려면 다음 샘플 템플릿을 참조하세요:
템플리트 | 설명 |
---|---|
함수 호출 기능이 있는 LangGraph LLM 앱 템플릿 |
|
상위 주제: AI 서비스 배포