도구를 이용한 AI 서비스 배포

시작하기 전에

1. AI 서비스 자산을 배치할 대상 배치 공간이 이미 존재해야 하거나, 새로운 공간을 만들어야 합니다.
2. 에이전트 랩에서 프로젝트로 에이전트 AI 솔루션을 구축하세요. 더 많은 정보를 원하시면, 에이전트 랩(베타)을 참고하세요.
3. API 키를 생성하여 작업 자격 증명을 설정해야 합니다. 자세한 내용은 작업 자격 증명 관리를 참고하세요.

AI 서비스를 직접 배포하기

에이전트 랩 툴에서 AI 서비스의 온라인 배포를 생성하려면 다음 단계를 따르십시오

1. 에이전트 랩에서 작업한 내용을 AI 서비스로 배포하려면 배포를 클릭합니다.
2. 배포 세부 사항을 입력하고, 배포 공간을 선택한 다음, 만들기 버튼을 클릭합니다.

이 절차는 프로젝트 또는 배치 공간에 있는 AI 서비스 자산에 대한 온라인 배치를 자동으로 생성합니다. AI 서비스 자산에 대한 배치 배포를 생성하려면 배포 공간에서 수동으로 배치 배포를 생성하는 과정을 따라야 합니다. 자세한 내용은 AI 서비스 자산 배포를 참고하세요.

에이전트 랩에서 배포 노트북을 사용하여 AI 서비스 배포하기

에이전트 AI 애플리케이션의 프로그래밍 논리를 사용자 정의하기 위해, 에이전트 랩을 사용하여 배포 노트북에 작업을 저장할 수 있습니다. 배포 노트북에 작업을 저장하면, watsonx.ai 가 자동으로 배포 노트북을 생성하여 에이전트 AI 애플리케이션의 논리를 AI 서비스에 캡처합니다.

배포 노트북에는 AI 서비스 자산을 배포 공간으로 승격시키고 자산에 대한 배포를 생성하는 자동 생성 코드가 포함되어 있습니다. 배포 노트북을 편집하여 사용자 정의할 수 있습니다. 예를 들어, 사용 사례에 맞는 온라인 배포 대신 AI 서비스 자산을 배포하는 일괄 배포를 생성할 수 있습니다.

watsonx.ai 의 프롬프트 랩에서 AI 서비스가 포함된 배포 노트북에 작업을 저장하려면 다음 단계를 따르십시오

1. 에이전트 랩과 협력하여 에이전트 기반의 AI 솔루션을 구축하십시오.
2. 저장 아이콘을 클릭하세요 드롭다운 메뉴에서 '다른 이름으로 저장'을 선택하세요.
3. 작업 저장 대화 상자에서 배포 노트북을 선택합니다.
   참고: 배포 노트북에는 AI 서비스를 테스트, 홍보, 배포하는 코드가 포함되어 있습니다. 애플리케이션을 배포하려면, 배포용 노트북에 작업을 저장해야 합니다. 표준 노트북을 사용하여 AI 서비스 자산을 배포할 수 없습니다.
4. 세부 사항 정의 섹션 에서 배포 노트북의 이름과 설명(선택 사항)을 입력합니다.
5. 저장 을 클릭하십시오.

배포용 노트북에 작업을 저장하면, watsonx.ai 가 자동으로 AI 서비스를 테스트, 승격, 배포하는 코드가 포함된 노트북을 생성합니다. AI 서비스의 온라인 배포를 생성하려면 배포 노트북에서 셀을 실행하십시오.

(노트북 편집) 아이콘을 클릭하면 에이전트 AI 애플리케이션을 위해 자동 생성된 배포 노트북을 사용자 정의할 수 있습니다.

Agent Lab에서 배포된 추론 AI 서비스

노트북에 배치된 AI 서비스는 REST API를 사용하여 사용할 수 있습니다. 다음은 배포를 호출하는 cURL 요청의 예입니다

curl --location '${PUBLIC_ENDPOINT}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ${IAM_TOKEN}' \
--data '{ \
  "messages": [{$MESSAGES}]
}'

여기서,

• PUBLIC_ENDPOINT 배포의 공개 엔드포인트입니다.

• IAM_TOKEN IBM Cloud 서비스에 액세스하기 위한 인증 토큰입니다. 사용하는 액세스 토큰은 노트북에 참조된 프로젝트와 동일한 계정과 연결되어 있어야 합니다.

• MESSAGES 다음과 같은 스키마를 가진 채팅 기록 텍스트 항목의 배열입니다

  {
   "role": type, // "user" or "assistant"
   "content": content // The text content of the message
  }
  

시작하기 전에

1. AI 서비스 자산을 배치할 대상 배치 공간이 이미 존재해야 하거나, 새로운 공간을 만들어야 합니다.
2. 문서와 대화를 나누려면 벡터 인덱스(메모리 내 벡터 저장소 또는 벡터 데이터베이스)를 만들어야 합니다. 자세한 내용은 문서 및 이미지로 채팅하기를 참고하세요.
3. 프로젝트에서 RAG를 사용하는 생성적 AI 솔루션을 구축하십시오.
4. API 키를 생성하여 작업 자격 증명을 설정해야 합니다. 자세한 내용은 작업 자격 증명 관리를 참고하세요.

AI 서비스를 직접 배포하기

watsonx.ai 에서 AI 서비스의 온라인 배포를 생성하려면 다음 단계를 따르십시오. 프롬프트 랩:

1. Prompt Lab 에서 작업을 AI 서비스로 배포하려면 배포를 클릭하세요.
2. 배포 세부 사항을 입력하고, 배포 공간을 선택한 다음, 만들기 버튼을 클릭합니다.

이 절차는 프로젝트 또는 배치 공간에 있는 AI 서비스 자산에 대한 온라인 배치를 자동으로 생성합니다. AI 서비스 자산에 대한 배치 배포를 생성하려면 배포 공간에서 수동으로 배치 배포를 생성하는 과정을 따라야 합니다. 자세한 내용은 AI 서비스 자산 배포를 참고하세요.

배포 노트북을 사용하여 AI 서비스를 배포하는 방법 Prompt Lab

생성적 AI 애플리케이션의 프로그래밍 논리를 사용자 정의하려면, 배포 노트북에 작업을 저장하는 데 Prompt Lab 를 사용할 수 있습니다. 배포 노트북에 작업을 저장하면, watsonx.ai 이 자동으로 배포 노트북을 생성하여 생성적 AI 애플리케이션의 논리를 AI 서비스에 담습니다.

배포 노트북에는 AI 서비스 자산을 배포 공간으로 승격시키고 자산에 대한 배포를 생성하는 자동 생성 코드가 포함되어 있습니다. 배포 노트북을 편집하여 사용자 정의할 수 있습니다. 예를 들어, 사용 사례에 맞는 온라인 배포 대신 AI 서비스 자산을 배포하는 일괄 배포를 생성할 수 있습니다.

watsonx.ai 의 프롬프트 랩에서 AI 서비스가 포함된 배포 노트북에 작업을 저장하려면 다음 단계를 따르십시오

1. Prompt Lab 를 사용하여 생성적 AI 솔루션을 만드십시오.
2. 저장 아이콘을 클릭하세요 드롭다운 메뉴에서 '다른 이름으로 저장'을 선택하세요.
3. 작업 저장 대화 상자에서 배포 노트북을 선택합니다.
   참고: 배포 노트북에는 AI 서비스를 테스트, 홍보, 배포하는 코드가 포함되어 있습니다. 애플리케이션을 배포하려면 배포용 노트북에 작업을 저장해야 합니다. 표준 노트북을 사용하여 AI 서비스 자산을 배포할 수 없습니다.
4. 세부 사항 정의 섹션 에서 배포 노트북의 이름과 설명(선택 사항)을 입력합니다.
5. 저장 을 클릭하십시오.

배포용 노트북에 작업을 저장하면, watsonx.ai 가 자동으로 AI 서비스를 테스트, 승격, 배포하는 코드가 포함된 노트북을 생성합니다. AI 서비스의 온라인 배포를 생성하려면 배포 노트북에서 셀을 실행하십시오.

편집 아이콘을 클릭하여 생성 AI 애플리케이션에 대한 자동 생성된 배포 노트북을 사용자 정의할 수 있습니다. .

추론 AI 서비스가 배포된 Prompt Lab

노트북에 배치된 AI 서비스는 REST API를 사용하여 사용할 수 있습니다. 다음은 배포를 호출하는 cURL 요청의 예입니다

curl --location '${PUBLIC_ENDPOINT}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ${IAM_TOKEN}' \
--data '{ \
  "input_data": [{
      "fields": ["Search", "Access token"],
      "values": [
        [${MESSAGES}],
        [${IAM_TOKEN}]]
    }]
}'

여기서,

• PUBLIC_ENDPOINT 배포의 공개 엔드포인트입니다.

• IAM_TOKEN IBM Cloud 서비스에 액세스하기 위한 인증 토큰입니다. 사용하는 액세스 토큰은 노트북에 참조된 프로젝트와 동일한 계정과 연결되어 있어야 합니다.

• MESSAGES 다음과 같은 스키마를 가진 채팅 기록 텍스트 항목의 배열입니다

  {
   "role": type, // "user" or "assistant"
   "content": content // The text content of the message
  }
  

시작하기 전에

1. AI 서비스 자산을 배치할 대상 배치 공간이 이미 존재해야 하거나, 새로운 공간을 만들어야 합니다.
2. 문서와 대화를 나누려면 벡터 인덱스(메모리 내 벡터 저장소 또는 벡터 데이터베이스)를 만들어야 합니다. 자세한 내용은 문서 및 이미지로 채팅하기를 참고하세요.
3. 프로젝트의 RAG( AutoAI ) 실험 빌더를 사용하여 RAG를 사용하는 생성적 AI 솔루션을 구축하십시오. 더 자세한 정보는 RAG를 사용하는 실험( AutoAI ) 구축을 참고하세요.
4. API 키를 생성하여 작업 자격 증명을 설정해야 합니다. 자세한 내용은 작업 자격 증명 관리를 참고하세요.

AI 서비스를 직접 배포하기

AutoAI 의 실험 빌더 도구에서 AI 서비스의 온라인 배포를 생성하려면 다음 단계를 따르십시오

1. AutoAI 의 실험 빌더에서 작업을 배포하려면, 배포에 가장 적합한 파이프라인을 선택하고 다른 이름으로 저장을 클릭합니다.
2. 목표를 검색 및 생성 으로 선택하고 AI 서비스 자산 유형을 선택합니다.
3. AI 서비스를 배포 공간으로 승격하고 배포하는 옵션을 활성화합니다.
4. 배포 공간을 선택하고 '만들기'를 클릭하고 저장 합니다.

이 절차는 프로젝트 또는 배치 공간에 있는 AI 서비스 자산에 대한 온라인 배치를 자동으로 생성합니다. AI 서비스 자산에 대한 배치 배포를 생성하려면 배포 공간에서 수동으로 배치 배포를 생성하는 과정을 따라야 합니다. 자세한 내용은 AI 서비스 자산 배포를 참고하세요.