0 / 0
영어 버전 문서로 돌아가기
조정된 foundation model 배포
마지막 업데이트 날짜: 2024년 11월 21일
조정된 foundation model 배포

조정된 모델을 배치하여 비즈니스 워크플로우에 추가하고 의미 있는 방식으로 기본 모델을 사용할 수 있습니다.

시작하기 전에

  1. foundation model 튜닝하는 데 사용한 튜닝 실험이 완료되어야 합니다. 자세한 내용은 foundation model 조정하기를 참조하세요.

  2. API 키를 생성하여 작업 자격 증명을 설정해야 합니다. 자세한 내용은 작업 자격 증명 관리하기를 참조하세요.

튜닝된 모델 배치

튜닝된 모델을 배치하려면 다음 단계를 완료하십시오.

  1. 탐색 메뉴에서 프로젝트를 펼친 후 모든 프로젝트를 클릭하십시오.

  2. 프로젝트를 열려면 클릭하십시오.

  3. 자산 탭에서 실험 자산 유형을 클릭하십시오.

  4. 배치할 모델에 대한 튜닝 실험을 열려면 클릭하십시오.

  5. 튜닝된 모델 목록에서 완료된 튜닝 실험을 찾은 후 새 배치를 클릭하십시오.

  6. 조정된 모델의 이름을 지정하십시오.

    튜닝 실험의 이름은 변경하지 않는 경우 튜닝된 모델 이름으로 사용됩니다. 이름 뒤에는 배치를 계산하는 괄호 안에 숫자가 있습니다. 숫자는 1에서 시작하여 이 튜닝 실험을 배치할 때마다 1씩 증가합니다.

  7. 선택사항: 설명 및 태그를 추가하십시오.

  8. 배포 컨테이너에서 다음 옵션 중 하나를 선택합니다:

    • 이 프로젝트: 튜닝된 모델을 배포하고 프로젝트에 추가하여 튜닝된 모델을 테스트할 수 있습니다. 언제든지 배포 공간에 조정된 모델 배포를 홍보할 수 있습니다. 모델을 프로덕션에 사용하기 전에 튜닝된 모델을 더 많이 테스트하려면 이 옵션을 선택합니다.
    • 디플로이 공간: 튜닝된 모델을 배포 공간으로 승격하고 튜닝된 모델을 배포합니다. 배치 영역은 자산을 작성하는 프로젝트와 별개입니다. 이렇게 분리하면 여러 프로젝트의 에셋을 하나의 스페이스로 승격하고 둘 이상의 스페이스에 에셋을 배포할 수 있습니다. 튜닝된 모델을 프로덕션용으로 홍보할 준비가 되었을 때 이 옵션을 선택합니다.

    이 옵션에 대한 자세한 내용은 배포 공간 사용하기를 참조하세요.

  9. : 생성 후 볼 수 있는 옵션을 선택합니다. 그렇지 않으면 배치된 모델을 찾기 위해 추가 단계를 수행해야 합니다.

  10. 배치를 클릭하십시오.

튜닝된 모델이 배포되면 튜닝된 모델의 사본이 프로젝트에 모델 에셋으로 저장됩니다.

배포 공간 사용

배포 공간을 튜닝된 모델의 컨테이너로 선택하면 튜닝된 모델이 배포 공간으로 승격된 다음 배포됩니다. 배치 영역은 자산을 배치하는 데 사용하는 다음 서비스와 연관됩니다.

  • watsonx.ai 런타임: 머신 러닝 모델을 구축, 학습 및 배포하는 데 사용할 수 있는 도구와 서비스가 포함된 제품입니다. 이 서비스는 전환된 모델을 호스팅합니다.

  • IBM Cloud Object Storage: 정형 및 비정형 데이터를 저장하기 위한 안전한 플랫폼입니다. 배포된 모델 에셋은 프로젝트와 연결된 Cloud Object Storage 버킷에 저장됩니다.

자세한 정보는 배치 영역을 참조하십시오.

배포 공간을 사용하려면 다음 단계를 완료하세요:

  1. 배포 컨테이너로 배포 공간를 선택한 후 대상 배포 공간 필드에서 배포 공간을 선택합니다.

    배치 영역은 튜닝된 모델이 작성된 프로젝트와 동일한 계정에 있는 기계 학습 인스턴스와 연관되어야 합니다.

    배치 영역이 없는 경우 새 배치 영역 작성을 선택한 후 배치 영역 작성의 단계를 따르십시오.

  2. 배치 제공 이름 필드에서 배치에 대한 레이블을 추가하십시오.

    제공 이름은 배치를 식별하는 API 엔드포인트의 URL에서 사용됩니다. 사용자가 추가하는 사람이 읽을 수 있는 이름이 그렇지 않으면 지정되는 긴 시스템 생성 ID를 대체하므로 이름을 추가하는 것이 유용합니다.

    서비스 이름은 또한 해당 서비스 인스턴스 세부사항에서 배치를 추상화합니다. 애플리케이션은 사용자에게 영향을 주지 않고 기본 서비스 인스턴스를 변경할 수 있도록 하는 이 이름을 참조할 수 있습니다.

    이름은 최대 36자까지 가능합니다. 지원되는 문자는 [a-z,0-9, _] 입니다.

    이름은 IBM Cloud 지역에서 고유해야 합니다. 선택한 이름이 이미 사용 중인 경우 제공 이름을 변경하도록 프롬프트가 표시될 수 있습니다.

배치된 모델 테스트

튜닝된 모델의 실제 테스트는 튜닝된 패턴을 따르는 입력에 응답하는 방법입니다.

다음 페이지 중 하나에서 튜닝된 모델을 테스트할 수 있습니다.

  • 프로젝트: 모델을 프로덕션으로 이동하기 전에 개발 및 테스트 단계에서 모델을 테스트하려는 경우에 유용합니다.
  • 배치 공간: 모델을 프로그래밍 방식으로 테스트하려는 경우에 유용합니다. API 참조 탭에서 사용 가능한 엔드포인트 및 코드 예제에 대한 정보를 찾을 수 있습니다. 또한 입력을 텍스트로 제출하고 출력이 생성될 때 출력을 리턴하거나 스트림에서 리턴하도록 선택할 수 있습니다. 그러나 입력 텍스트에 대한 프롬프트 매개변수는 변경할 수 없습니다.
  • 프롬프트 랩: 직관적인 사용자 인터페이스를 갖춘 도구를 사용하여 기초 모델을 프롬프트하고 싶을 때 유용합니다. 각 입력에 대한 프롬프트 매개변수를 사용자 정의할 수 있습니다. 또한 프롬프트를 노트북으로 저장하여 프로그래밍 방식으로 상호작용할 수 있습니다.

프로젝트에서 배포 모델 테스트하기

프로젝트에서 튜닝한 모델을 테스트하려면 다음 단계를 완료하세요:

  1. 프로젝트에서 디플로이먼트 탭을 클릭합니다.

  2. 배치된 모델의 이름을 클릭하십시오.

  3. 테스트 탭을 클릭하십시오.

  4. 입력 데이터 필드에서 튜닝된 모델이 인식하도록 훈련된 프롬프트 패턴을 따르는 프롬프트를 추가한 후 생성을 클릭하십시오.

    매개변수 설정 보기 를 클릭하여 기본적으로 모델에 적용되는 프롬프트 매개변수를 볼 수 있습니다. 프롬프트 매개변수를 변경하려면 프롬프트 랩으로 이동해야 합니다.

배포 공간에서 배포 모델 테스트하기

배포 공간에서 튜닝된 모델을 테스트하려면 다음 단계를 완료하세요:

  1. 탐색 메뉴에서 배치를 선택하십시오.

  2. 튜닝된 모델을 배치한 배치 영역의 이름을 클릭하십시오.

  3. 배치된 모델의 이름을 클릭하십시오.

  4. 테스트 탭을 클릭하십시오.

  5. 입력 데이터 필드에서 튜닝된 모델이 인식하도록 훈련된 프롬프트 패턴을 따르는 프롬프트를 추가한 후 생성을 클릭하십시오.

    매개변수 설정 보기 를 클릭하여 기본적으로 모델에 적용되는 프롬프트 매개변수를 볼 수 있습니다. 프롬프트 매개변수를 변경하려면 프롬프트 랩으로 이동해야 합니다.

프롬프트 랩에서 배포 모델 테스트

프롬프트 랩에서 튜닝한 모델을 테스트하려면 다음 단계를 완료하세요:

  1. 이전 절차의 단계에 따라 프로젝트 또는 배포 공간에서 배포된 모델을 엽니다.

  2. 프로젝트에서 프롬프트 랩에서 열기를 클릭합니다. 배포 공간에서 작업하는 경우 모델을 사용하여 작업할 프로젝트를 선택하라는 메시지가 표시됩니다.

    프롬프트 랩이 열리고 배포한 튜닝된 모델이 모델 필드에서 선택됩니다.

  3. 시도 섹션에서 조정된 모델이 인식하도록 훈련된 프롬프트 패턴을 따르는 입력 필드에 프롬프트를 추가한 후 생성을 클릭하십시오.

    프롬프트 편집기를 사용하는 방법에 대한 자세한 정보는 프롬프트 랩을 참조하십시오.

자세히 알아보기

상위 주제: foundation model 자산 배포

일반적인 AI 검색 및 응답
이러한 응답은 제품 문서의 컨텐츠를 기반으로 하는 watsonx.ai 의 대형 언어 모델에 의해 생성됩니다. 자세히 알아보기