제너레이티브 AI 프로젝트에서 추론에 사용할 foundation model 선택할 때는 여러 가지 요소를 고려해야 합니다.
자신과 조직에 가장 중요한 요소가 무엇인지 결정하세요.
- 모델이 수행할 수 있는 작업
- 멀티모달 파운데이션 모델
- 지원되는 언어
- 모델 커스터마이징을 위한 튜닝 옵션
- 라이선스 및 IP 면책 약관
- 크기, 아키텍처 및 컨텍스트 창 길이와 같은 모델 속성
필요에 가장 적합한 모델의 짧은 목록을 만든 후에는 모델을 테스트하여 어떤 모델이 원하는 결과를 일관되게 반환하는지 확인할 수 있습니다.
유스 케이스를 지원하는 기초 모델
시작하려면 완료하려는 태스크 유형을 수행할 수 있는 기초 모델을 찾으십시오.
다음 표는 IBM watsonx.ai 에서 지원하는 작업 유형을 보여줍니다. 체크 표시(✓)는 열 머리글에 있는 작업이 foundation model 에서 지원됨을 나타냅니다. 일부 작업의 경우 링크를 클릭하면 해당 작업의 샘플 프롬프트로 이동할 수 있습니다.
모델 | 대화 | 코드 생성 및 변환 | Chat API의 도구 상호작용 | (분류, 추출, Q&A, 요약) |
검색 증강 생성(RAG) | 번역 |
---|---|---|---|---|---|---|
granite-7b-lab | Prompt Lab 채팅 |
✓ 요약 샘플 |
- Prompt Lab RAG |
|||
granite-13b-instruct-v2 | Prompt Lab 채팅 |
샘플 |
Prompt Lab RAG |
|||
granite-8b-japanese | 샘플 |
샘플 |
||||
granite-20b-multilingual | Prompt Lab 채팅 |
✓ | Prompt Lab RAG |
샘플 |
||
granite-3-2b-instruct | 샘플: - Prompt Lab 채팅 - 채팅 API에서: 샘플 |
샘플 |
✓ | ✓ | ||
granite-3-8b-instruct | 샘플: - Prompt Lab 채팅 - 채팅 API에서: 샘플 |
샘플 |
호출샘플 |
✓ | ✓ | |
granite-guardian-3-2b | Prompt Lab 채팅 |
✓ | Prompt Lab RAG |
|||
granite-guardian-3-8b | Prompt Lab 채팅 |
✓ | Prompt Lab RAG |
|||
granite-3b-code-instruct | Prompt Lab 채팅 |
샘플 |
||||
granite-8b-code-instruct | Prompt Lab 채팅 |
샘플 |
||||
granite-20b-code-instruct | 샘플: - Prompt Lab 채팅 - 채팅 API에서: 샘플 |
샘플 |
||||
granite-20b-code-base-schema-linking | ✓ 텍스트-SQL 코드 |
|||||
granite-20b-code-base-sql-gen | ✓ 텍스트-SQL 코드 |
|||||
granite-34b-code-instruct | 샘플: - Prompt Lab 채팅 - 채팅 API에서: 샘플 |
샘플 |
||||
allam-1-13b-instruct | Prompt Lab 채팅 |
샘플 |
샘플 |
|||
codellama-34b-instruct-hf | 샘플 |
|||||
deepseek-r1-distill-llama-8b | ✓ | ✓ | ✓ 추론 샘플 |
|||
deepseek-r1-distill-llama-70b | ✓ | ✓ | ✓ 추론 샘플 |
|||
elyza-japanese-llama-2-7b-instruct | 샘플 |
샘플 |
||||
flan-t5-xl-3b | ✓ | Prompt Lab RAG |
||||
flan-t5-xxl-11b | ✓ 샘플: ' - Q&A ' - 분류 ' - 요약 |
Prompt Lab RAG |
✓ | |||
flan-ul2-20b | ✓ 샘플: ' - Q&A ' - 분류 ' - 추출 ' - 요약 |
✓ RAG from Prompt Lab • RAG from AutoAI (다중 테넌트 ) |
||||
jais-13b-chat | Prompt Lab 채팅하세요: 샘플 채팅 |
✓ | ✓ | |||
llama-3-3-70b-instruct | ✓ 샘플: • Prompt Lab 의 채팅: 채팅 샘플 • Chat API(다중 테넌트): 샘플 |
멀티테넌트: ✓ 도구 호출 샘플(Multitenant) |
✓ | Prompt Lab RAG |
||
llama-3-2-1b-instruct | - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서: 샘플 |
샘플 |
호출샘플 |
✓ | Prompt Lab RAG |
|
llama-3-2-3b-instruct | - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서: 샘플 |
샘플 |
✓ | Prompt Lab RAG |
||
llama-3-2-11b-vision-instruct | 샘플: - Prompt Lab 채팅: 이미지 예제로 채팅 하기 - 채팅 API에서: 샘플 |
호출샘플 |
✓ | Prompt Lab RAG |
||
llama-3-2-90b-vision-instruct | 샘플: - Prompt Lab 채팅: 이미지 예제로 채팅 하기 - 채팅 API에서: 샘플 |
호출샘플 |
Prompt Lab RAG |
|||
llama-3-1-8b | Prompt Lab 채팅하세요: 샘플 채팅 |
✓ | ✓ | 샘플: - Prompt Lab RAG |
||
llama-3-1-8b-instruct | ✓ Prompt Lab 에서 채팅: 채팅 예시 • Chat API(다중 테넌트)에서: 예시 |
멀티테넌트: ✓ 도구 호출 샘플(Multitenant) |
✓ | ✓ 샘플: • RAG from Prompt Lab • RAG from AutoAI (다중 테넌트 ) |
||
llama-3-1-70b-instruct | ✓ 샘플: • Prompt Lab 의 채팅: 채팅 샘플 • Chat API(다중 테넌트): 샘플 |
멀티테넌트: ✓ 도구 호출 샘플(Multitenant) |
✓ | ✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
||
llama-3-405b-instruct | - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서: 샘플 |
호출샘플 |
✓ | Prompt Lab RAG |
||
llama-3-8b-instruct | 샘플: - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서 제공: 샘플 |
Prompt Lab RAG |
||||
llama-3-70b-instruct | 샘플: - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서 제공: 샘플 |
✓ | ✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
|||
llama-2-13b-chat | Prompt Lab 채팅하세요: 샘플 채팅 |
✓ | Prompt Lab RAG |
|||
llama-guard-3-11b-vision | 샘플: - Prompt Lab 채팅: 이미지 예제로 채팅 하기 - 채팅 API에서: 샘플 |
샘플 |
Prompt Lab RAG |
|||
mistral-large (다중 임차인) mistral-large -instruct-2407 (전용) |
✓ 샘플: • Prompt Lab 의 채팅 • 채팅 API(다중 테넌트): 샘플 |
샘플 |
멀티테넌트: ✓ 도구 호출 샘플(Multitenant) |
✓ 샘플: ' - 분류 ' - 추출 ' - 요약 |
✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
✓ 번역 |
mistral-large-instruct-2411 | ✓ 샘플: • 채팅에서 Prompt Lab |
샘플 |
✓ 샘플: ' - 분류 ' - 추출 ' - 요약 |
- Prompt Lab RAG |
✓ 번역 |
|
mistral-nemo-instruct-2407 | Prompt Lab 채팅 |
샘플 |
✓ 샘플: - 분류 ' - 추출 ' - 생성 ' ' - 요약 |
- Prompt Lab RAG |
샘플 |
|
mistral-small-24b-instruct-2501 | Prompt Lab 채팅 |
샘플 |
✓ 샘플: - 분류 ' - 추출 ' - 생성 ' ' - 요약 |
- Prompt Lab RAG |
샘플 |
|
mixtral-8x7b-base | Prompt Lab 채팅 |
샘플 |
✓ 샘플: - 분류 ' - 추출 ' - 생성 ' ' - 요약 |
- Prompt Lab RAG |
샘플 |
|
mixtral-8x7b-instruct-v01 | Prompt Lab 채팅 |
샘플 |
✓ 샘플: - 분류 ' - 추출 ' - 생성 ' ' - 요약 |
✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
샘플 |
|
mt0-xxl-13b | ✓ 샘플: ' - 분류 ' - Q&A |
Prompt Lab RAG |
||||
pixtral-12b | Prompt Lab 채팅하기: 이미지 예제로 채팅하기 |
✓ | ✓ 샘플: ' - 분류 ' - 추출 ' - 요약 |
Prompt Lab RAG |
- 작업 유형별로 분류된 다양한 프롬프트 샘플을 검토하려면 샘플 프롬프트를 참조하십시오.
- foundation model 가 특정 작업을 얼마나 잘 수행하는지 확인하려면 기초 모델 벤치마크를 참조하십시오.
멀티모달 파운데이션 모델
멀티모달 기반 모델은 다양한 양식 또는 유형의 데이터에서 정보를 처리하고 통합할 수 있습니다. 이러한 양식에는 텍스트, 이미지, 오디오, 비디오 및 기타 형태의 감각 입력이 포함될 수 있습니다.
watsonx.ai에서 사용할 수 있는 멀티모달 파운데이션 모델은 다음 유형의 작업을 수행할 수 있습니다:
- 이미지-텍스트 생성
- 시각적 질문에 대한 답변, 차트 및 그래프 해석, 이미지 캡션 등에 유용하게 사용할 수 있습니다.
다음 표에는 텍스트 입력 및 텍스트 출력 이외의 모달리티를 지원하는 사용 가능한 기초 모델이 나와 있습니다.
모델 | 입력 양식 | 출력 양식 |
---|---|---|
llama-3-2-11b-vision-instruct | 이미지, 텍스트 | 텍스트 |
llama-3-2-90b-vision-instruct | 이미지, 텍스트 | 텍스트 |
llama-guard-3-11b-vision | 이미지, 텍스트 | 텍스트 |
pixtral-12b | 이미지, 텍스트 | 텍스트 |
사용자 언어를 지원하는 기본 모델
많은 기초 모델은 영어에서만 잘 작동합니다. 그러나 일부 모델 작성자는 사전 훈련 데이터 세트에 여러 언어를 포함하여 여러 언어로 된 태스크에서 모델을 미세 조정하고 여러 언어로 모델의 성능을 테스트합니다. 변환 태스크를 수행하는 솔루션 또는 글로벌 대상에 대한 솔루션을 빌드하려는 경우 다국어 지원을 염두에 두고 작성된 모델을 찾으십시오.
다음 표에는 watsonx.ai의 기초 모델에서 영어 외에 추가로 지원되는 자연어가 나열되어 있습니다. 다국어 기초 모델에 지원되는 언어에 대한 자세한 내용은 foundation model 대한 모델 카드를 참조하세요.
모델 | 영어 이외의 언어 |
---|---|
granite-8b-japanese | 일본어 |
granite-20b-multilingual | 독일어, 스페인어, 프랑스어 및 포르투갈어 |
Granite 인스트럭트 3.1granite-3-2b-instruct, granite-3-8b-instruct ) | 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어(간체) |
Granite 3 granite-3-8b-base ) | 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어(간체) |
allam-1-13b-instruct | 아랍어 |
elyza-japanese-llama-2-7b-instruct | 일본어 |
flan-t5-xl-3b | 다국어(모델 카드 참조) |
flan-t5-xxl-11b | 프랑스어, 독일어 |
jais-13b-chat | 아랍어 |
Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf ) | 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 |
Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct). 또한 텍스트만 입력할 수 있는 llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct, llama-guard-3-11b-vision도 있습니다.) | 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 |
Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct) | 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 |
mistral-large | 다국어(모델 카드 참조) |
mistral-large-instruct-2411, mistral-nemo-instruct-2407, mistral-small-24b-instruct-2501 | 특히 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어 등 다양한 언어가 지원됩니다. |
mixtral-8x7b-base, mixtral-8x7b-instruct-v01 | 프랑스어, 독일어, 이탈리아어, 스페인어 |
mt0-xxl-13b | 다국어(모델 카드 참조) |
튜닝할 수 있는 기본 모델
watsonx.ai 에서 사용 가능한 일부 기본 모델은 사용자의 요구에 더 적합하도록 조정할 수 있습니다.
다음 튜닝 방법이 지원됩니다.
- 프롬프트 튜닝: foundation model 입력에 포함된 프롬프트 벡터를 조정하는 튜닝 실험을 실행합니다. 여러 번 실행한 후 작업에 적합한 출력을 반환하도록 foundation model 가장 잘 안내할 수 있는 프롬프트 벡터를 찾습니다.
다음 표에서는 IBM watsonx.ai에서 사용 가능한 기본 모델을 튜닝하는 방법을 보여줍니다. 확인 표시(✓)는 열 헤더에 이름이 지정된 튜닝 방법이 foundation model 지원됨을 나타냅니다.
모델 이름 | 프롬프트 튜닝 |
---|---|
flan-t5-xl-3b | ✓ |
granite-13b-instruct-v2 | ✓ |
자세한 정보는 Tuning Studio를 참조하십시오.
모델 유형 및 IP 면책
사용하려는 foundation model 대한 지적 재산권 배상 정책을 검토하세요. 일부 타사 foundation model 제공업체는 AI 모델 사용으로 인해 발생할 수 있는 모든 IP 침해에 대한 책임을 면제하도록 요구합니다.
IBM-developed foundation models that are available from watsonx.ai have standard intellectual property protection, similar to what IBM provides for hardware and software products.
IBM는 표준 지적 재산권 면책 범위를 해당 모델에서 생성되는 산출물까지 확장합니다. 지원되는 모델에는 IBM이 개발한 모델과 watsonx.ai에서 제공되는 일부 타사 파운데이션 모델이 포함되어 있습니다. 타사 지원 모델은 표 4에서 확인할 수 있습니다.
다음 표에서는 다양한 foundation model 유형과 해당 보상 정책에 대해 설명합니다. 자세한 내용은 참고 자료를 참조하세요.
기초 모델 유형 | 면책 정책 | 기초 모델 | 세부사항 | 참고 자료 |
---|---|---|---|---|
IBM Covered Model | 제한 없음 IBM 면책 조항 | - IBM Granite - IBM 슬레이트 |
IBM에서 개발한 파운데이션 모델은 watsonx.ai에서 사용할 수 있습니다. 모델 산출물에 대한 IBM IP 면책 범위를 유지하려면 다음 조치를 취해야 합니다: ' - 추론 요청에 AI 가드레일 적용 ' ' - 별도의 서비스로 제공되는 watsonx.governance 사용하여 foundation model 출력을 기록 및 모니터링합니다 |
서비스 설명 |
타사 보장 모델 | 상한 IBM 면책 조항 | Mistral Large | 타사 지원 모델은 watsonx.ai에서 확인할 수 있습니다. 모델 산출물에 대한 IBM IP 면책 범위를 유지하려면 다음 조치를 취해야 합니다: ' - 추론 요청에 AI 가드레일 적용 ' ' - 별도의 서비스로 제공되는 watsonx.governance 사용하여 foundation model 출력을 기록 및 모니터링합니다 |
서비스 설명 |
비IBM 제품 | IBM 면책 없음 | 다양 | watsonx.ai에서 제공되는 타사 모델은 관련 의무 및 제한 사항을 포함한 해당 라이선스 약관의 적용을 받습니다. | 모델 정보를 참조하세요. |
사용자 정의 모델 | IBM 면책 없음 | 다양 | watsonx.ai에서 사용하기 위해 가져오는 파운데이션 모델은 클라이언트 콘텐츠입니다. | 고객은 모델 및 출력물의 선택과 사용, 타사 라이선스 약관, 의무 및 제한 사항 준수에 대해 전적으로 책임을 집니다. |
자세한 내용은 다음 항목을 참조하세요:
- AI 가드레일
- 개요 watsonx.governance
- 지원되는 파운데이션 모델(타사 모델 라이선스 약관에 대한 링크 포함)
모델 선택에 대한 추가 고려사항
모델 속성 | 고려할 사항 |
---|---|
컨텍스트 길이 | 컨텍스트 창 길이, 컨텍스트 창또는 최대 시퀀스 길이라고도 하는 컨텍스트 길이는 입력 프롬프트의 토큰 수에 허용되는 최대 값에 생성된 출력의 토큰 수를 더한 값입니다. watsonx.ai에서 모델을 사용하여 출력을 생성할 때 생성된 출력의 토큰 수는 최대 토큰 매개변수로 제한됩니다. |
비용 | 기초 모델 사용 비용은 자원 단위로 측정됩니다. 리소스 단위의 가격은 foundation model 대한 가격 책정 계층의 요율을 기준으로 합니다. |
미세 조정 | foundation model 사전 학습된 후에는 분류, 정보 추출, 요약, 지침에 대한 응답, 질문에 대한 답변, 대화 채팅 참여 등 특정 작업에 맞게 많은 기초 모델을 미세 조정할 수 있습니다. 계획된 사용과 유사한 태스크에서 미세 조정을 수행하는 모델은 일반적으로 유스 케이스에 맞는 방식으로 미세 조정되지 않는 모델보다 영 (0) 샷 프롬프트에서 더 잘 수행됩니다. 미세 조정된 모델의 결과를 개선하는 한 가지 방법은 해당 모델을 미세 조정하는 데 사용된 데이터 세트의 프롬프트와 동일한 형식으로 프롬프트를 구성하는 것입니다. |
명령어 조정 | 명령어 조정 은 모델이 명령어를 포함하는 프롬프트로 세밀하게 조정되었음을 의미합니다. 모델이 명령어 조정되면 일반적으로 해당 프롬프트에 예제가 없는 경우에도 명령어가 있는 프롬프트에 잘 응답합니다. |
IP 면책 | 라이센스 조항 외에도 모델에 대한 지적 재산권 배상 정책을 검토하십시오. 자세한 내용은 모델 유형 및 IP 면책를 참조하세요. |
라이센스 | 일반적으로 각 foundation model 모델 사용 방법을 제한하는 다른 라이선스가 함께 제공됩니다. 모델 라이센스를 검토하여 계획된 솔루션에 대한 모델을 사용할 수 있는지 확인하십시오. |
모델 아키텍처 | 모델의 아키텍처는 모델의 작동 방식에 영향을 줍니다. 변환기 기반 모델에는 일반적으로 다음 아키텍처 중 하나가 있습니다. 인코더 전용: 입력 시퀀스를 임베드라고 하는 표현 벡터로 변환하여 문장 레벨에서 입력 텍스트를 이해합니다. 인코더 전용 모델의 공통 작업에는 분류 및 엔티티 추출이 포함됩니다. 디코더 전용: 입력 시퀀스에서 추론하여 출력 텍스트를 단어별로 생성합니다. 디코더 전용 모델의 공통 태스크에는 텍스트 생성 및 질문에 대한 응답이 포함됩니다. 인코더-디코더: 둘 다 입력 텍스트를 이해하고 입력 텍스트를 기반으로 출력 텍스트를 생성합니다. 인코더-디코더 모델의 공통 태스크에는 변환 및 요약이 포함됩니다. |
지역적 가용성 | watsonx 서비스와 동일한 IBM Cloud 지역 데이터 센터에서 사용 가능한 모델에 대해 작업할 수 있습니다. |
지원되는 프로그래밍 언어 | 모든 기본 모델이 프로그래밍 유스 케이스에 대해 제대로 작동하는 것은 아닙니다. 코드를 요약, 변환, 생성 또는 처리하는 솔루션을 작성하려는 경우, 모델의 사전 훈련 데이터 세트에 포함된 프로그래밍 언어 및 미세 조정 활동을 검토하여 해당 모델이 유스 케이스에 적합한지 여부를 판별하십시오. |
자세히 알아보기
상위 주제: 지원되는 기본 모델