기초 모델 선택 watsonx.ai
마지막 업데이트 날짜: 2025년 4월 10일
생성적 AI 프로젝트에서 추론에 사용할 기초 모델을 선택할 때 고려해야 할 요소가 많습니다.
예를 들어, 콜센터 문제 보고서를 요약하는 솔루션의 경우, 다음과 같은 특성을 가진 기초 모델이 필요할 수 있습니다
- 요약 작업에 대한 벤치마크에서 좋은 점수 획득
- 대량의 텍스트를 처리할 수 있으며, 이는 큰 컨텍스트 창 길이를 의미합니다
- 손상된 물품의 이미지를 해석할 수 있으므로 텍스트와 이미지 양쪽 모두의 입력을 받아들입니다
자신과 조직에 가장 중요한 요소가 무엇인지 결정하세요.
- 모델이 수행할 수 있는 작업
- 멀티모달 파운데이션 모델
- 지원되는 언어
- 모델 커스터마이징을 위한 튜닝 옵션
- 라이선스 및 IP 면책 약관
- 크기, 아키텍처 및 컨텍스트 창 길이와 같은 모델 속성
필요에 가장 적합한 모델의 짧은 목록을 만든 후에는 모델을 테스트하여 어떤 모델이 원하는 결과를 일관되게 반환하는지 확인할 수 있습니다.
유스 케이스를 지원하는 기초 모델
시작하려면 완료하려는 태스크 유형을 수행할 수 있는 기초 모델을 찾으십시오.
다음 표는 IBM watsonx.ai 에서 지원하는 작업 유형을 보여줍니다. 체크 표시(✓)는 열 머리글에 있는 작업이 기초 모델에서 지원됨을 나타냅니다. 일부 작업의 경우 링크를 클릭하면 해당 작업의 샘플 프롬프트로 이동할 수 있습니다.
| 모델 | 대화 | Chat API의 도구 상호작용 |
검색 증강 생성(RAG) | 샘플 |
|---|---|---|---|---|
| granite-7b-lab | Prompt Lab 채팅 |
Prompt Lab RAG |
요약 |
|
| granite-13b-instruct-v2 | Prompt Lab 채팅 |
Prompt Lab RAG |
세대 |
|
| granite-8b-japanese | - Q&A - 번역 |
|||
| granite-20b-multilingual | Prompt Lab 채팅 |
Prompt Lab RAG |
번역 |
|
| granite-3-2-8b-instruct | ✓ 샘플: • Prompt Lab 에서: 샘플 • Chat API에서: 샘플 |
✓ | ||
| granite-3-2b-instruct | 샘플: - Prompt Lab 채팅 - 채팅 API에서: 샘플 |
코드 |
||
| granite-3-8b-instruct | 샘플: - Prompt Lab 채팅 - 채팅 API에서: 샘플 |
호출샘플 |
코드 |
|
| granite-guardian-3-2b | Prompt Lab 채팅 |
Prompt Lab RAG |
✓ | |
| granite-guardian-3-8b | Prompt Lab 채팅 |
Prompt Lab RAG |
✓ | |
| granite-3b-code-instruct | Prompt Lab 채팅 |
코드 |
||
| granite-8b-code-instruct | Prompt Lab 채팅 |
코드 |
||
| granite-20b-code-instruct | ✓ 샘플: • Prompt Lab 의 채팅 • 채팅 API(다중 테넌트): 샘플 |
코드 |
||
| granite-20b-code-base-schema-linking | 코드 |
|||
| granite-20b-code-base-sql-gen | 코드 |
|||
| granite-34b-code-instruct | ✓ 샘플: • Prompt Lab 의 채팅 • 채팅 API(다중 테넌트): 샘플 |
코드 |
||
| granite-vision-3-2-2b | 샘플: - Prompt Lab 에서 채팅하기 : 이미지로 채팅 예제 - Chat API에서: 샘플 |
✓ | ||
| allam-1-13b-instruct | Prompt Lab 채팅 |
- 분류 - 번역 |
||
| codellama-34b-instruct-hf | 코드 |
|||
| deepseek-r1-distill-llama-8b | ✓ | Q&A |
||
| deepseek-r1-distill-llama-70b | ✓ | Q&A |
||
| elyza-japanese-llama-2-7b-instruct | - 분류 - 번역 |
|||
| eurollm-1-7b-instruct | Prompt Lab 채팅 |
- Q&A - 번역 |
||
| eurollm-9b-instruct | Prompt Lab 채팅 |
- Q&A - 번역 |
||
| flan-t5-xl-3b | Prompt Lab RAG |
✓ | ||
| flan-t5-xxl-11b | Prompt Lab RAG |
- Q&A - 분류 - 요약 |
||
| flan-ul2-20b | ✓ RAG from Prompt Lab • RAG from AutoAI (다중 테넌트 ) |
- Q&A - 분류 - 추출 - 요약 |
||
| jais-13b-chat | Prompt Lab 채팅하세요: 샘플 채팅 |
✓ | ||
| llama-3-3-70b-instruct | ✓ 샘플: • Prompt Lab 의 채팅: 채팅 샘플 • Chat API(다중 테넌트): 샘플 |
✓ 다중 테넌트: 도구 호출 예제(다중 테넌트 ) |
Prompt Lab RAG |
✓ |
| llama-3-2-1b-instruct | - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서: 샘플 |
호출샘플 |
Prompt Lab RAG |
코드 |
| llama-3-2-3b-instruct | - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서: 샘플 |
Prompt Lab RAG |
코드 |
|
| llama-3-2-11b-vision-instruct | 샘플: - Prompt Lab 채팅: 이미지 예제로 채팅 하기 - 채팅 API에서: 샘플 |
호출샘플 |
Prompt Lab RAG |
✓ |
| llama-3-2-90b-vision-instruct | 샘플: - Prompt Lab 채팅: 이미지 예제로 채팅 하기 - 채팅 API에서: 샘플 |
호출샘플 |
Prompt Lab RAG |
|
| llama-3-1-8b | Prompt Lab 채팅하세요: 샘플 채팅 |
샘플: - Prompt Lab RAG |
✓ | |
| llama-3-1-8b-instruct | ✓ Prompt Lab 에서 채팅: 채팅 예시 • Chat API(다중 테넌트)에서: 예시 |
멀티테넌트: ✓ 도구 호출 샘플(Multitenant) |
✓ 샘플: • RAG from Prompt Lab • RAG from AutoAI (다중 테넌트 ) |
✓ |
| llama-3-1-70b-instruct | ✓ 샘플: • Prompt Lab 의 채팅: 채팅 샘플 • Chat API(다중 테넌트): 샘플 |
멀티테넌트: ✓ 도구 호출 샘플(Multitenant) |
✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
✓ |
| llama-3-405b-instruct | - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서: 샘플 |
호출샘플 |
Prompt Lab RAG |
✓ |
| llama-3-8b-instruct | 샘플: - Prompt Lab 채팅: 샘플 채팅 - 채팅 API에서 제공: 샘플 |
Prompt Lab RAG |
||
| llama-2-13b-chat | Prompt Lab 채팅하세요: 샘플 채팅 |
Prompt Lab RAG |
✓ | |
| llama-guard-3-11b-vision | 샘플: - Prompt Lab 채팅: 이미지 예제로 채팅 하기 - 채팅 API에서: 샘플 |
Prompt Lab RAG |
분류 |
|
| mistral-large (다중 임차인) mistral-large -instruct-2407 (전용) |
✓ 샘플: • Prompt Lab 의 채팅 • 채팅 API(다중 테넌트): 샘플 |
멀티테넌트: 도구 호출 샘플(멀티테넌트) |
✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
- 분류 - 추출 - 요약 - 코드 - 번역 |
| mistral-large-instruct-2411 | ✓ 샘플: • 채팅에서 Prompt Lab |
- Prompt Lab RAG |
- 분류 - 추출 - 요약 - 코드 - 번역 |
|
| mistral-nemo-instruct-2407 | Prompt Lab 채팅 |
- Prompt Lab RAG |
- 분류 - 추출 - 생성 - 요약 - 코드 - 번역 |
|
| mistral-small-24b-instruct-2501 | Prompt Lab 채팅 |
- Prompt Lab RAG |
- 분류 - 추출 - 생성 - 요약 - 코드 - 번역 |
|
| mixtral-8x7b-base | Prompt Lab 채팅 |
- Prompt Lab RAG |
- 분류 - 추출 - 생성 - 요약 - 코드 - 번역 |
|
| mixtral-8x7b-instruct-v01 | Prompt Lab 채팅 |
✓ • Prompt Lab 의 RAG • AutoAI (멀티테넌트)의 RAG |
- 분류 - 추출 - 생성 - 요약 - 코드 - 번역 |
|
| mt0-xxl-13b | Prompt Lab RAG |
- 분류 - Q&A |
||
| pixtral-12b | Prompt Lab 채팅하기: 이미지 예제로 채팅하기 |
Prompt Lab RAG |
- 분류 - 추출 - 요약 |
- 작업 유형별로 분류된 다양한 프롬프트 샘플을 검토하려면 샘플 프롬프트를 참조하십시오.
- 기초 모델이 특정 작업을 얼마나 잘 수행할 수 있는지 확인하려면 기초 모델 벤치마크를 참조하세요.
멀티모달 파운데이션 모델
멀티모달 기반 모델은 다양한 양식 또는 유형의 데이터에서 정보를 처리하고 통합할 수 있습니다. 이러한 양식에는 텍스트, 이미지, 오디오, 비디오 및 기타 형태의 감각 입력이 포함될 수 있습니다.
watsonx.ai에서 사용할 수 있는 멀티모달 파운데이션 모델은 다음 유형의 작업을 수행할 수 있습니다:
- 이미지-텍스트 생성
- 시각적 질문에 대한 답변, 차트 및 그래프 해석, 이미지 캡션 등에 유용하게 사용할 수 있습니다.
다음 표에는 텍스트 입력 및 텍스트 출력 이외의 모달리티를 지원하는 사용 가능한 기초 모델이 나와 있습니다.
| 모델 | 입력 양식 | 출력 양식 |
|---|---|---|
| granite-vision-3-2-2b | 이미지, 텍스트 | 텍스트 |
| llama-4-maverick-17b-128e-instruct-fp8 | 이미지, 텍스트 | 텍스트 |
| llama-4-scout-17b-16e-instruct | 이미지, 텍스트 | 텍스트 |
| llama-3-2-11b-vision-instruct | 이미지, 텍스트 | 텍스트 |
| llama-3-2-90b-vision-instruct | 이미지, 텍스트 | 텍스트 |
| llama-guard-3-11b-vision | 이미지, 텍스트 | 텍스트 |
| pixtral-12b | 이미지, 텍스트 | 텍스트 |
사용자 언어를 지원하는 기본 모델
많은 기초 모델은 영어에서만 잘 작동합니다. 그러나 일부 모델 작성자는 사전 훈련 데이터 세트에 여러 언어를 포함하여 여러 언어로 된 태스크에서 모델을 미세 조정하고 여러 언어로 모델의 성능을 테스트합니다. 변환 태스크를 수행하는 솔루션 또는 글로벌 대상에 대한 솔루션을 빌드하려는 경우 다국어 지원을 염두에 두고 작성된 모델을 찾으십시오.
다음 표에는 watsonx.ai의 기초 모델에서 영어 외에 추가로 지원되는 자연어가 나열되어 있습니다. 다국어 기초 모델에 지원되는 언어에 대한 자세한 정보는 기초 모델의 모델 카드를 참조하십시오.
| 모델 | 영어 이외의 언어 |
|---|---|
| granite-8b-japanese | 일본어 |
| granite-20b-multilingual | 독일어, 스페인어, 프랑스어 및 포르투갈어 |
| Granite 3.2 ( granite-3-2-8b-instruct, granite-vision-3-2-2b )에 지시하십시오 | 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어(간체) |
| Granite 인스트럭트 3.1granite-3-2b-instruct, granite-3-8b-instruct ) | 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어(간체) |
| Granite 3 granite-3-8b-base ) | 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어(간체) |
| allam-1-13b-instruct | 아랍어 |
| elyza-japanese-llama-2-7b-instruct | 일본어 |
| EuroLLM 모델에 지시하기 | 불가리아어, 크로아티아어, 체코어, 덴마크어, 네덜란드어, 영어, 에스토니아어, 핀란드어, 프랑스어, 독일어, 그리스어, 헝가리어, 아일랜드어, 이탈리아어, 라트비아어, 리투아니아어, 몰타어, 폴란드어, 포르투갈어, 루마니아어, 슬로바키아어, 슬로베니아어, 스페인어, 스웨덴어, 아랍어, 카탈로니아어, 중국어, 갈리시아어, 힌디어, 일본어, 한국어, 노르웨이어, 러시아어, 터키어, 우크라이나어 |
| flan-t5-xl-3b | 다국어(모델 카드 참조) |
| flan-t5-xxl-11b | 프랑스어, 독일어 |
| jais-13b-chat | 아랍어 |
| 라마 4 ( llama-4-maverick-17b-128e-instruct-fp8, llama-4-scout-17b-16e-instruct ) | 아랍어, 영어, 프랑스어, 독일어, 힌디어, 인도네시아어, 이탈리아어, 포르투갈어, 스페인어, 타갈로그어, 태국어 및 베트남어를 지원합니다. |
| Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf ) | 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 |
| Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct). 또한 텍스트만 입력할 수 있는 llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct, llama-guard-3-11b-vision도 있습니다.) | 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 |
| Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct) | 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 |
| mistral-large | 다국어(모델 카드 참조) |
| mistral-large-instruct-2411, mistral-nemo-instruct-2407, mistral-small-24b-instruct-2501 | 특히 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어 등 다양한 언어가 지원됩니다. |
| mixtral-8x7b-base, mixtral-8x7b-instruct-v01 | 프랑스어, 독일어, 이탈리아어, 스페인어 |
| mt0-xxl-13b | 다국어(모델 카드 참조) |
튜닝할 수 있는 기본 모델
watsonx.ai 에서 사용 가능한 일부 기본 모델은 사용자의 요구에 더 적합하도록 조정할 수 있습니다.
다음 튜닝 방법이 지원됩니다.
- 프롬프트 튜닝: 기초 모델 입력에 포함된 프롬프트 벡터를 조정하는 튜닝 실험을 실행합니다. 여러 번 실행한 후, 작업에 적합한 결과를 반환하도록 기초 모델을 가장 잘 안내할 수 있는 프롬프트 벡터를 찾습니다.
다음 표에서는 IBM watsonx.ai에서 사용 가능한 기본 모델을 튜닝하는 방법을 보여줍니다. 체크 표시(✓)는 열 머리글에 명시된 조정 방법이 기초 모델에서 지원됨을 나타냅니다.
| 모델 이름 | 프롬프트 튜닝 |
|---|---|
| flan-t5-xl-3b | ✓ |
| granite-13b-instruct-v2 | ✓ |
자세한 정보는 Tuning Studio를 참조하십시오.
모델 유형 및 IP 면책
사용하고자 하는 재단 모델에 대한 지적 재산권 면책 정책을 검토하십시오. 일부 제3자 재단 모델 제공업체는 AI 모델 사용으로 인해 발생할 수 있는 지적재산권 침해에 대한 책임을 면제해 줄 것을 요구합니다.
IBM-developed foundation models that are available from watsonx.ai have standard intellectual property protection, similar to what IBM provides for hardware and software products.
IBM는 표준 지적 재산권 면책 범위를 해당 모델에서 생성되는 산출물까지 확장합니다. 지원되는 모델에는 IBM이 개발한 모델과 watsonx.ai에서 제공되는 일부 타사 파운데이션 모델이 포함되어 있습니다. 타사 지원 모델은 표 4에서 확인할 수 있습니다.
다음 표는 다양한 재단 모델 유형과 그에 따른 면책 정책에 대해 설명합니다. 자세한 내용은 참고 자료를 참조하세요.
| 기초 모델 유형 | 면책 정책 | 기초 모델 | 세부사항 | 참고 자료 |
|---|---|---|---|---|
| IBM Covered Model | 제한 없음 IBM 면책 조항 | - IBM Granite - IBM 슬레이트 |
IBM - watsonx.ai 에서 기초 모델을 개발했습니다. | 다음 리소스를 참조하세요. • watsonx.ai 런타임 서비스 설명 • watsonx.ai Studio 서비스 설명 |
| 타사 보장 모델 | 상한 IBM 면책 조항 | Mistral Large | watsonx.ai 에서 구입할 수 있는 타사 커버 모델. | 서비스 설명 보기 |
| 비IBM 제품 | IBM 면책 없음 | 다양 | watsonx.ai에서 제공되는 타사 모델은 관련 의무 및 제한 사항을 포함한 해당 라이선스 약관의 적용을 받습니다. | 모델 정보를 참조하세요. |
| 사용자 정의 모델 | IBM 면책 없음 | 다양 | watsonx.ai에서 사용하기 위해 가져오는 파운데이션 모델은 클라이언트 콘텐츠입니다. | 고객은 모델 및 출력물의 선택과 사용, 타사 라이선스 약관, 의무 및 제한 사항 준수에 대해 전적으로 책임을 집니다. |
제3자 모델 라이선스 조건에 대한 자세한 정보는 제3자 재단 모델을 참조하십시오.
모델 선택에 대한 추가 고려사항
| 모델 속성 | 고려할 사항 |
|---|---|
| 컨텍스트 길이 | 컨텍스트 창 길이, 컨텍스트 창또는 최대 시퀀스 길이라고도 하는 컨텍스트 길이는 입력 프롬프트의 토큰 수에 허용되는 최대 값에 생성된 출력의 토큰 수를 더한 값입니다. watsonx.ai에서 모델을 사용하여 출력을 생성할 때 생성된 출력의 토큰 수는 최대 토큰 매개변수로 제한됩니다. |
| 비용 | 기초 모델 사용 비용은 자원 단위로 측정됩니다. 자원 단위의 가격은 기초 모델의 가격 등급에 따라 결정됩니다. |
| 미세 조정 | 기초 모델이 사전 훈련된 후, 많은 기초 모델이 분류, 정보 추출, 요약, 지시사항에 대한 응답, 질문에 대한 답변, 또는 상호 작용하는 대화식 채팅에 참여하는 것과 같은 특정 작업에 맞게 미세 조정됩니다. 계획된 사용과 유사한 태스크에서 미세 조정을 수행하는 모델은 일반적으로 유스 케이스에 맞는 방식으로 미세 조정되지 않는 모델보다 영 (0) 샷 프롬프트에서 더 잘 수행됩니다. 미세 조정된 모델의 결과를 개선하는 한 가지 방법은 해당 모델을 미세 조정하는 데 사용된 데이터 세트의 프롬프트와 동일한 형식으로 프롬프트를 구성하는 것입니다. |
| 명령어 조정 | 명령어 조정 은 모델이 명령어를 포함하는 프롬프트로 세밀하게 조정되었음을 의미합니다. 모델이 명령어 조정되면 일반적으로 해당 프롬프트에 예제가 없는 경우에도 명령어가 있는 프롬프트에 잘 응답합니다. |
| IP 면책 | 라이센스 조항 외에도 모델에 대한 지적 재산권 배상 정책을 검토하십시오. 자세한 내용은 모델 유형 및 IP 면책를 참조하세요. |
| 라이센스 | 일반적으로 각 기초 모델은 모델 사용 방법을 제한하는 다른 라이선스와 함께 제공됩니다. 모델 라이센스를 검토하여 계획된 솔루션에 대한 모델을 사용할 수 있는지 확인하십시오. |
| 모델 아키텍처 | 모델의 아키텍처는 모델의 작동 방식에 영향을 줍니다. 변환기 기반 모델에는 일반적으로 다음 아키텍처 중 하나가 있습니다. 인코더 전용: 입력 시퀀스를 임베드라고 하는 표현 벡터로 변환하여 문장 레벨에서 입력 텍스트를 이해합니다. 인코더 전용 모델의 공통 작업에는 분류 및 엔티티 추출이 포함됩니다. 디코더 전용: 입력 시퀀스에서 추론하여 출력 텍스트를 단어별로 생성합니다. 디코더 전용 모델의 공통 태스크에는 텍스트 생성 및 질문에 대한 응답이 포함됩니다. 인코더-디코더: 둘 다 입력 텍스트를 이해하고 입력 텍스트를 기반으로 출력 텍스트를 생성합니다. 인코더-디코더 모델의 공통 태스크에는 변환 및 요약이 포함됩니다. |
| 지역적 가용성 | watsonx 서비스와 동일한 IBM Cloud 지역 데이터 센터에서 사용 가능한 모델에 대해 작업할 수 있습니다. |
| 지원되는 프로그래밍 언어 | 모든 기본 모델이 프로그래밍 유스 케이스에 대해 제대로 작동하는 것은 아닙니다. 코드를 요약, 변환, 생성 또는 처리하는 솔루션을 작성하려는 경우, 모델의 사전 훈련 데이터 세트에 포함된 프로그래밍 언어 및 미세 조정 활동을 검토하여 해당 모델이 유스 케이스에 적합한지 여부를 판별하십시오. |
자세히 알아보기
상위 주제: 지원되는 기본 모델
주제가 도움이 되었습니까?
0/1000