조정할 foundation model 선택
작업에 적합한 foundation model 찾아 맞춤 설정하세요.
신속한 튜닝을 위한 파운데이션 모델
Tuning Studio의 watsonx.ai:에서 다음 모델에 대한 튜닝 메시지를 표시할 수 있습니다
- flan-t5-xl-3b
- granite-13b-instruct-v2
다음 표에는 조정할 파운데이션 foundation model 선택하기 전에 실험해 볼 수 있는 파운데이션 모델이 나와 있습니다.
| 프롬프트 엔지니어링을 위한 모델 | 튜닝을 위한 모델 |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
튜닝을 위한 foundation model 선택
가장 적합한 foundation model 선택하는 데 도움이 되는 다음 단계를 따르세요:
' foundation model ' 결과물의 품질을 개선하기 위해 ' foundation model ' 학습에 사용된 데이터를 큐레이션하기 위한 조치가 취해졌는지 고려합니다.
모델 선택에 대한 기타 일반 고려사항을 검토하십시오.
자세한 내용은 foundation model 선택하기를 참조하세요.
추론 시점과 튜닝 시점에 foundation model 관련된 비용을 고려하세요. 크기가 작은 모델 (예: 30억 개의 매개변수 모델) 은 튜닝하는 데 비용이 적게 들며 시작하기에 좋은 위치입니다.
튜닝하면 용량 단위 시간 (CUH) 으로 측정되는 계산 자원 소비 비용이 발생합니다. 모델이 클수록 모델을 튜닝하는 데 더 많은 시간이 소요됩니다. 크기가 4배 큰 foundation model 조정하는 데 4배의 시간이 걸립니다.
예를 들어, 10,000개의 예제가 있고 크기가 1.25 데이터 세트의 경우, flan-t5-xl-3b foundation model 조정하는 데 3시간 25분이 걸립니다.
CUH 비용에 대한 자세한 내용은 watsonx.ai 런타임 플랜 및 컴퓨팅 사용량을 참조하세요.
Prompt Lab 의 모델을 실험해 보세요.
테스트 목적으로 동일한 모델 제품군에 있는 모델의 가장 큰 버전 (가장 많은 매개변수가 있는 버전을 의미함) 을 사용하십시오. 더 크고 강력한 모델을 사용하여 테스트함으로써 원하는 출력을 얻기 위한 최상의 프롬프트 패턴을 설정할 수 있습니다. 그런 다음 동일한 모델 유형의 더 작은 버전을 튜닝하여 비용을 절감할 수 있습니다. 더 작은 모델의 신속하게 조정된 버전은 더 나은 결과는 아니지만 유사한 결과를 생성할 수 있으며 추론 비용은 줄어듭니다.
큰 foundation model 최상의 결과를 생성하는 입력 패턴을 찾을 때까지 프롬프트를 만들고 시도해 보세요.
자세한 내용은 Prompt Lab.
상위 주제: Tuning Studio