조정할 파운데이션 모델 선택
작업에 맞게 모델을 사용자 지정하기 위해 조정할 수 있는 올바른 기초 모델을 찾습니다.
신속한 튜닝을 위한 파운데이션 모델
Tuning Studio의 watsonx.ai:에서 다음 모델에 대한 튜닝 메시지를 표시할 수 있습니다
- flan-t5-xl-3b
- granite-13b-instruct-v2
다음 표에는 조정할 파운데이션 모델을 선택하기 전에 실험해 볼 수 있는 파운데이션 모델이 나와 있습니다.
| 프롬프트 엔지니어링을 위한 모델 | 튜닝을 위한 모델 |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
튜닝을 위한 기초 모델 선택
가장 적합한 파운데이션 모델을 선택하는 데 도움이 되는 다음 단계를 따르세요:
기초 모델 출력의 품질을 개선하기 위해 기초 모델 학습에 사용된 데이터를 큐레이션하기 위한 조치가 취해졌는지 고려합니다.
모델 선택에 대한 기타 일반 고려사항을 검토하십시오.
자세한 내용은 파운데이션 모델 선택하기를 참조하세요.
추론 시점과 튜닝 시점에 기초 모델과 관련된 비용을 고려하세요. 크기가 작은 모델 (예: 30억 개의 매개변수 모델) 은 튜닝하는 데 비용이 적게 들며 시작하기에 좋은 위치입니다.
튜닝하면 용량 단위 시간 (CUH) 으로 측정되는 계산 자원 소비 비용이 발생합니다. 모델이 클수록 모델을 튜닝하는 데 더 많은 시간이 소요됩니다. 크기가 4배 큰 파운데이션 모델은 조정하는 데 4배의 시간이 걸립니다.
예를 들어, 10,000개의 예가 있고 크기가 1.25 MB인 데이터 집합의 경우 flan-t5-xl-3b 기초 모델을 조정하는 데 3시간 25분이 걸립니다.
CUH 비용에 대한 자세한 내용은 watsonx.ai 런타임 플랜 및 컴퓨팅 사용량을 참조하세요.
Prompt Lab 의 모델을 실험해 보세요.
테스트 목적으로 동일한 모델 제품군에 있는 모델의 가장 큰 버전 (가장 많은 매개변수가 있는 버전을 의미함) 을 사용하십시오. 더 크고 강력한 모델을 사용하여 테스트함으로써 원하는 출력을 얻기 위한 최상의 프롬프트 패턴을 설정할 수 있습니다. 그런 다음 동일한 모델 유형의 더 작은 버전을 튜닝하여 비용을 절감할 수 있습니다. 더 작은 모델의 신속하게 조정된 버전은 더 나은 결과는 아니지만 유사한 결과를 생성할 수 있으며 추론 비용은 줄어듭니다.
큰 기초 모델에서 최상의 결과를 생성하는 입력 패턴을 찾을 때까지 프롬프트를 만들고 시도해 보세요.
자세한 내용은 Prompt Lab.
상위 주제: Tuning Studio