Tuning Studio

시작하기 전에

Copy link to section

일반적으로, Tuning Studio 은 watsonx.ai 에 가입할 때 자동으로 생성되는 프로젝트에서 사용할 수 있습니다. 이 프로젝트의 이름은 샌드박스 이고, 기초 모델의 테스트와 커스터마이제이션을 시작하는 데 사용할 수 있습니다.

프로젝트가 없다면 하나 만드십시오. 메인 메뉴에서 프로젝트를 펼친 다음, 모든 프로젝트를 클릭합니다.

1. 새 프로젝트를 클릭하십시오.

2. 프로젝트 이름을 입력한 다음, 설명을 추가할 수 있습니다.

   보고나 기록과 같은 프로젝트 옵션에 대한 자세한 정보는 프로젝트 만들기를 참고하세요.

3. 작성을 클릭하십시오.

다음 튜닝 옵션에 대한 결정을 내리십시오:

• 사용 사례에 가장 적합한 기초 모델을 찾아보세요. 조정할 기초 모델 선택하기를 참조하십시오.
• 프롬프트 엔지니어링 작업을 바탕으로 최상의 결과를 생성하는 패턴을 따르는 프롬프트 예제 세트를 만듭니다. 데이터 형식 참조.

기초 모델 조정

Copy link to section

watsonx.ai 의 홈페이지에서 프로젝트를 선택한 다음, 새 자산 > 라벨이 붙은 데이터로 기초 모델 조정하기를 클릭합니다.

1. 튜닝 실험의 이름을 지정합니다.

2. 선택 사항 : 설명과 태그를 추가합니다. 자신에게 알림으로 추가하고 공동 작업자들이 조정된 모델의 목표를 이해하는 데 도움이 되는 설명을 추가하십시오. 태그를 지정하면 나중에 태그와 관련된 자산만 표시하도록 조정 자산을 필터링할 수 있습니다.

3. 작성을 클릭하십시오.

4. 조정하려는 기초 모델을 선택하려면 기초 모델 선택을 클릭하십시오.

   타일을 클릭하면 기초 모델에 대한 세부 정보가 담긴 모델 카드를 볼 수 있습니다. 사용하고자 하는 기초 모델을 찾았으면, 선택을 클릭합니다.

   자세한 내용은 튜닝할 기초 모델 선택하기를 참고하세요.

5. 다음 옵션에서 프롬프트 초기화 방법을 선택하십시오

   텍스트

   사용자가 지정한 텍스트를 사용합니다.

   무작위

   튜닝 실험의 일환으로 생성된 값을 사용합니다.

   이 옵션들은 모델 튜닝을 위한 프롬프트 튜닝 방법과 관련이 있습니다. 각 옵션이 튜닝 실험에 미치는 영향에 대한 자세한 내용은 프롬프트 튜닝 작동 방식을 참고하세요.

6. 텍스트 초기화 방법에만 필요합니다. 프롬프트에 포함하려는 초기화 텍스트를 추가합니다.

   • 분류 작업의 경우, 분류하고자 하는 대상을 설명하고 사용할 분류 라벨을 나열하는 지침을 제공하십시오. 예를 들어, 각 코멘트의 감정이 긍정인지 부정인지 분류합니다.
   • 생성 작업의 경우, 모델이 출력에서 제공하기를 원하는 것을 설명합니다. 예를 들어, 직원들이 일주일에 며칠은 집에서 일할 수 있도록 허용하는 것을 주장하십시오.
   • 요약 작업의 경우, 회의록의 요점을 요약하라는 지시를 내립니다.

7. 작업 유형을 선택하세요.

   모델이 수행하기를 원하는 작업과 가장 가까운 작업 유형을 선택하십시오

   분류

   특징으로부터 범주적 라벨을 예측합니다. 예를 들어, 고객 의견 모음을 제공받은 경우, 각 진술을 질문 또는 문제라고 라벨을 붙이고 싶을 수 있습니다. 고객 문제를 분리하면 문제를 더 빨리 찾아서 해결할 수 있습니다. 이 작업 유형은 단일 라벨 분류를 처리합니다.

   세대

   텍스트를 생성합니다. 예를 들어, 홍보 이메일을 작성합니다.

   요약

   텍스트 본문에 표현된 주요 아이디어를 설명하는 텍스트를 생성합니다. 예를 들어, 연구 논문을 요약합니다.

   어떤 작업을 선택하든, 입력은 실험 중에 생성 요청 유형으로 기본 기초 모델에 제출됩니다. 분류 작업의 경우, 모델 튜닝에 사용되는 프롬프트에서 클래스 이름이 고려됩니다. 모델과 조정 방법이 발전함에 따라 작업이 정확하게 표현될 경우 활용할 수 있는 작업별 개선 사항이 추가될 가능성이 높습니다.

8. 분류 작업에만 필요 : 분류 출력 필드 에 모델이 사용할 클래스 라벨을 하나씩 추가합니다.

   중요 : 훈련 데이터에 사용된 것과 동일한 라벨을 지정하십시오.

   조정 실험을 하는 동안, 훈련 데이터의 입력 예제와 함께 클래스 라벨 정보가 제출됩니다.

9. 모델을 조정하는 데 사용할 훈련 데이터를 추가합니다. 파일을 업로드하거나 프로젝트의 자산을 사용할 수 있습니다.

   파일 포맷의 예를 보려면, 데이터의 형식은 어떻게 되어야 하는가?를 확장하세요 그런 다음 템플릿 미리보기를 클릭합니다. 데이터 템플릿 중 하나를 복사하거나 다운로드하여 자신의 데이터로 채울 수 있습니다.

   더 자세한 정보는 데이터 형식을 참고하세요.

10. 선택 사항 : 교육 중에 사용되는 입력 또는 출력 예제의 크기를 제한하려면 허용되는 토큰의 최대 개수를 조정하십시오.

    확장 데이터는 어떤 모습이어야 할까요? 스크롤을 내리면 최대 입력 토큰 과 최대 출력 토큰 필드가 표시됩니다. 슬라이더를 드래그하여 값을 변경하십시오. 크기를 제한하면 튜닝 실험을 실행하는 데 걸리는 시간을 줄일 수 있습니다. 자세한 내용은 사용된 토큰 수 제어하기를 참고하세요.

11. 선택 사항 : 매개변수 설정을 클릭하여 튜닝 실험에 사용되는 매개변수를 편집합니다.

    튜닝 실행은 모델 튜닝을 위한 좋은 시작점을 나타내는 매개변수 값으로 구성됩니다. 원하는 경우 조정할 수 있습니다.

    사용 가능한 매개 변수와 그 기능에 대한 자세한 내용은 매개 변수 조정을 참고하세요.

    매개변수 값을 변경한 후 저장을 클릭합니다.

12. 튜닝 시작 을 클릭합니다.

튜닝 실험이 시작됩니다. 훈련 데이터의 크기와 컴퓨팅 자원의 가용성에 따라 몇 분에서 몇 시간이 걸릴 수 있습니다. 실험이 끝나면 상태가 완료로 표시됩니다.

완료된 튜닝 실험에서 배포를 생성할 때까지 조정된 모델 자산이 생성되지 않습니다. 더 자세한 정보는 튜닝된 모델 배포하기를 참고하세요.

사용된 토큰 수 제어

Copy link to section

자연어 모델의 경우, 단어가 토큰으로 변환됩니다. 256 토큰은 약 130-170 단어에 해당합니다. 128 토큰은 약 65-85 단어에 해당합니다. 그러나 토큰 수는 추정하기 어렵고 모델에 따라 다를 수 있습니다. 자세한 내용은 토큰과 토큰화를 참고하세요.

프롬프트 조정 실험을 하는 동안 모델의 입력과 출력에서 허용되는 토큰의 수를 변경할 수 있습니다.

허용되는 입력 및 출력 토큰의 수가 많을수록 모델 튜닝에 더 많은 시간이 걸립니다. 사용 사례에 적절하게 표현하면서도 가능한 한 적은 수의 토큰을 예제에 사용하십시오.

이미 입력 크기를 어느 정도 조절할 수 있습니다. 튜닝 실험에 사용되는 입력 텍스트는 학습 데이터에서 가져옵니다. 따라서, 예제 입력의 길이를 일정하게 유지함으로써 입력 크기를 관리할 수 있습니다. 그러나 다른 팀이나 프로세스에서 선별되지 않은 교육 데이터를 받을 수도 있습니다. 이 경우, 최대 입력 토큰 슬라이더를 사용하여 입력 크기를 관리할 수 있습니다. 파라미터를 200으로 설정하고 훈련 데이터에 1,000개의 토큰이 있는 예제 입력이 있는 경우, 예를 들어 예제가 잘립니다. 예제 입력의 처음 200 토큰만 사용됩니다.

최대 출력 토큰 값 은 훈련 시간에 모델이 출력으로 생성할 수 있는 토큰의 수를 제어하기 때문에 중요합니다. 슬라이더를 사용하여 출력 크기를 제한할 수 있습니다. 이 기능은 모델이 간결한 출력을 생성하는 데 도움이 됩니다.

튜닝 실험 평가

Copy link to section

실험이 끝나면 시간 경과에 따른 모델 결과의 개선을 보여주는 손실 함수 그래프가 표시됩니다. X축에는 에포크가 표시되고, y축에는 에포크당 예측 결과와 실제 결과의 차이를 측정하는 지표가 표시됩니다. 에포크별로 표시되는 값은 에포크의 모든 누적 단계에서 평균 기울기 값을 계산하여 산출됩니다.

결과 평가 방법에 대한 자세한 내용은 튜닝 실험 결과 평가하기를 참고하세요.

조정 실험 결과에 만족하면, 조정된 기초 모델을 배포하십시오. 더 자세한 정보는 튜닝된 모델 배포하기를 참고하세요.

튜닝 실험을 다시 실행하기

Copy link to section

튜닝 실험을 다시 실행하려면 다음 단계를 완료하십시오

1. 프로젝트의 자산 페이지에서 튜닝 실험 자산 유형으로 자산을 필터링합니다.
2. 튜닝 실험 자산을 찾아서 연 다음, 새로운 튜닝 모델을 클릭합니다.

조정 실험의 손실 함수는 이전 실행의 손실 함수와 동일한 그래프에 표시되어 비교할 수 있습니다.

조정된 기초 모델 자산 외에도 조정 실험 자체가 자산으로 저장됩니다. 이전 실험의 결과가 이후 실험의 결과보다 더 좋다면, 이전 실험으로 돌아가서 그 결과로 나온 모델 자산을 활용하여 새로운 조정된 모델 배포를 만들 수 있습니다.

자세히 알아보기

Copy link to section

• 프로젝트 작성
• 조정된 모델 배포
• 빠른 시작: 기초 모델 조정하기
• 샘플 노트북: watsonx 에서 CFPB 문서를 분류하기 위한 모델 조정
• 샘플 노트북: watsonx 사용한 다중 클래스 분류를 위한 신속한 튜닝

상위 주제: 기초 모델 조정