프롬프트 튜닝 실험 만들기

즉각적인 튜닝을 위한 버벌라이저 편집하기

파운데이션 모델 튜닝에 사용되는 버벌라이저를 편집할 수 있습니다.

프롬프트 튜닝을 위한 버벌라이저의 형식은 다음과 같습니다:

Input: {{input}} Output:

기본 형식은 입력 텍스트 앞에 입력:라는 단어를 추가하고 입력 텍스트 뒤에 출력:를 추가하여 생성된 텍스트를 추가할 기초 모델을 표시합니다.

더 설명적인 접두사 텍스트가 기초 모델이 더 나은 답변을 생성하도록 안내할 수 있다면 언어화기를 사용자 지정할 수 있습니다. 예를 들어 기사를 요약하도록 기초 모델을 조정하려면 다음과 같이 버벌라이저를 변경할 수 있습니다:

Article: {{input}} Summary: 

일반적인 Input 및 Output 대신 접두사 Article 및 Summary를 사용하면 기초 모델에 입력 및 예상 출력에 대한 컨텍스트 정보를 더 많이 제공할 수 있습니다.

채팅 사용 사례용으로 설계된 기초 모델의 경우 기본 버벌라이저의 형식이 더 간단합니다:

{{input}}

버벌라이저를 변경할 때는 다음 가이드라인을 따르세요:

• 사용자 지정 형식이 파운데이션 모델 출력을 향상시키는지 확인하기 위해 엔지니어링을 통해 확인한 후에만 버벌라이저를 변경하세요.

• {{input}} 변수를 수정하지 마세요.

  이 변수는 튜닝 실험이 학습 데이터 파일의 input 세그먼트에서 텍스트를 추출하도록 지시합니다.

• 분류 작업의 경우 지정한 클래스 레이블이 자동으로 기초 모델에 전달됩니다. 사용자 지정 버벌라이저에서 지정할 필요는 없습니다.

  그러나 프롬프트 엔지니어링 결과 분류 중인 정보를 나타내는 접두사를 사용하는 것이 더 나은 출력을 생성하는 것으로 나타난 경우 해당 접두사를 사용하도록 언어화기를 변경할 수 있습니다. 고객 피드백을 분류하려는 작업의 경우 예를 들어 Feedback: {{input}} Class:을 사용할 수 있습니다.

• 기초 모델을 튜닝하는 데 사용되는 언어화기를 변경하는 경우 나중에 튜닝된 모델을 추론할 때 동일한 접두사를 사용하세요.

  예를 들어 사용자 지정 버벌라이저가 Article: {{input}} Summary: 인 경우 Prompt Lab 에서 자유형 모드에서 조정된 파운데이션 모델을 추론할 때 다음과 같이 프롬프트를 지정합니다:

  Article: IBM watsonx Challenge empowers partners to solve real-world problems with AI. In June, IBM invited ecosystem partners in Europe, the Middle East and Africa to participate in an IBM watsonx Challenge, a hands-on experience designed to bring the watsonx platform capabilities to some of the most important members of the IBM ecosystem.These ecosystem partners, who sell, build or service IBM technologies, enthusiastically embraced the challenge. Participants formed teams and focused on quickly crafting a solution to one of three selected challenges. The challenges included using prompt engineering to analyze customer experience by using IBM® watsonx.ai, automating repetitive manual tasks to improve productivity by using IBM watsonx Orchestrate, and building a generative AI-powered virtual assistant by using IBM watsonx™ Assistant and IBM watsonx™ Discovery. This experience enabled passionate learners to experience exciting new generative AI technologies firsthand and it led to innovation and creativity.
  Summary: 
  

  구조화된 모드에서 시도 섹션의 플레이스홀더 접두사를 변경합니다. 예를 들어 Input를 Article으로 변경하고 Output를 Summary로 변경합니다.

프롬프트 튜닝 토큰 한도 설정하기

자연어 모델의 경우 단어가 토큰으로 변환됩니다. 256개의 토큰은 약 130~170단어에 해당합니다. 128토큰은 약 65~85단어에 해당합니다. 그러나 토큰 번호는 추정하기 어렵고 모델마다 다를 수 있습니다. 자세한 내용은 토큰과 토큰화를 참조하세요.

프롬프트 튜닝 실험 중에 모델 입력 및 출력에 허용되는 토큰 수를 변경할 수 있습니다.

허용되는 입력 및 출력 토큰의 수가 많을수록 모델을 조정하는 데 시간이 더 오래 걸립니다. 예시에서 사용 가능한 가장 적은 수의 토큰을 사용하되 사용 사례를 제대로 표현할 수 있는 토큰을 사용하세요.

이미 입력 크기를 어느 정도 제어할 수 있습니다. 튜닝 실험 중에 사용되는 입력 텍스트는 학습 데이터에서 가져옵니다. 따라서 예제 입력을 정해진 길이로 유지하여 입력 크기를 관리할 수 있습니다. 그러나 다른 팀이나 프로세스에서 큐레이션되지 않은 교육 데이터를 가져올 수도 있습니다. 이 경우 최대 입력 토큰 슬라이더를 사용하여 입력 크기를 관리할 수 있습니다. 예를 들어 매개변수를 200으로 설정하고 학습 데이터에 1,000개의 토큰이 입력된 예시가 있는 경우 예시가 잘립니다. 예시 입력의 처음 200개 토큰만 사용됩니다.

최대 출력 토큰 값은 학습 시 모델이 출력으로 생성할 수 있는 토큰의 수를 제어하므로 중요합니다. 슬라이더를 사용하여 출력 크기를 제한할 수 있으므로 모델이 간결한 출력을 생성하는 데 도움이 됩니다.

자세히 알아보기

• 데이터 형식
• 튜닝 매개변수
• 미세 조정 실험 만들기

상위 주제: Tuning Studio