사전 교육은 팩트가 아닌 단어 연관을 빌드합니다.

사전 학습 중에 foundation model 사전 학습 데이터 세트에서 접한 단어(토큰)의 어휘를 구축합니다. 또한 사전 훈련 중에 해당 단어 간의 통계 관계가 모델 가중치에서 인코딩됩니다.

예를 들어, "에베레스트 산" 은 많은 기사, 책, 연설 및 기타 일반적인 사전 훈련 소스에서 "세계에서 가장 높은 산" 근처에 종종 나타납니다. 그 결과, 사전 훈련된 모델은 아마도 " 세계에서 가장 높은 산이 하)입습니다 P 프롬프트를 정확하게 완성할 것이다. 출력 "Mount Everest" 로 바꾸십시오.

이러한 단어 연관은 사실이 이러한 모델에도 인코딩된 것처럼 보일 수 있습니다. 매우 일반적인 지식과 불변의 사실을 위해서, 가장 높은 산의 예와 같은 간단한 프롬프트를 사용하여 사전 훈련된 기초 모델을 사용하여 사실적으로 정확한 출력을 생성하는 행운을 얻을 수 있습니다. 그러나 정확성이 중요한 애플리케이션에서 기초 모델을 사용할 때 사전 훈련된 단어 연관에만 의존하는 것은 위험한 전략입니다.

사전 훈련 데이터 세트에 유효 기간이 지난 팩트가 포함되어 있습니다.

사전 훈련 데이터 세트를 수집하고 사전 훈련 실행을 수행하는 데 상당한 시간이 걸릴 수 있습니다 (때로는 몇 개월). 몇 년 전의 데이터 세트에서 모델이 사전 훈련된 경우 모델 가중치로 인코딩된 모델 어휘 및 단어 연관은 현재 세계 이벤트 또는 새로 인기 있는 테마를 반영하지 않습니다. 이런 이유로, "가장 최근에 월드컵에서 우승한 사람은"한기 아니할 시스템 (스타지다된 축구다된 제외) 이라는 프롬프트를 제출하면 몇 년 전의 정보에 대해 사전 훈련된 모델에 대해 생성된 출력이 유효하지 않습니다.

사전 훈련 데이터 세트에는 비밀 또는 도메인 특정 팩트 및 전문 용어가 포함되지 않습니다.

더 파일(위키백과)과 같은 일반적인 foundation model 사전 학습 데이터 세트에는 수억 개의 문서가 포함되어 있습니다. 에베레스트 산이 얼마나 유명한 산인지 고려할 때, foundation model '세계에서 가장 높은 산'과 '에베레스트 산'의 관계를 인코딩했을 것으로 예상하는 것이 합리적입니다. 그러나 특정 현상, 인물 또는 개념이 소수의 기사에서만 언급되는 경우, foundation model 해당 주제에 대한 단어 연관성이 가중치로 인코딩될 가능성은 희박합니다. 사전 훈련 데이터 세트에 없는 정보에 대해 사전 훈련된 모델을 프롬프트하면 사실상 정확하게 생성된 출력이 생성되지 않습니다.

샘플링 디코딩이 팩트에서 벗어나는 경향이 있습니다.

디코딩은 모델이 생성된 출력에서 단어 (토큰) 를 선택하는 데 사용하는 프로세스입니다.

• 그리디 디코딩은 항상 가장 높은 확률을 갖는 토큰을 선택합니다.
• 샘플링 디코딩은 확률 분포에서 의사 무작위로 토큰을 선택합니다.

그리디 디코딩은 더 예측 가능하고 더 반복적인 출력을 생성합니다. 샘플링 디코딩은 "창의적" 이라고 생각되는 더 무작위적인 방법입니다. 훈련 전 데이터 세트에 기초하여, "가장 높은 산은" " 가장 높은 산은 다음십시오 다음에서 가장 가능성이 높은 단어가 "에베레스트 산" 인 경우, 그리디 디코딩은 사실 이름습니다는 무선으로 정확한 출력을 생성할 수 있는 반면, 샘플링 디코딩은 때때로 다른 산의 이름 또는 산이 아닌 것을 생성할 수 있습니다.

프롬프트 텍스트의 컨텍스트를 사용하여 팩트 설정

기초 foundation model 출력을 생성하도록 프롬프트하면 생성된 출력의 단어(토큰)는 모델 어휘의 단어와 프롬프트 텍스트의 단어에 영향을 받습니다. 프롬프트 텍스트를 사용하여 사실적으로 정확한 단어 연관을 강화할 수 있습니다.

My favorite color is 

I recently painted my kitchen yellow, which is my favorite color.

My favorite color is 

"창의적" 디코딩을 덜 사용하십시오.

프롬프트에 필요한 팩트가 있는 컨텍스트를 포함하는 경우 그리디 디코딩을 사용하면 정확한 출력이 생성될 수 있습니다. 출력에 몇 가지 다양성이 필요한 경우 Temperature, Top P및 Top K와 같은 매개변수에 대해 낮은 값을 사용하여 샘플링 디코딩을 실험할 수 있습니다. 그러나 샘플링 디코딩을 사용하면 부정확한 출력의 위험이 증가합니다.