낮은 순위 적응 ( LoRA ) 미세 조정

로우랭크 적응 ( LoRA ) 튜닝의 작동 방식

낮은 순위 적응( LoRA )은 기본 모델의 매개변수를 수정하지 않고 고정된 기본 기초 모델에 매개변수의 하위 집합을 추가하고 튜닝 실험 중에 하위 집합을 업데이트하는 매개변수 효율적인 미세 조정(PEFT) 기법입니다. 조정된 기초 모델이 추론되면 하위 집합의 새 매개변수 가중치가 기본 모델의 매개변수 가중치에 추가되어 작업에 맞게 사용자 지정된 출력을 생성합니다.

매개변수의 하위 집합을 만드는 방법에는 몇 가지 수학이 포함됩니다. 기초 모델의 신경망은 레이어로 구성되며, 각 레이어에는 복잡한 매개변수 행렬이 있다는 점을 기억하세요. 이러한 매개변수에는 기초 모델을 처음 학습할 때 설정되는 가중치 값이 있습니다. LoRA 튜닝에 사용되는 파라미터의 하위 집합은 기본 기초 모델의 가중치에 순위 분해를 적용하여 도출됩니다. 행렬의 순위는 행렬에서 서로 선형적으로 독립적인 벡터의 수를 나타냅니다. 행렬 분해 라고도 하는 순위 분해는 이 순위 정보를 사용하여 원래 행렬을 두 개의 작은 행렬로 표현하는 수학적 방법으로, 곱하면 원래 행렬과 같은 크기의 행렬을 형성합니다. 이 방법을 사용하면 두 개의 작은 행렬이 함께 큰 행렬의 주요 패턴과 관계를 캡처하지만 매개변수는 더 적게 사용합니다. 생성되는 작은 행렬을 로우랭크 행렬 또는 로우랭크 어댑터라고 합니다.

LoRA 튜닝 실험을 하는 동안 하위 집합에 있는 매개변수( 하위 순위 어댑터 )의 가중치 값이 조정됩니다. 어댑터에는 매개변수가 적기 때문에 튜닝 실험이 더 빠르고 변경 사항을 저장하고 계산하는 데 더 적은 리소스가 필요합니다. 어댑터 행렬에는 기본 모델 행렬의 일부 정보가 부족하지만 LoRA 튜닝 방법은 LoRA 대규모 기초 모델이 일반적으로 작업에 필요한 것보다 더 많은 매개 변수를 사용한다는 사실을 활용하기 때문에 효과적입니다.

LoRA 미세 조정 실험의 결과물은 새로운 가중치가 포함된 어댑터 세트입니다. 이렇게 튜닝된 어댑터를 곱하면 기본 모델의 행렬과 동일한 크기의 행렬을 형성합니다. 추론 시점에 어댑터 제품의 새로운 가중치가 기본 모델 가중치에 직접 추가되어 미세 조정된 출력을 생성합니다.

타겟팅할 기본 기초 모델 레이어와 기본 모델 행렬을 분해할 때 사용할 순위 등 LoRA 튜닝 실험의 매개 변수를 구성할 수 있습니다. 자세한 내용은 기초 모델 튜닝을 위한 매개변수를 참조하세요.

어댑터 에셋을 배포할 때는 기본 모델도 배포된 배포 공간에 에셋을 배포해야 합니다. watsonx.ai 에서 LoRA 미세 조정 방법을 사용하여 정량화되지 않은 파운데이션 모델만 미세 조정할 수 있습니다.

LoRA 미세 조정 기법을 사용하면 다음과 같은 이점이 있습니다:

• LoRA 기법에서 사용하는 더 작고 훈련 가능한 어댑터는 튜닝 시 더 적은 저장 공간과 컴퓨팅 리소스를 필요로 합니다.
• 어댑터의 조정은 컨텍스트 창 길이나 모델 응답 속도에 영향을 주지 않고 추론 시점에 적용됩니다.
• 하나의 기본 기초 모델을 배포하고 다른 어댑터와 함께 모델을 사용하여 다양한 작업에 맞게 출력을 사용자 지정할 수 있습니다.

낮은 순위 적응 ( LoRA ) 워크플로 미세 조정하기

LoRA 미세 조정 실험에서는 시간이 지남에 따라 조정된 기초 모델의 예측이 더 좋아질 수 있도록 하위 순위 어댑터라고 하는 모델 매개변수의 대표 하위 집합의 매개변수 가중치를 반복적으로 조정합니다.

다음 다이어그램은 LoRA 미세 조정 실험을 실행하는 동안 발생하는 단계를 보여줍니다.

실험 흐름에서 구성할 수 있는 부분은 사용자 아이콘 으로 강조 표시되어 있습니다. 이러한 결정 포인트는 사용자가 제어하는 실험 튜닝 매개변수와 일치합니다. 파운데이션 모델 조정에 대한 매개변수를 참조하세요.

다이어그램은 실험의 다음 단계를 보여줍니다:

1. 실험은 학습 데이터를 읽고 토큰화하여 배치로 변환합니다.

   배치의 크기는 배치 크기 매개변수에 의해 결정됩니다.

2. 기본 모델 매개변수의 대표적인 하위 집합인 로우랭크 어댑터가 고안되었습니다. 낮은 순위 어댑터의 초기 가중치는 target_modules 매개변수에 지정한 모델 레이어에 적용되며 순위 매개변수에 지정한 값에 따라 계산됩니다.

3. 배치의 예제에서 LoRA 어댑터로 입력을 전송한 다음 기초 모델로 전송하여 처리하고 출력을 생성합니다.

4. 모델의 출력을 제출된 학습 데이터 입력에 해당하는 학습 데이터의 출력과 비교합니다. 그런 다음 학습 데이터에서 예측된 출력과 실제 출력의 차이인 손실 기울기를 계산합니다.

   이 실험은 모델의 계산된 손실에 따라 LoRA 어댑터 매개변수 가중치를 조정합니다. 이 조정이 발생하는 시기는 누적 단계 매개변수를 구성하는 방법에 따라 다릅니다.

5. 조정은 LoRA 어댑터의 매개변수 가중치에 적용됩니다. 가중치가 변경되는 정도는 학습률, 알파, 드롭아웃 파라미터 값의 조합으로 제어됩니다.

6. 다음 예제에서 학습 데이터의 입력은 LoRA 어댑터에 입력으로 제출됩니다. 어댑터는 최신 가중치 변경 사항을 적용하고 이를 기본 파운데이션 모델 가중치에 추가하여 작업에 맞게 조정합니다.

7. 모든 배치의 모든 예제가 처리될 때까지 이 프로세스가 반복됩니다.

8. 전체 배치 세트는 에포크 수 매개변수에 지정된 횟수만큼 다시 처리됩니다.