디스틸레이션(증류)Distillation
한마디로
큰 모델의 능력을 작은 모델로 압축해 옮기는 기술이에요. 경량·저가 모델(예: Haiku 계열)을 만드는 원리예요
디스틸레이션은 '큰 선생 모델이 작은 학생 모델을 가르치는' 방식이에요. 거대 모델의 출력·판단을 작은 모델이 모방하도록 학습시켜, 비슷한 능력을 훨씬 가볍고 싸게 구현하죠.
경량 모델이 빠르고 저렴하면서도 쓸 만한 이유가 여기 있어요. 모든 작업에 최상위 모델을 쓸 필요 없이, 가벼운 작업은 증류된 경량 모델로 처리해 비용을 크게 줄일 수 있어요.