사전학습Pre-training
한마디로
대규모 데이터로 모델의 기본 능력을 만드는 1차 학습이에요. 모델의 '기초 교육' 단계라고 보면 돼요
사전학습은 모델을 '처음부터 크게 가르치는' 단계예요. 방대한 텍스트로 언어·지식·추론의 기본기를 만들죠. 막대한 컴퓨팅·비용이 들어서 보통 대형 AI 회사만 해요.
사전학습이 끝난 기반 모델 위에, 특정 용도로 다듬는 파인튜닝이 얹혀요. 즉 '사전학습(기초) → 파인튜닝(특화)'의 순서예요.
한마디로
대규모 데이터로 모델의 기본 능력을 만드는 1차 학습이에요. 모델의 '기초 교육' 단계라고 보면 돼요
사전학습은 모델을 '처음부터 크게 가르치는' 단계예요. 방대한 텍스트로 언어·지식·추론의 기본기를 만들죠. 막대한 컴퓨팅·비용이 들어서 보통 대형 AI 회사만 해요.
사전학습이 끝난 기반 모델 위에, 특정 용도로 다듬는 파인튜닝이 얹혀요. 즉 '사전학습(기초) → 파인튜닝(특화)'의 순서예요.