토큰Token
한마디로
모델이 텍스트를 처리하는 최소 단위예요. 단어보다 작을 수 있고(한글은 보통 글자당 1~2토큰), 비용·길이 산정의 기준이 돼요
토큰은 모델이 글자를 쪼개서 다루는 조각이에요. 영어 'unbelievable'은 'un/believ/able'처럼 여러 토큰으로, 한글은 보통 글자당 1~2토큰이에요.
왜 중요하냐면 비용과 한계가 토큰으로 매겨져요. API 요금은 입력·출력 토큰 수로 계산되고, 모델이 한 번에 다룰 수 있는 양(컨텍스트 윈도우)도 토큰 단위예요. 긴 문서를 넣으면 토큰이 늘어 비용이 커지니, 실무에선 '토큰 예산'을 의식하는 게 중요해요.