컨텍스트 로트Context Rot

Chroma의 기술 리포트(2025-07)가 체계화했어요 — GPT-4.1·Claude 4·Gemini 2.5 등 18개 모델 실측으로, 모델이 컨텍스트를 균일하게 쓰지 않고 입력이 길어질수록 신뢰도가 떨어짐을 보였죠. 10,000번째 토큰도 100번째처럼 처리될 거라는 통념을 뒤집은 것.

후속 분석들에선 100만 토큰급 모델도 대략 30만–40만 토큰대부터 뚜렷한 저하가 있다고 지적됐어요. arXiv 후속 연구와 엔터프라이즈 AI 블로그들이 표준 용어처럼 채택하며 정착했고, '프롬프트가 아니라 컨텍스트를 설계하라'는 컨텍스트 엔지니어링 담론의 핵심 실증 근거가 됐습니다.

실무 시사점: 긴 창은 스펙이지 품질 보증이 아니에요 — 요약·구조화·필요분만 주입하는 컨텍스트 다이어트가 성능 관리의 기본기가 됩니다.