BigQuery AI 에이전트 성능 평가 Discovery Bench로 재검증하기

AS-IS: 벤치마크의 맹점

지금까지 AI 에이전트나 생성형 AI 성능을 평가할 때는 정확도(Accuracy), F1 점수 같은 단일 수치만 봐왔어요. "우리 에이전트는 95% 정확도"라는 식이죠. 문제는 이 점수가 어떤 상황에서는 재현 불가능하다는 거예요. 실제 고객 데이터가 벤치마크보다 조금만 복잡하거나 모호해도 성능이 절벽처럼 떨어집니다. 예를 들어 "TLE 용어"(Time Limit Exceeded) 하나가 질문에서 빠지면 F1 점수가 1.0에서 0.0으로 곤두박질할 수 있다는 거예요. 벤더 테스트와 실제 운영이 다른 이유가 여기 있습니다.

Discovery Bench: 정보이론으로 성능 곡선 그리기

Discovery Bench는 정보이론의 "서프라이절(surprisal)" 개념을 활용해요. 간단히 말해서 질문이 얼마나 예측 불가능한지를 수치화하는 방식이죠. BigQuery 팀은 이걸로 기존 질문을 세 가지 난이도로 자동 변환합니다.

높은 모호성(High Surprisal): "고객 데이터 분석해줘"처럼 추상적이고 불분명한 질문 중간 모호성(Medium Surprisal): "지난달 우리 고객 중 구매액이 1000달러 이상인 사람들의 지역별 분포 보여줘" 낮은 모호성(Low Surprisal): "2024년 1월 1일부터 1월 31일까지 트랜잭션 테이블에서 amount>1000인 레코드를 region별로 그룹화해서 COUNT 해줘"

같은 정보를 요구하지만 명확함의 정도가 다르거든요. 이렇게 테스트하면 에이전트의 성능 곡선이 나타나요. 어떤 에이전트는 명확한 질문에만 잘 답하고, 어떤 건 적절한 모호성까지만 견디고, 또 다른 건 어느 수준이든 일관성 있게 대응하는 식이죠.

실무에서 쓰는 방법: AI 도구 도입 전 체크리스트

지금까지 생성형 AI나 AI 에이전트를 도입할 때 "이 도구의 벤치마크 점수가 90%야"라는 말만 들었다면, 이제는 다음을 물어봐야 해요.

1. 실제 사용 시나리오로 테스트했나? 고객이 날린 실제 질문(=높은 모호성)에서는 몇 점인가요. 템플릿이나 반정형 질문이 아닌 자유로운 입력에서 성능이 얼마나 떨어지나요.

2. 성능이 언제 무너지나? 특정 도메인 용어 하나가 빠지면 F1이 0으로 떨어지는 절벽이 있나요. 아니면 점진적으로 성능이 낮아지나요. 만약 절벽이 있다면 운영 중에 고객 문의가 소수 떨어질 가능성이 높아요.

3. 데이터팀 입장에서는? BigQuery 같은 데이터 웨어하우스에서 에이전트가 생성한 쿼리를 로깅하고, 주기적으로 Discovery Bench 방식으로 재평가하면 성능 저하를 조기에 잡을 수 있어요. 모델이 버전업될 때마다 같은 질문 세트로 난이도별 성능을 비교하면 되죠.

마케팅·제품팀 관점: 왜 이게 중요한가

AI 기반 고객 세그멘테이션, 개인화 추천, 챗봇 같은 도구를 도입하려고 벤더에게 "벤치마크 점수"를 받았다면, 그게 실제 운영 데이터에서 재현 가능한지 의심해봐야 한다는 거예요. 특히 고객이 입력하는 쿼리나 요청이 반정형(semi-structured)일 때일수록 Discovery Bench처럼 난이도별 테스트가 필수예요. 벤더 테스트는 깔끔한 테스트 셋에서만 하니까요.

실제로 마케팅 자동화나 고객 데이터 플랫폼(CDP)에서 생성형 AI를 쓸 때도 마찬가지예요. "자동 세그멘테이션 정확도 92%"라는 마케팅 카피만 믿지 말고, 실제 고객 데이터의 모호한 속성값(예: 지역이 "NYC metro" 같이 비표준 형식)에서는 몇 점인지 테스트해봐야 한다는 거죠.

자주 묻는 질문

AI 에이전트 비교할 때 벤치마크 점수만으로는 부족한가요?

네, 부족해요. 벤더가 제시하는 점수는 깔끔하게 정제된 테스트 셋에서 나온 거고, 실제 운영 환경은 훨씬 더 지저분하거든요. Discovery Bench처럼 난이도별로 테스트해서 "명확한 질문에는 95%, 모호한 질문에는 60%"처럼 성능 곡선을 그려봐야 실제 성능을 예측할 수 있어요.

BigQuery에서 내 AI 에이전트를 직접 평가할 수 있나요?

Discovery Bench는 아직 Google이 제시한 개념과 방법론이라서, 직접 도구로 제공되지는 않지만, 같은 논리를 BigQuery와 LLM API(예: Vertex AI)를 조합해서 구현할 수 있어요. 기존 테스트 질문 셋을 받아서 프롬프트로 "이 질문을 더 모호하게 / 더 구체적으로" 변환하게 한 뒤, 에이전트에 던져서 성능을 비교하는 식이죠.

마케팅에서 쓸 때 어디부터 시작하나요?

생성형 AI나 에이전트 기반 도구(예: AI 기반 고객 세그멘테이션, 챗봇)를 도입하기 전에 벤더로부터 "실제 고객처럼 모호한 요청에서는 성능이 어떻게 되나"를 물어보세요. 템플릿 입력이 아닌 자유 입력에서의 성능 데이터를 요청해야 해요. 만약 없다면 파일럿 기간에 직접 계측해서 난이도별 성능을 기록하면 됩니다.

CDP나 마케팅 자동화에서 AI 성능이 떨어지는 이유가 뭔가요?

AI 모델이 훈련한 데이터와 실제 고객 데이터의 형식, 용어, 모호성 수준이 다를 때 성능이 떨어져요. 예를 들어 고객 입력이 "NYC"인지 "New York"인지 "New York City"인지 일관성이 없으면 AI 에이전트가 혼동해요. Discovery Bench처럼 이런 현실적 모호성을 반영해서 테스트하면 미리 성능 한계를 알 수 있습니다.