Agentic AI 시대의 거버넌스, 자율 에이전트를 도입하기 전에 풀어야 할 보안 숙제

무슨 일이 일어나고 있나

최근 발표를 따라가다 보면 한 가지 키워드로 수렴해요. 바로 Agentic AI입니다. 질문에 답하는 챗봇 단계를 지나, 이제는 에이전트가 데이터를 읽고 도구를 호출하며 업무를 직접 처리하는 단계로 넘어가고 있어요.

대표적인 사례가 Salesforce의 Agentic Advisor예요. 금융자산관리사를 위해 고객 미팅 준비, 포트폴리오 모니터링, 행정 업무 자동화를 백그라운드에서 처리해 수작업을 절반까지 줄여준다고 합니다. 핵심은 모든 액션이 사람의 검토를 거치는 human-in-the-loop 구조로 설계됐다는 점인데요, 규제 산업인 금융에서 자율성과 통제를 동시에 잡으려는 의도가 분명히 읽힙니다.

Snowflake는 여기서 한 발 더 나아가 거버넌스 프레임워크 자체를 제시했어요. Data-Model-Agent 프레임워크는 보안을 데이터 계층(최소 권한·마스킹), 모델 계층(프롬프트 인젝션 방어), 에이전트 계층(도구 거버넌스·감사 추적성) 3단계로 나눠 관리하는 접근이에요. 또 Accenture와 함께 발표한 Agentic Enterprise 전략에서는 Context Graph를 통해 업계별 의사결정 규칙과 정책을 데이터 레이어에 내장해, 에이전트가 단순 검색이 아니라 거버넌스된 의사결정을 수행하도록 만드는 구조를 보여줬어요.

그리고 HuggingFace의 MosaicLeaks 연구는 이 흐름의 그림자를 정확히 짚어요. 리서치 에이전트가 개인 문서와 웹 검색을 결합할 때, 각각은 무해해 보이는 검색어가 함께 모이면 비밀 정보를 조립하는 '모자이크 효과'가 발생한다는 거예요. 프롬프트 기반 경고는 거의 효과가 없었지만, 단계마다 보상을 주는 강화학습 방식(PA-DR)으로 정보 유출률을 34.0%에서 9.9%까지 낮췄다고 합니다.

왜 중요한가

세 건을 따로 보면 제품 뉴스이지만, 함께 보면 하나의 인과 사슬이 보여요. 자율성이 커질수록 보안과 거버넌스가 도입의 병목이 된다는 점입니다.

Salesforce가 굳이 human-in-the-loop를 강조한 이유, Snowflake가 보안을 3계층으로 쪼갠 이유, HuggingFace가 유출 위험을 실험으로 정량화한 이유는 모두 같아요. 에이전트가 사람을 대신해 행동하는 순간, 잘못된 행동의 책임과 데이터 노출의 위험도 함께 커지기 때문이에요. 단순 챗봇은 틀린 답을 해도 사람이 거르지만, 자율 에이전트는 그 답으로 실제 업무를 실행해버리거든요.

특히 MosaicLeaks의 모자이크 효과는 마케팅·데이터 실무자에게 시사하는 바가 커요. 우리가 고객 데이터와 외부 데이터를 결합해 인사이트를 뽑는 일을 에이전트에게 맡길 때, 개별 쿼리는 안전해 보여도 조합 과정에서 민감정보가 새어 나갈 수 있다는 뜻이니까요. 자율 에이전트의 위험은 '한 번의 큰 실수'가 아니라 '작은 행동들의 누적'에서 온다는 게 핵심이에요.

실무에 주는 함의

첫째, 거버넌스를 먼저 설계하고 에이전트를 붙이세요. Snowflake-Accenture 사례처럼 의사결정 규칙과 정책을 데이터 레이어에 내장하는 접근이 정석이에요. 에이전트에게 '무엇을 할 수 있는지'가 아니라 '무엇을 해서는 안 되는지'를 데이터·도구 권한 수준에서 미리 정의해두는 거죠.

둘째, human-in-the-loop를 비용이 아니라 신뢰 장치로 보세요. 규제 산업이나 고객 접점 업무일수록 사람 검토 단계가 도입 속도를 늦추는 게 아니라 도입 자체를 가능하게 만드는 전제 조건이에요.

셋째, 유출 위험을 정성이 아니라 정량으로 관리하세요. MosaicLeaks가 유출률을 숫자로 측정했듯, 에이전트가 외부로 보내는 쿼리와 결합 데이터를 로깅하고 모니터링하는 체계를 갖춰야 해요. 프롬프트에 '비밀을 누설하지 마'라고 적는 것만으로는 거의 효과가 없다는 게 실험 결과예요.

리스크·한계

다만 짚어둘 게 있어요. 지금 공개된 프레임워크와 솔루션은 대부분 벤더 자사 생태계 안에서 작동해요. 실제 기업은 여러 벤더의 도구가 섞인 환경이라, 계층별 보안과 거버넌스가 시스템 경계를 넘는 순간 구멍이 생길 수 있어요. MosaicLeaks의 PA-DR도 유출을 9.9%까지 낮췄지만 0은 아니라는 점, 즉 자율 에이전트의 정보 유출 위험을 완전히 제거할 수는 없다는 현실도 기억해야 합니다.

결국 Agentic AI 도입은 '얼마나 똑똑한 모델인가'의 경쟁에서 '얼마나 통제 가능한가'의 경쟁으로 무게중심이 옮겨가고 있어요. 에이전트를 빨리 붙이는 조직이 아니라, 거버넌스를 먼저 세운 조직이 결국 더 멀리 갈 거예요.