AI 에이전트는 유능합니다. 그런데 책임은 누가 지죠?
2026-05-26
AI는 이미 우리 일상이 되었습니다. 마이크로소프트 조사에 따르면 글로벌 지식 근로자의 75%가 이미 직장에서 AI를 쓰고 있습니다. 규모는 상상 이상입니다. 2026년 5월 구글 I/O 키노트에 따르면, 구글의 AI 모델 API는 분당 190억 개의 토큰을 처리하고 있습니다. 지난 12개월간 1조 개가 넘는 토큰을 소비한 구글 클라우드 고객사만 375곳이 넘습니다.
분당 190억 개. 1초당 약 3억 개의 의사결정과 답변과 보고서가 AI 위에서 만들어지고 있다는 뜻입니다. 그런데 여기서 한 가지 질문이 생깁니다.
“그 1조 개의 토큰을 누가 만들었는지, 누구의 권한으로 만들었는지 우리는 알고 있을까요?” 🤔
📚 목차
1.똑똑해진 AI, 비어 있는 책임
2. AI가 내린 결정, 누가 책임질 수 있을까
3. 기존 보안 시스템으로 막을 수 없는 이유
4. 거버넌스를 아키텍처에 심는 4가지 원칙
5. Snowflake는 어떻게 책임을 설계했나
1. 똑똑해진 AI, 비어 있는 책임
앞서 말했듯, AI도입을 검토하는 단계는 이미 지났습니다. 지금은 분당 190억 개의 토큰이 처리되고, 지식 근로자 4명 중 3명이 매일 AI와 함께 일하는 시대입니다.
전 세계의 기업들이 LLM 위에서 의사결정을 내리고, 보고서를 만들고, 고객에게 답하고, 트랜잭션을 실행하고 있다는 뜻입니다. 사람은 점점 검토와 확인만 하고 있으며 그것조차 줄어들고 있습니다.
그리고 바로 여기서, 거의 모든 기업이 놓치고 있는 공백이 생깁니다. AI를 똑똑하게 만드는 데는 모두가 매달렸지만, 그 똑똑한 AI가 한 일에 책임을 묻는 방법은 아무도 준비하지 않았다는 것입니다.
사번 없이 일하는 직원
회사가 사람을 한 명 채용한다고 가정해봅시다.
신원조회를 합니다 -> 사번을 발급합니다 -> 직무기술서를 씁니다. 권한을 부여받은 후, 어느 시스템에 접근할 수 있는지 명확히 합니다. 출퇴근 기록이 남고, 한 일이 로그에 남습니다. 5년 뒤 그 사람이 한 일에 문제가 생기면, 우리는 누구의 일인지 추적할 수 있습니다.
그런데 AI 에이전트는요? 대부분의 기업에서 AI 에이전트는 사번도, 접근 권한도, 인사기록도 없이 일하고 있습니다. 🤯
더 정확히 말하면, 에이전트는 보통 호출한 사람의 권한을 그대로 빌려서 행동합니다. 재무팀 부장이 호출하면 재무팀 부장의 권한으로 움직이고, 인사팀 직원이 호출하면 인사팀 직원의 권한을 빌려서 수행을 합니다. 에이전트 본인의 "정체성"은 없습니다.
AI 에이전트가 제대로 일하려면 네 가지가 있어야 합니다. 검증 가능한 정체성, 명확한 권한, 정해진 활동 범위, 그리고 지속적으로 남는 활동 기록. 그런데 지금 대부분의 에이전트는 이 넷 중 어느 것도 갖고 있지 않습니다. 빠르게 행동은 하지만 관리 가능한 책임은 부족합니다.
"검토는 사람이 한다"는 말의 함정 "우리는 AI가 만든 결과를 사람이 검토하니까 괜찮다"고 하실 수 있습니다. 이론적으로는 맞지만 분당 190억 토큰의 시대에, 현실적으로 가능할까요?
🧑🏻💼 영업팀에서 일어나는 일을 상상해봅시다
영업팀의 AI 에이전트가 어제 하루 동안
고객사 12곳의 ERP 데이터를 조회했습니다
사내 가격 정책 문서 47건을 참조했습니다
경쟁사 시장 보고서 8건을 종합했습니다
그 결과 "A고객사 맞춤 견적안"을 만들었습니다
영업 담당자는 그걸 받아 확인하고 고객에게 보냈습니다
여기서 "확인"은 정확히 무엇을 의미할까요? 아마 대부분 견적 금액이 합리적인지 본 것? 일 것 입니다. 그런데 에이전트가 A고객사 데이터를 조회할 권한이 있었는지, 참조한 가격 정책이 최신 버전이었는지, 경쟁사 정보가 적법한 경로로 입수된 것인지 대부분 그것 까지 일일이 확인 하는 것은 쉽지 않을 것 입니다. 사람의 검토는 결과물의 표면에서 일어나고, 그 결과물이 만들어진 과정은 검토 범위 밖에 있습니다. 이게 "검토는 사람이 한다"는 문장이 숨기는 진실입니다. 사람들이 보통 확인하는 것은 결과이지, 과정이 아닙니다.
2. AI가 내린 결정, 누가 책임질 수 있을까
문제는 항상 실제 업무가 시작하고 한참 뒤에 터집니다. 가상으로 한 금융사의 1년 뒤 풍경을 상상해볼까요? 🏦
한 금융사가 대출 심사 보조 AI 에이전트를 도입했습니다. 신용 데이터를 조회하고, 리스크를 판단하고, 승인 권고안을 만듭니다. 잘 돌아갑니다. 처리 속도는 빨라졌고, 현장은 만족합니다. 이게 우리가 희망하고 나아가는 방향입니다.
하지만 1년 뒤. 한 고객이 "내 대출이 차별적으로 거절됐다"며 민원을 넣고, 이게 언론과 감독당국으로 번집니다. 대표이사와 임원들이 긴급 회의실에 모입니다. CEO가 묻습니다. "그래서, 그 AI가 왜 거절한 겁니까?"
그 순간, 회의실의 누구도 다음 질문에 답하지 못합니다.
이 에이전트는 어떤 기준으로 거절을 판단했는가?
그때 어떤 권한을 가지고 있었는가? 그 권한은 누가 부여했고, 언제까지 유효했는가?
그날 신청자의 어떤 데이터를 조회했는가? 차별 소지가 있는 내용(성별·거주지 등)이 포함됐는가?
이건 누구의 책임인가? 에이전트? 호출한 직원? 회사?
기록이 없으면 답할 수 없습니다. 답할 수 없으면 입증할 수 없습니다. 입증할 수 없으면, 그 책임은 고스란히 회사와 경영진에게 돌아옵니다.
여기서 멈춰 생각해볼 게 있습니다. 이 회사는 잘못한 게 없을 수도 있습니다. 에이전트가 실제로 공정하게 심사했을 수도 있어요. 그런데 그걸 증명할 방법이 없다는 것 자체가 리스크입니다. 결백을 입증할 수 없으면, 결백한 것과 마찬가지가 아닙니다.
이건 가상의 시나리오가 아니게 될 수도 있습니다. 2026년 1월 시행된 AI기본법은 고영향 AI에 대해 안전성 확보 의무와 사람에 의한 감독을 요구합니다. 입증 책임은 사업자에게 있습니다. 추적할 기록이 없다면, 무엇으로 입증할까요? ⚖️
3. 기존 보안 시스템으로 막을 수 없는 이유
🛡️ "우리 회사도 IAM 다 깔려있는데?"
맞습니다. 그런데 그건 사람을 위해 설계된 시스템입니다.
사람은 안정적입니다. 입사부터 퇴사까지 한 사람의 ID가 유지되고, 역할이 명확하고, 권한이 정의되어 있습니다. 새벽에 도는 정해진 배치 프로그램도 마찬가지예요. 누가 만들었고, 무엇에 접근하는지 명확합니다.
에이전트는 휘발성입니다. 점심 전에 활성화돼서, 네 개의 데이터 소스를 거치고, 정오 전에 사라집니다. 다음 날엔 또 다른 에이전트가 생성됩니다. 안정적인 역할도, 정해진 경로도 없습니다. 별도의 설계 없이는 거버넌스 관점에서 거의 추적이 불가능합니다.
⚠️ 더 까다로운 문제는 결합의 권한
각 데이터 소스에 대한 접근은 합법이었어도, 그것들을 결합한 결과물은 누구도 승인하지 않은 영역에 들어갈 수 있습니다.
예를 들어볼게요. HR 데이터에 접근 권한이 있는 에이전트, 재무 데이터에 접근 권한이 있는 에이전트 각각은 문제없습니다. 그런데 한 에이전트가 두 데이터를 결합해서 "특정 부서 개인별 인건비 효율성 보고서"를 만들어냈다면?
그 결합은 누가 승인했나요?
그 결과물의 소유권은 누구에게 있나요?
그게 외부로 유출되면 책임은 누가 지나요?
에이전트는 잘못한 게 없습니다. 자기가 받은 권한 안에서 충실히 일했을 뿐입니다. 문제는 누구도 그 경계를 정의하지 않았다는 데 있습니다. 입구는 지켰는데, 출구는 아무도 안 본 거죠.
4. 거버넌스를 아키텍처에 심는 4가지 원칙
핵심은 단순합니다. 거버넌스를 나중에 덧 붙이지 말고, 처음부터 아키텍처에 넣으면 됩니다. 구체적으로는 네 가지입니다.
1. 에이전트가 행동하기 전에, 그가 누구인지 먼저 정의하세요🪪
호출한 사람의 권한을 그대로 상속받게 하지 마세요. 에이전트 본인의 권한, 접근 범위, 유효 기간을 생성 시점에 명시적으로 부여하세요. 신입사원에게 입사 첫날 사번부터 발급하는 것과 같습니다.
2. 입력 데이터만이 아니라, 결과물에도 거버넌스를 적용하세요🔐
"HR 데이터 접근 가능" + "재무 데이터 접근 가능"이 곧 "두 데이터를 결합해도 된다"는 뜻은 아닙니다. 파생 인사이트에도 정책이 따라붙어야 합니다.
3. 에이전트가 사라져도, 기록은 남게 하세요📜
1시간 일하고 사라진 에이전트라도, 누가 만들었고, 무엇에 접근했고, 무엇을 만들어냈고, 누가 승인했는지 영구 보존되어야 합니다. 퇴사한 직원의 인사기록을 보관하는 것과 같습니다.
4. 사람의 감독은 결과 검토 넘어의 것이 필요하다🚨
모든 에이전트 행동을 사람이 일일이 검토하는 건 비현실적이고, 그렇게 할 거면 AI를 쓸 이유가 없습니다. 금융 감사처럼, 모든 거래를 보는 게 아니라 패턴과 이상치를 잡아내는 체계적 감사면 충분합니다.
5. Snowflake는 어떻게 책임을 설계했나
❄️ Go-To-Market AI Assistant: 설계 제약으로 넣은 4가지
Snowflake는 자사의 Go-To-Market AI Assistant를 만들 때, 위 네 가지를 "기능"이 아니라 "설계 제약 조건"으로 먼저 정의했습니다. "있으면 좋은 것"이 아니라 "이게 없으면 아예 안 만든다"는 전제로 시작했죠.
역할 기반 데이터 접근
검증된 답변과 추론된 답변을 구분하는 인증된 쿼리
생성 시점에 정의되는 권한 범위
여러 소스 전반에 걸쳐 접근을 강제하는 논리적 데이터 모델
결과는요?
처음부터 "추적 불가능한 동작은 시스템적으로 막히도록 설계" 를 전제로 만들어졌기 때문입니다. 예를 들어 영업 데이터에 접근할 권한이 없는 직원이 호출하면, 에이전트가 그 데이터를 조회하려는 시도 자체가 차단됩니다. 결과를 사후에 감사하는 게 아니라, 잘못된 행동을 사전에 불가능하게 만든 거죠.
이 모델은 고객사로도 그대로 확장됩니다. 연간 750억 달러 규모의 거래를 처리하는 글로벌 결제 플랫폼 Tipalti, 그리고 TS Imagine, Fanatics, United Rentals 같은 기업이 같은 길을 가고 있습니다.
공통점은 하나입니다. 에이전트가 똑똑해서가 아니라, 추적 가능해서 신뢰할 수 있다는 것.
SPH와 함께 시작하기
지식 근로자의 75%가 AI를 쓰고, 매분 190억 토큰이 처리되는 시대. AI 능력은 더 이상 문제가 아닙니다. 충분히 유능합니다.
진짜 문제는 그 똑똑함을 신뢰할 수 있는 형태로 운영할 수 있느냐입니다. 그리고 그 신뢰는 세 가지 질문에 답할 수 있을 때 생깁니다.
💬 그 에이전트는 어떤 역할인가
💬 그가 무엇을 할 권한이 있는가
💬 실제로 무엇을 했는가
신뢰할 수 없는 AI는 결국 아무도 쓰지 않게 됩니다. 그리고 그 신뢰는 검증 가능한 증거에서 나옵니다. 그 에이전트가 누구이고, 무슨 권한으로, 무엇을 했는지 답할 수 있을 때 기업은 AI에게 진짜 일을 맡길 수 있습니다. 이제 기업의 경쟁력을 가르는 건 더 똑똑한 모델이 아닙니다. 책임질 수 있는 AI를 운영하는 능력입니다.
우리와 함께 근무하는 AI 에이전트 1년 뒤 경영진 회의실에서, 그가 무엇을 했는지 입증할 수 있습니까? 🪪
SPH는 Snowflake 국내 공식 파트너사이자 Snowflake Intelligence 런칭 파트너로서, 거버넌스가 처음부터 내장된 AI 에이전트 환경을 함께 설계합니다. PoC 기획부터 도입, 고도화까지 전 과정을 동행하며 "추적 가능한 AI"를 실제 업무에 적용할 수 있도록 지원합니다. 😊
*본 글은 Snowflake 한국 공식 파트너사 SPH가 Snowflake의 보도자료를 바탕으로 번역 및 재구성한 내용입니다.
https://www.snowflake.com/ko/blog/ai-agent-identity-governance-enterprise-trust/
https://www.snowflake.com/en/blog/ai-agent-identity-governance-enterprise-trust/
SPH는 Google Maps, SuperMap, Vantor, Snowflake, Sigma Computing 등 다양한 제품군을 가지고 있으며, 고객의 사례에 꼭 맞는 무료 세미나 및 인적 컨설팅을 제공하고 있습니다. 더욱 자세한 이야기를 나누고 싶으시다면, 여기에서 문의 주시길 바라며, SPH에서 발행하는 GIS / 로케이션인텔리전스 / AIBI / 데이터비즈니스 관련 최신 소식을 받아보고 싶으신 분들은 페이스북 페이지 (링크드인 페이지) 또는 뉴스레터를 구독해주시길 바랍니다
