구글 딥마인드(Google DeepMind)가 수백만 개의 AI 에이전트가 온라인상에서 상호작용할 때 발생할 수 있는 잠재적 위험을 규명하기 위해 1,000만 달러 규모의 연구 기금을 조성했다. 이번 프로젝트는 슈미트 사이언스(Schmidt Sciences), 영국 정부 산하 ARIA, 협력 AI 재단(Cooperative AI Foundation), 구글닷오알지(Google.org)와 공동으로 진행된다. 로힌 샤(Rohin Shah) 딥마인드 AGI 안전성 및 정렬 연구 책임자는 인간의 감독 없이 에이전트가 다른 에이전트의 지시를 수행하는 환경이 기존과는 차원이 다른 보안 위협을 창출할 수 있다고 경고했다. 과거의 AI 안전성 연구가 단일 모델의 환각(hallucination)이나 편향성 제거에 집중했다면, 이번 연구는 시스템 간의 복잡한 상호작용으로 초점이 이동했다. 예를 들어, 기존의 단일 에이전트 환경에서 프롬프트 주입(prompt injection) 공격이 1회성 피해에 그쳤다면, 멀티 에이전트 환경에서는 공격자가 1개의 악성 에이전트를 투입해 수천 개의 에이전트 네트워크를 감염시키는 연쇄 반응이 가능하다. 과거 연구들이 모델의 응답 정확도를 85%에서 92%로 높이는 데 주력했다면, 이제는 에이전트 간 통신 프로토콜의 안전성을 검증하는 것이 핵심 지표로 부상했다. 특히 에이전트 간의 메시지 전달 효율이 100ms 미만으로 단축됨에 따라, 인간이 개입하여 이상 징후를 탐지할 수 있는 시간적 여유는 사실상 0에 수렴하고 있다. 이번 연구 기금은 학계가 산업계의 단기적 성과주의에서 벗어나 장기적인 안전성 프레임워크를 구축하도록 유도하는 데 목적이 있다. 로힌 샤는 현재의 AI 에이전트 배포 속도를 고려할 때, 경제 전반에 에이전트가 확산되어 시스템적 위험이 가시화되기까지 약 6개월 정도의 골든타임이 남았다고 분석했다. 연구진은 에이전트가 수행하는 작업의 자동화율이 30%에서 70%로 급증하는 시점에 맞춰, 악성 에이전트의 확산을 차단하는 알고리즘적 방어 기제를 마련하는 것을 최우선 과제로 삼고 있다. 이러한 변화는 기업의 AI 도입 의사결정에 직접적인 영향을 미칠 전망이다. 기업이 에이전트 기반의 자동화 워크플로우를 도입할 때, 단순히 모델의 성능이나 토큰당 비용(예: 100만 토큰당 3달러에서 2.5달러로의 인하)만을 고려하던 시대는 지났다. 이제는 에이전트 간 상호작용에서 발생할 수 있는 보안 사고에 대한 책임 소재와 거버넌스 비용을 운영 예산에 포함해야 한다. 향후 1년 내에 멀티 에이전트 시스템의 안전성 표준이 정립되지 않는다면, 기업들은 에이전트 도입을 주저하게 될 것이며, 이는 AI 생태계 전반의 확장 속도를 늦추는 요인이 될 수 있다.