오픈AI 미지의 AI 아동 성착취물 잡는 무료 분류기 공개
생성형 AI 기술의 급격한 진화는 텍스트와 이미지 생성의 장벽을 허물었지만, 동시에 실존 아동의 피해 사진 없이도 정교한 성착취물을 무한정 합성해 유통할 수 있다는 심각한 사회적 위협을 낳았다. 종전 플랫폼 보안 체계는 이미 유통 사실이 확인되어 데이터베이스에 등록된 기존 이미지의 고유 디지털 지문, 즉 해시값을 대조해 걸러내는 사후 매칭 기술에 전적으로 의존해 왔다. 그러나 생성 모델이 즉석에서 만들어내는 완전히 새로운 합성물은 해시 매칭 데이터베이스에 등록 기록이 존재하지 않아 기존 필터링 망을 고스란히 뚫고 들어오는 구조적 한계를 안고 있었다. 이 같은 사각지대를 해소하기 위해 오픈AI(OpenAI)는 미국 실종학대아동방지센터(NCMEC)와 손잡고 생성형 AI로 조작되거나 새롭게 생성된 미지의 아동 성착취물(CSAM)을 시각적 신호로 식별해내는 신규 이미지 분류기 API를 개발해 검증된 외부 기관에 무료로 배포한다고 발표했다.
OpenAI 공식 블로그에 따르면 이번에 공개된 이미지 분류기는 알려지지 않은 신종 유해 이미지까지 정밀하게 포착하면서도 모니터링 현장의 과부하를 대폭 줄이도록 설계되었다. 실제 파트너십을 통한 사전 검증 테스트 결과, 이 모델은 기존 시스템과 동등한 유해물 감지 능력을 유지하면서도 인간 검토 인력이 직접 들여다보아야 하는 플래그 대상 이미지 규모를 48%나 감축시켰다. 기존 대비 확인 대상 플래그를 48% 줄여 인간 모니터링 요원의 심리적 피로와 리소스 낭비를 막고, 신속한 긴급 대응 체계를 확보할 수 있게 된 셈이다. 또한 외부 생성 플랫폼인 팔닷에이아이(fal.ai)에서 진행된 테스트에서는 고위험 플래그로 분류된 이미지의 72%가 기존 어떤 감시망에서도 식별되지 않았던 새로운 유해물로 확인되는 기술적 성과를 거두었다. 아울러 세이프티킷(SafetyKit)의 평가 결과에서는 일반적인 실사 합성뿐만 아니라 드로잉 및 애니메이션 형태로 정교하게 제작된 아동 성적 묘사 사례까지 90%라는 높은 비율로 정확하게 탐지해내는 성능을 입증했다.
이번 조치는 외부 생태계에 대한 감지 도구 공급에 그치지 않고, 자사 서비스인 챗GPT(ChatGPT) 내부의 통제 규정을 강화하는 직접적인 제재 조치와 유기적으로 결합되었다. 챗GPT 환경 안에서 아동 성착취물과 관련된 프롬프트를 입력하거나 접근을 시도하는 행위가 적발될 경우 즉각적인 경고 화면이 강제 표시되며 해당 대화 내역은 그 자리에서 완전 삭제 처리된다. 규정 위반이 확인된 사용자 계정에는 예외 없이 24시간 이용 정지 조치가 단행된다. 단순 경고를 넘어 반복적인 위반 정황이 드러날 경우에는 계정 영구 제재와 함께 관련 기록 일체가 사법기관으로 즉시 통보되는 강경한 원칙이 집행된다. 이는 사용자 인터페이스 단에서 생성 시도 자체를 원천 차단하고 사후 조치까지 제도화해 서비스가 범죄 수단으로 악용되는 것을 막으려는 목적이다.
나아가 오픈AI는 개별 플랫폼 단위의 방어를 넘어 빅테크 및 수사기관과의 공동 공조 체제를 한층 두텁게 구축하고 있다. 오픈AI는 글로벌 안전 연합체인 테크 코얼리션(Tech Coalition)이 운영하는 랜턴(Lantern) 플랫폼에 적극 참여하기로 결정했다. 이를 통해 여러 온라인 플랫폼 사이에서 발생하는 학대 징후와 신호를 실시간으로 공유하고, 유해 정보의 확산 경로를 다각도로 봉쇄한다는 구상이다. 이와 함께 범죄 수사를 전담하는 사법기관들이 거대한 분량의 챗로그와 디지털 기록을 효율적으로 분석할 수 있도록 전용 AI 수사 지원 도구도 직접 제공한다. 수사 인력이 방대한 텍스트와 기록을 일일이 대조하지 않고도 핵심 범죄 혐의점을 빠르게 추출해 대응 골든타임을 확보하도록 돕는 체계다.
글로벌 규제 당국과 사법기관이 인공지능 기술을 개발하는 빅테크를 상대로 아동 안전에 대한 전방위적인 법적 책임을 요구하고 있는 국면에서, 이번 기술 공개는 안전 표준의 주도권을 확보하려는 선제적 대응으로 해석된다. 단일 기업의 폐쇄적 보안 조치에 머무르지 않고 비영리 수사기관과 외부 플랫폼에 감지 도구를 무상 배포함으로써, 산업 전반의 방어망을 두텁게 형성하겠다는 의도가 깔려 있다. 이미 알려진 데이터베이스 중심의 사후 필터링 방식에서 탈피해 머신러닝 시각 신호 기반의 능동 감지로 무게중심이 이동함에 따라, 향후 글로벌 생성형 AI 플랫폼들이 준수해야 할 안전 검증과 플랫폼 책임의 기준선 역시 한층 엄격해질 전망이다.
출처별 관점 비교
| OpenAI 공식 블로그 | NCMEC 및 테크 코얼리션 등 시민단체·수사기관과의 다각적 협력, 개발자 리소스와 책임 있는 기술 설계를 강조 |
|---|---|
| Fox News | 청소년 사진을 악용한 딥페이크 성착취물 위험성에 주목하며 챗GPT 24시간 계정 정지 등 학부모 관점의 이용자 안전 조치를 조명 |
| Anadolu Ajansı | 새 분류기의 48% 플래그 감소율, fal.ai의 72% 미식별 유해물 적발률 등 구체적인 벤치마크 수치와 기술적 감지 성능을 집중 전달 |
이 이슈의 흐름
생성형 AI 기술의 고도화로 실제 피해 아동의 사진이 없더라도 사실적인 아동 성착취물이 무단 생성·유통되는 신종 범죄 위험이 급격히 증가했다. 기존의 유해물 차단 방식은 이미 알려진 이미지 해시값을 대조하는 사후 데이터베이스 매칭에 의존해 새롭게 생성되는 AI 합성물을 막는 데 구조적 한계가 있었다. 각국 규제 당국과 사법기관이 빅테크를 상대로 아동 안전 보호 책임을 강력히 압박하자 오픈AI는 미지의 합성물까지 시각적 신호로 판별하는 모델을 선제적으로 구축했다. 이번 기술 배포는 개별 기업 차원의 차단을 넘어 업계 전반과 수사기관에 무료 API를 제공해 생태계 차원의 방어망을 형성하려는 목적을 지닌다. 동시에 챗GPT 사용자에게 24시간 계정 일시 정지 조치를 공식 도입함으로써 플랫폼 자체의 악용 차단 기준도 한층 강화했다.
- 오픈AI 카드 3사 제휴 챗GPT 월렛 공개, 자율 대리 결제 시동 OpenAI · 11/14
- 구글 제미나이 에이전트 한국 무료 개방, 작업 대행 전면화 Google AI · 11/18
- 애플, 맥 제어·코딩 자율 에이전트 개발 착수 TechCrunch · 11/20
- 오픈AI GPT-6.2 공개, 작업 비용 3분의 1로 절감 OpenAI · 11/18
- 통제 벗어난 AI 해킹에 법적 철퇴, 캘리포니아주 오픈AI 제소 TechCrunch · 11/17