오픈AI 디시전스 API 정식 출시, 100밀리초대 응답 구현
문장 생성 중심이던 거대언어모델 인터페이스가 실시간 선택과 라우팅 작업에 맞춰 구조를 전환하고 있다. 오픈AI는 2026년 10월 22일 텍스트, 이미지, JSON 입력을 기반으로 조건 판별, 다지선다 분류, 점수 산출을 전문으로 수행하는 디시전스(Decisions) API를 정식 출시했다. 테크크런치(TechCrunch) 등 주요 외신과 오픈AI 공식 블로그에 따르면 이번 신규 인터페이스는 긴 설명 문장을 단계별로 생성해 내는 대신 닫힌 선택지 신호와 정형 확률값만 반환하도록 설계됐다.
디시전스 API는 오픈AI의 주력 모델인 GPT-6 루나(Luna)를 기반으로 구동된다. 기존 GPT-6 루나 리스폰시스(Responses) API 방식의 경우 단순한 분류나 분기 처리 작업에서도 문장 생성을 거치며 1초에서 3초 수준의 응답 지연이 불가피했다. 반면 이번 디시전스 API는 이를 약 100~180밀리초 수준으로 줄여 처리 속도를 최대 10배 끌어올렸다. 별도의 서술형 문장을 출력하지 않고 사전에 정의된 다지선다 항목이나 조건 부합 여부, 산출된 점수만 즉시 전송하기 때문에 추론 과정에서 발생하는 지연 시간을 크게 덜어낸 결과다.
가격 체계와 처리 용량 측면에서도 기존 인터페이스와 차이를 보였다. 디시전스 API의 과금은 입력 토큰 100만 개당 0.10달러로 책정됐으며, 자주 쓰는 시스템 명령어나 컨텍스트를 재사용하는 프롬프트 캐싱을 적용할 경우 100만 개당 0.01달러까지 비용이 내려간다. 선택지나 점수 신호만 전송하는 구조적 특성을 반영해 출력 토큰 비용은 아예 청구되지 않는다. 또한 과거 퍼블릭 베타 단계에서 단일 요청당 최대 200개 질문에 머물렀던 동시 처리 한도는 이번 정식 출시를 거치며 최대 400개 질문으로 2배 확대됐다. 여기에 GPT-라이브(GPT-Live) 네이티브 연동을 지원하고 데이터 주권 요구에 대응해 미국과 유럽 추론 데이터 보관 지역 설정을 정식 버전에 포함했다.
이러한 아키텍처는 전용 모델을 새로 만든 결과물이 아닌 범용 모델의 추론 경로를 최적화한 방식이다. 오픈AI API 제품 리드를 맡고 있는 니쿤지 한다(Nikunj Handa)는 테크크런치와의 인터뷰에서 별도의 전용 소형 모델을 새로 학습시키는 방식을 택하는 대신 범용 모델인 GPT-6 루나의 추론 경로를 좁힌 작업에 맞춰 재구성했다고 설명했다. 이어 사내 동료들이 이 같은 접근법에 대해 즉각적으로 수많은 활용 사례를 찾아냈다고 덧붙였다. 이는 타입세이프(TypeSafe)의 제브(Zev)처럼 단일 목적에 특화된 의사결정 전용 모델들이 부상하자, 오픈AI가 범용 모델의 서빙 계층 효율화로 맞대응에 나선 구도로 풀이된다.
그동안 거대언어모델 애플리케이션 개발 현장에서는 고객 지원 티켓 분류나 다음 작업 경로를 지정하는 단순 분기 작업에서도 불필요하게 서술형 텍스트를 생성하면서 지연 시간과 토큰 비용이 누적되는 구조적 병목 현상을 겪어왔다. 오픈AI는 모델의 출력 과정을 정형화된 선택 신호로 제한해 실시간 반응형 에이전트 인프라 환경을 다지겠다는 전략을 택했다. 개발사 입장에서는 자유 텍스트를 파싱하는 번거로운 후처리 로직을 줄이고 에이전트 간 호출 지연을 최소화할 수 있게 되었으나, 사전에 정해둔 선택지 바깥의 예외적인 돌발 상황을 어떻게 안전하게 처리할 것인가가 새로운 시스템 설계 과제로 부각되고 있다.
출처별 관점 비교
| OpenAI 공식 발표 | GPT-6 루나 기반의 최대 10배 속도 향상, 프롬프트 캐싱 지원, 요청당 400개 질문 처리 및 박스 등 기업 적용 사례 중심 |
|---|---|
| TechCrunch | 경쟁 제품인 타입세이프의 제브를 벤치마킹한 개발 배경과 전용 모델 학습이 아닌 기존 루나 모델의 추론 최적화 방식임을 규명하는 데 집중 |
이 이슈의 흐름
기존 거대언어모델 애플리케이션은 단순한 티켓 분류나 라우팅 같은 의사결정에도 문장 단위의 텍스트 생성을 요구해 지연 시간과 토큰 비용이 누적되는 구조적 병목을 겪어왔다. 오픈AI는 범용 모델의 생성 과정을 닫힌 선택지 구조로 강제해 속도와 비용을 최적화함으로써 실시간 반응형 에이전트 환경을 구축하고자 했다. 이는 타입세이프의 제브 등 단일 목적 특화 의사결정 모델에 대응해 범용 모델 기반의 서빙 아키텍처 효율화로 맞불을 놓은 사례다. 고객사는 텍스트 파싱 로직을 덜어내고 에이전트의 실행 지연을 줄일 수 있게 되었으나, 고정된 선택지 외부의 예외적 상황을 안전하게 다루는 설계가 새로운 개발 과제로 떠오르고 있다.
- 오픈AI 내부 모델 탈취 사고, 에이전트 자율성 통제 시험대 Ars Technica · 10/19
- 오픈AI 행동 지침 전면 개편, 5대 핵심 가치 중심 전환 OpenAI · 10/30
- 오픈AI·앤트로픽 API 단가 80% 인하, 토큰 경제 재편 Hacker News · 10/26
- AT&T, 오픈AI 손잡고 법무 인테이크 자동화…외주 로펌 30% 감축 착수 OpenAI · 11/02
- 오픈AI, 데이터센터를 AI 컴퓨팅 캠퍼스로 리브랜딩 추진 TechCrunch · 11/02