거대언어모델(LLM)이 직면해 온 구조적 한계는 명확합니다. 사전 학습 시점의 데이터 차단일(Cutoff) 이후 들어오는 신규 정보를 내재화하려면 모델 가중치를 다시 학습시켜야 하지만, 이때 기존 학습 가치를 지워버리는 파국적 망각(Catastrophic Forgetting)이 발생합니다. 이에 따라 산업계는 대규모 외부 벡터 데이터베이스 기반의 검색 증강 생성(RAG)이나 수십만 토큰 이상으로 컨텍스트 창을 넓히는 방식으로 정보 소실을 우회해 왔습니다. 그러나 컨텍스트에 의존하는 방식은 추론 시 인풋 토큰 단가와 왕복 지연 시간을 지속해서 누적시키며 모델 자체 가중치에 지식을 고착화하지 못하는 기술적 한계를 안고 있었습니다. 구글 리서치(Google Research) 공식 블로그에 따르면, 알리 베흐루즈(Ali Behrouz)와 바합 미로크니(Vahab Mirrokni) 부사장 겸 펠로우 연구팀은 배포된 모델이 이전 지식을 잃지 않고 새 정보를 장기 기억화하도록 지원하는 수면(Sleep) 프레임워크를 공개했습니다. 이 시스템은 인간 두뇌가 깨어 있는 동안 경험을 축적하고 수면 상태에서 해마의 단기 기억을 대뇌 피질의 장기 기억으로 고착화하는 생체 기전을 모방했습니다. 주간 서비스 단계에서 입력되는 단기 문맥을 고빈도 임시 파라미터에 모아둔 뒤, 오프라인으로 전환되는 야간 수면 주기에서 사전 할당된 전문가 혼합(MoE) 저빈도 파라미터 블록으로 증류해 영구 가중치로 전환하고 임시 파라미터를 초기화하는 아키텍처입니다. 기존 지도 미세조정(SFT) 기반 단순 지속 학습과 비교할 때 지식 보존 지표와 누적 용량의 격차는 두드러집니다. 기존 지속 학습 체계에서는 신규 작업 데이터를 파라미터에 직접 반영할 때 이전 벤치마크 정답률이 급격하게 붕괴되거나 프롬프트 문맥이 종료되는 즉시 정보가 소실되는 한계를 보였습니다. 반면 슬립 프레임워크는 저빈도 MoE 메모리 블록 증류와 합성 데이터를 자가 생성해 추가 훈련하는 드리밍(Dreaming) 단계를 도입해, 이전 작업 성능 저하 없이 최대 1000만 토큰에 상당하는 장기 지식을 가중치 내로 압축 저장하는 데 성공했습니다. 연구진은 순차 번역 및 복합 추론 벤치마크 평가에서 이전 지식 유지율을 방어하면서 파국적 망각을 차단했다고 보고했습니다. 실험은 주로 치엔(Qwen) 1.7B 및 8B 등 소형 오픈 가중치 모델을 기반으로 진행되어 경량 신경망에서도 장기 기억 응고화 메커니즘이 안정적으로 작동함을 입증했습니다. 연구진은 드리밍 주기에서 모델 스스로 학습용 합성 데이터를 만들어 반복 주입함으로써 외부 데이터 수집 없이도 지식 연결망을 견고하게 재구성했습니다. 다만 구글은 해당 프레임워크를 실제 상용 서비스 파이프라인에 적용했는지 여부나 수면 단계 1회당 소모되는 GPU 연산 비용 세부 내역은 공시하지 않았습니다. 초대형 파운데이션 모델에 동일 아키텍처를 스케일업할 경우 발생하는 추가 플롭스(FLOPs)와 오프라인 합성 데이터 누적에 따른 환각 통제 여부는 후속 연구 과제로 남아 있습니다. 모델 운용 인프라 측면에서 슬립 아키텍처는 에이전트 서비스의 장기 한계 비용 구조를 바꿀 수 있는 잠재력을 지닙니다. 매 추론 호출마다 수만 토큰의 히스토리를 RAG 인덱스에서 끌어와 프롬프트에 실어 나르는 구조는 사용량이 증가할수록 입력 토큰당 100만 개 단위 과금 부담을 기하급수적으로 키웁니다. 슬립 방식은 단기 토큰을 주기적으로 가중치 층위로 압축 전환함으로써 호출 시 소모되는 컨텍스트 길이를 단축하고 토큰 인프라 지출을 억제할 대안으로 평가받습니다. 인공지능 엔지니어링 팀은 상시 RAG 검색을 유지하는 비용과 오프라인 수면 주기 학습에 들어가는 추가 연산 인프라 투입 비용 사이의 손익분기점을 면밀히 따져 도입 여부를 결정하게 될 것입니다.