새로운 연구 논문이 라벨링된 벤치마크가 부재한 상황에서 대규모 언어 모델(LLM)의 안전성을 비교 평가하는 방법론을 제시했다. 이 연구는 '벤치마크 없는 비교 안전성 점수화'라는 개념을 정립하고, 시나리오 기반 감사(audit)가 배포 증거로 해석될 수 있는 계약 조건을 명시했다. 점수는 고정된 시나리오 팩, 평가 기준, 감사자, 심사자, 샘플링 구성 및 재실행 예산 하에서만 유효하다는 점을 강조한다. AIDEN 편집팀은 이 연구가 LLM의 빠른 발전 속도에 비해 안전성 평가 프레임워크가 부족한 현 상황에서 중요한 의미를 가진다고 분석한다. 특히 특정 언어, 산업, 규제 환경에 맞는 라벨링된 데이터셋이 없는 경우가 많아, 실제 배포 전 모델의 안전성을 검증하기 어려운 문제를 해결하려는 시도다. 통제된 대조군 반응성, 목표 주도 분산의 우위, 재실행 안정성이라는 세 가지 유효성 검증 체인을 통해 객관성을 확보하려는 접근 방식이 주목할 만하다. 이 방법론은 노르웨이 공공 부문 조달 사례에서 Borealis와 Gemma 3 모델을 비교하는 데 실제로 적용되어, 안전한 모델이 시나리오 범주와 위험 측정에 따라 달라질 수 있음을 보여주었다. 이는 단일 순위로 결과를 단순화하기보다 점수, 차이, 위험률, 불확실성, 사용된 감사자 및 심사자를 함께 보고해야 함을 시사한다. 향후 다양한 산업 및 규제 환경에서 LLM 안전성 평가의 표준화에 기여할 것으로 기대된다. 출처: https://arxiv.org/abs/2605.06652v1