인공지능(AI) 기술의 발전 속도가 선형적 사고방식을 초월하는 기하급수적 추세를 보이며, 회의론자들의 예측과 달리 그 성장세가 멈추지 않을 것이라는 분석이 나왔습니다. 2010년 이후 최첨단 AI 모델 훈련에 사용되는 컴퓨팅 자원(부동 소수점 연산, flops)은 약 10¹⁴ flops에서 현재 10²⁶ flops 이상으로, 무려 1조 배 증가했습니다. 이는 AI 발전의 핵심 동력으로 작용하고 있습니다. 이러한 폭발적인 성장은 세 가지 핵심 기술 발전의 융합 덕분입니다. 첫째, 개별 칩의 성능이 비약적으로 향상되었습니다. 엔비디아(Nvidia)의 칩은 지난 6년간 원시 성능이 312 테라플롭스(teraflops)에서 2,250 테라플롭스로 7배 이상 증가했습니다. 둘째, HBM(고대역폭 메모리) 기술을 통해 데이터 처리 속도가 빨라졌습니다. HBM3는 이전 세대 대비 대역폭을 3배 늘려 프로세서가 항상 바쁘게 작동하도록 데이터를 공급합니다. 셋째, NVLink 및 인피니밴드(InfiniBand)와 같은 연결 기술이 수십만 개의 GPU(그래픽 처리 장치)를 단일 인지 개체처럼 작동하는 대규모 슈퍼컴퓨터로 통합시켰습니다. 이러한 기술적 진보는 컴퓨팅 효율성을 극대화했습니다. 2020년 8개의 GPU로 언어 모델을 훈련하는 데 167분이 걸렸던 작업이 이제는 동등한 최신 하드웨어에서 4분 이내로 단축되었습니다. 이는 무어의 법칙이 예측하는 5배 개선을 훨씬 뛰어넘는 50배의 성능 향상입니다. 또한, 소프트웨어 혁신으로 고정된 성능 수준에 도달하는 데 필요한 컴퓨팅 자원이 약 8개월마다 절반으로 줄어들고 있으며, 일부 모델의 배포 비용은 연간 최대 900배까지 절감되었습니다. 미래 전망 또한 매우 낙관적입니다. 주요 연구소들은 컴퓨팅 용량을 연간 약 4배씩 늘리고 있으며, 2020년 이후 최첨단 모델 훈련에 사용되는 컴퓨팅 자원은 매년 5배씩 증가했습니다. 2027년까지 전 세계 AI 관련 컴퓨팅 자원은 1억 H100 등가 수준에 도달하여 3년 만에 10배 증가할 것으로 예상됩니다. 이러한 추세가 지속된다면 2028년 말까지 유효 컴퓨팅 자원이 추가로 1,000배 증가할 가능성도 제기됩니다.