앤트로픽 내부 모델, 1년 만에 2년치 진전 — METR 평가가 말하는 것과 말하지 않는 것
METR이 11월 5일 앤트로픽 내부 평가 결과를 공개했다. 8월 12일부터 10월 29일까지 앤트로픽 안에서 직접 들여다본 평가다. 결론부터 말하면, 앤트로픽 모델의 벤치마크 점수가 2025년 10월 이후로 예전보다 약 1.9배 빠른 속도로 오르고 있다는 거다. 1년 동안 2년치 진전을 한 셈이다. 다만 이 보고서, 읽을 때 단서를 같이 봐야 한다. 핵심 근거 상당수가 앤트로픽 요청으로 가려져 있어서다.
숫자부터: 1.9배, 어디서 나온 건가
METR은 AECI라는 지표를 썼다. 앤트로픽 버전의 Epoch Capabilities Index다. 2025년 10월 이전에는 연평균 15점씩 오르던 게, 이후에는 연평균 29점씩 오르고 있다. 95% 신뢰구간은 1.5~2.8배, 분석 방식을 바꿔도 1.1~2.9배 사이에서 가속이 잡힌다. METR 표현대로면, 지난 1년의 진전이 2023년 10월부터 2025년 10월까지 — 클로드 2.1에서 소넷 4.5까지 — 2년치와 맞먹는다.
내부 모델 Model 4는 AECI 벤치마크 전 항목에서 50%를 넘긴 첫 모델이다. 9개월 전 오퍼스 4.6은 50% 밑인 항목이 많았다. METR도 이걸 두고 벤치마크가 점점 포화되고 있다고 덧붙인다. 앞으로는 이 지표로 가속을 재기 어려워질 수 있다는 얘기다.
왜 빨라졌나: AI 덕분이라는 추정, 단 확신은 아니다
METR의 추정은 지금 가속의 대부분(약 80%)이 AI를 R&D에 쓰는 데서 왔다는 거다. 다만 “상당한 불확실성이 있다”는 단서가 붙는다. 2025년 말 가속에는 AI 외 요인도 크게 작용했을 가능성이 있고, 직원들 말도 제각각이었다고 한다. 한 가지는 확실히 가려냈다. 학습 연산량 규모가 커지는 속도가 빨라져서 생긴 가속은 아니라는 거다.
직원 체감 수치도 있다. 앤트로픽 직원들이 슬랙 투표로 매긴 체감 속도 향상이 2025년 1월 클로드 3.7 소넷 시절 1.2배에서, 2026년 10월 Model 4 기준 12배까지 올랐다. 이건 가볍게 답한 투표라 METR도 “느슨한 근거”라고 선을 긋는다. “생산성이 12배 올랐다”로 읽으면 안 된다. 개인 체감 투표와 전체 개발 속도 가속은 다른 얘기다.
이 보고서의 한계: 가려진 게 더 많다
이 보고서에서 가장 주의할 대목이다. 앤트로픽이 결론에 가장 크게 작용한 근거의 대다수를 비공개 처리했다. METR도 “대중은 METR의 판단을 믿을 수밖에 없는 구조”라고 직접 적었다. 근거를 보여주는 투명성은 달성하지 못했다는 얘기다. 그래서 1.9배라는 숫자는 METR의 판단을 믿고 받아들이는 숫자지, 외부에서 재검증된 숫자가 아니다.
병목에 대해서도 METR은 “앞으로 12개월 안에 진전을 막을 뚜렷한 병목은 안 보였다”고 하면서도, 평가 도중 병목 판단이 몇 번이나 바뀌었다며 확신은 없다고 적었다. 가속이 더 빨라질 위험이 있다는 결론도, 같은 불확실성 위에 있다.
그래서 우리한테 뭔 의미가 있나
당장 쓸 수 있는 모델이 나온 얘기가 아니다. Model 4는 내부 모델이다. 의미는 방향이다. 모델이 빨라지는 속도가 빨라지고 있고, 그 원인이 연산량을 더 붓는 게 아니라 AI를 개발에 쓰는 데 있다는 게 METR의 판단이다. 맞다면 앞으로 모델 업데이트 주기가 더 짧아지고, 클로드·제미나이·GPT 진영 경쟁도 더 빨라질 수 있다. 반대로 이 보고서가 보여주는 건 “내부 평가”의 한계이기도 하다. 숫자가 크다고 그대로 믿기보다, 어디까지가 측정이고 어디부터가 판단인지 구분해서 보는 게 맞다.
