이름 없던 모델의 정체 — 80%가 58%로 내려온 이유
8월 20일, 오픈라우터에 이름 없는 모델 하나가 조용히 올라왔어요. stealth/ox-alpha. 만든 곳도 안 적혀 있었고 무료였는데, 코딩을 잘한다는 말이 금세 퍼졌습니다. 엿새 뒤 정체가 밝혀졌고, 점수는 그보다 먼저 내려앉았어요.
무슨 일이 있었냐면요
- 8월 20일 — 오픈라우터에 익명 무료 모델 등장
- 개발자 벤 데이비스가 DeepSWE에서 10문제를 풀려보니 8개 통과(80%). 같은 자리에서 Claude Fable 5가 65%, GPT-5.6 Sol이 52%였다고 알려졌어요
- 이 숫자가 퍼지며 "누가 만들었나" 추측이 이어졌습니다
- 8월 26일 — Z.AI(즈푸)가 자기네 모델이라고 확인하고, 같은 날 GLM-5.3-Flash로 정식 공개
DeepSWE는 실제 저장소에서 이슈를 고치게 시키는 시험이에요. 채점이 사람 취향이 아니라 테스트 통과 여부라, 코딩 실력을 볼 때 자주 쓰입니다.
그런데 숫자가 내려왔어요
데이비스가 표본이 아니라 **전체를 다시 돌리니 약 63%**가 나왔어요. 본인이 직접 "80%가 아니었다"고 정정했습니다. 다른 평가자가 113문제 전부를 돌린 결과는 **58.4%**였고요.
왜 이런 일이 생기냐면요
10문제로 잰 80%가 실제로 얼마나 넓은 범위를 뜻하는지 직접 계산해볼 수 있어요.
# 몇 문제 풀어 나온 점수를 얼마나 믿을지 재는 코드예요
import math
# 맞힌 수와 전체 수를 넣으면 95% 구간을 돌려줘요
def 구간(맞힘, 전체):
# 95%에 해당하는 상수예요. 외우지 않아도 됩니다
z = 1.96
# 겉으로 보이는 정답률이에요
p = 맞힘 / 전체
# 아래 네 줄은 윌슨 공식을 그대로 옮긴 거예요
바닥 = 1 + z * z / 전체
중심 = p + z * z / (2 * 전체)
안 = p * (1 - p) / 전체 + z * z / (4 * 전체**2)
폭 = z * math.sqrt(안)
# 구간의 아래끝과 위끝을 함께 돌려줘요
return (중심 - 폭) / 바닥, (중심 + 폭) / 바닥
# 10문제로 잰 값과 113문제로 잰 값을 나란히 놓아봐요
for 맞힘, 전체 in [(8, 10), (66, 113)]:
# 방금 만든 함수로 구간을 구해요
아래, 위 = 구간(맞힘, 전체)
# 보기 좋게 소수점 한 자리까지 찍어요
print(f"{전체}문제 중 {맞힘}개={맞힘/전체*100:.1f}%")
print(f" 실력 {아래*100:.1f}%부터 {위*100:.1f}% 사이")돌려보면 이렇게 나옵니다.
10문제 중 8개=80.0%
실력 49.0%부터 94.3% 사이
113문제 중 66개=58.4%
실력 49.2%부터 67.1% 사이10문제짜리 80%는 실력이 49%일 수도, 94%일 수도 있다는 뜻이에요. 나중에 나온 58.4%도 그 안에 들어갑니다. 숫자가 틀렸다기보다 처음부터 좁힐 수 없는 값이었던 거죠. 10문제면 한 문제에 10%씩 움직이니까요.
퀀이 Claude Opus를 이겼다던 발표를 뜯어봤을 때와 같은 결이에요. 벤치마크 숫자를 볼 때는 몇 문제로 쟀는지부터 찾아보세요.
실물은 어떤 모델이냐면요
GLM-5.3-Flash는 전체 3,200억 개 중 한 번에 180억 개만 쓰는 구조예요. GLM-5 계열에서 처음으로 이미지까지 함께 다루고, 컨텍스트는 100만 토큰입니다. 가중치를 MIT 라이선스로 같은 날 공개했고요.
요금이 눈에 띕니다. 100만 토큰당 정가 **입력 $0.15(약 210원) / 출력 $0.50(약 700원)**이고, 9월 9일까지는 절반인 $0.075 / $0.25예요. Claude Opus 5가 $5(약 7,000원) / $25(약 3만 5천원)이니 자릿수가 다릅니다. (1달러 1,400원 기준)
확인된 것과 조심할 것
확인된 것 — 8월 26일 GLM-5.3-Flash로 공개됐고, MIT 가중치가 허깅페이스에 올라왔으며, 요금은 회사가 공개한 값이에요.
조심할 것 — 80%도 63%도 58.4%도 전부 커뮤니티가 잰 값이고 회사 공식 벤치마크가 아니에요. 중국산 추론 칩으로 돌렸다는 이야기도 돌지만 확인된 건 없습니다.
익명으로 올라온 모델 써보신 분 계세요? 카톡 오픈채팅 ⚡ AI랑 코딩하는 사람들에 후기 들려주세요.