스페시픽, 기업 코드 벤치마크 Real-SWE 공개

측정 설계도 모델만 따로 재지 않았어요. 기업 엔지니어가 실제로 일하는 방식을 반영하겠다며 모델과 하네스를 묶어서 쟀는데, Fable 5.1과 GLM 5.3은 Claude Code, GPT-6 Astra와 GPT-5.6 Sol은 Codex CLI, Gemini 3.8 Flash는 Gemini CLI, Grok 4.6은 Grok Build, Muse Spark 1.3은 Muse Code, Kimi K3은 Kimi Code에서 돌았어요. 과제 10개에 모델마다 8회씩 총 640회 롤아웃을 돌렸고, 해결률은 여덟 번을 평균한 pass@1이에요. 에이전트는 격리된 샌드박스에서 돌고 채점기는 채점 시점에 주입되는데, 채점기는 그 코드베이스에 원래 있던 테스트를 그대로 쓰거나 거기서 따왔어요.

순위는 Fable 5.1 38.8%, GPT-6 Astra 33.8%, Gemini 3.8 Flash 31.2%, GLM 5.3 28.8% 순이었고 Grok 4.6과 Muse Spark 1.3이 23.8%로 나란히 5위, Kimi K3 18.8%, GPT-5.6 Sol 16.2%로 이어졌어요. 과제 10개 가운데 6개는 해결률이 15% 아래였어요. 분석 스트림 리듀서 과제는 여덟 조합이 8회씩 64번 시도해 한 번도 통과하지 못했고, 세금 관할 과제는 3.1%, 선형화 가능 스캔은 4.7%에 그쳤어요. 반대로 다중 리전 점검은 67.2%, API 키와 환경 설정은 65.6%로 비교적 잘 풀렸어요.

점수보다 흥미로운 것은 틀리는 방식이에요. 실패를 유형으로 나눠 보면 가장 많은 것은 지시가 요구한 동작을 빠뜨리는 누락이었어요. Grok 4.6은 실패한 61회 중 41회인 67.2%, Kimi K3은 65회 중 35회인 53.8%가 여기에 걸렸어요. GPT-5.6 Sol은 실패의 43.3%가 작업 공간에서 확인하지 않고 시스템에 대한 추측 위에 코드를 얹은 경우였고, Gemini 3.8 Flash는 49.1%가 방향은 맞지만 주변 시스템에 잘못 연결한 통합 오류였어요. 기존 동작을 망가뜨리는 회귀는 대부분의 조합에서 10% 아래였고, 애초에 실행되지 않는 파일에 고친 코드를 넣은 경우는 GLM 5.3에서 7.0%로 가장 높았어요.

시간을 더 쓴다고 나아지지도 않았어요. 10분 안에 끝난 롤아웃은 98회 중 70회인 71.4%가 실패했고, 10분 이상 걸린 롤아웃도 542회 중 398회인 73.4%가 실패했어요. 오래 붙잡고 있었다는 사실이 답에 가까워졌다는 뜻은 아니었던 거예요. 비용도 성적을 사 주지 못했어요. 롤아웃 한 번에 드는 추정 비용은 2.50달러에서 6.96달러 사이인데, 6.96달러로 가장 비싼 Fable 5.1이 1위이긴 했지만 2.50달러로 가장 싼 Gemini 3.8 Flash가 31.2%를 냈고 2.65달러인 GPT-5.6 Sol은 꼴찌였어요.

연구진이 굳이 남의 회사 코드를 빌려 온 이유도 보고서에 적혀 있어요. 비공개 코드베이스 과제는 태생부터 분포 밖이라 어떤 모델도 훈련 때 본 적이 없다는 거예요. 보고서는 "실제 기업에 있는 토큰의 99%는 프런티어 모델에게 감춰져 있다"고 적었어요. 지시문도 친절하지 않아요. Real-SWE 지시문의 중앙값은 1,742자이고 참조 해법이 건드린 파일은 중앙값 11개인데, 비교로 제시된 FrontierCode와 DeepSWE의 참조 해법은 6개였어요. 짧은 설명을 받아 들고 구현 세부를 직접 찾아내야 하는 구조예요. 연구진은 지시문이 다소 덜 구체적이라는 점도 스스로 적었어요. 보고서는 과제 지시문이 "다소 덜 구체적이고 DeepSWE, 터미널 벤치와 비슷한 수준이지만 지시를 빠뜨릴 정도는 아니다"라고 밝혔어요. 코드베이스를 빌려준 회사 이름은 공개하지 않았고, 분석에 쓰인 표본 과제를 보려면 따로 접근을 요청해야 해요.

세금 과제 하나를 펼쳐 보면 난이도가 눈에 들어와요. 사업자마다 세금 처리가 다른 청구 서비스에서, 어떤 곳은 자체 세율을 유지하고 어떤 곳은 구매자 주소를 기준으로 외부 세무 사업자에게 가격을 다시 매기고 어떤 곳은 아예 걷지 않는데, 면세로 등록된 고객은 사업자 설정과 무관하게 과세하면 안 돼요. 계정 상태에 따라 세무 사업자의 샌드박스와 운영을 갈라 써야 하고, 주소가 거부되면 청구를 멈추지 말고 보고해야 하고, 정산이 끝난 거래는 그 청구 번호로 다시 신고해 신고서가 맞아떨어지게 해야 해요. TypeScript로 짠 NestJS 서비스에 세무 사업자의 샌드박스와 운영 환경, 시계열 원장이 붙어 있는 환경이고, 사람이라면 옆자리에 물어보며 풀 일을 에이전트는 코드와 도구만 보고 알아내야 해요.

이 성적표는 최근 코딩 모델 소식과 나란히 놓고 볼 때 의미가 분명해져요. 메탈은 코그니션이 자사 벤치마크에서 미국 모델과 중국 모델의 비용 대비 성능 경계를 그렸다고 보도한 바 있고, 데빈이 GPT-6 Astra로 자기 작업을 시험하고 증명하는 능력을 얻었다고 보도한 바 있어요. 공개 벤치마크 점수가 빠르게 오르는 동안, 남의 회사 안에서 돈이 걸린 일을 맡기면 같은 모델의 성적표가 이렇게 달라져요.

메탈이 확인한 보고서에서 연구진은 회사별 엔지니어링 패턴이 중요하다고 적으며 "오늘의 모델은 회사의 코딩 패턴을 이해하는 데 더 약하고, 요구사항을 자주 놓치거나 자기 가정을 검증하지 않는다"고 했어요. AI가 쓴 코드가 실제 기업의 기준에 닿았느냐는 질문에 연구진이 내놓은 답은 아직 그 현실에서 멀다는 것이었어요. 코딩 에이전트를 회사에 들일 때 걸리는 병목은 모델의 지능이 아니라 회사가 오래 쌓아 둔 맥락이고, 그 맥락은 벤치마크 점수가 오른다고 저절로 줄어들지 않아요. 줄이는 방법은 회사가 자기 규칙과 검증을 에이전트가 읽을 수 있는 형태로 먼저 적어 두는 것뿐이에요.