오픈소스 오니스-1.5, 클로드 오퍼스급 점수 냈다고 밝혔다

스스로 준비하던 모델에서 스스로 나아지는 모델로

Ornith-1.5는 처음 나온 모델이 아니다. 전작 Ornith-1.0은 알리바바 큐원(Qwen) 3.5와 구글 젬마(Gemma) 4를 기반으로 추가 사전학습(CPT)과 중간학습, 후처리학습을 더해 만들어졌다. 이때 선보인 개념이 '자가 스캐폴딩(self-scaffolding)'이다. 모델이 문제를 풀 때 필요한 도구와 절차, 즉 발판(scaffold)을 스스로 짜서 그 위에서 문제를 푸는 방식이다.

Ornith-1.5는 여기서 한 단계 더 나아갔다. 발판을 짜는 데서 멈추지 않고 풀 과제 자체를 스스로 만들고, 그 과제에 맞는 발판을 짜고, 풀이 과정(rollout)까지 생성해 강화학습 재료로 쓰는 순환 구조를 완성했다. 사람이 미리 정해둔 문제집과 손으로 짠 채점 도구에 기대지 않고, 모델이 자기 실력의 빈틈을 찾아 그 자리를 메우는 문제를 계속 만들어낸다는 뜻이다.

397B부터 9B까지, 세 체급의 성적표

Ornith-1.5는 3970억(397B) 파라미터 MoE(혼합전문가), 350억(35B) 파라미터 MoE, 90억(9B) 파라미터 밀집(Dense) 모델 세 크기로 나온다. MoE는 질문마다 전체 파라미터 중 일부 '전문가'만 골라 쓰는 구조라 같은 크기의 밀집 모델보다 연산량이 적다.

개발팀이 공개한 표를 옮기면 다음과 같다.

모델	파라미터 구조	Terminal-Bench 2.1	그 외 벤치마크
Ornith-1.5-397B	MoE	86.1	DeepSWE 56.0
Ornith-1.5-35B	MoE(토큰당 3B 활성)	68.5	SWE-Bench Verified 79.0
Ornith-1.5-9B	Dense	47.0	SWE-Bench Verified 70.6

같은 표에 비교 대상으로 함께 실린 경쟁 모델의 점수는 다음과 같다. 이 점수 역시 개발팀이 자기 평가 환경에서 측정한 값이다.

모델	Terminal-Bench 2.1	그 외 벤치마크
Claude Opus 4.8	85.0	DeepSWE 59.0
GLM-5.2	82.7	DeepSWE 46.2
DeepSeek-V4-Flash-0731	82.7	DeepSWE 54.4
Gemma 4-31B	43.4	SWE-Bench Verified 52.0
Muse Glimmer-30B	51.7	SWE-Bench Verified 76.0

35B 모델은 토큰당 30억 파라미터만 활성화하는데도 같은 체급의 큐원 3.6-35B는 물론, 이보다 큰 밀집 모델인 젬마4-31B와 메타의 뮤즈 글리머(Muse Glimmer)-30B까지 에이전트 코딩 벤치마크에서 큰 격차로 앞섰다고 오니스는 밝혔다.

스마트폰에 들어가는 9B 모델

90억 파라미터 모델은 크기를 줄인 양자화 버전 'Ornith-1.5-9B-Mobile'로 아이폰과 안드로이드 기기에 바로 얹을 수 있도록 나왔다. 이 작은 모델도 터미널벤치 2.1에서 47.0점, SWE-Bench Verified에서 70.6점을 받아 훨씬 큰 젬마4-31B, 큐원 3.6-35B와 맞먹거나 이를 앞섰다고 공개했다.

허깅페이스에는 세 체급의 원본 가중치와 함께 GGUF·MLX 형식의 4비트·6비트·8비트 양자화 변형이 같이 올라와 있다. 맥에서 MLX로, PC·리눅스에서 GGUF로 곧바로 내려받아 돌려볼 수 있는 형태다.

과제·발판·풀이를 한 바퀴에 훈련시키는 법

훈련 한 사이클은 세 단계로 돈다. 먼저 모델이 지금까지 풀어온 과제 이력을 바탕으로 아직 풀지 못한 영역을 건드리는 더 어려운 과제를 스스로 제안한다. 다음으로 그 과제에 맞는 발판, 즉 문제 접근에 필요한 지시문·도구·풀이 전략을 짜거나 다듬는다. 마지막으로 그 발판 위에서 실제 풀이 과정을 만들어낸다.

이 세 단계는 각각 보상을 받는데 기준이 셋이다. 과제와 발판이 실제로 채점 가능한 형태인지(유효성), 모델이 지금 실력으로 겨우 풀 만한 난이도인지(프런티어 난이도), 이전 훈련에 쓴 과제와 겹치지 않는지(새로움)다. 특히 난이도 기준은 목표 성공률을 0.2로 잡아, 다섯 번 시도해 한 번 정도 성공하는 수준의 과제에 가장 높은 보상을 준다. 모델이 그 과제에 익숙해져 성공률이 오르면 보상은 자연히 줄어들고, 과제 생성기는 더 어려운 문제 쪽으로 밀려난다. 과제 생성·발판 생성·풀이 생성은 모두 GRPO라는 강화학습 방식으로 동시에 최적화된다.

에디터의 시선

이번 발표는 '재귀적 자기개선(RSI)'이 올여름 AI 업계에서 가장 자주 등장한 키워드로 떠오른 흐름 위에 있다. 구글 공동창업자 세르게이 브린이 딥마인드 내부에서 RSI 쪽으로 자원을 옮기라고 압박한다는 보도가 나온 뒤, 사카나AI는 로봇이 움직이는 물리 세계에 재귀적 자기개선을 적용하겠다고 밝혔고 Oumi는 프로덕션 로그를 스스로 학습 데이터로 되돌리는 플랫폼을 내놨다. 오니스는 이 흐름의 연장선에서 '모델이 자기 문제집을 직접 만든다'는 아이디어를 오픈소스 모델의 벤치마크 수치로 뒷받침하려 한 사례다.

세대를 비교해 체감할 지점은 스캐폴딩과 자기개선의 차이다. 지난 세대 모델들이 사람이 짜준 도구 모음 위에서 문제를 푸는 데 그쳤다면, 이번 세대는 그 도구 모음 자체를 스스로 고쳐 쓰며 문제 난이도까지 조절한다. 고정된 발판에 기대는 모델이 익숙한 유형에는 강하고 낯선 저장소 구조에서 무너진다는 점은 에이전트 코딩 분야에서 반복해 지적돼 온 약점이다. 과제와 발판을 함께 진화시키는 구조가 이 약점을 실제로 메운다면, 오픈 웨이트 모델과 폐쇄형 모델의 격차는 코딩 에이전트 영역에서 더 좁아질 가능성이 크다.

국내 개발팀이 볼 대목은 두 가지다. 하나는 90억 파라미터 모바일 버전처럼 온디바이스로 내려가는 크기의 모델이 SWE-Bench Verified 70점대를 냈다고 공개된 점이다. 서버 비용 없이 기기 안에서 코드 보조 기능을 붙이려는 팀이라면 눈여겨볼 체급이다. 다른 하나는 학습 방식 자체다. 사람이 문제집을 만드는 비용이 줄어드는 구조라, 특정 코드베이스에 맞춘 자체 평가 과제를 직접 설계할 여력이 없는 조직도 비슷한 발상을 응용해볼 여지가 생긴다.

다만 지금 나와 있는 근거는 전부 개발팀 발표 하나다. 공개 직후 해커뉴스에서 200표 넘게 받았고 해외 기술 매체들도 이 소식을 옮겼지만, 그 보도들 역시 같은 발표를 근거로 삼는다. 자기개선 루프로 만든 점수인 만큼, 커뮤니티가 가중치를 추론 엔진에 직접 올려 같은 숫자를 다시 뽑아내는 결과가 나와야 검증이 끝난다.