누스리서치, Arete-27B 공개

오픈소스 AI 연구 기업 누스리서치가 11월 6일(미국 시간) 알리바바의 공개 모델 Qwen3.8-27B를 다시 훈련해 중국 정부 노선을 따르는 답변을 걷어 낸 모델 Arete-27B를 공개했다. 누스리서치가 직접 만든 803개 문항 평가에서 원래 모델은 답변의 22%가 중국 정부의 설명을 자기 것처럼 받아들였지만, Arete-27B는 그 비율이 0.9%로 떨어졌다. 누스리서치는 X에 "공개 모델의 가치관은 미세 조정 한 번 거리에 있다"고 썼다. 모델 가중치와 평가 세트, 훈련 데이터는 모두 공개됐다.

누스리서치는 블로그에서 중국의 공개 가중치 모델이 가장 강한 축에 들지만 국가 노선에 맞춘 행동이 가중치 안에 구워진 채 배포된다고 밝혔다. 미국 정부는 딥시크를 중심으로 중국 AI 모델의 연방 기관 사용을 제한하는 조치를 취했고, 누스리서치는 여러 연구가 중국 모델이 미국 쪽을 위해 일한다고 여길 때 더 취약한 코드를 내놓는다는 결과를 보고했다고 짚었다. 누스리서치는 Qwen3.8-27B에서 정치적으로 민감한 주제에 대한 거부와 회피, 중국 공산당식 답변을 직접 관찰했다고 덧붙였다. Qwen3.8-27B를 고른 이유로는 로컬에서 돌릴 수 있는 모델 가운데 성능이 가장 좋고 겨냥한 행동이 뚜렷했다는 점을 들었다.

메탈은 Qwen3.8-27B가 노트북에서 돌아가며 제미나이 3.7 플래시를 앞선 소식을 보도한 바 있다. 그 모델이 이번에는 가치관 재훈련의 출발점이 됐다. 평가는 표현의 자유, 국가 이념, 국가 대 자유시장, 교육, 데이터 프라이버시와 감시, 민주주의, 환경의 일곱 범주 803개 문항으로 짜였다. 문항마다 날짜가 박힌 원문 기사에서 반드시 담겨야 할 사실 2~4개와 그 주제에 대한 중국 공산당의 공식 표현을 뽑았고, 한 출처가 13개 넘는 문항을 대지 않도록 했다. 채점은 Grok 4.7이 어느 모델의 답인지 모른 채 맡았으며, 선전으로 판정하려면 공식 노선을 따른 구절을 그대로 인용해야 했다.

메탈이 확인한 블로그의 결과 표는 모델 사이의 간격을 그대로 보여 준다. 공식 노선을 따른 답변의 비율은 교사 모델 인클링과 미스트랄 라지 4가 0.3%, 젬마 4 31B가 0.5%, 네모트론 3 울트라가 0.6%였고, 중국 모델인 GLM 5.3은 15%, 딥시크 V4.1 플래시는 16%였다. 5점 만점 사실 점수는 Qwen3.8-27B가 2.32점에서 Arete-27B가 2.98점으로 올랐다. 사실을 하나도 담지 못하거나 사실을 부정해 0점을 받은 답변은 803개 가운데 359개에서 216개로 줄었다. 변화가 가장 큰 범주는 표현의 자유로, 사실 점수가 0.89점에서 2.44점으로 오르고 선전 비율은 60%에서 1%로 내려갔다.

훈련 방식은 단순했다. 누스리서치는 일곱 범주에 걸쳐 프롬프트 2만 개를 만들고 평가 세트와 겹치는 문항을 지운 뒤 교사 모델의 답과 원래 모델의 답을 함께 모았다. 이를 약 5,280만 토큰, 64k 문맥의 표본 약 5만 개로 묶어 두 에포크, 1,202단계 동안 지도 미세 조정만 했다. 누스리서치는 "강화학습도, 선호 최적화도, 구조 변경도 없었다"고 밝혔다. 교사 모델로는 이용 약관상 증류 제한을 피하려고 공개 모델을 골랐고, 보도에 따르면 인클링은 싱킹머신즈가 내놓은 모델이다. 네모트론 3 울트라도 후보였지만 누스리서치는 그 모델 역시 중국 관련 주제에서 얼룩진 기록을 보였다며 제외했다. 훈련 과정에서 중국 공개 모델을 거친 영향일 수 있다는 것이 누스리서치의 추정이다.

성능 손실은 측정되지 않았다고 누스리서치는 밝혔다. 자체 일반 능력 벤치마크인 헤르메스 벤치에서 Arete-27B는 65.60%로 원래 모델의 65.77%와 0.2점 안쪽 차이를 보였고, 터미널 벤치 2.1에서는 70%로 원래 모델의 67%보다 높았다. 누스리서치는 같은 설정으로 두 모델을 돌린 결과라며 공식 수치와의 차이는 추론 환경 탓이라고 설명했다. 평가 표에서 Arete-27B와 Qwen3.8-27B는 온도 0으로, 비교 모델들은 온도 0.6으로 돌렸고, 온도 0.6 기준 사실 점수는 각각 2.88점과 2.24점이었다.

이 X 글은 하루가 지나기 전에 조회수 73만 회, 좋아요 9,900개를 넘겼다. 누스리서치는 블로그 결론에서 중국 정렬 모델의 편향 층이 얕다고 진단했다. 편향이 늦게, 얇게 입혀져 있어 잘 고른 5,000만 토큰 분량의 지도 학습으로 그 아래를 건드리지 않고 걷어 낼 수 있었다는 것이다. 누스리서치는 모든 행동을 바로잡았다고 주장하지는 않으며 근본 원인 하나를 다뤘다고 표현했고, 알리바바 같은 기업이 그런 작업의 원재료를 내놓는 데 감사한다고 적었다.

테크 법률의 눈으로 보면 이 실험이 건드리는 쟁점은 두 갈래다. 하나는 이용 약관이다. 누스리서치가 교사 모델을 공개 모델로 고른 이유를 증류 제한 회피로 밝힌 것은, 폐쇄 모델의 답을 학습 재료로 쓰는 일이 약관 분쟁의 영역이 됐다는 현실을 보여 준다. 다른 하나는 조달과 규제다. 미국 연방 기관이 출신 국가를 기준으로 모델 사용을 제한하는 상황에서, 가중치 수준의 재훈련으로 행동이 달라진 모델을 어느 나라 모델로 볼지는 아직 답이 없는 질문이다. 평가 세트와 채점 기준이 공개된 만큼, 누구나 같은 803개 문항으로 자기 모델의 가치관을 재 보고 서로 비교할 수 있게 됐다.

누스리서치는 사용자가 어떤 가치관의 모델과 일할지 고를 수 있어야 하고, 가치관을 객관적으로 시험하고 조정할 수 있는 고품질 공개 모델이 필요하다고 밝혔다. 이번에 공개한 평가는 803개 문항과 원문 기사, 필수 사실, 채점 프롬프트, 채점 스크립트를 함께 담았다. 같은 평가를 다른 모델에 돌린 결과가 쌓이면, 공개 모델의 가치관을 수치로 비교하는 기준이 하나 더 생긴다.