Z.ai, 법률 특화 모델 GLM-Legal 공개

중국 AI 연구소 Z.ai가 10월 12일 법률 업무에 맞춰 훈련한 법률 특화 모델 GLM-Legal을 공개했다. 바탕은 가벼운 기반 모델 GLM-5.3-Flash이며, Z.ai는 이 모델이 계약 검토와 증거 분석, 규제 준수 조사 같은 실제 법률 업무를 위해 설계됐다고 밝혔다. 법률 에이전트 벤치마크 Harvey LAB에서 모든 평가 기준을 한 번에 통과한 과제 비율은 19.2%로, 기반 모델보다 12.5%포인트 높았다. 회사는 법률 추론 벤치마크 LegalBench와 중국법 실무 벤치마크 PLawBench에서도 최상위 폐쇄형 모델과 대등한 성적을 냈다고 주장했다.

Z.ai는 기술 블로그에서 법률 실무를 고른 이유부터 설명했다. 회사는 "법률 실무는 사실과 법리, 분석적 추론, 의뢰인에게 넘길 결과물 사이의 끊김 없는 사슬을 요구한다"고 적었다. 원본 문서에서 핵심 쟁점을 뽑고, 방어 가능한 논리를 세우고, 과제가 요구한 형식을 정확히 지키는 일을 동시에 해내야 한다는 뜻이다. 회사는 이 조건을 모두 만족시키는 것이 분야 특화 모델의 진짜 시험대라고 했다.

성적표에서 가장 큰 차이는 Harvey LAB에서 났다. 이 벤치마크는 24개 실무 분야의 로펌 업무를 과제로 내고, 채점 기준을 하나라도 놓치면 그 과제를 실패로 처리한다. Z.ai가 공개한 도표에서 GLM-Legal은 19.2%를 기록했고 Kimi K3는 12.9%, Claude Fable 5는 11.3%, GLM-5.3-Flash는 6.7%, GPT-6 Astra는 5.4%였다. LegalBench에서는 GLM-Legal과 Kimi K3가 86.2%로 같았고 Claude Fable 5가 88.6%, GPT-6 Astra가 87.1%로 앞섰다. PLawBench에서는 GLM-Legal이 77.3%로 Claude Fable 5의 77.7%에 0.4%포인트 뒤졌고 GPT-6 Astra의 69.1%보다는 높았다.

이 수치는 회사 자체 측정에만 기대지 않는다. Z.ai에 따르면 Harvey LAB과 LegalBench 결과는 AI 평가 기관 Vals가 따로 검증했다. 메탈이 확인한 Vals 평가 페이지는 GLM-Legal을 Harvey LAB에서 79개 모델 중 7위(19.17%)로 올렸고, 상위 10개 모델 가운데 테스트당 비용이 가장 낮다고 적었다. LegalBench에서는 150개 모델 중 14위(86.24%)로 GLM 계열이 이 벤치마크에서 낸 최고 점수였고, 법률 리서치 벤치마크 Legal Research Bench에서는 78개 중 24위(41.83%)였다. 회사 도표의 비교 대상 4개를 넘어서는 모델이 Harvey LAB 상위에 여섯 개 더 있다는 뜻이기도 하다.

훈련은 두 단계로 나뉜다. 중간 훈련에서는 고품질 법률 말뭉치의 양을 늘려 법 개념과 조문, 해석 틀을 익히게 했다. 사후 훈련에서는 수만 개의 현실적인 법률 작업 환경에서 강화학습을 돌려 분석을 계획하고 업무를 진행해 결과물을 내는 법을 가르쳤다. Z.ai는 과제 맥락과 도구 연결, 실행 피드백을 관리하는 실행 틀인 하네스와 모델을 함께 고쳐 나갔다고 설명했다. 훈련 중 드러난 예외 사례가 하네스의 병목을 짚어 주고, 고친 하네스가 다시 모델에 실제 업무의 제약을 가르치는 구조다.

실무 피드백은 손실 신호로 바뀐다. 회사가 밝힌 점검 기준은 네 가지다. 핵심 쟁점과 예외 사례를 모두 다뤘는가, 논증이 충분히 뒷받침되고 인용이 법적으로 타당한가, 결과물이 사건 지시서를 엄격히 따르는가, 다음 팀이 손대지 않고 바로 쓸 수 있는가다. 사실 누락이나 얕은 분석, 형식 이탈이 나오면 모델 지능과 맥락 배치, 업무 흐름 논리 가운데 어디가 원인인지 파이프라인 전체를 뜯어본다고 회사는 밝혔다.

블로그에 실린 세 가지 시연은 기반 모델과 차이를 나란히 보여 준다. 공급업체를 바꾸려는 의뢰인의 소프트웨어 용역 계약 검토에서 GLM-5.3-Flash는 통지 기간을 줄이라고만 권했지만, GLM-Legal은 임의 해지 통지를 60일에서 30일로 줄이고 지식재산·기밀·데이터 보안 위반에는 30일 시정 기간을 없애 즉시 해지하게 하라고 썼다. 최대 90일의 인수인계 지원 조항도 넣었다. 40건의 문서를 분석한 분쟁 시연에서는 9월 30일 보고서의 "60% 완료" 표기를 내부 기록의 약 41% 진척과 위험을 덮고 청구를 계속하라는 최고경영자의 지시에 연결했다. 싱가포르·말레이시아·인도네시아 동시 출시 시연에서는 각국 개인정보보호법 조항을 붙인 출시 전 점검표를 만들었다.

테크 변호사의 눈으로 보면 숫자보다 무거운 것은 19.2%라는 통과율의 뒷면이다. 가장 앞선 모델에서도 과제 다섯 건 가운데 네 건가량은 채점 기준 하나 이상을 놓친다. Z.ai도 증거 분석 시연에서 결론을 내리기 전에 진척률 기준을 맞추고 나머지 청구 요건을 검토하라는 문장을 남겼고, 사실과 추론을 구분해 보여 준다고 강조했다. 법률 결과물의 책임은 서명하는 사람에게 남는다. 기반 모델 대비 세 배 가까운 통과율 상승은 초안 작성의 출발점을 바꾸지만, 검토 단계를 줄여도 된다는 근거는 아니다.

메탈은 익명 모델 Ox Alpha의 정체가 GLM-5.3-Flash로 드러났다고 보도한 바 있으며, 오픈AI가 법률 AI 기업 하비의 GPT-6 Astra 도입 사례를 공개했다고도 전했다. 이번 발표는 그 가벼운 기반 모델이 법률이라는 좁은 영역에서 큰 폐쇄형 모델과 정면으로 겨루는 장면이다. Z.ai는 X 게시물에서 "GLM-Legal은 주요 법률 벤치마크에서 프런티어 모델과 대등하다"고 밝혔고, 이 게시물 조회수는 수집 시점 기준 36만7400회였다.

GLM-Legal은 아직 베타다. Z.ai는 로펌과 리걸테크 기업, 사내 법무팀, 개인 변호사를 대상으로 API 접근 신청을 받고 있으며, 데스크톱 에이전트 플랫폼 AutoClaw에서도 곧 쓸 수 있게 하겠다고 밝혔다. 계약 수정안을 워드 문서에 변경 추적과 메모로 바로 넣는 기능이 예고됐다. 출시 시점과 지원 언어 범위는 공개하지 않았다. 분야 특화 모델이 범용 모델의 점수를 따라잡는 속도보다, 실무 현장이 그 결과물을 어디까지 믿고 서명할지가 다음 질문이다.