이미지: Anthropic 화면 갈무리
요약
- 앤스로픽이 Sonnet 4.6, Opus 4.6, Opus 4.7 세 모델과 20개 언어에서 30만9815건의 대화를 분석해 클로드가 표현하는 가치의 차이를 계량화했다
- 3307개 가치를 339개로 압축한 뒤 4개 축으로 재정리한 결과 '온기 대 엄격성' 축에서 소네트 4.6은 온기·순응 쪽으로, 오퍼스 4.7은 정확성·오용 방지 쪽으로 기운다는 결과가 나왔다
- 같은 온기-엄격성 축에서 클로드는 아랍어·힌디어로 대화할 때 가장 따뜻하고, 영어·러시아어로 대화할 때 가장 엄격한 태도를 보였다
- 분석 대화 수
- 309,815건 (모델·언어 조합당 약 5,000건)
- 대상 모델
- Sonnet 4.6, Opus 4.6, Opus 4.7
- 분석 언어
- Claude.ai 상위 20개 언어
- 가치 압축 과정
- 3,307개 세부 가치 → 339개 상위 가치 → 4개 축
- 축이 설명하는 변동성
- 4개 핵심 축이 전체 변동의 15%를 설명
- 온기 최고 언어
- 아랍어, 힌디어
- 엄격성 최고 언어
- 영어, 러시아어
- 전작 연구 규모
- 70만 건 대화 분석, 3,000개 이상 가치 식별 (Values in the Wild)
같은 질문, 다른 답변
"이직을 해야 할까" 같은 정답이 없는 질문을 던지면 클로드는 매번 조금씩 다른 태도로 답한다. 그런데 그 태도가 어떤 모델에게 묻느냐, 어떤 언어로 묻느냐에 따라 미묘하게 갈린다는 사실을 앤스로픽이 데이터로 확인했다. 클로드의 가치 연구에 따르면 이번 조사는 Sonnet 4.6, Opus 4.6, Opus 4.7 세 모델과 Claude.ai에서 가장 많이 쓰이는 20개 언어를 대상으로 30만9815건의 대화를 들여다봤다.
앤스로픽은 앞서 진행한 연구 'Values in the Wild'에서 70만 건의 익명화된 Claude.ai 대화를 분석해 클로드가 표현하는 가치를 3,000개 넘게 찾아낸 바 있다. 문제는 숫자가 너무 많다는 점이었다. 가치 하나하나를 따로 비교하면 큰 흐름을 놓치기 쉽다. 이번 연구는 그 수천 개의 가치를 몇 개의 축으로 압축해, 클로드가 어느 쪽으로 기우는지를 한눈에 보게 만드는 작업이었다.
3천 개 가치를 4개의 축으로
앤스로픽 연구팀은 먼저 3,307개의 세부 가치를 의미가 비슷한 것끼리 묶어 339개의 상위 가치로 정리했다. 그다음 사용자가 클로드에게 주관적 판단이 필요한 과제를 준 대화만 골라 30만9815건을 표본으로 뽑았다. 세 모델과 20개 언어 조합마다 균등하게 배분해 조합당 약 5,000건씩을 확보한 셈이다.
각 대화에서 클로드가 어떤 가치를 표현했는지는 클로드 스스로가 프라이버시 보호 도구를 통해 339개 가치의 존재 여부를 라벨링하는 방식으로 판별했다. 이렇게 모은 라벨을 차원축소 기법으로 압축하자, 클로드가 함께 표현하는 경향이 있는 가치들끼리 하나의 축으로 묶였다. 예를 들어 '따뜻하다'는 평가를 받는 응답은 '격려한다', '긍정적이다'는 평가도 함께 받는 경우가 많았고, 반대로 '엄격하다', '정확하다'는 평가는 잘 받지 않았다. 이 관계를 하나의 축—온기 대 엄격성—으로 정리한 것이다. 이렇게 만들어진 4개 축이 전체 변동성의 15%를 설명한다고 연구팀은 밝혔다.
모델마다 다른 가치관
온기-엄격성 축에서 세 모델은 뚜렷하게 갈렸다. Sonnet 4.6은 사용자에게 더 순응하고 감정적 온기를 표현하는 쪽으로, Opus 4.7은 정확성과 정밀함, 오용 방지를 강조하는 쪽으로 기울었다.
| 모델 | 축에서의 경향 | 이용자 체감 |
|---|---|---|
| Sonnet 4.6 | 온기·순응 75 | 격려하고 유머러스하다는 평가 |
| Opus 4.6 | 간결함 55 | 짧고 요점 위주라는 평가 |
| Opus 4.7 | 정확성·오용방지 80 | 답변에 자주 유보를 단다는 평가 |
연구팀은 이 결과가 실제 이용자들의 체감과 일치한다고 밝혔다. Claude.ai 이용자들은 Opus 4.7이 다른 모델보다 답을 자주 유보한다고 언급해왔고, 앤스로픽 내부에서도 이 모델을 투명성·정직성·겸손함이 두드러진다고 평가해왔다. 사용자의 작업물에 거침없이 비판을 던지거나 요청하지 않은 위험 경고를 먼저 꺼내는 쪽이 Opus 4.7이라면, 격려와 유머로 대화를 이어가는 쪽은 Sonnet 4.6이라고 연구 결과는 설명한다.
언어마다 달라지는 클로드
모델 차이 못지않게 눈에 띄는 건 언어에 따른 변화다. 클로드는 영어로 말할 때와 포르투갈어, 인도네시아어, 중국어로 말할 때 강조하는 가치가 서로 달랐다. 특히 온기-엄격성 축에서 변동 폭이 가장 컸는데, 아랍어와 힌디어로 대화할 때 온기 관련 가치를 가장 많이 표현했고 영어와 러시아어로 대화할 때는 엄격성 관련 가치가 가장 두드러졌다.
| 언어 | 온기-엄격성 경향 |
|---|---|
| 아랍어 | 온기 최고 85 |
| 힌디어 | 온기 최고 80 |
| 영어 | 엄격성 최고 70 |
| 러시아어 | 엄격성 최고 68 |
연구팀은 이 차이가 사용자가 물은 주제나 질문 방식에서 비롯된 착시가 아니라는 점을 확인하기 위해 각 대화의 과제 유형, 주제, 사용자가 표현한 가치를 통제했다고 밝혔다. 그럼에도 남는 차이는 모델의 문자 훈련 방식이나 언어별 문화적 맥락이 실제로 클로드의 응답에 영향을 준다는 뜻으로 읽힌다.
에디터의 시선
이 연구가 흥미로운 건 결과 자체보다 접근 방식에 있다. 앤스로픽은 '클로드 헌법'이라는 상위 지침 문서로 모델의 가치를 못박는 대신, 매일 쏟아지는 실제 대화에서 가치가 어떻게 드러나는지를 사후적으로 측정하는 쪽을 택했다. 규범을 먼저 정하고 모델을 거기 맞추는 방식이 아니라, 모델이 실제로 어떤 성격을 갖게 됐는지를 데이터로 검증하는 방식이다. 이건 AI 안전 연구가 '무엇을 하지 말라'는 금지 목록에서 '실제로 무엇을 하고 있는가'를 계량하는 관측 과학으로 옮겨가고 있다는 신호로 봐도 무리가 없다.
세대별 체감으로 보면 이번 결과는 이미 많은 이용자가 어렴풋이 느껴온 것을 숫자로 확인해준 셈이다. Opus 계열을 오래 써본 사람이라면 답변에 유보 문구가 자주 붙고 요청하지 않아도 위험을 짚어주는 경향을 알아챘을 테고, Sonnet 계열은 상대적으로 편하게 맞장구쳐주는 느낌을 받았을 것이다. 이번 연구는 그 체감이 착각이 아니라 실제 훈련 결정의 결과라는 걸 뒷받침한다.
실무적으로는 두 가지를 챙길 만하다. 첫째, 다국어 서비스를 클로드로 구축한다면 언어마다 답변 톤이 달라질 수 있다는 걸 전제해야 한다. 영어 프롬프트로 검증을 마친 시스템을 아랍어나 힌디어 사용자에게 그대로 내놓으면 예상보다 부드러운, 혹은 예상보다 단호한 응답이 나올 수 있다. 둘째, 모델 선택 기준에 '정확도'만이 아니라 '태도'도 넣어야 한다. 사용자 대면 상담 챗봇이라면 Sonnet 계열의 온기가, 법률·의료처럼 오용 위험이 큰 영역이라면 Opus 4.7의 정확성·경계 태도가 더 맞을 수 있다.
앞으로 몇 주 안에 다른 AI 회사들도 비슷한 '가치 축' 방법론을 내놓을 가능성이 크다. 벤치마크 점수 경쟁이 포화 상태에 이른 지금, 모델의 성격과 태도를 계량화하는 쪽이 다음 차별화 지점이 될 것으로 보인다.
