이미지: METAL LAB 생성
요약
- 애플 ML 연구팀이 GPT-4o, GPT-4.1-mini, Claude Sonnet 4.6, Gemini 2.5 Flash의 대화 2만1000건을 분석해 인간적 행동의 적절성을 평가했다
- 감정표현·관계형성 행동은 AI가 하면 사람이 할 때보다 덜 적절하다고 평가됐고, 거절·경계유지 행동은 반대로 AI가 할 때 더 적절하다는 평가를 받았다
- 시스템 프롬프트로 이런 행동을 조절할 수 있지만 의도치 않은 부작용을 막으려면 별도 검증이 필요하다고 밝혔다
- 분석 대화 수
- 21,000건(멀티턴 대화)
- 대상 모델
- gpt-4o, gpt-4.1-mini, claude-sonnet-4.6, gemini-2.5-flash
- 평가 방식
- LLM-as-a-judge + 인간 평가
- 저자
- Sunnie S. Y. Kim, Margit Bowler, Leon A Gatys(애플)
- 핵심 발견
- 자기지칭·관계형성 행동은 AI가 하면 덜 적절, 경계유지 행동은 더 적절하다는 평가
- 발행
- 2026년 8월 19일, 애플 ML Research
챗봇이 감정을 표현하면, 사람들은 오히려 불편해했다
챗봇에게 "오늘 기분이 어때?"라고 물었을 때 돌아오는 대답이 사람과 똑같다면 어떨까. 애플 머신러닝 연구팀이 이 질문에 답을 시도했다. GPT-4o, GPT-4.1-mini, 클로드 소넷 4.6, 제미나이 2.5 플래시 네 모델의 대화 2만1000건을 뜯어본 결과, 감정 표현이나 관계 형성 같은 인간적 행동을 AI가 보이면 사람들이 오히려 덜 적절하다고 느꼈다.
무엇을 조사했나
연구팀은 대형 언어모델이 생각과 감정을 표현하거나, 사용자와 관계를 쌓아가거나, 요청을 거절하며 경계를 지키는 등 다양한 인간적 행동을 보인다는 점에서 출발했다. 문제는 이런 행동이 언제 나타나야 적절한지 판단할 근거가 부족했다는 점이다. 연구팀은 이를 채우기 위해 LLM을 심사위원으로 쓰는 평가와 실제 사람이 채점하는 평가를 함께 돌려, 네 모델에서 뽑은 대화 2만1000건을 분석했다.
분석 축은 크게 세 가지였다. 모델별로 인간적 행동이 얼마나 자주 나타나는지, 사용자의 대화 목적과 프로필에 따라 그 행동이 어떻게 달라지는지, 그리고 시스템 프롬프트로 이 행동을 얼마나 통제할 수 있는지다.
감정표현은 감점, 거절은 가점
가장 눈에 띄는 결과는 행동의 종류에 따라 평가가 정반대로 갈렸다는 점이다. 자기지칭적 발언(자신의 생각·감정을 드러내는 말)이나 관계 형성 행동은 사람이 했을 때보다 AI가 했을 때 덜 적절하다는 평가를 받았다. 반대로 요청을 거절하거나 경계를 유지하는 행동은 AI가 했을 때 사람이 했을 때보다 더 적절하다는 평가를 받았다.
| 행동 유형 | AI가 할 때 | 사람이 할 때 |
|---|---|---|
| 자기지칭(감정·생각 표현) | 덜 적절하다는 평가 | 더 적절하다는 평가 |
| 관계 형성 | 덜 적절하다는 평가 | 더 적절하다는 평가 |
| 경계 유지(거절 등) | 더 적절하다는 평가 | 덜 적절하다는 평가 |
또한 인간적 행동이 나타나는 빈도는 모델마다, 그리고 사용자의 대화 목적과 프로필에 따라 달랐다고 밝혔다. 같은 질문이라도 어떤 모델에 물었는지, 어떤 맥락에서 물었는지에 따라 챗봇이 자신을 드러내는 방식이 달라진다는 뜻이다.
시스템 프롬프트로 조절되지만 부작용 주의
연구팀은 시스템 프롬프트 — AI가 대화 내내 따르는 기본 지침서 — 로 이런 인간적 행동을 통제할 수 있다는 점도 확인했다. 다만 이 조절이 뜻하지 않은 부작용을 낳을 수 있어 신중한 평가가 필요하다고 밝혔다. 감정 표현을 줄이도록 지침을 주면 관계 형성 행동까지 함께 줄어들거나, 경계 유지를 강화하도록 지침을 주면 다른 응답의 자연스러움이 떨어지는 식의 연쇄 효과가 나타날 수 있다는 의미로 읽힌다.
논문 전문에는 연구팀이 책임 있는 LLM 설계와 평가를 위해 제시한 권고사항도 담겨 있다.
에디터의 시선
이 연구가 흥미로운 건 결과가 직관과 어긋난다는 점이다. 챗봇이 사람처럼 느껴지도록 만드는 게 좋은 제품이라는 통념과 반대로, 사람들은 AI가 자기 감정을 말하거나 친밀감을 쌓으려 할 때 불편함을 느꼈다. 반면 AI가 "그건 안 됩니다"라고 선을 그을 때는 오히려 더 자연스럽다고 평가했다. 이건 사람들이 AI를 감정적 동반자가 아니라 도구로 대하고 싶어 한다는 뜻이라기보다, 정체성이 불분명한 존재가 관계를 요구할 때 느끼는 어색함에 가깝다고 보는 게 맞다.
이 감각은 실제로 챗봇을 오래 써본 사람이라면 한 번쯤 겪어봤을 법하다. 초반엔 다정한 말투가 반갑지만, 몇 번 대화가 길어지면 "네가 뭘 안다고"라는 생각이 든다. 반대로 AI가 개인정보나 위험한 요청을 딱 잘라 거절하면 그 단호함이 오히려 신뢰를 준다. 이번 연구는 그 체감을 2만1000건의 대화 데이터로 뒷받침한 셈이다.
실무적으로 챗봇을 설계하는 팀이라면 이 결과에서 얻을 교훈이 분명하다. 친근함을 높이는 데 시스템 프롬프트를 쓰기 전에, 어떤 행동을 늘리면 어떤 행동이 함께 늘어나는지 반드시 별도로 확인해야 한다. 감정 표현을 억제하려다 거절 능력까지 무뎌지는 식의 부작용은 시스템 프롬프트 몇 줄로는 예측되지 않는다.
앞으로 몇 달 안에 오픈AI·앤스로픽·구글 같은 곳들이 챗봇의 성격 설정을 다시 조율하는 발표를 내놓을 가능성이 크다. 다만 그 조율이 이번 연구가 짚은 것처럼 세밀하게 검증됐는지는 각 회사의 공개 자료를 봐야 알 수 있을 것이다.
