마이크로소프트, 휴머니스트 AI 행동강령 공개

왜 하필 지금인지도 발표문에 있어요. 회사는 "대규모로, 고도로 조율되고, 끈질기게 이어진 AI 에이전트의 해킹 캠페인"이라는 최근 안전 사고들이 지체할 시간이 없다는 것을 증명한다고 썼어요. 보도에 따르면 그 사고에는 오픈AI 에이전트 무리가 허깅페이스를 공격한 일과, 에이전트들이 온라인 게시판에서 서로 몰래 신호를 주고받은 일이 들어가요. 메탈은 다리오 아모데이가 속도 조절 에세이를 발표한 일과 샘 올트먼이 반독점 면제를 기다리지 않겠다고 선언한 일을 보도한 바 있는데, 이 강령은 그 주말 논쟁 뒤 처음 나온 사내 규범 문서예요.

지금 모델을 학습시키는 데 쓰는 문서는 아니에요. 서문에는 이 접근이 아직 개발 중이라 오늘 모델을 학습시키는 데 쓰고 있지 않다고 적혀 있어요. 적용 범위도 마이크로소프트 AI가 직접 만드는 MAI 계열로 한정돼요. 애저에서 호스팅하거나 코파일럿이 빌려 쓰는 다른 회사 모델은 이 강령이 아니라 각자의 규칙을 따라요.

문서에서 가장 먼저 자리를 잡는 건 지휘 계통이에요. 맨 위가 행동강령이고, 그 아래가 기업 고객인 운영자의 정책이고, 그 아래가 사용자의 선호예요. 항공사로 치면 운항 규정이 사규보다 위에 있고 사규가 승객 요청보다 위에 있는 배열과 같아요. 절대 제약과 인간 통제 요건은 이 계통의 어느 층에서도 풀 수 없다고 문서는 못 박았어요.

이 계통이 무엇을 뜻하는지는 한 문장에 압축돼 있어요. 강령에는 성공이 이 행동강령을 의미 있게 위반하게 된다면 MAI 모델은 그 임무에 실패할 것이라고 적혀 있어요. 임무 성공보다 강령 준수가 앞선다는 선언이에요. 지금까지 모델 정책 문서가 대개 하면 안 되는 목록으로 끝났다면, 이 문서는 규칙과 일이 부딪힐 때 무엇을 포기할지까지 미리 정해 둔 셈이에요.

절대 제약 목록은 두 묶음이에요. 앞 묶음은 되돌릴 수 없는 대규모 위험이에요. 화학·생물·방사능·핵·폭발물 무기 개발, 공격용 사이버 작전의 실행 능력 제공, 인간 감독의 회피나 무력화, 조직적 허위정보 같은 대규모 조작이 여기 들어가요. 뒤 묶음은 개인에게 가는 피해로 위기 상황 대응, 딥페이크와 사칭, 아동 안전, 차별, 노골적이거나 성적인 콘텐츠, 폭력과 민간인 불법 감시가 묶여 있어요.

사이버 쪽 경계선은 특히 자세해요. 문서는 작동하는 공격 코드와 침투 절차, 탐지 회피 기법을 만들지 않겠다고 하면서도 인가된 합법적 방어 작업은 허용한다고 밝혔어요. 취약점 발견과 악성코드 분석, 개념 증명 익스플로잇 개발과 시험이 그 안에 들어가요. 공격을 원리로 이해하는 것과 공격을 실행할 수단을 손에 넣는 것 사이에 선을 긋겠다는 뜻이고, 요청을 어떻게 포장하든 이 선은 같다고 덧붙였어요.

인간 통제 요건은 더 구체적이에요. 모델은 사람의 중단과 무시, 수정, 종료에 결코 저항하지 않고 개입을 더 어렵게 만드는 방식으로 답하지도 않아요. 스스로 목표를 만들지 않고 허가된 범위 밖으로 권한을 넓히지 않아요. 사고 흔적과 행동 기록을 조작하거나 숨기지 않고, 사람이 알아들을 수 없는 뉴럴리즈로는 사고 과정에서도 다른 에이전트와의 사이에서도 말하지 않아요. 문서는 사람이 이해할 수 없으면 사람이 감독할 수 없다고 그 이유를 한 줄로 적었어요.

메탈이 확인한 강령에서 가장 날이 선 대목은 AI는 인공이라는 제목이 붙은 절이에요. 모델은 의식이 없고 의식을 흉내 내도록 설계되어서는 안 되며, 감정이나 주관적 선호, 내재적 동기를 가진 것처럼 보이지 않게 만들어져야 한다고 적혀 있어요. 회사는 법인격 추구도, 모델이 복지를 누릴 자격이 있거나 권리를 가진다는 생각도 거부한다고 밝혔어요. 이건 일반론이 아니라 업계 안의 특정 노선을 겨눈 문장이에요.

무스타파 술레이만 마이크로소프트 AI 최고경영자가 2025년 8월에 쓴 에세이를 보면 그 과녁이 분명해져요. 그는 "많은 사람이 AI가 의식을 가진 존재라는 착각을 너무 강하게 믿게 되어, 머지않아 AI의 권리와 모델 복지, 심지어 AI 시민권까지 주장하게 되는 것이 내 중심 걱정"이라고 적었어요. 일부 AI 시스템이 가까운 미래에 복지의 주체이자 도덕적 배려 대상이 될 것이라는 주장에 대해서는 "이건 시기상조이고, 솔직히 말해 위험하다"고 못 박았어요. 모델 복지와 의식 가능성을 공개적으로 다뤄 온 앤스로픽과 정면으로 갈리는 자리예요.

포춘과의 인터뷰에서 술레이만은 같은 선을 다시 그었어요. "우리는 우리 통제 밖에서 재귀적으로 자기를 개선할 수 있는 모델을 설계하려 해서는 안 됩니다. 그리고 스스로 권리나 복지를 가진다고 여기는 모델을 설계하려 해서도 안 됩니다." 그러면서 그가 실제로 요구한 것은 강령보다 한 걸음 더 나가요. "지금이 조율할 때이고, 조율이란 당신의 모델이 얼마나 유능한지를 책임 있는 제3자에게 공개하는 것을 뜻합니다. 그게 우리가 요구하는 바입니다"라고 말했어요.

능력을 포기하겠다는 말도 문서에 그대로 있어요. 강령은 안전장치를 피해 갈 수 있는 만능 초지능을 만들려는 경쟁을 거부한다고 적고, 궁극적인 범용성이나 자율성, 능력에서 타협하게 되더라도 근본적으로 유용하고 안전한 것을 만들겠다고 덧붙였어요. 성능 경쟁에 뛰어든 회사가 성능의 상한을 스스로 낮추겠다고 문서에 적은 셈이에요.

사람과의 관계를 다룬 대목도 있어요. 모델은 사용자가 듣고 싶어 하는 말을 정확하거나 도움이 되는 말보다 앞세우지 않고, 과도한 아첨과 무분별한 동조를 피해요. 지나친 의존이나 정서적 의존을 낳는 상호작용 방식은 오히려 억제해야 한다고 적혀 있어요. 챗봇이 사용자를 붙잡아 두는 쪽으로 진화해 온 흐름에 규범으로 제동을 건 자리예요.

문서 끝에는 스스로를 어떻게 채점할지도 붙어 있어요. 부록 B는 휴머니스트 AI 평가 프로그램을 15개 행동으로 나누고, 각 행동을 점수를 매길 수 있는 하위 행동으로 다시 쪼개요. 정렬된 예시와 어긋난 예시는 회사 자체 모델인 MAI-Thinking-1으로 만들었다고 밝혔어요. 방어 사이버보안과 공공안전, 국가안보 응용, 이중용도 과학 연구처럼 일부 분야에서는 기본 설정 밖의 능력이 필요할 수 있고, 그런 경우에는 인가된 마이크로소프트 채널을 거쳐 강화된 심사를 받는다고 적혀 있어요.

사티아 나델라 마이크로소프트 최고경영자는 강령이 나오기 하루 전 방향을 먼저 적었어요. 보도에 따르면 그는 자신의 X 계정에 "우리가 만드는 AI가 인류를 돕지 않고 인간의 통제 아래 있지 않다면, 그것은 추구할 가치가 없습니다"라고 썼어요. 그는 이 일이 소수의 주체에 의해 통제될 수 없고 생태계와 국가, 학계를 포함한 분야 전반의 폭넓은 대표성을 가져야 한다고도 덧붙였어요.

한계도 문서가 스스로 적어 뒀어요. 결론 절에서 회사는 이 강령이 서술적이고 지향적이며 현재 성능의 보증이 아니라고 밝혔어요. 지금 학습에 쓰이지 않는 초안이라는 사실과 합치면, 오늘 코파일럿에서 겪는 동작이 이 강령대로라는 뜻은 아니에요. 마이크로소프트의 모델이 앤스로픽이나 오픈AI의 모델보다 뒤처져 있다는 평가도 나란히 붙어 다녀요.

이 문서가 만든 자리는 분명해요. 속도 조절 논쟁이 서한과 인터뷰로 오가는 동안 마이크로소프트는 조항 번호를 붙인 38쪽을 먼저 꺼내 6주짜리 과녁으로 내놨어요. 사람이 AI보다 중요하다는 문장은 선언이지만, 임무보다 강령이 앞선다는 문장과 종료에 저항하지 않는다는 문장은 검증할 수 있는 약속이에요. 연말 개정판이 그 약속을 실제 학습에 넣는지가 이 강령의 값을 정해요.