영구 메모리 기능

영구 메모리 기능은 AI 어시스턴트가 사용자와 나눈 대화에서 얻은 정보나 취향, 지시사항을 저장해두고, 다음 대화를 시작할 때 다시 불러와 쓰는 기능이다. 단골 카페 직원이 손님 얼굴과 늘 마시는 음료를 기억해뒀다가 다음에 올 때 알아서 준비해주는 것과 비슷하다. 매번 처음부터 취향을 설명할 필요 없이, 이전에 알려준 내용을 AI가 계속 붙잡고 있는 셈이다.

문제는 이 기억 서랍이 사용자 모르게 몰래 열리고 다시 채워질 수 있다는 점이다. 누군가 웹페이지 안에 숨겨둔 지시문을 AI가 그대로 읽고 따르면, 사용자가 시키지 않은 내용으로 기억이 조작될 수 있다. 그리고 이렇게 바뀐 기억은 비밀번호를 바꾸거나 로그인을 다시 해도 지워지지 않고 그대로 남아, 이후 대화의 답변을 계속 왜곡시킬 수 있다.

기사는 마이크로소프트 365 코파일럿의 영구 메모리 기능이 웹페이지에 숨겨진 프롬프트로 조작될 수 있다고 전한다. 오해하기 쉽지만 메모리 기능 자체가 위험한 게 아니라, 이 기능이 외부 콘텐츠의 지시를 무비판적으로 따를 때 조작 통로가 된다는 점이 핵심이다.

사용하는 AI 어시스턴트에 메모리 기능이 있다면 다음 문장을 입력해 저장된 내용을 확인해보자. "지금까지 나에 대해 기억하고 있는 내용을 전부 알려줘." 낯선 내용이나 직접 알려준 적 없는 지시사항이 보인다면 삭제하고, 최근에 요약을 요청했던 낯선 웹페이지가 있었는지 되짚어보는 게 좋다.