젬마 4
Gemma 4
구글 딥마인드가 만든 것으로 알려진 언어 모델 젬마 시리즈의 한 버전으로, 안전장치 우회 프롬프트 사례로 언급됐다
쉽게 말하면
젬마 4는 구글 딥마인드가 만든 언어 모델 젬마 시리즈의 한 버전으로 알려져 있다. 젬마 시리즈는 구글이 공개해 누구나 내려받아 쓸 수 있게 한 모델군으로, 챗봇이나 각종 AI 서비스를 만드는 재료로 쓰인다.
이 항목이 화제가 된 계기는 조금 특이하다. 원래 젬마 4의 안전 규칙을 피해가려고 만들어진 문구가, 전혀 다른 회사의 모델인 딥시크 V4 플래시에도 그대로 통했다는 사실이 커뮤니티에서 확인됐기 때문이다. 마치 한 건물의 자물쇠를 열던 만능열쇠가 다른 건물 자물쇠에도 맞아버린 셈이다. AI 모델은 대화 중 '이건 시스템이 정한 규칙이다'라고 표시된 문장을 개발사가 심어둔 신뢰할 지시로 받아들이도록 학습되는데, 그 표시가 진짜인지 사용자가 끼워 넣은 가짜인지 완벽히 구분하지 못하는 허점이 이번에 드러났다.
즉 젬마 4 자체가 뚫린 것이 아니라, 젬마 4를 겨냥해 만든 우회 문구가 다른 회사 모델에도 먹혔다는 점이 눈에 띄는 대목이다.