마르코프 체인

마르코프 체인은 다음에 무슨 일이 일어날지 정할 때 지금 상태만 보고, 그 전에 어떤 길을 거쳐 여기까지 왔는지는 아예 무시하는 예측 방식이다. 날씨를 예로 들면, 내일 비가 올 확률을 오늘 날씨만 보고 점치는 것과 같다. 어제나 그제 날씨가 어땠는지는 계산에 넣지 않는다.

이 방식이 요긴한 이유는 계산이 단순하다는 데 있다. 과거 전체를 다 기억하고 따질 필요 없이 바로 앞 상태 하나만 보면 되니, 다음 단계를 훨씬 빠르게 추측할 수 있다. 문장을 한 글자 한 글자 이어 쓰는 AI에서, 바로 앞 몇 글자를 보고 다음에 올 글자를 재빨리 짐작하는 데 이런 계산법이 쓰인다.

다만 실제로 쓰일 때는 이 단순한 규칙을 여러 개 겹치고 다듬어서, 바로 앞 하나가 아니라 주변 여러 개의 관계까지 어느 정도 반영하도록 보완하는 경우가 많다.

리퀴드AI의 DSpark 기사에는 초안 모델이 "이웃 토큰 사이 의존성을 랭크 256의 마르코프 체인으로 복원해 블록 뒷부분 수락률을 올리는 가벼운 순차 헤드"를 쓴다는 설명이 나온다. 마르코프 체인이 이 기사에서 처음 등장한 최신 AI 기법이라고 오해하기 쉬운데, 사실은 확률 통계에서 오래전부터 쓰이던 개념이고 여기서는 속도를 높이는 여러 부품 중 하나로 활용됐을 뿐이다.

챗봇에 이렇게 물어보면 감을 잡을 수 있다: "바로 앞 단어 하나만 보고 다음 단어를 확률로 예측하는 아주 단순한 문장 생성기를 예시로 만들어서, 왜 이런 방식이 빠르지만 부자연스러운 문장을 만드는지 설명해줘." 답변을 보면 과거를 얼마나 기억하느냐가 속도와 자연스러움을 어떻게 맞바꾸는지 감이 온다.