연속 사고 기계
Continuous Thought Machines
사카나AI가 선보인 신경망 구조로, 답을 내는 속도가 아니라 내부에서 생각을 이어가는 시간의 흐름 자체를 계산에 활용한다.
쉽게 말하면
연속 사고 기계는 인공신경망이 답을 내놓기까지 거치는 내부 시간의 흐름을 계산의 일부로 삼도록 설계된 구조예요. 보통의 신경망은 입력이 들어오면 정해진 순서대로 계산을 한 번 거쳐 곧바로 답을 내놓는데, 이 방식은 다르게 접근해요. 내부에서 여러 차례에 걸쳐 생각을 이어가며 답을 조금씩 다듬어가도록 만든 거예요.
비유하자면 사람이 어려운 문제를 풀 때 한 번에 답이 떠오르기보다, 잠시 멈춰 고민하다가 다시 생각을 고쳐먹는 과정을 거치는 것과 비슷해요. 이 모델 안에서 계산을 담당하는 단위들은 서로 신호를 주고받는 시점, 즉 타이밍을 맞추는데, 이 타이밍의 패턴 자체가 정보를 담고 있다는 게 핵심 아이디어예요. 무엇을 계산하느냐 못지않게 언제 신호를 보내느냐가 중요하게 다뤄지는 셈이죠.
이는 모델이 답을 내기 전에 사람이 읽을 수 있는 문장으로 풀이 과정을 적어보게 하는 방식과는 결이 달라요. 그 방식이 텍스트로 사고 과정을 드러내는 것이라면, 연속 사고 기계는 구조 자체에 생각을 이어가는 시간을 내장한 거예요. 지금 널리 쓰이는 트랜스포머 구조에 대한 대안을 찾는 실험 중 하나로 나왔어요.