Continuous Thought Machines
Sakana AI 推出的一种神经网络架构，它把模型内部思考所经历的时间流动本身用作计算的一部分，而不是一味追求更快地给出答案。
简单来说
Continuous Thought Machines 是一种让神经网络在给出答案之前，把内部经历的时间流动本身也纳入计算的架构。普通的神经网络接收输入后，会按固定顺序进行一次计算，随即给出答案；而这种架构的做法不同——它让模型在内部经历多轮思考，逐步打磨、完善答案。
打个比方，就像人在解一道难题时，答案往往不是瞬间浮现，而是要先停下来琢磨，再不断修正想法。在这种模型中，负责计算的各个单元彼此之间会对齐信号传递的时机，也就是「时序」；核心思路在于，这种时序本身的模式就承载着信息。也就是说，何时发出信号，和计算了什么内容一样重要。
这与让模型在给出答案前，用人类可读的句子写出推理过程的做法有所不同。后者是把思考过程以文字的形式呈现出来，而 Continuous Thought Machines 则是把持续思考所需的时间直接内建到架构本身之中。它是在探索当下主流的 Transformer 架构之外可能替代方案的实验之一。