马尔可夫链
Markov chain
只看紧邻的前一个状态、按概率决定接下来会发生什么的预测方法
简单来说
马尔可夫链在决定接下来会发生什么时，只看当前状态，完全不管之前是通过怎样的路径走到这里的。举个天气的例子：只根据今天的天气来预测明天下雨的概率，昨天、前天的天气一概不计入考虑。
这种方法之所以好用，就在于计算简单。不需要记住并权衡整个过去,只看紧邻的前一个状态就够了,这样就能更快地推测下一步。在逐字生成句子的AI中,正是用这种计算方法,根据紧邻的前几个字迅速猜出接下来会出现的字。
不过在实际应用中,往往会把这种简单规则叠加、打磨多层,让模型不只参考紧邻的一个状态,还能在一定程度上反映周围多个状态之间的关系。
在报道中是这样出现的
在关于Liquid AI的DSpark的报道中提到,草稿模型使用了"一个轻量级的顺序头,通过秩为256的马尔可夫链恢复相邻token之间的依赖关系,以提高区块后段的接受率"。很容易误以为马尔可夫链是这篇报道中才出现的最新AI技术,但实际上它是概率统计学中早已存在的概念,在这里只是被用作提升速度的多个部件之一。
亲手试一试
可以这样问聊天机器人来找找感觉:"举例做一个非常简单的文本生成器,只根据紧邻的前一个词的概率来预测下一个词,并解释为什么这种方式生成的句子速度快但不自然。"看完回答,你就能体会到记住多少过去信息会如何在速度和自然度之间做取舍。