Neural Attention Memory Model
将AI专注于重要信息的能力,与存储并调用所需信息的能力结合在一起设计的概念
简单来说
神经注意力记忆模型(Neural Attention Memory Model)是一种设计理念,它把两种能力放进同一个结构里:一是判断当前所看到的信息中哪些地方需要重点关注的能力,二是把以后可能还会用到的信息先存起来、需要时再取出来使用的能力。
可以把它想象成一个负责写会议记录的秘书。在会议中说出的众多话语里,秘书只会给重要的句子做标记,并把这些内容整理进笔记,方便之后查找。这个概念要解决的问题,就是让'做标记'和'整理笔记'这两件事不再分开进行,而是同时、并且非常快速地完成。
如今的聊天机器人能参考一段长文本前面的内容,让后面的句子读起来自然连贯,或者记住之前的对话并在下一次接续下去,靠的正是这两种能力的结合。不过,它不像电脑存储设备那样可以无限地保存信息,而是必须在有限的容量内不断做选择,决定保留什么、舍弃什么——这一点与人类的记忆既相似,又有所不同。
亲手试一试
你可以通过和聊天机器人对话,亲自感受一下这种能力。
- 找一个聊天机器人,和它聊几个混杂在一起的话题。
- 在对话中间,顺手插入一条不起眼的小信息。比如说一句'对了,我喜欢蓝色。'
- 再聊几轮别的话题之后,问它:'我之前说过我喜欢什么颜色?'
- 如果它答对了,说明它当时留意到了那条信息并记住了它;如果它答错了或者说不知道,说明那条信息已经超出了对话能保存的范围,或者一开始就没有被它捕捉到。