记忆的本质-一种基于算子的观点 - 知乎

https://zhuanlan.zhihu.com/p/107244093

记忆恐怕是所有认知问题得基础。 我们大脑中过去的经历，我们所有的知识，甚至包括我们在各种情况下的条件反射， 都是记忆。对认知科学稍有了解的同学会知道，我们的记忆按照时间分为长时间记忆，短时间按记忆，工作记忆， 按照记忆的形态分成情景记忆，描述性记忆，语言概念记忆，和动作记忆。 这些琳琅满目的分法，让人觉得人脑就是一个装配复杂一点的计算机，每个模块掌管一部分记忆，如同不同的硬盘，每一块刻录着不同的内容，然后短期的记忆放在ram里。 这种理解的根据来自一系列“拆一拆”的实验， 比如人为去掉某个脑区相应的记忆会不会出问题，最经典的莫过于拆掉海马区病人就无法形成短期记忆了，类似老年痴呆病人（HM病人）。

** HM病人 --adapted from baidu

H.M在一次车祸之患上了癫痫，通过切除大部分海马组织（Hippocampus）以及海马周围的部分内侧颞叶组织减少病痛。但是很快，人们发现了一个未曾想到的副作用：H.M.再也无法形成新的记忆（记住发生的事情）了，虽然他依然可以学习新的运动技巧。

首先我们最快的回顾一下古典理论下的几种基本记忆形式， 按照表达的对象划分:

1, semantic memory： 抽象的知识的存储。比如我们大脑里大部分得概念知识，“中国的首都是北京”

2， episodic memory：情景记忆, 对于某个特定的情景或经历的记忆，比如某个夏天的一次约会

1和2统称为declarative memory，是一种显示的记忆（可以表达的）。

3， procedural memory： 对运动过程的记忆， 比如你会走路，这些技能作为一串连续动作被存储在记忆里，但是却从来不会进入你的意识。 这一类型记忆可以存在于无意识状态又被称为内隐记忆。

4， sensory memory： 对感觉和情绪的记忆

按照时间长短划分：

1， 工作记忆：几秒内和任务相关的重要信息， 比如别人刚说过的电话号码你马上要拨打

2， 短时记忆：一些近期发生的事实比如昨天出去干了什么

3， 长时记忆：较长期的记忆， 你的童年经历或者基本的数学和语法知识

这种认知方法是否真的正确？可能事情没有那么简单。 事实上大脑中的记忆可能不是一块块堆叠在一起的硬盘，你可以想象我们的大脑经其一生要储备多少硬盘？最新的一些论文指出记忆的本质是一组抽象的信息表示，加上不同的算子组合而成，我们简称基于算子或基于过程的记忆理论。为什么说算子？ 因为任何一个记忆都不能脱离它被提取使用的过程来研究，不同的过程由不同的算子体现。 很可能，不同的记忆形式本质都是类似的信息表征（视觉， 时间序列）和加上特定的算子得到的，你会看到这样的理解比那个经典的版本优雅的多。

换句话说，要理解记忆， 我们要理解什么是信息的表示， 我们要从深度学习最热门的表征学习开始谈起（深度学习一大顶会就是ICLR，表征学习国际会议）。

深度学习的成功， 来自于它可以从大量的数据中学习数据的表示， 也称为表征学习。 如一万张人脸的图像，就可以在CNN的比较高层，找到和人脸的高级特征相对应的细胞，甚至是某个人对应的神经表示在较低层级则只能看到低级特征。 这个过程的本质其实是层层抽象，也就说从具体的收据中去掉无关紧要的细节， 得到不同数据中不变的东西（比如某个人， 或者某类事物）。

表征学习的结果就是你通过深度学习得到的不同层神经网络的权重。 不同的数据类型，有着不同的表示，比如图像的表示，声音的表示，其它时间序列的表示等等。 它们均体现了从具象中获取和事物类别相关的不变特征这一点。 我们感知和认知的基础，就是表示。

得到这些特征的一大好处是便于进行neural encoding， 也就是编码。 事实上我们就是透过这些表征认知世界的， 或者说我们认知到的世界的本质就是由这些特征（符号）组成，而不是一个个像素。 不同的脑区获取的特征是不一样的，也就擅长进行不同类别信息的encoding。基于算子的观点认为， 那些头脑中的表征构成我们当下感知到的世界，也构成记忆的世界，它们在相应的任务下激活， 不同仅体现在提取的过程，或算子。

那我们来看看情境记忆。 首先， 其实人类的记忆能力十分有限， 如果我们去仔细理解我们的记忆过程，比如你先环顾四周5秒，然后让你闭上眼睛说出你的四周有什么，你会发现你几乎不能复现刚刚出现的画面， 你所记住的更多是你所关心的事物的大类信息，而不是细节。 用你自己的例子做实验， 是为了说明事实上我们离真正的像录像机那样的形象记忆相差甚远，我们的记忆内容更多的偏向于抽象特征（符号）的组合而非像素式的写入存储。 这与当下计算机记忆的原理相差甚远的。

这些分布式的表达在不同的脑区的representation事实上并非为记忆而设计，而是事实上因处理信息的需求而出现，刚刚说了它就是出现在我们的意识里的世界的表征， 或者说我们对世界的感知和记忆本质上是一体的。我们通过感知来认识世界，反过来，在我们回忆的时候， 同样的模块被激活。那么记忆和感知的区别又何在？ 它主要体现在和记忆相关的算子上。

A Roadmap for Understanding Memory: Decomposing Cognitive Processes into

Operations and Representations

Cowell, Rosemary A., Morgan D. Barense, and Patrick S. Sadil. "A roadmap for understanding memory: Decomposing cognitive processes into operations and representations."eNeuro6.4 (2019).

这篇文章主要以记忆的读取为例子讲解了这个过程是如何进行的。 显然除了存储之外，读取是和记忆有关的最重要的操作。

设想你回忆某个夏天的情景， 你和女友在海滩吃了一个雪糕。 你开始回忆这个情景。 首先刚刚描述的是一个非常复杂的信息。 可能里面有时间地点人物有事物有情绪， 你或许可以写一篇作文描述刚刚的那个情景，设想这仅仅是你人生长河里一段非常简单的经历，而你的人生里有无数的这样的经历， 记忆这样多的这类情景你的大脑一定要最终爆炸。 幸好我们的大脑通过conjunction的方法， 把存储在不同的大脑区域里的对事物元素的表示一层层组合最终的情景。 这个过程是先通过最表层的visual cortex来表示一些基本元素， 比如初级视皮层的不同方向的线条 形状， 颜色， 然后把它们通过conjunction结合成具有颜色的圆形或三角这类基本形状。 然后再此通过conjunction把他们组成一个具体的物体如雪糕。 那么如何把雪糕相关的情景最终关联起来。 这个过程在一个叫海马的区域完成， 在这个区域，来自不同脑区的表示如视觉，听觉，时间序列，可以自由的被组合成一个完整的图，得到整个过去的情景，这也是我们所说的情景记忆。海马里的这一部分功能可以看作是一个叫pattern completion的算子，就是把整个模式拼接完整。我们想象这一个情景一定包含时间（when）地点（where）和其中的具体事物（what）。 而海马具备超强的路径积分和形成地图的能力，可以看作正好提供了这个时空框架（时空是我们组织情景记忆的最基本组织形式）。

也就是说， 如果你要组成一个非常复杂的情景， 你只需要在大脑处理那些情景的相关区域如视觉皮层 ，听觉皮层保持有那些信号的表征，再加上海马这个超级合成器， 通过一个抽象的图把这些不同的元素合成起来，就可以轻松的表达这些情景。

这个理论的重要隐喻在于和记忆相关的不同脑区事实上对应某种信息的处理方法而不是特定的记忆形式， 在记忆最核心的海马区域我们发现了重要的支撑证据。 如下图所示， A代表不同的脑区（海马vs皮层）对应不同的信息处理方式（模式拼接vs记忆加强）， B代表不同脑区对应不同记忆形式（高维情境vs低维物体）。实验证据支持A而不是B。 这与海马同时支持情景记忆和认知地图的理论不谋而合，因为这两种任务虽然不同， 但是在信息拼接的角度它们是相似的。

我们再来看其它的记忆形式， 一个很有意思的假设说的是不同形式的记忆均可以看成是一个类似的过程，也就是不同的表征形式通过某种抽象的图结构里形成一个地图”map“。

Running head: EPISODIC, SEMANTIC, PAVLOVIAN, AND PROCEDURAL COGNITIVE MAPS

Ribas, JJF Fernandes, and C. B. Holroyd. "Episodic, Semantic, Pavlovian, and Procedural Cognitive Maps." (2017).

作者把不同的记忆组成形式均看作是一种特殊的map形式 ，为什么叫map这和刚刚讲的海马最早以形成认知地图出名息息相关。 海马擅长构建地图，本质就和刚刚说的超级连接器的功能是一致的， 它能够提供一个框图，体现实体（地标）之间的关系，最终把不同的表示装订成一体（地图）。

这篇文章把经典的四种不同记忆归纳为 Episodic, Semantic, Pavlovian（巴甫洛夫，与感觉或情绪相关）, and Procedural 这个和经典的方法是类似的。 作者使用了map而不是memory这个词。 这背后的思想是其实memory就是要把特定表征的基本元素按照某种逻辑组装起来， 其称为memory，不如称为map， 与最早海马的cognitive map的想法遥相呼应。

地图本身是一个精确的比喻， 在一张地图上， 我们知道不同的状态（符号）及其之间的关系，我们知道采取相应的行为（动作）后我们如何可以从A达到B。 如果知道了一个地图的形态，我们就很容易做到清晰的规划。

我们来分别看几种不同的map指代什么：

Tolmanian Cognitive Maps：传统的认知地图

这一类地图把landmark这一类的信息通过路径积分这种算子联合在一起， 形成对agent周围环境的感知， landmark和landmark的关系也就是距离向量。 有了这种地图， 生物可以比较好的进行导航。

Episodic Map: 关于情景记忆的地图

这一类地图把各类感知抽象出来的概念通过时间和空间的联系连接在一起，形成不同经历的大网。 有了这种地图， 情景记忆可以根据发生的时间和空间被灵活的调用， 我们可以随时和过去的经历相比较，帮我们实现当下的决策。联想刚刚冰淇凌的例子。

Semantic Cognitive Maps： 知识和概念的地图。 这一类地图把知识和概念通过任意连接的节点图形式连接在一起， 概念和概念的关系可往往是层级迭代的树结构（比如我们每个学科的指示图），也可以是逻辑或因果等。

Pavlovian Cognitive Maps： 条件反射和感觉情绪的地图。 这一类地图把不同的情绪和感觉连接在一起。

Procedural cognitive maps：动作序列的地图。 这一类地图把不同的动作通过一定的层级表达。

有了这套理论， 刚刚说的通过不同表示模块，加上海马拼接合成的组合理论，就不仅在适用于情景记忆，而是可以推广到semantic memory， procedural memory， sensory memory上。 这套假设理论的另一个贡献在于， 它把记忆和强化学习非常有机的联系在了一起。因为不同的地图实际是就对应强化学习里的状态空间。 一旦状态空间形成，一个无模型的强化学习就可以被转化为有效的多的有模型学习。agent可以直接在其之上建立整个value function的快速学习。

这套理论告诉我们如果我们可以用神经网络表达构造世界的基本元素，和相应的算子， 我们就可以很快的搭建对应不同领域的世界模型。我们可以想象这五张基本的地图也不是互相独立的，对某个特定概念的回想可能引发某个情境的回忆，同时与一种情绪相连。它们的相互作用或构成我们认知世界的总体。 而能够在不同地图间切换或可以决定我们的决策模式。

应该说在这个理论框架下，过去，现在和将来被完美的统一起来。 我们通过记忆构建的一张张”地图“， 也是我们体验当下， 规划未来的载体。 过去，现在和未来从来就是密不可分的一体。

以上展示的仅仅是记忆理论的冰山一角，如果要真正理解记忆的本质，一定无法离开的是：

1， 记忆是怎么形成的。 既然这里把记忆和表示是一体两面。 那么我们一定会想到这些东西是如何形成的。 如果你要构建一个相应的AI模型， 有可以如何诱导形成这样的系统。 不难想到首先我们要可以学到对应真实世界各类基本元素的。

2，既然算子如此重要，那么在不同的涉及记忆的任务里， 到底需要哪些最基本的算子。 比如文中介绍的把不同的表征拼接成图。

3， 在神经回路阶段，上述过程是如何体现的， 如果你要构建一个RNN，那么记忆的表示是存在于网络神经发放的状态里， 还是网络的权重里？ 这两部分信息是如何分配的？ 传统理论认为记忆既可以长期存储于神经网络的连接结构里， 又可能通过神经突触间的钙离子，或者神经元的动力学状态短时缓存。 记忆表示的这种转换关系可能揭示短时和长时记忆的相互转化关系。

4， 如果记忆可以通过神经模块间的动态耦合实现不停重构，那么实现我们现在常见的集中基本记忆需要多少基本模块，又如何与目前我们熟知的海马，皮层不同区域相对应？

需要了解更多细节：

Memory systems 2018 – towards a new paradigm

Ferbinteanu, J. "Memory systems 2018–towards a new paradigm."Neurobiology of learning and memory157 (2019): 61-78.