人工智能的未来--分级时序记忆模型初探

传自：http://blog.csdn.net/cuiwow/archive/2011/03/08/6232061.aspx

by 崔向阳

参考： 《人工智能的未来》-Jeff Hawkins

引子

两年前在科德的时候，我选的毕业论文是研究神经网络的，当时还挺美，总算不是做XXX管理系统，还是研究人脑的。人脑知不知道？那玩意可不是人工智能，那玩意是真智能的。

两年以后几乎在同一时间段，我又选了一次毕设，这次不是神经网络了，叫分级时序记忆模型。巧的是，还是研究人脑的。更巧的是，人工智能历史上貌似也就只有这两枝是实实在在研究人脑得出来的。

神经网络自从上世纪六十年代闪亮登场后，经过了萎靡又复兴的坎坷曲折经历，曾一度被认为是个没有前途的方向，其中艰辛不足为外人道。

分级时序记忆模型（以下简称HTM）却是个新东西，杰夫霍金斯在2004年出了本叫《On Intelligence》的书（中译《人工智能的未来》），里面详细介绍综合了各种大脑和神经学方面的知识后他眼中的智能，而且提出了一个假说，说人脑 就是这么这么运作的。既然有运作方式了，那么就一定有办法来实现它，老霍又在2007年后发表了几篇论文，还在网站上放了一个初步的实现 。据说2011年还会有新版本发布，拭目以待吧。

什么是智能？

从图灵测试开始或者更早，人们普遍认为智能机器就是具有人类行为的机器。传统的人工智能也是向这个方向，即认为能做到人做的事情，就是智能。这正像我们平时的习惯，评价一个人会依据他的行为， 而不是思想：一个人聪明，是因为做了聪明的事情。但是现在人们碰到了一些麻烦，电脑可以识别出超速的车牌号，却认不出入室盗窃的小偷；机器翻译可以将中英文词组互相翻译，但是碰到一整个句子就昏头昏脑胡言乱语了。

正像老霍说的，如果用人的行为来评定智能的话，那人躺着，什么都不做的时候是不是有智能的？显然是有的，我们可以做白日梦，规划安排行程，思考什么是智 能。虽然别人看不出来我们有智能的行为。显然，智能是人的内在，通过行为表现出来的也只是智能的一部分。 要研究智能，就要研究人脑是怎么运转的。

老霍认为，人之所以有智能，主要是把人感知到的一切都记忆到大脑皮层上了，并能依据记忆对现实做出预测。这就是记忆预测模型。他有意识的没有涉及人脑中有 关情感的部分，也许他认为情感无关智能。不过相对于能完美的理解并且翻译文字的软件，我想通常人们认为的智能机器也许更接近于以下的设想：你左手拿着狗 粮，右手拎着汽油，大喊一声：“开饭了！”你的狗和汽车兴奋的向你冲来…或者你的新电脑开心的告诉你，它今天第一次亲眼看到了海市蜃楼…

人脑是怎么运转的？

据一些研究神经的专家说，人大脑皮层内大约含有300亿个神经元。这些细胞通过密密麻麻的突触相连接，其中每个细胞大约伸出上千个，甚至更多的突触去连接 其他细胞，离细胞近的突触会更粗大些，离细胞远的细小些。人的记忆就存储在这些突触上，包括家里地板的颜色、纹理，电脑键盘触摸上去的感觉，敲键盘会发出 什么样的声音这些感官知觉的细节，也包括抽象的概念比如书的概念，你看到纸质的书能认出是书，看到电子的文档能认出是书，看到竹简能认出是书…这些都是因 为在大脑皮层有关于书的恒定表征的记忆。

老霍说这些细胞分为六层，在这些细胞里能表示同一感知细节，或同一恒定表征的一组细胞（六层），被划分为一个垂直柱，可以理解为大脑皮层里的一个微小的功 能模块。一个区域的垂直柱组成一个功能区域，距离感官比如视神经更近的为较低级区域，反之为高级的区域。低级区域存储的更加倾向于描述细节，高级区域则更 加倾向于抽象和宏观的概念。如一个低级区域存储了眼睛的恒定表征，它的高级区域存储了脸部的恒定表征，它的更高级区域存储了有关人的恒定表征。从而当你看 到一只眼睛的时候，也能反映出是看到了人。另外有一种联合区域，接收来自多种感觉的信息，比如你的钢笔掉了，你会下意识的预期听到钢笔落地的声音，这类信 息就存储在视觉和听觉联合区域里面。大脑皮层中有很大一部分都是联合区域。

以前人们总认为触觉视觉等感官信息输入进大脑，大脑处理以后再将一些信息传输给人的运动神经，控制人的运动，这里说的运动包括一切人体的运动，从走路身体 各部分的控制，到瞳孔的收缩等等。老霍认为，这种观念是错误的。运动神经应该和触觉视觉神经一样，是连接在某一部分大脑皮层的低级区域上。而且它们的运转 方式是一样的，同样是按照记忆预测模型，流上的信息用来存储记忆，流下的信息用来预测现实并作出反应。这就和我们对计算机的看法一样，虽然有多种输入方 式，键盘鼠标触摸屏等等，但是处理器都是按照同一种方法对信息进行处理的。

上面提到了记忆预测模型，这是个很符合直觉的假设。如果我们早起穿衣服的时候，袖子短了一截，肯定会感到非常惊讶，即使是反应慢的天然呆，也会莫名的觉得 很别扭。这是因为在你记忆里存储有原来袖子的长度和感觉，当穿上衣服时，大脑自动去调用这部分记忆，并预测袖子还是记忆中的样子，用这个预测和现实中看到 的感觉到的去匹配，发现不一致的时候就会去引起你的警觉。人每时每刻都在对感知的一切做这样的记忆和预测，并对超出预期的事物感到警觉，所以我们看到畸形 的人体和新奇的事物总是忍不住多看几眼。

记忆还有一个特性，老霍称之为时间。设想当你看到一个很高的楼的时候，不能一眼看到整个楼的全貌，先从地基看起，视线慢慢向上移动，把整座大楼扫视一遍。 在这期间，你并没有看到一整幅大楼的图像，但是脑海里却能构建出这个图像来。同样在听一首歌的时候，在每个听到的音阶都是没有意义的，这些音阶按照一定序 列和节奏排列起来，却形成了美妙的旋律。触觉也是一样，摸黑去拿手机的时候，某一时刻的触觉并不足够分辨出摸到了什么东西，只有随着一连串的触觉信号，才 能分辨出质地和形状，从而拿到手机。大脑将一段时间内连续的输入信号关联起来了，并组成了一个关联的序列，作为一组恒定表征。这说明，高级区域的恒定表征 可能是对关联的一段时间内，相关联的多种感知序列的一种抽象。

人的记忆是有序列的，比如你以前学过的歌，再唱的时候也只能从前往后唱，不能反着唱，因为你的记忆里是按照着这个序列的。同理，我们经常有一些做事的习 惯，比如洗澡洗脸，比如看书，都是习惯按照一定序列，即使想改变的时候，稍不注意，又按照习惯来了。所以改变习惯需要长期的坚持，来改变记忆序列。这让我 联想到以前看过的一个关于减肥的科普视频，减肥的人即使节食短时间内体重下降了，如果没能坚持下去，同样还会在一段时间后反弹回来，保持在和减肥前近似的 一个范围。莫非人身体的各种机能和情况也都是这样被记忆着？

那么，人又是怎样根据记忆预测序列的呢？设想一个情形，你听到一首歌的一个音符，然后不由自主的把下一个音符哼出来。这时候预测需要的因素是你当前听到的音符，以及大脑中存储的序列信息。即大脑是通过输入的信息和已经存储的恒定表征共同作用来做出预测的。

关于记忆和预测还有一件有趣的事情。生活大爆炸中，Sheldon说过一句话：“你相不相信楼梯的台阶增高一厘米，绝大部分的人都会摔跤？”

大脑皮层工作原理

实验表明，大脑皮层连接视觉的最底层区域内，每个神经元都有一个感应范围，只针对整个视觉区域内的很小一部分起作用，即每个神经元只能看到比针孔还小的一 个范围。并且每个神经元只响应特定类型的输入模式，比如它对倾斜成30度角的直线特别活跃，而对其他模式反应较小甚至毫无反应。而高级区域里，负责识别脸 孔的细胞在一个脸孔出现在视野里时就会兴奋起来，不管脸孔出现在视野哪个范围，是什么形状。也就是上面所说过的，随着从低级到高级区域，神经元细胞存储的 恒定表征越来越抽象和宏观化了。



图 1

从上图可以清楚的看出，每个高级区域都将低级区域的输入信息进行整合了。而或许每个处理视觉的最底层区域只接收了单个视觉神经的输入，听觉触觉以及其他感 知也是同样。现在可以说，大脑皮层的每个区域都形成恒定表征，而只有到达最顶层，才是最彻底，最稳定的恒定表征。

在这里记忆预测模型有些像计算机程序中的异常处理，但又不完全相同。当信息进入大脑皮层最低级区域时，这级区域试图做出预测，如果不能从已有的记忆中做出 预测，则将模式传入更高级的区域，直到有可以做出预测的高级区域为止停止向上传输信号，而转为向下传输预测信号。

接下来需要描述有关神经元和六层结构的一些事实。

出乎我意料的是，原来细胞不都是圆形的，很大一部分细胞是三角锥，即金字塔形的，还有一些是星形的，还有各种其他细胞。每个垂直柱上细胞的海量的突触中，有超过90%是和其他垂直柱相连的。这或许是由于记忆序列和各种感觉联合记忆的原因。



图 2

上图中描述了在一个垂直柱中信息向上传输的方式。低级区域汇流而来的信息总是先输入到第四层，顺带形成了第六层中的连接；然后第四层的细胞将信息向上投射 到第二和第三层的细胞。二三层的细胞会把信息传输到更高级区域的输入层。如此信息沿着一个个区域向上流动。如果某类信息总是经过这个垂直柱，此垂直柱的第 四层细胞就对这类信息有了记忆能力。当第四层细胞接收到的信息符合自己的记忆，才会兴奋起来，进而将信息传到垂直柱的其它层，致使所在垂直柱也兴奋起来。 如果经常这样的话，第一层突触就得到了加强，从而使在第四层没有兴奋的时候，第2、3、5层也可以兴奋起来，从而形成了预测能力。





图 3

图3描述了信息向下的传输方式。第一层从高级区域接受预测的输入，2、3、5层都有树突和第一层相连，所以第一层可以直接传输信息给这些层的一些细胞。这些细胞中有一些又激活第六层细胞，被激活的第六层细胞继续向下传输预测信息。

第五层细胞负责的是运动信息。许多第五层细胞还与丘脑相连，丘脑又将信息反馈给第一层细胞，构成了延迟反馈。信息在丘脑中是怎么处理的目前还不可知。

第一层细胞从高级区域接受信息，又从同一区域兴奋的其他垂直柱接受信息，还从第五层细胞中获得延迟反馈。我们可以把高级区域接受到的信息看做歌曲的名字，同区域兴奋垂直柱和相同垂直柱第五层接受的信息看做歌曲中的位置，这样就构成了预测的要素了。

当一个垂直柱被成功预测时，应该停止向上传输信息，所以第二三层中应该存在一些起抑制作用的细胞。当第一层接到高级区域的输入，即预测成功时，就激活这些抑制细胞，使信息停止向上的传输。

最后，第六层细胞除了将信息投射到低级区域外，还将输出信息发送到自己所属垂直柱的第四层细胞。这样，输出就变成了输入。我们可以将这种只存在人大脑中，不向外传输的思维活动叫做“想象”。

*****************************************************************************

在大脑中，海马是一个神奇的部分，它对形成新的记忆至关重要。如果失去了海马，你对以前的事情都还有记忆，但是不能形成新的记忆了。你能记起失去海马以前认识的人，但是却记不住新遇见的人。即使你每天遇见同一个人，你每次见到他都会觉得是第一次见到他。

老霍在书中认为，海马是大脑皮层中最高级的区域，不能识别和预测的信息最终流向这里。但是海马不能长久保存信息，如果一段时间内这些信息不被转移到皮层中，就被永远丢失了。

人们总说年纪越大，越难接受新事物。也许就是因为年龄增长以后，对看到的事物都曾接收过相似的模式，大脑不认为是完全新的模式，也就传输不到海马，记忆起来就相对难一些。