来源 | 未来论坛

●　●　●

报告将以神经形态计算机为中心介绍计算机与大脑的区别以及大脑对开发更加新型的智能计算机的启示；关于神经形态计算机的必要组成以及介绍大脑是如何完成计算任务的；目前算法的进展以及硬件设计方面的成果；对这个领域的总结和展望。

基于冯·诺依曼结构的传统计算架构已引领计算机科学技术的发展几十年。但其运行效率受到了很多制约，例如I/O性能的制约，大量的数据读写会降低整体效率，凸显了冯·诺伊曼体系结构的瓶颈。而大脑中突触和神经元同时可以做计算和存储，所以不存在冯·诺依曼架构的I/O的吞吐瓶颈。大脑还具有能耗低，效率高，并行性高的特点。因此研究大脑的工作原理、模拟大脑智能的信息处理，构建一个非冯·诺依曼体系的新型计算机体系，不仅是计算机科学也是计算机工程以及硬件今后发展的一个重要方向。

下面将从大脑的主要计算过程来解释如何设计未来的神经形态计算机，并由此出发来解释大脑计算必须的组成部分。

第一，网络结构。生物神经元的输入前馈和反传发生在神经元的不同部位，对于I/O来说做了充分的简化。大脑存在着大量稀疏的异构连接；而ANN主要依赖的是前馈全连接的网络结构。基于深度网络的算法，往往采取一个全局的优化函数使其达到最优值来调整权重；而对于生物神经网络来说，由于存在大量的局部连接以及远程连接，并有丰富多样的突触可塑性，因此可以更加灵活的调整神经元之间的连接来完成对目标函数的优化。

第二，大脑采用的是具有生物特性的计算模式。人工神经元不需要考虑输入的时间特性。但是生物神经元具有四个典型的时间的非线性动力学：一是膜电位积分，二是漏电效应，三是不应期，四是脉冲发放。这样就会有脉冲神经元输入脉冲的不连续性，以及输出脉冲的不连续性。

第三，信用分配问题。信用分配在人工神经网络里常被说成优化算法，最典型的一个优化算法就是梯度下降算法。但梯度下降算法存在一个误差传输问题，即要求前向和反向权值要完全对称。生物神经元的信用分配机制采用完全不同的处理方式，由于脉冲神经元之间依赖于脉冲发放时间，因此采用基于脉冲时间的学习方式。在神经科学里面应用非常广泛的STDP（脉冲时间依赖的突触可塑性）是基于突触前后脉冲发放的时间差来调整，实现局部的无监督学习。此外，也可以通过设计实际脉冲序列和期望脉冲序列之间的序列差来有监督式的学习和训练发放脉冲。另外可以把每个神经元和突触都当做一个智能体，发放脉冲或者不发放脉冲作为智能体的动作，来构成一个强化学习网络。这样可以实现更加灵活并且生物性更强的一种学习算法。

第四，学习与记忆的融合。在训练完人工网络后，当新的任务进来，权值往往会被覆盖。但是在生物神经元里有大量专门负责记忆的细胞，比如海马体中的记忆细胞，它可以记忆熟悉的场景并对空间进行编码。所以依据海马区，可以实现神经元对外部输入的表达、学习及记忆，构成一个基于学习记忆-记忆融合的认知计算。

下面介绍一下目前算法的进展以及硬件方面设计的成果。

第一个是关于信息的编码工作，即把输入信息转换成一系列的时空脉冲信号。我们对新型的神经形态视觉信息进行脉冲编码和表征来处理动态的视觉信息，发表在2020年TNNLS上。

第二个是基于深度SNN的信用分配算法。信用分配算法可以高效的解决由于时间动力学带来的脉冲神经网络训练困难问题。不仅在空间上进行误差反传，同时可以把误差信息传递到脉冲的时间信息上。基于这样的设计，我们提出了基于脉冲簇的学习算法，不仅可以训练神经元在指定时间发放脉冲，而且可以指定发放脉冲簇。

第三个是脉冲损失函数。现有的脉冲损失函数具有各自的缺陷，我们通过改造现有损失函数使其能够训练神经元对复杂的时间序列具有响应特性，比如在训练前杂乱无章的神经元响应，在训练后能够显示出对某些特定信号的选择性响应。

第四个是学习与记忆融合。我们构建一个能够模仿多层脑区的结构，实现神经元的编码、监督学习和无监督学习，同时实现联想记忆和时序记忆。

第五，在感知-认知-交互闭环上，我们把海马体电路搬到机器人上，通过硬件模式来实现机器人对空间感知、认知交互的闭环。Communications of ACM 2018专题也介绍了这样的工作，来解释大脑如何帮助机器人对复杂环境空间进行感知，以及依赖空间位置神经元对空间的记忆以及编码的作用。

还有一些在硬件实现上的一些成果。通过数字或者模拟集成电路可以实现神经元、突触以及突触可塑性。这个领域上已经有大量神经形态芯片的成果，比如SpiNNaker、BrainScaleS、TrueNorth、Loihi、ROLLS、清华“天机”芯片、浙大“达尔文”芯片等。另外，未来类脑芯片的潜在突破可能在忆阻器及阵列。利用忆阻器可以分别实现突触和神经元，实现模拟矩阵运算即存算一体。

最后，我提出一些对于神经形态计算机的总结与展望。首先其必须具备异构的网络结构，其次要包含时序动力学的神经元非线性，另外要构建基于突触可塑性的信用分配算法，最后要实现学习-记忆融合的认知计算。未来，我们要把大脑真正“搬进”机箱，让它实现知识的表达、学习、认知以及环境的交互。

我的报告将从硬件的挑战，研究进展以及展望三方面来介绍大脑启发的存算一体技术。

人工智能无处不在，从云端到我们手机端都有很多人工智能。不同的人工智能应用对芯片的需求是不一样的，比如数据中心、汽车无人驾驶要求算力特别高，而智能传感网、物联网和手机希望耗能低，追求高能效。不同应用对芯片的不同需求给了芯片领域很多机会。

人工智能的三个发展浪潮和硬件算力也有关系。从第一款神经网络Perceptron 网络AI开始火起来，到70年代进入低谷，一个非常重要的因素是，虽然有很好的理论模型，但是没有足够的算力。后来专家系统出现，第二波浪潮又起来。这时候很多人做专门围绕人工智能的计算机。同时代摩尔定律快速推动芯片的发展，通用计算机的性能飞速上扬，专业计算机能做的通用计算机也能做，因此逐渐占据市场，第二波浪潮又下去。第三波浪潮，深度神经网络的提出到利用GPU加速网络训练，GPU成为AI的主要训练平台。有了更大的算力，网络规模快速提升。AlphaGo Zero需要5000个TPU训练40天才成为地表最强的围棋选手，花费的时间还是很大的，因此人工智能的广泛应用需要硬件能力革新，支撑人工智能的发展。

芯片能提供的算力和人工智能的高需求是很矛盾的。第一台计算机ENIAC出现在1947年，算力是每秒钟5000次左右。英特尔2019年的CPU大约是20.8GFLOPS。我们看到它的变化是围绕着摩尔定律，即每18个月翻一番的集成度来提升算力。但是目前AI的需求是每3.4个月翻一番。因此需要寻找新方法提供算力。

算力提升越来越困难有两个原因，一是过去摩尔定律是把器件做的越来越小，现在器件尺寸缩小已经接近物理极限了，所以摩尔定律逐渐失效。二是传统计算架构发展带来的性能提升日趋缓慢。现代计算系统普遍采用信息存储和运算分离的冯诺依曼架构，其运算性能受到数据存储速度和传输速度的限制。具体来说，CPU的计算速度小于1纳秒，但是主存DRAM是百纳秒左右，也就是存储的速度远远低于计算速度。

在能耗上，以TSMC45纳米的工艺为例，加减乘小于一个pJ，但是32位DRAM的读要高达640个pJ，这一比也是百倍的差距。因此存储速度远远低于CPU的速度，而存储的功耗也远远高于CPU的功耗。这还没有讲存储的写，写的功耗会更高。这样整个系统的性能受到数据存储速度和传输速度的限制，能耗也因为存储读的功耗和写的功耗很大，导致整个系统功耗都很大。

现在可以看到很多新的计算出来了，量子计算、光计算、类脑计算、存算一体。所以当我们要思考未来的计算时，我自己觉得量子计算、光计算是向物理找答案，类脑计算、存算一体是向生物找答案，也就是向大脑找答案。

著名的人机大战，人工智能选手 AlphaGo用了176个GPU、1202个CPU，功耗是150000W。而我们大脑体积大概1.2L，有1011个神经元，1015个突触，思考的时候功耗是20W。大脑的功耗这么少，这么聪明，这里面还有这么大容量的神经元、突触。所以我们希望用脑启发设计新的人工智能芯片。

我们想通过向生物学家学习、向神经学家学习，来看看大脑是如何处理计算的。大脑有几个特点，一个是有大量的神经元连接性，以及神经元加突触的结构，一个神经元将近连接了1万个突触。第二个它的时空信息的编码方式是用脉冲的方式。我们希望模仿大脑的结构和工作机制，用脉冲编码的形式来输入输出。

生物突触是信息存储也是信息处理的最底层的生物器件。我们想在芯片上做电子突触新器件，做存算一体的架构。新器件方面我们主要研究的是忆阻器，它的特点是可以多比特，同时非易失，即把电去掉以后可以保持这个阻值，并且它速度很快。还有很关键的一点，它和集成电路的CMOS工艺是兼容的，可以做大规模集成。近十年我们一直围绕这个器件来做其优化和计算功能。

美国DARPA的FRANC项目提出用模拟信号处理方式来超越传统的冯·诺依曼计算架构，希望带来计算性能系统的增加。任正非在2019年接受采访时说，未来在边缘计算不是把CPU做到存储器里，就是把存储器做到CPU里，这就改变了冯·诺依曼结构，存储计算合而为一，速度快。阿里2020年的十大科技趋势里提到计算存储一体化，希望通过存算一体的架构，突破AI算力瓶颈。存算一体的理念也是受大脑计算方式启发的。

基于忆阻器的存算一体技术可以分为三个阶段：第一个阶段是单个器件的发展阶段。2008年惠普实验室的Stan  William教授首次在实验室制备了忆阻器，之后美国密西根大学的卢伟教授提出了电子突触概念，美国UCSB大学的谢源教授提出了基于忆阻器的PRIME存算一体架构，引起广泛关注。

第二个阶段开始做阵列，2015年UCSB在12×12的阵列上演示了三个字母的识别，我们团队2017年在128×8的阵列上演示了三个人脸的识别，准确率能够大于95%，同时期还有IBM，UMass和HP等研究团队实验实现了在阵列上的存算一体；    

第三个阶段是存算一体芯片，我们以芯片设计领域的顶会ISSCC上近几年发表的文章为例，2018年松下展示了多层感知机的宏电路，2019年台湾地区新竹清华大学和台积电联合演示了卷积核计算的宏电路，今年清华和斯坦福合作做的限制玻耳兹曼机宏电路。

也是今年我们清华团队完成的一个全系统集成的完整的存算一体芯片，从系统测试结果来看，这个芯片能效高达78.4TOPs/W，是相当高的。我们还做了一个对比，一个是存算一体的芯片和系统，一个是用了树莓派28纳米的CPU。我们的芯片跑完一万张图片是3秒，而他们是59秒，我们的速度要快很多，准确率却相当。

今年1月我们在Nature上发表了一个忆阻器存算一体系统的工作。这个工作主要是把多个阵列放在一起组成一个系统，并验证是否能用作模拟计算来实现AI的工作。我们提出新型混合训练算法，实现了与软件相当的计算精度。还提出了新型卷积空间并行架构,成倍提升了系统处理速度。

为什么忆阻器存算一体适合人工智能呢？因为交叉阵列结构特别适合快速矩阵向量乘法。存算一体可以减少权重搬移带来的功耗和延时，有效地解决目前算力的瓶颈。另外，人工智能更关注系统准确性，而不是每个器件的精度，这特别符合忆阻器和模拟计算的特点。

我们还和毕国强老师合作了一篇综述文章。利用脑启发来设计人工智能芯片，我们把大脑从I/O通道，到突触，神经元，到神经环路，到整个大脑的结构，都和电子器件做了对比。文章题目叫《Bridging Biological and Artificial Neural Networks》，发表在2019年的Advanced Materials上面，如果大家感兴趣可以读这个文章。

展望未来，希望能够做一个存算一体的计算机系统。以前是晶体管加布尔逻辑加冯·诺依曼架构，现在是模拟型忆阻器加模拟计算和存算一体的非冯架构。

前面两位嘉宾介绍的是神经科学怎样启发做新的器件，我来介绍AI的发展怎么促进神经科学的研究，主要是讲从AI到BI（Brain Intelligence）的两个小工作。

首先看一下背景。视觉系统通路是个层级结构，信息从视网膜到LGN到脑皮层。听觉皮层也是一个层次化结构，信息从耳蜗一直传到听觉皮层。所以大家熟悉的人工神经网络，和视觉、听觉系统有一定的相似性，至少它们都是层次化的结构。基于这种相似性，我们是不是可以利用现在神经网络的飞速发展，来促进我们对大脑的视觉、听觉或者其他感觉皮层工作机制的理解？

这方面比较早期的一个工作是用CNN去训练一个图片分类模型，然后把同样的图片给猴子看，记录猴子不同的视觉区域（比如V4和IT这两个区域）神经元的发放，最后比较神经网络不同层和猴子的不同皮层（比如V4和IT这两个区域）神经元的相关性。发现不同神经网络层正好对应猴子IT、V4区域反应的特点。这是第一次证明神经网络和神经科学、大脑视觉皮层有一定的关联。

接下来介绍一个神经科学的发现。2013年纽约大学做了一个实验，让猴子去看两种不同的图片，第一种是把自然图片通过一种方法合成为比较像自然图片的图片（这类图片与自然图片含有类似的复杂的统计特性），第二种是噪声图片（这类图片与自然图片含有类似的能量谱）。发现V1的神经元对这两类图片的反应差不多，但是V2区域神经元对于第一类的图片反应会高一些。

他们定义了一个Modulation Index，神经元的Index如果越高，就说明这个神经元越喜欢比较像自然图片的这类图片。在V1区域，所有的神经元的Modulation Index都集中在0附近，在0左右对称。在V2，大部分神经元的Modulation Index都是正的。2015年日本的一个研究小组在猴子的V4区域发现了同样的结论。V4的神经元相对V1来讲，更喜欢具有高阶统计特性的比较像自然图片的图片。

为什么V2和V4的神经元喜欢像自然图片的图片，而不是噪声图片？我们构建了一个标准的深度学习模型来研究，用同样的方式从自然图片中创造出两类图片，然后输入到模型里面记录每一层神经元的反应。结果非常有意思，分三块，第一块是AlexNet，第二块是VggNet，第三块是SHMAX。前两个卷积神经网络大家非常熟悉，我们把这两个神经网络分成五大层，AlexNet本身就有五个卷积层；Vgg以max pooling层为界把相邻的几个卷积层分成一个大层，所以也有五个层。我们发现，随着层数越高，Modulation Index就越高，到了第五层大部分神经元特别喜欢含有高阶统计特性的比较像自然图片的图片。SHMAX的结构跟上面两个网络的结构基本是一样的，唯一区别是它的学习是一种逐层无监督学习，但我们可以得到一样的结论。

也就是说对于有监督学习模型和无监督学习模型，他们的Modulation Index都是随着层数的增加而增高的。是什么样的因素导致这些神经网络具有这样的特性？我们发现Response sparseness非常重要，它跟Modulation Index成正相关的关系。Sparseness是指看过很多图片后，有多大比例的神经元是不发放的。随着层数增加，Sparseness会越来越强，正好跟Modulation Index趋势差不多。我们对AlexNet每一层的稀疏性做了修改，发现稀疏性越高，Modulation Index也会越高；SHMAX也是一样。

简单总结，我们在三个深度学习模型上发现和猴子视觉皮层高层反应特点类似的一个结论。

第二个工作是一个关于听觉的工作。听觉皮层也是层次化的结构，人们在听觉通路上也发现了很多有意思的结果，比如在耳蜗后有一个听觉神经纤维，受到刺激后反应呈小波的形式。在下丘这个地方，神经元的感受野是可以测出来的，并表示为时频图。在比较高层的听觉皮层里，有很多神经元可以特异性地对一些音素比较喜欢。比如“ba”里面有辅音“b”和元音“a”，这些元音辅音又叫音素。

计算机科学已经用Sparse coding解释了耳蜗和下丘两个区的神经元的反应情况，这时候Sparse coding模型的输入不再是图片而是语音，最后解出来是每个神经元的感受野，就长成小波的形式。神经科学家已经发现下丘区的神经元的感受野的形状就是长这样。前面两层级的神经元反应特点已经被解释了，第三层级（最高层）的这个现象怎么解释呢？在给做手术的病人插电极实验中发现，有些电极特别喜欢辅音，有些电极喜欢摩擦音，还有的喜欢元音。也就是说人类神经元对音素有特异化的表达，这种表达是怎么出现的呢？这是我们要回答的问题。还有一个问题是，比较低的皮层能用Sparse coding解释他们的现象，那Sparse coding模型能不能解释高层的现象呢？

为了回答这两个问题，我们做了一个层次化的稀疏编码模型，这是一个典型的CNN结构，只不过每一层的学习不再用BP算法，而是用Sparse coding，第一层学习完以后再学习第二层，第二层学完以后再学第三层，就这样从底层一直到高层进行学习。

有意思的是，构建了这样的层次化的稀疏编码模型后，我们把靠中间的层拿出来（比如第二卷积层），将这个地方的神经元的感受野画出来，可以看到这个感受野和神经科学家测出来的下丘神经元有类似的形状，这些感受野其他的分布的参数也和猫的下丘部位测的参数分布是一致的。最有意思的是到顶层以后，我们发现顶层（第六个max pooling 层）很多神经元特异性地喜欢一类音素，而且这个聚集效应在顶层最明显。在下面这些层也有，只不过这个效应低一些。所以说这个模式并不是陡然在这上面出现的，其实下面的层级也出现了，只不过神经科学家们没有测到下面那些区域神经元有这样的表达，当然这是我们的推测。

总结一下，我们发现一些深度学习模型在中层和高层的神经元的反应，和视觉、听觉的中层、高层的真实的神经元的反应有一定的一致性。我们并没有尝试拟合生理学的数据，但是就是出现了这样的特性，所以我们觉得这样的结果还是非常有意思。第二个结论是关于稀疏编码，前面的这些深度学习模型都有一个稀疏发放的特点，而稀疏发放的特点和神经生理学发现的一些特点呈正相关的关系。

山世光：脑科学已经为AI发展提供了什么思想、方法和技术？有哪些典型案例？

吴华强：案例有一个，就是树突计算的工作。过去神经网络里只有神经元和突触，树突在神经网络里面不体现。但是最近我们的研究发现有一类忆阻器，和突触不一样，有积分功能和过滤功能，这和树突的功能有点相似。那么神经网络是不是可以引入一个新的树突元件？这和多加一层神经元不一样，多加一层神经元就要多加一层权重，而树突其实和神经元是紧密结合的，一个神经元有很多个树突，是固定连接。如果引入树突，会不会让我们整个计算更加高效，更加准确？

山世光：刚才猜测树突是不是有滤波的功能，过去我们说MCP的神经元模型里面是一个积分，这样是不是相当于对每一路的输入又有又加了一层滤波？

吴华强：器件可以对它进行过滤，我介绍的那个器件并不是百分之百把树突功能都模仿了，而是受其启发。

毕国强：华强老师说的树突计算非常有意思，这里取得的效能提升是由于什么原因？是不是因为树突的滤波性质或树突本身的构架？一般人工神经网络的构架中每个突触的基本性质是一样的，树突架构可能引入了异质性。另外，树突结构本身层级结构的复杂性也可能会对最终的计算能力有一些影响。关于异质性这一点， STDP应用到人工神经网络的效果一直不是特别好，一个可能的原因就是因为异质性。所以华强的这个探索，把树突结构加进去，我觉得非常值得进一步看到底是进去了哪些特征，产生了这些性能的提升或者改变。

从另一个哲学层次上来说，生物的神经系统是很多年进化的结果，是经过自然选择、证明能够可行的。但这里面又有多个尺度的复杂性，从最小尺度上，即使只是突触这样不到一微米大小的设备，也有很多不一样的地方，然后到环路、到整个大脑的结构，都有这样的复杂性。我们怎么样去模仿或者从中获得启发，很关键的一点是，我们要分析出来是哪些特征、特性能够对AI起到一些正面的作用。我觉得短时间内要全面地模仿大脑肯定是不现实的，所以我们需要从复杂的层级结构中抽出关键特性一步一步模仿。

胡晓林：其实AI里有很多工作是从脑科学启发过来的。可以追溯到1943年，McCulloch和Pitts这两个人第一次提出人工神经元。他们其实是做神经科学的，尝试发明计算模型去解释大脑的工作，所以他们提出一种逻辑运算单元。在1990年左右的时候，有一种和现在CNN的结构一模一样的结构被提出，叫做Neocognitron，唯一区别是学习方法不一样。它是受到一个神经科学的发现的启发。在猫的视觉皮层有简单细胞、复杂细胞两种细胞，这个工作从这两种细胞的特点出发，构建模型尝试去解释大脑是怎么识别物体的。后来才发展到CNN。这是两个非常具有里程碑意义的事件，这是很典型的神经科学给我们AI的启发，甚至革命性的工作。

毕彦超：听到刚才大家讲的借鉴的大多都是在实现层面（implementation）的，我觉得对于这两个基本实现物质基础完全不同的智能系统，在计算（computation）和算法（algorithm）的层面上，也有很多可以参考的地方。我会觉得认知神经科学或者认知心理学是一个宝藏。刚才吴老师也提到，在视觉加工的时候，至少人脑和猴脑的视觉绝对不仅仅是识别，贴个标签就可以了。它是为了生物的生存、繁衍、规避、社交等等。人的认知往往不是特定的单一目标，而现在AI的计算很多是特定的目标。

山世光：我们刚才讨论了AI需要脑科学回答的问题，比如认知、理解知识等等。现在我们从另外一个反面看一下AI怎么助力脑科学的发展？

吴思：要看我们怎么定义AI。如果把AI泛泛的说是信息理论、动力学系统分析、统计学习等，那么这些都是在计算神经科学里天天使用的工具，它们一直在助力脑科学的发展。如果一定要强调最新的助力，比如说深度学习，那么如何将AI用于脑科学是目前的一个研究热点。国际上有多个组，也包括清华的胡晓林老师，大家把视觉系统当成一个深度学习网络，然后训练这个深度学习网络，同时加入一些生物学的约束，然后用对比的方法看这个系统能学习到什么，进而回答生物视觉认知的问题。

唐华锦：我补充一下吴思老师讲的。传统AI提供了很重要的大数据分析工具，尤其是在高通量的脑成像方面，建立非常精细的脑模型。还有实时的脑活动的分析上，比如斑马鱼的活动，如何实时记录以及把这些神经元的活动匹配到那些神经元上，这是大量AI深度学习帮助脑科学家在分析数据、统计数据。包括三维重建，包括树突、轴突之间连接的结构，AI也会起到非常重要的作用，AI还是提供了很好的深入解释工具。

胡晓林：我也接着吴思老师刚才的观点和大家分享。现在国际有一个热点，用深度学习的方式去研究深度模型能不能出现以前在生物学实验当中的结果。我想说的是，这只是第一步，我们首先要来看一下深度学习模型是不是具有这样的特点，如果具有这样的特点，那么能干什么。其实，深度学习模型是人自己构造的，这个模型所有神经元都可以测，不像生物体会受到实验条件限制，有些地方测不到。如果有了一个等价模型，在等价的人工智能模型上做一些实验和解释，做一些原理性的探索，会比在动物那种“黑箱”上做更容易一些。

MIT的DiCarlo组对这个问题有一个更进一步的工作。在猴子的高级皮层，神经科学家很难用一个自然的刺激让这些神经元以很大的发放率去发放信号，越高层就越难。为解决这个问题，他们先构造了一个CNN神经网络，然后把中间的L3层取出来，和猴子V4区域的神经元反应做简单的映射，学出这个映射之后，他们把猫照片的视觉刺激，通过人工神经网络的L1、L2、L3，传到V4脑区构成通路，构成真正的生物系统中猫照片通过V1、V2、V3最后传到V4的生物通路的一个替代模型。然后他们通过神经网络BP算法反求一个刺激，使得V4区的神经元反应最大。然后再把这些刺激给猴子看，发现V4区的神经元反映远远超出以前用任何刺激所带来的发放率，也就是说如果不用他们这种反求的方式去做刺激，用自然数据是很难让这个神经元发放这么强烈的。这个就解决了他们做生理学实验的一个痛点。我和做听觉的老师聊过，他们在猴子的听觉皮层发现大部分神经元都是不反应的，很多人觉得猴子的听觉神经元不是干听觉这件事的，很多人想不通为什么这样，我觉得可能是我们没有找到合适的刺激。

毕彦超：DNN很多时候能在一定程度上模拟的大脑，并不等于真实神经就是这样的。所以我会特别强地要求去多找一些不同的模型来对比，才能更好地评估大脑，才有可能为理解添更多的证据。

毕国强：从基本的大数据分析到更高层次对大脑的模拟，AI在脑科学研究中能起到很多助力作用。人工神经网络在对大脑进行模拟时，只是模拟神经系统的最基本的性质，比如神经元和突触连接。用简单的性质来模拟大脑肯定有它的局限，不过能够得到一些似乎和大脑里面发生的东西类似的现象，这确实反映了非常根本的一些机制，但是很可能很多事情是没有办法用目前的人工神经网络来解释的。这时候需要进一步的计算神经科学的模拟，像刚才吴思提到AI和计算神经科学没有本质上的严格边界，可以用这种更深层次的模拟，来解释和发现神经系统真正的行为，然后可以再反过来看哪些性质是哪些行为必须的。当然最后这还是一个大脑理解大脑的复杂性问题。   

山世光：深度学习和大脑这两个黑盒子怎么互相对比？能不能把这个黑盒子打开？我个人理解观点是这有点像鸡和蛋，但它是可以互动的，这边进步一点，那边也跟着进步一点。现在不是哪个是白的，另一个马上就可以解开了。

山世光：脑科学研究需要什么样的AI技术来解决什么样的前沿脑科学问题？

吴思：我特别期望神经形态的发展能助力脑科学的发展。比如说唐华锦老师和吴华强老师他们讲的东西。我们研究脑科学，提出了各种模型和机制后，如果能有一个类脑的硬件系统验证一下，就能更好的证明这个机制和模型是否在生物学上是合理的，能否能在AI中得到应用。   

山世光：如何培养更多AI+脑科学交叉研究的人才？

毕国强：这实际上是一个很大的挑战，因为需要对两个学科有充分的把握。而这两个学科都是很难的学科，不管是计算机科学，还是神经生物学，而且中间重叠的部分不多。最关键的是要鼓励青年人要真正追求自己的兴趣，你如果感觉大脑很神奇或者AI很神奇，你真的想研究它们、理解它们，那就只好花别人双倍的力气把这两个学科都学好，这是最重要的。

我们课程设置上，不同专业间的壁垒还是很大的。生物系和计算机系这两个学科的要求差别非常大，这时候需要设计真正的交叉学科的课程体系，也是很有挑战性的。

毕彦超：跨学科有很多特别不容易沟通的地方，虽然用同样的词，其实大家还是固守一些成见，按照自己学科的思路去想。脑科学很多是科学的思维，AI很多是工程思维，在沟通过程中会碰到一些壁垒，这时候怎么更开放思路，思考背后大家真正关心的大问题，而不是当前具体某个名词或者小问题的完全对应，特别的重要。

山世光：今天早上在看心理所要设计一门人工智能的课，我就在想这个人工智能的课谁来讲、讲什么，对他们来讲前面没有计算机编程课？上来就给心理所的人讲人工智能，确实课程体系建设方面有非常多的地方需要努力。

胡晓林：如果没有编程基础，上来就讲人工智能确实是很难。如果在信息科学院开设脑科学是不是相对比较容易？因为学神经科学可能不需要特别系统的，像数学、编程那样要经过好几年的培养。在我的课题组，我鼓励同学们做一些脑科学的事儿，但目前为止不是特别成功。现在计算机信息学科的学生更加关注的还是AI，偏纯AI多一点，偏技术本身。这是另一个方面的困难。

唐华锦：浙大这边新招的人工智能专业本科生设置AI+脑科学的交叉课程，在推动培养新一代的AI+脑科学方面的交叉人才上已经在布局，相信清华、北大也有类似课程的设计。  

山世光：大脑如何完成学习-记忆融合的？

唐华锦：这涉及到我们对记忆的理解问题。记忆通过神经元的群组编码实现。比如对某个概念，必须有一组神经元对这个概念进行表述，这组神经元就要学习对这个概念进行响应，加强这组神经元之间的连接。如果这个概念和另一个概念之间存在联想关系，不同的神经元群组间要形成一个新连接，这个连接要把不同概念联系起来。因此群组内的神经元连接以及群组间的神经元连接都要通过学习的方式实现，要么通过无监督STDP学习规则，要么通过有监督的方式，来实现学习和记忆的融合。

山世光：如果就一个神经元来讲，它如何做到“学”和“记”一体，现在的MCP模型是没有记忆力的。

吴华强：突触会通过学习不断变化，电子突触器件也是一样的。比如现在存的值是10欧姆，学习之后把它变成12欧姆或者9欧姆也是可以的，通过变化就实现了它的记忆。一个芯片要做的比较智能的话，集成度是比较关键的。比如在10个突触的情况下，每个的变化、参数离散性都会大幅度影响系统准确率，但如果芯片集成10亿个器件，那其实单个器件就不会有太大影响。这块要找数学理论家合作，在理论上怎么证明器件的离散和整个网络的准确率的关系。

山世光：忆阻器交叉阵列相乘后，电流需要ADC转换吗？如果转换的话，ADC是否会占用大量时间？现在激活函数是靠软件实现还是已经有硬件实现？

吴华强：忆阻器阵列可以做乘加。电流总得来说是需要ADC转换的，但是如果每个阵列都做ADC转化的话，成本有点高，芯片里面时间其实是很快的，都是纳秒级计算，比大脑快多了。更关键的是，用了很多ADC会使得芯片面积比较大，导致它的能耗比较高，所以我觉得一部分可以做模拟信号传递，一部分可以做数字信号传递。激活函数可以通过硬件实现，我们现在做的函数是用CMOS去做的，但是也有人单个器件去做激活函数的事情，用新的器件去做。我们是要把它集成更大规模的芯片，所以我们用CMOS去做。

完整跑一个AlexNET，能效比有多少？跑完整的AlexNET我们还没有跑，下个芯片我们会做这个事情。我们之前做的芯片集成度规模只有几十万个规模，下一个芯片的规模大概几百万，再下个芯片达到更大规模。在几百万规模下就可以跑AlexNET，目前我们的仿真结果还可以，但是还需要在芯片上跑出来。

忆阻器只负责实现基本矩阵计算么？是不是还要配合其他方式进行输入输出？目前忆阻器的算法只有乘法和加法，整个计算特别适合做矩阵计算。要配合别的输入输出，还有存储和编码这都是需要的。而且从硬件上来讲，阵列是固定的，算法是千变万化的，需要用编译器或者算法支持去把千变万化的网络层映射到固定阵列上。

山世光：好奇心是如何产生的？它内在的机制是什么，有没有办法度量它？   

毕彦超：主流的认知神经科学上目前没有很好的回答。首先从对婴儿、儿童的研究上可以看到，人们对新异刺激有天生本能好奇。第二点就是人对事情的答案有一个基本的好奇心。这点不光是人，猫也是很好奇的。所以我想对于生物体进化过程当中对于外部刺激的反应，有可能是生存繁衍一个很重要的进化的东西，所有的生物体是不是有一种比较基本的好奇心，是什么样的时间范式，怎么去实现，是不是有不同种类的好奇心，我自己不知道。

胡晓林：这是不是和神经科学的一个理论相关，叫predictive coding。它的基本理论是说人对于外在世界会有一个预测，但如果实际刺激或者实际发生的事情和预测不吻合，就会有一个偏差，人会关注那个偏差。

毕彦超：如果把好奇心定义为要时刻关注外面的世界，进行预测，才能实现实际有效的识别和交互。那我觉得有可能有关系。

山世光：能不能介绍一下人脑是如何进行多模态融合的？

吴思：多模态信息整合是我们大脑的一个基本功能。人为什么有五官？实际上它们是我们从不同的物理、化学和声音等信号来感知这个外界世界，这些信号需要在大脑里有效地融合起来。从数学角度说，多模态信息整合的最好算法是贝叶斯推理。有意思的是，行为上已经证明大脑能做数学上优化的贝叶斯多模态信息整合，在神经数据上猴子实验也有证明，在计算模型上也得到了验证。我们最近做了一个模型工作来解释其机理。基本的思想是各个脑区有分工，分别负责处理视觉信号、听觉信号等，但同时这些脑区之间又有连接，这些连接编码不同信号之间关联的先验知识。这样多个脑区间通过信息交流，最终以并行分布的方式实现了优化的多模态信息整合。

山世光：神经科学里有从儿童发展或者跨物种比较的角度来研究学习是如何动态的塑造大脑神经网络的，比如小孩的大脑可能更接近全连接，后面逐渐被选择性的消除掉一些连接。这样一种模式对计算会不会有帮助？

毕彦超：有很多人关注这方面，至于对AI的借鉴的程度我不知道，我会觉得是一个宝藏。首先从婴儿认知的发展上，人们发现很多有趣的现象，比如机器在小数据情况下学习一个词可能很难，而小孩在语言爆发期只要听到一个词一次就可以学会。但是发展心理学家已经发现只有在特定的互动情景下小孩才学会，所以可以借鉴一下。人类婴儿的大脑非常难研究，因为我们不想以有损的方式研究婴儿。最近随着无损的神经影像的发展才开始有一些特别基本的认知，开始的时候相对全连接，通过分析早产儿的大脑，发现是先去发展初级的感觉运动皮层，但随着后来的发展，网络当中的枢纽在其他的例如额顶这些更高级的网络再慢慢发展了。这些也是最近两年随着神经影像发展，人们才刚刚知道一点。

山世光：突触可塑性可以看成一种局部优化规则，大脑是如何进行全局学习和调控的？

毕国强：我们研究学习或者可塑性，一方面是看突触本身发生的变化，另一方面我们希望知道在全局尺度上或者环路尺度上看这些可塑性是怎样发生变化的。这也分多个层次，其中一个是在全局上看哪些突触可以发生可塑性变化，这需要突触前后神经元的活动，任何一个需要学习的内容在整个网络里面以不同的神经元活动表达出来的时候，就会有相应的突触发生变化。

另一方面，全局尺度上还有神经调质的作用，比如说情绪或者奖励的信号，受到奖励的时候，大脑里多巴胺系统会对整个网络有一个比较全面的调控。调控的具体影响和还有待深入研究，但是一个可能是让在这段时间受到影响的突触的可塑性变化更容易。这样就在全局尺度上可以把很多突触的变化协调起来。

山世光：信息专业的学生如果希望自己入门脑科学相关内容应该从哪里入手？

毕国强：我自己入门的时候是读一本《From Neuron to Brain》的书，当然还有很多其他的教科书。读的时候会碰到很多不太清楚的名词，这时候一方面，网上资源这么多，可以很容易查。另一方面，有一些不懂的东西可以先搁在那儿，先把可以理解的东西理解了。

吴思：年轻学生要来学我们这个方向最好进到一个课题组，然后多听报告，参与做具体的课题，这样才更有效。如果光看书，刚开始坚持一个月还可以，你能坚持一年吗？而且你学的东西得不到应用，你会很沮丧，你可能就放弃了。所以找一个合作课题是最佳的。

毕国强：很关键的一点是看个人的坚持，你有多强烈的兴趣和你想花多大的力气。当然提到花双倍的力气，很多人就有双倍的力气，这些人可能就适合做这件事情。

唐华锦：确实建议很好，要放在一个具体团队或者项目里去做，一个是提升你的成就感，不会学了一年之后感到很沮丧。中科院这一点做的很好，你们甚至强制要求人工智能和神经科学蹲点。还有浙大，“双脑”中心也是强调人工智能和神经科学在一块儿在一个团队。至少你要找两个这样的导师，然后去做这方面的工作，效果会很好。

毕彦超：我想提醒一下年轻的学生，跨学科交叉非常有趣。但我建议一定要有一个自己的base，要把某个方面要学透学好才有能力去交叉学科去深入，要不特别容易飘在表面上。

山世光：脑科学领域对常识的研究，有哪些资料可以推荐？

毕彦超：我们近期有一篇文章要在Neuron发表，是第一次有直接的证据，通过看先天盲人对颜色的知识，在人脑发现有两种不同机制的知识表征。我推荐给大家。

Wang, X., Men, W., Gao, J., Caramazza, A., & Bi, Y. (2020). Two Forms of Knowledge Representations in the Human Brain. Neuron, 107,

https://doi.org/10.1016/j.neuron.2020.04.010

山世光：人脑中是否存在误差反向传播？

唐华锦：回答是肯定的，一定是存在误差反传，比如说肯定有全局信号、奖励信号，只是反传方式不一样。传统人工智能的反传是基于梯度下降，但是在神经科学里很难实现，因为要求对称的传播。我觉得是具体实验方式的不同，但是一定是存在的。如果对这个问题感兴趣可以看最近一篇论文《Backpropagation and the brain》（Nature Reviews Neuroscience，2020）。