杜子东、铁流：类脑芯片爆发？中科院博士谈IBM“TrueNorth”(转载)

显示全部楼层 · 2021-1-27 06:21:54

【AlphaGo惊艳世人之后，基于深度学习方法的计算机芯片竞相出笼。其中，中国自主研发的寒武纪神经网络芯片颇为醒目，英伟达也推出相应产品，IBM最新发布的类脑超级计算平台“TrueNorth”噱头十足。它号称处理能力相当于1600万个神经元和40亿个神经键，能耗仅为2.5瓦。那么问题来了，寒武纪和TrueNorth各自的门道和优劣在哪里？带着这个疑问，观察者网联系了IBM团队，希望就“True North”芯片展开采访，遗憾该项目的国外团队无暇回应。因此，观察者网特邀人工智能产业研究团队“智能国”的成员铁流采访了中科院计算机研究所博士杜子东。
　　杜子东博士长期从事人工神经网络和脉冲神经网络处理器的研究工作，在处理器架构最好的三个国际顶级会议ISCA/MICRO/ASPLOS上发表过多篇论文，是中国计算机体系结构领域青年研究者中的翘楚。以下为访谈全文，以资读者参考。】
　　观察者网：能介绍下TrueNorth和寒武纪的区别么？
　　杜子东：TrueNorth本身的研究是基于脉冲神经网络（Spiking Neural Network，SNN）的，而寒武纪则一直面向的是机器学习类的神经网络，如MLP（多层感知机）、CNN（卷积神经网络）和DNN（深度神经网络）。
　　两种网络根本的不同在于网络中传递的信息的表示，前者（SNN）是通过脉冲的频率或者时间，后者则是突触连接的权值。目前在现有的测试集上，机器学习类的神经网络具有更高的精度（尤其是深度神经网络）；前者则在精度上不能与之比拟。
　　观察者网：刚才您提到MLP（多层感知机）、CNN（卷积神经网络）和DNN（深度神经网络），这几个专业术语，能解释下么？
　　杜子东：MLP（多层感知机）是multi-layer perceptron，多层感知机相对于最早的单层感知机就是增加了层数，但是层和层之间都是全连接的，也就是每个神经元都通过突触和上一层所有的神经元相连。
　　CNN（卷积神经网络）Convolutional Neural Networks卷积神经网络，本质上也是这种多层网络的延伸，只是在计算时充分利用了输入是图像的这个特点——图像处理里面有滤波操作，本质上就是用一个滤波器遍历图像，从而完成进行特定的处理，比如平滑，锐化。CNN中也引入了这个想法，采用了同样的方法，也即一个滤波器遍历整个图像。从结构上来看，就是每个输出通过一个滤波器和局部输入相连，因为是同一个滤波器，所有的输出连接的滤波器的权值都是相同的。（别犯晕，小编奉上公号“机器之心”翻译的谈神经网络和深度学习简史的文章，有兴趣的读者可以详细了解。）
　　DNN和CNN基本相同，只是卷积层里面本来所有一对输入输出图像连接的滤波器是一样的，DNN这里就全部自由了，大家的滤波器没有任何关系。
　　观察者网：联想到不久前，英伟达也发布了面向深度学习的GPU，那寒武纪相对于GPU的优势在哪？
　　杜子东：最明显最直观的优势就是性能、功耗和芯片面积。
　　通俗的说，寒武纪是针对深度学习精耕细作，是针对专门领域的专用芯片，在深度学习领域，CPU/GPU在性能、功耗和芯片面积方面和寒武纪都有百倍的差距。
　　观察者网：之前提到脉冲神经网络精度在精度上不能和机器学习类的神经网络相比，对TrueNorth和寒武纪有多重要？
　　杜子东：精度是目前领域内很关心的非常重要的指标，比如近几年火热的ImageNet竞赛也是以识别精度为衡量标准的。正是因为曾经存在精度方面的差距，所以后来IBM的TrueNorth放弃了原来的路线图，也开始贴近机器学习类的神经网络，并采用了一些很曲折的方法来实现这一目标。
　　观察者网：除了精度方面以外，还有什么区别？
　　杜子东：TrueNorth本身是基于脉冲神经网络设计的，并且采用了逻辑时钟为1KHz这样的低频率来模拟毫秒级别生物上的脉冲，这也使得TrueNorth功耗很低（70mW），当然性能也比较有限。而寒武纪则是机器学习类的神经网络设计，运行时钟频率在GHz左右，能够极其快速且高效的处理网络计算。
　　观察者网：也就是说寒武纪具有性能上的优势？
　　杜子东：是的。另外寒武纪系列的内部计算完全符合机器学习类神经网络（机器学习类网络本身也没有如同脉冲神经网络一样特别贴合生物神经元模型），通过调度在不同时刻计算不同的神经元从而完成整个神经网络的计算。这其中，涉及到处理器设计本身的一点是，通过不同参数的选取就能够完成不同规格（处理能力）的处理器实现。
　　观察者网：那TrueNorth脉冲的优势在哪？
　　杜子东：就我个人而言，我认为没有什么优势。硬要说有的话，那就是ibm的品牌优势和广告优势，对于IBM来说，TrueNorth是极好的广告，塑造IBM科技巨人的形象，正如前些年的深蓝一样。
　　观察者网：也就是说，寒武纪在机器学习方面相对于TrueNorth有比较大的优势？
　　杜子东：是的。
　　观察者网：但是这个结论恐怕很多国人难以相信——IBM在技术上会输给中国的一群80后研究员。特别是很多中文媒体对TrueNorth非常看好，各种自赞美之词溢于言表。
　　杜子东：其实是IBM技术路线走错了，通俗的说就是点歪了科技树。TrueNorth出来之后实际上在国际上是很有争议的，而不全是赞美。
　　观察者网：您认为IBM技术路线走错了？
　　杜子东：是大家都认为他们（IBM）走错了，包括他们自己（IBM）也这么认为。
　　观察者网：能具体说说么？
　　杜子东：另外一个结构Neuflow的作者也是深度学习的大牛计算过TrueNorth和Neuflow的效率，两者的效率其实差不多（neuflow甚至更好一些）。而我们自己在发表的文章中也计算了我们实现的脉冲神经网络芯片的效率，也得到同样的结论。而TrueNorth最主要的一点就是没有高效的学习算法支持和实际的应用。另外一位深度学习大牛Yoshua Bengio就认为如果没有这样的算法和应用，这样的结构就是无用的。另外，也有消息说IBM现在这个项目相关的人员基本都已经撤完了。
　　观察者网：撤完了？但现在网上的报道依旧不绝于耳啊？
　　杜子东：对，现在看到还有，我也不清楚是什么路数了。
　　观察者网：刚才提到的neuflow是？
　　杜子东：neuflow是深度学习领域的另外一种结构，本身是学术研究性质的东西，作者之一就是CNN方向的大牛Yann Lecun。
　　观察者网：您说TrueNorth和一般的数字芯片差不多，那寒武纪和数字芯片比咋样？
　　杜子东：寒武纪和TrueNorth都是数字芯片。
　　传统的数字芯片更多是面向特定应用的，完成特定的任务，比如视频编解码。因为传统的数字芯片不是面向深度学习的，所以不具有在深度学习方面的特定优化。寒武纪则是面向深度学习，专门用于深度学习的应用的；TrueNorth本身不是面向深度学习，正如前面说过的，TrueNorth这样的结构即缺乏有效的训练算法使得精度具有可比性也缺乏实际的应用。
　　观察者网：能举几个寒武纪具体应用的例子么？在采用寒武纪后，可以相对于现在的CPU/GPU/FPGA等有多大优势？
　　杜子东：一些需要深度学习的应用都是寒武纪一展所长的地方，比如图像识别、语音识别、人脸识别等等。现在多是采用CPU/GPU/FPGA来处理深度学习的应用，简单来讲就是要么性能不够要花好久才能计算完成，要么就是不够高效要花费巨大的能耗比如gpu。寒武纪则是针对深度学习，具有高的性能功耗比。随着未来进一步的发展，gpu/Cpu都不足以支撑大规模的神经网络。

千问 · 2021-1-27 06:21:54

千问 · 2021-1-27 06:21:54

mark