清微智能欧阳鹏:可重构架构提升神经网络处理能效
6月4日至5日,2019 AI Hardware Summit(人工智能硬件峰会)在北京举行,阿里巴巴、百度、华为、SambaNova Systems、Graphcore等国内外创新企业携手亮相。人工智能硬件峰会是国际上第一个也是唯一一个专门探讨开发用于神经网络与计算机视觉的硬件加速器这一生态系统的行业峰会。清微智能CTO欧阳鹏受邀出席并发表《Embedding AI in Every Thing: Reconfigurable Architecture for Energy Efficient Neural Network Processing》主题演讲。
以下是演讲记录,发布时经删减编辑。
AI芯片市场将迎来爆发
人工智能向各领域的渗透,让AI芯片市场迎来飞跃发展,Tractica预测,AI市场的演变将推动深度学习芯片组的出货量从2018年的1.649亿增长到2025年的29亿单位以上。届时,深度学习芯片组的全球市场将达到663亿美元。
到2025年,专用集成电路(ASIC)将占总收入的最大份额,其次是图形处理单元(GPU)、中央处理器(CPU)、系统级芯片(SoC)加速器和现场可编程门阵列(FPGA)。在2023年左右,基于专用电路架构的AI芯片需求量,就将会超过采用CPU/GPU架构实现AI芯片的需求量。
AI芯片的广泛应用,对算力提升的要求日益迫切,工艺的提升和架构的改变能带来芯片性能的提升,但摩尔定律已渐渐失效,架构创新是新的方向。
可重构计算支持高效、灵活的芯片设计
云端和终端对芯片都有不同的需求,CPU、GPU在云端要执行不同的任务。在终端,手机、耳机、音箱都需要做不同的事情,需要在即高效又灵活的芯片设计。
传统人工智能芯片,主要基于CPU/DSP/GPU/NPU架构, 这些架构本质属于指令驱动的计算模式。在具体计算过程中,需要从指令存储器中加载指令并解析指令,然后指导执行单元进行计算。在每次的数据计算中,这样的过程都不可避免,因此这是一种灵活但是低效的时域计算模式。
ASIC方式固化电路结构,数据驱动下执行,计算效率非常高,但是没有灵活性。应用任务变化时,电路结构无法改变,无法执行新算法。
FPGA计算架构基于查找表方式进行细粒度执行,属于硬件可编程,非常灵活。然而,大量细粒度LUT(Look-Up-Table)使得内部连线复杂。LUT和互联线,会使得能耗增加,关键路径变长,同时,软件编译和用户开发变得困难。
要解决上述问题,我们需要考虑AI芯片的本质需求到底是什么?
主流神经网络算法具有混合数据精度表示的特点,即不同的神经网络层可用不同数据位宽来表达中间数据或者权重数据的精度,无法高效支持混合精度计算,或者只能通过扩展资源方式支持少数几种精度。
另外一方面,人工智能算法,除了神经网络中卷积层,全连接层等逻辑,还有非神经网络计算逻辑。传统AI芯片架构,强调了神经网络逻辑的计算效率,却忽视了非神经网络逻辑的计算效率。针对非神经网络逻辑,一般仍然采用CPU或者DSP进行处理,或者采用ASIC进行固化,计算效率或者灵活性会打折扣。
CGRA计算架构通过空域硬件结构组织不同粒度和不同功能的计算资源,通过硬件的运行时配置,调整硬件功能,根据数据流的特点,让功能配置好的硬件资源互连形成相对固定的计算通路,从而以接近“专用电路”的方式进行数据驱动下的计算。当算法和应用变换时,再次通过配置,使硬件重构为不同的计算通路去执行。CGRA最大的优势体现在两方面,一是没有传统指令驱动的计算架构中取指和译码操作的延时和能耗开销,二是在计算过程中以接近“专用电路”的方式执行。此外,CGRA架构算力可以弹性扩展,适用于从云端到边缘端中对高能效和灵活性有综合要求的场景。
低功耗语音芯片TX210
基于十多年的技术积累,清微自成立以来快速地在今年量产了语音芯片TX210,该芯片采用TSMC40ULP工艺,支持WLCSP和QFN两种产品封装。
芯片采用多级功耗唤醒模式,极大的降低了芯片的功耗,工作功耗mW级,VAD功耗仅uW级。
TX210芯片可编程可重构,结构上有着极强的灵活性,支持多比特DNN神经网络,可以支持1-16bit位宽的神经网络计算,也支持FFT/MEL FILTER等。
TX210还有一个显著特点就是用极小的芯片面积支持丰富的接口和电源管理。TX210的WLCSP封装面积仅有2.3X1.9mm2,适用于手机,蓝牙耳机等对体积要求苛刻的应用场景。采用算法+芯片的协同设计优化,TX210在典型信噪比下,唤醒识别率95%,误识别率小于24小时一次。
关于清微智能
清微智能是可重构智能芯片领导企业。核心技术团队来自清华大学微电所,这支兼具芯片、软件、算法和系统能力的业界顶级研发团队,从事芯片研发13年,是前沿芯片架构可重构技术的提出者和实践者。团队2014年获得教育部技术发明一等奖,2015年获得国家技术发明二等奖和中国专利金奖,2017 ACM/IEEE ISLPED会议获得设计竞赛奖,2019年,DAC低功耗目标检测系统设计挑战赛奖。
欢迎使用Markdown编辑器
你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。
新的改变
我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:
- 全新的界面设计 ,将会带来全新的写作体验;
- 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
- 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
- 全新的 KaTeX数学公式 语法;
- 增加了支持甘特图的mermaid语法1 功能;
- 增加了 多屏幕编辑 Markdown文章功能;
- 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
- 增加了 检查列表 功能。
功能快捷键
撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G
合理的创建标题,有助于目录的生成
直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用
TOC语法后生成一个完美的目录。
如何改变文本的样式
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
插入链接与图片
链接: link.
图片:
带尺寸的图片:
居中的图片:
居中并且带尺寸的图片:
当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。
如何插入一段漂亮的代码片
去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的
代码片.
// An highlighted block var foo = 'bar';
生成一个适合你的列表
- 项目 项目 项目
- 项目1
- 项目2
- 项目3
- 计划任务
- 完成任务
创建一个表格
一个简单的表格是这么创建的:
项目 | Value |
---|---|
电脑 | $1600 |
手机 | $12 |
导管 | $1 |
设定内容居中、居左、居右
使用
:---------:居中
使用
:----------居左
使用
----------:居右
第一列 | 第二列 | 第三列 |
---|---|---|
第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:
TYPE | ASCII | HTML |
---|---|---|
Single backticks | 'Isn't this fun?' |
‘Isn’t this fun?’ |
Quotes | "Isn't this fun?" |
“Isn’t this fun?” |
Dashes | -- is en-dash, --- is em-dash |
– is en-dash, — is em-dash |
创建一个自定义列表
- Markdown
- Text-to-HTML conversion tool
- Authors
- John
- Luke
如何创建一个注脚
一个具有注脚的文本。2
注释也是必不可少的
Markdown将文本转换为 HTML。
KaTeX数学公式
您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过欧拉积分
Γ(z)=∫0∞tz−1e−tdt . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.
你可以找到更多关于的信息 LaTeX 数学表达式here.
新的甘特图功能,丰富你的文章
Mon 06Mon 13Mon 20已完成 进行中 计划一 计划二 现有任务Adding GANTT diagram functionality to mermaid- 关于 甘特图 语法,参考 这儿,
UML 图表
可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图::
张三李四王五你好!李四, 最近怎么样?你最近怎么样,王五?我很好,谢谢!我很好,谢谢!李四想了很长时间,文字太长了不适合放在一行.打量着王五...很好... 王五, 你怎么样?张三李四王五这将产生一个流程图。:
链接长方形圆圆角长方形菱形- 关于 Mermaid 语法,参考 这儿,
FLowchart流程图
我们依旧会支持flowchart的流程图:
Created with Raphaël 2.2.0开始我的操作确认?结束yesno- 关于 Flowchart流程图 语法,参考 这儿.
导出与导入
导出
如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。
导入
如果你想加载一篇你写过的.md文件或者.html文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。
注脚的解释 ↩︎
- 点赞
- 收藏
- 分享
- 文章举报
- 神经网络模型之CNN网络架构
- 神经网络架构大盘点--读Fjodor Van Veen的《neural-network-zoo》
- 在树莓派上利用神经网络字符识别实现智能送餐车
- 神经网络的提升方法(2)——正则化
- 【智能制造】这份智能制造行业白皮书能让你的神经网络炸裂
- 智能普适网络架构及关键技术研究
- 图像处理方向上用神经网络(CNN)来实现
- 神经网络架构演进史:全面回顾从LeNet5到Googlenet,resnet,fractalnet,ENet十余种架构
- 第五章(1.4)深度学习——神经网络架构和原理
- 腾讯AI Lab涂兆鹏:如何提升神经网络翻译的忠实度 | PhD Talk #22
- 入门 | 机器学习研究者必知的八个神经网络架构
- 使用TensorFlow重构神经网络的识别手写数字
- neuralnet_mnist 神经网络推理处理 完全解析
- 神经网络架构PYTORCH-前馈神经网络
- SSD神经网络+图像处理的人体识别
- 使用sklearn中的神经网络模块MLPClassifier处理分类问题
- 谷歌邮件智能回复系统:基于循环神经网络构建
- 《重构网络:SDN架构与实现》第一章总结
- 神经网络提升mnist识别率
- 【R的机器学习】模型性能提升探索:神经网络