存算一体AI芯片,老架构如何焕发新活力?

芯片
半导体行业观察
张健
2019-07-24 · 15:15
[ 亿欧导读 ] 作为一种传统的、非前沿的存储技术,NOR闪存架构有怎样的特点和优势,能够使得这些企业对其投入资源和人力,进行相应的低功耗AI芯片和系统研发呢?
半导体,半导体,NOR闪存,AI芯片,内存内计算 图片来自“东方IC”

随着物联网时代的到来,海量的数据蜂拥而至。特别是各种应用终端和边缘侧需要处理的数据越来越多,而且对处理器的稳定性,以及功耗提出了越来越高的要求,这样,传统的计算体系和架构的短板就显得愈加突出,未来,具有更高效率和更低功耗的计算系统一定会大行其道。

在这样的背景下,存算一体(Computing In Memory,内存内计算AI芯片应运而生。目前,不少国际上的领先企业和研究机构正在致力于各种新型存储器的研究,其中一个很大的驱动力就是希望能够实现具有更高效率的存算一体系统,而在这其中,AI的融入也是一大趋势。这些使得计算+存储+AI的融合发展成为了一大方向。

不仅是在国际上,最近几年,我国本土的一些企业和科研院所也在致力于这方面的研究工作。近日,合肥恒烁半导体科技公司与中国科大团队历时两年共同研发的基于NOR闪存架构的存算一体AI芯片系统演示顺利完成。

据悉,该芯片是一款具有边缘计算和推理能力的AI芯片,能实时检测通过摄像头拍摄的人脸头像并给出计算概率,可广泛应用于森林防火中的人脸识别与救援、心电图的实时监测、人工智能在人脸识别上的硬件解决方案等。而这也是我国本土企业在基于NOR闪存架构的存算一体AI芯片领域的又一次突破

作为一种传统的、非前沿的存储技术,NOR闪存架构有怎样的特点和优势,能够使得这些企业对其投入资源和人力,进行相应的低功耗AI芯片和系统研发呢?

存算一体的优势

在谈基于NOR闪存架构AI芯片的特点和优势之前,先来看一下存算一体芯片的优势及其能够解决的主要问题。

目前来看,不论是PC还是超算,处理器和存储芯片都是分离的,这就是冯诺依曼50多年前确立的计算架构。随着技术的发展,存储计算分离的架构瓶颈越来越明显。

一般芯片的设计思路是增加大量的并行计算单元,比如上千个AI卷积单元,这样,需要调用的存储资源也在增大,然而,在传统的计算架构当中,存储一直是有限且稀缺的资源,随着运算单元的增加,每个单元能够使用的存储器的带宽和大小将逐渐减小,而随着人工智能时代的到来,这种矛盾显得愈加突出,特别是对于物联网来说,网络的每一层,现有权重和每个AI训练示例的元素都被加载到处理器的寄存器中,然后相乘,并将结果写回到存储器中。这样,性能瓶颈就不是在计算一侧了,而是处理器和存储器阵列之间的带宽。存储器和处理器之间的这种分离是冯·诺依曼架构的定义特征之一,并且存在于几乎所有现代计算系统中。

这种“存储墙”的高起正在阻碍着AI产业的发展,可以说,存储器是AI芯片发展的最大瓶颈。

在很多AI推理运算中,90%以上的运算资源都消耗在数据搬运的过程中。芯片内部到外部的带宽,以及片上缓存空间限制了运算的效率。因此,在业界和学术界,越来越多的人认为存算一体化是未来的趋势,可以很好地解决“存储墙”问题。

如果能够让计算和内存更紧密地结合在一起,甚至是在内存内进行计算,就可以大幅提升数据的传输效率,同时节省更多的电能,因为在内存和计算之间不再需要往返太多次数,一切处理过程都再同一芯片内完成了。

分类

为了应对物联网以及存算一体的应用需求,各种新型的、传统的存储技术和器件纷纷登场,想在这些新兴应用方面尽量地施展出自己的才华。

过去50年中,SRAM、DRAM和Flash已经成为存储器的主力,这些存储结构在往更小的几何结构微缩的过程中都存在问题,很重要的原因在于它们都是平面结构,而新的存储技术,如基于电阻开关的存储技术是金属层结构,消除了许多制造问题。然而,由于DRAM和Flash技术已经非常成熟,成本又很低。所以,它们在存算一体方面依然有独到的优势,也正在被一些企业所采用

目前来看,新型的存储技术主要包括相变存储器(PCM)、铁电存储器(FeRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM或 ReRAM)、自旋转移力矩RAM(STT-RAM)、导电桥RAM(CBRAM),以及氧化物电阻存储器(OxRAM)等。基于这些的存算一体研究或多或少地都在进行着,相应的成果也经常见诸于报端。以上这些都是新技术,目前来看,它们的主要问题就是成本,以及生态系统的完整度,还需要一些发展时间才能成气候。

而从存储与计算的结合方式来看,存算一体又可以分为两大类:一是在DRAM中植入逻辑计算单元,被称为内存内处理或者近数据计算,这种方式非常适合云端的大数据和神经网络训练等应用;二是存储和计算完全结合在一起,存储器件也即计算单元,如采用基于NOR闪存架构的存算一体AI芯片,其主要特点是能耗低、运算效率高、速度快且成本低,这种形式比较适合边缘侧的神经网络推理等应用。

NOR闪存架构的优势

基于NOR闪存架构的存算一体AI芯片,利用NOR Flash的模拟特性,可直接在存储单元内进行全精度矩阵卷积运算(乘加运算)。规避了数据在ALU和存储器之间来回传输的瓶颈,从而使功耗大幅降低、提高了运算效率。

其Flash存储单元可以存储神经网络的权重参数,同时还可以完成和此权重相关的乘加法运算,从而将乘加法运算和存储融合到了一个Flash单元里面。例如,100万个Flash单元可以存储100万个权重参数,同时还可以并行完成100万次乘加法运算。

在这样的芯片里面,深度学习网络可以被映射到多个Flash阵列,这些Flash阵列不仅可以存储数据,其深度学习网络同时还能完成AI推理,注意,这个过程是不需要额外逻辑计算电路的,一切处理都在这一块芯片内完成。相比于传统的冯诺依曼架构深度学习芯片,这种的运算效率非常高,而且成本低廉,因为省去了DRAM、SRAM以及片上并行计算单元,从而简化了系统设计。

目前来看,这种基于NOR闪存架构的存算一体AI芯片,其主要应用领域就是对成本和运算效率(特别是功耗)敏感的应用,如边缘侧的低功耗、低成本语音识别等。而随着人工智能和物联网的发展,它还可以拓展更多的应用场景。

结语

无论是新型存储技术,还是以NOR闪存为代表的老牌技术,在发展存算一体AI芯片方面,都需要不断完善生态系统建设,才能使整个产业发展起来。

因此,除了存储和计算技术本身之外,行业相关的接口标准跟进特别重要,特别是对于以存储为基础的新型应用来说,更加重要。另外,由于芯片内部集中了越来越多的功能块,片内总线和片内网络系统成为了一个新的课题,目前,这方面的研究和新技术越来越受到业界的重视,新的技术和IP也陆续推出。


2019大湾区国际科创峰会.jpg

由亿欧公司主办、粤港澳大湾区研究院(广外)联合主办的“2019大湾区国际科创峰会(BATi)”结合湾区科创和青年特色优势,将第二届大湾区国际科创峰会的主题定位于“科技赋能、青年引领”,将围绕5G生态、硬件创新、工业数字化、AI企服、科技出海等热点展开探讨,欢迎科技创新的观察者参与!

报名链接:https://www.iyiou.com/post/ad/id/875


本文已标注来源和出处,版权归原作者所有,如有侵权,请联系我们。

各工作岗位将被AI取代的概率

选择岗位,查看结果

制图员和摄影师

87.9%

参与评论

最新文章

1、 若贵平台是网站或者APP,在进行单篇原创文章转载时,需在文章标题或者导语下方,注明文章来源以及作者名称;若寻求5篇及以上的长期内容合作,需与亿欧公司内容运营部门取得联系,并签订转载合作协议。

【若贵司平台转载亿欧公司原创文章已经超过5篇,请及时与我们联系补签转载合作协议,计算时间以2019年2月10日之后为准】

2、 若贵平台是微信公众号,在进行单篇原创文章转载时,请联系亿欧公司内容运营人员进行单篇文章的白名单开通,同样需要注明文章来源及作者名称;若寻求2篇及以上的长期内容合作,需与亿欧公司内容运营部门取得联系,并签订转载合作协议。可将公司全称(简称)、公司网址、微信公众号、微信或者电话等信息发送至hezuo@iyiou.com,会有工作人员与您取得联系。

关闭

快来扫描二维码,参与话题讨论吧!

快捷登录 密码登录
获取验证码

新用户登录后自动创建账号

登录表示你已阅读并同意《亿欧用户协议》

快捷登录 密码登录

账号为用户名/邮箱的用户 选择人工找回

关联已有账户

新用户或忘记密码请选择,快捷绑定

账号为用户名/邮箱的用户 选择人工找回

快速注册

获取验证码

创建关联新账户

发送验证码

找回密码

获取验证码
账号为用户名 / 邮箱的用户 选择人工找回

未完成注册的用户需设置密码

如果你遇到下面的问题

我在注册/找回密码的过程中无法收到手机短信消

我先前用E-mail注册过亿欧网但是现在没有办法通过它登录,我想找回账号

其他问题导致我无法成功的登录/注册

请发送邮箱到service@iyiou.com,说明自己在登录过程中遇到的问题,工作人员将会第一时间为您提供帮助

账号密码登录

乐乐呵呵@微信昵称

该亿欧账号尚未关联亿欧网账户

关联已有账户

曾经使用手机注册过亿欧网账户的用户

创建并关联新账户

曾用微信登录亿欧网但没有用手机注册过亿欧的用户

没有注册过亿欧网的新用户

先前使用邮箱注册亿欧网的老用户,请点击这里进入特别通道
意见反馈
意见反馈
亿欧公众号 亿欧公众号
小程序-亿欧plus 小程序-亿欧plus
返回顶部