天才一秒记住【热天中文网】地址:https://www.rtzw.net
如果你要让几百万个数据在芯片里跑来跑去,就像是一群人在搬砖。
每次从内存DRAM里读取数据,消耗的能量是从本地缓存SRAM读取的几百倍。
如果每个时钟周期,都要把权重Weights,神经网络的参数搬进搬出,那这块芯片还没算完第一层网络,就会因为过热而烧毁。
热力学定律,就是这样冷酷。
他盯着方佩妮手里的动作。
她把一堆湿沙子堆在水渠中间,做成了一个阻挡块。
水流冲过来,漫过沙堆,继续流向下一个坑。
沙堆没动。
只有水在动。
“权重......驻留WeightStationary。”
林允宁的瞳孔猛地收缩。
为什么要把权重搬来搬去?
如果把权重当成这些固定的沙子呢?
把权重数据预先加载到每一个计算单元PE里,锁死。
然后让输入数据Inputs像这股海水一样,从左边流进去,流过这一个个固定的“沙堆”
。
在流动的过程中,数据和权重完成乘法运算。
算出来的结果部分和,PartialSums,再像接力棒一样,流向下游的单元。
这样,权重数据只需要读取一次!
内存访问量瞬间降低了一个数量级!
“系统。”
林允宁扔掉手里的啤酒瓶,瓶子落在沙地上,发出一声闷响。
【启动模拟科研】
【课题:基于权重驻留WeightStationary机制的脉动阵列能效分析。
】
【注入模拟时长:500小时。
】
周围的欢笑声、海浪声瞬间消失。
意识沉入那个纯白的逻辑空间。
【第10小时:你构建了一个16x16的二维阵列。
每个单元包含一个乘加器MAC和本地寄存器。
】
【第50小时:你尝试了“输出驻留”
和“输入驻留”
,发现都不如“权重驻留”
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!