天才一秒记住【热天中文网】地址：https://www.rtzw.net
你想想，我们现在的代码用cpu跑，为什么这么慢？”
亚歷克斯反问。
伊利亚思索了一下。
“因为要处理庞大的矩阵乘法运算，数据量太大了。”
伊利亚如实回答。
亚歷克斯重重地敲了敲白板。
“这就对了！
cpu的核心数量很少，一般只有两到八个。
它的架构设计是为了处理作业系统里复杂的逻辑分支。”
亚歷克斯开始分析。
接著，他在旁边写下英伟达显卡的参数。
“但你看gpu。
它精简了复杂的控制逻辑，把晶片面积全留给了几百上千个小计算核心。”
亚歷克斯指著那些数字。
“深度神经网络的核心运算是什么？就是海量的加减乘除和取最大值。
根本不需要复杂的逻辑跳转。”
亚歷克斯看著两人。
“让几个全能的cpu核心排队去处理上百万次简单的乘法运算，这完全是资源错配。”
亚歷克斯拋出核心论点。
“而gpu的几百个核心，可以把这上百万次乘法拆解开，同步进行並行计算。
这才是真正的算力匹配！”
亚歷克斯提高了音量。
教研室里安静了几秒钟。
伊利亚的大脑飞速运转，推演著亚歷克斯的设想。
“如果真能把我们的代码通过cuda接口迁移到gpu上……”
伊利亚喃喃自语。
“几百个核心同时进行矩阵运算，训练速度绝对会成百倍上升！
以前需要一个月的模型，可能两天就能跑出结果！”
亚歷克斯接上了伊利亚的话。
辛顿听完亚歷克斯的长篇大论，陷入了深深的思考。
他站起身，走到白板前，看著亚歷克斯写下的对比数据。
“2006年的时候，我一直在研究深层网络训练难的问题。”
辛顿缓缓开口。
亚歷克斯和伊利亚都安静地听著导师的復盘。
“由於信號在传播过程中会逐层衰减，也就是梯度消失，导致网络根本无法有效训练。”
辛顿指出当年的痛点。
“后来我提出了逐层预训练的方法。
先逐层训练好每一层的参数，再堆叠起来整体训练。”
辛顿回顾著自己的理论成果。
“这个理论证明了深度的价值，奠定了基础，但实际操作中，算力一直是我们跨不过去的天堑。”
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！