天才一秒记住【热天中文网】地址：https://www.rtzw.net
安德烈一边写一边用俄语大声感嘆。
但他写著写著，动作突然停住了。
“等等，有个数学上的漏洞。”
安德烈盯著白板上的一个点积运算式，
“如果序列变长，维度变大。
q和k的点积结果会变得极其庞大。
这丟进softmax函数里，会导致梯度直接消失。
模型根本无法训练。”
任少卿也看出了这个问题，脸色变得有些凝重。
这就是新架构在理论推导时最容易死掉的环节。
顾屿坐在北京的办公室里，极其隨意地掸了掸袖口。
“那就给它套个韁绳。”
顾屿语气平缓，循循善诱，
“安德烈，既然是向量维度变大导致点积结果的方差变大，作为一个数学家，你通常用什么工具把它的分布重新拉回標准差为1的平滑状態？”
白板前的安德烈猛地一僵。
他脑子里灵光乍现，几乎是咆哮著用俄语喊了出来：
“除以方差的平方根！
对！
除以维度的平方根！”
他赶紧用袖子擦掉一半的算式，重新把那个代表缩放因子的分母加了进去。
他快速心算了几十秒，然后扔掉马克笔，转头看著屏幕里的顾屿，眼神里全是难以置信的震撼。
“平滑了！
数据分布完美平滑了！”
安德烈双眼通红地盯著屏幕，
“顾，你简直是个魔鬼。”
顾屿当然不会说这是前世无数个禿头算法工程师在论文里写明的现成答案。
他只是耸了耸肩，保持著那份高深莫测。
“所以，rnn可以扔进歷史的垃圾堆了吗？”
顾屿看向楼天城。
楼天城这时候已经完全从刚才的萎靡中復活了。
“绝对可以。
但这套玩意的计算复杂度是跟著序列长度的平方增长的。
序列越长，显存占用越恐怖。”
楼天城摸了摸下巴，“要是处理超长文本，一样会爆显存。”
“算力从来不是你要操心的问题，楼教主。”
顾屿非常財大气粗地打断了他，
“不够用我就让採购部继续去英伟达拿货。
五百张不够就买一千张，做成大规模数据並行。”
说到这里，顾屿语气转为平淡，拋出了一个后世极其经典的工程黑科技：
“至於单卡显存被打爆的问题，楼教主，你听说过梯度检查点（gradientcheckpointing）这种用计算时间换显存空间的底层框架优化思路吗？”
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！