天才一秒记住【热天中文网】地址:https://www.rtzw.net
四月中旬的北京,中关村理想国际大厦十七层。
顾屿靠在办公椅上,手里端著一杯已经凉透的美式咖啡。
墙上的巨大液晶屏幕正显示著加密视频会议的画面。
画面那头是远在四川雅安的九天ai实验室会议室。
屏幕里的几个人看起来状態相当惨烈。
安德烈的金色捲髮已经成了鸡窝,眼眶底下掛著两个巨大的黑眼圈。
他正用俄语和英语夹杂著小声嘟囔什么。
旁边的楼天城把脸贴在桌面上,整个人活脱脱是个被抽乾了灵魂的空壳。
只有任少卿还算精神,手里捏著一罐红牛,正对著屏幕这头的顾屿做本周的项目匯报。
“顾总,我们在传统的机器翻译任务里加入了您之前提过的注意力机制。
实验数据出来了,bleu分数確实有显著提升。
模型终於不再像以前那样,把长句子硬塞进一个固定长度的向量里了。”
顾屿点了点头,这都在他的预料之中。
这证明了注意力机制这个东西在理论上是走得通的。
“但现在我们卡在了一个更底层的架构问题上。”
任少卿放下红牛,脸上的表情有些无奈。
楼天城听到这里,从桌面上抬起头,顶著乱糟糟的头髮开始大倒苦水。
“简直没法忍受了。
我们现在用的底层架构还是rnn循环神经网络。
这破玩意儿的计算逻辑是串行的。
这就好比食堂打饭,后面的人必须等前面的人打完才能往前走一步。”
楼天城越说越气愤,直接拍了拍面前的桌子。
“咱们雅安基地现在配了最顶级的显卡。
gpu这种东西天生就是为了做大规模並行矩阵运算的。
结果rnn非要让它们排队买票。
这简直是对算力的极大侮辱。
硬体的性能连十分之一都没榨出来。”
顾屿喝了一口咖啡,没急著插话。
他知道这帮人已经摸到了歷史的边界。
这时候,全世界的顶尖ai研究员都被困在这个死胡同里。
大家都知道rnn效率低,但所有人都觉得处理语言这种有先后顺序的东西,必须得用串行的rnn或者lstm。
“所以你们的想法呢?”
顾屿靠在椅背上,看著屏幕那头的三大金刚。
任少卿嘆了口气:“我们在尝试优化rnn的內部结构,看看能不能勉强实现部分並行。
安德烈最近算矩阵算得快吐了。”
“既然rnn是个阻碍並行的毒瘤,为什么不直接把它整个切掉?”
顾屿拋出了这个在当时看来极其离经叛道的理论。
任少卿愣住了。
安德烈直接站了起来,连连摇头。
“这不可能的顾。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!