天才一秒记住【热天中文网】地址:https://www.rtzw.net
林允宁在白板上写下了一个新的复杂度公式:
Complexity:ON^2->ONlogN
“我们保留局部的滑动窗口,再引入少量的全局Token作为信息高速公路。
剩下的90%空白区域,直接置零,不参与计算。”
林允宁看着克莱尔,微笑道:
“我们就叫它......稀疏注意力SparseAttention吧。
“既然显存装不下整个世界,那我们就只保留世界的主干。
“这样,哪怕是1.5GB的显卡,也能吞下整篇论文。”
克莱尔盯着白板上的图示,眼神从审视变成了兴奋。
作为普林斯顿的计算机博士,她太清楚这一刀“剪枝”
切得有多精准了。
这不仅是工程上的妥协,更是一种对语言结构的深刻洞察。
"
1560......"
克莱尔把玩着手里的马克笔,嘴角勾起一抹极客特有的狂热笑容,“这就像是在拥堵的高速公路上,直接给数据开了个虫洞。
“Boss,我现在承认,你的数学直觉确实比谷歌那帮老头子厉害多了。
“给我两天时间,我把CUDA内核重写一遍,让它支持这种稀疏矩阵乘法。”
“交给你了。”
林允宁满意地笑了笑。
跟聪明人打交道,就是简单。
有了克莱尔这个科班出身的高材生,自己可以省下很多处理琐事的时间了。
然而,他却没料到,这位兼职网红的到来,带给以太动力的影响可远不止是学术上的。
三天后,中午十二点。
茶水间。
自来熟的克莱尔,没几天就跟公司上上下下都混得极熟。
她父亲是华夏港岛人,母亲是俄国人,自小在美国长大,英语、俄语包括普通话和粤语都相当流利,与人沟通毫无障碍。
此时,她正端着一杯燕麦拿铁,靠在吧台上,用一口流利的普通话跟程新竹和方佩妮八卦。
“哎,咱们Boss除了写公式,有私生活吗?”
克莱尔眨着眼,“我看他对女生绝缘啊,是不是有什么难言之隐?”
“啊?”
单纯的程新竹愣了一下,手一抖,差点把手里的饭盒掉了,“这个......允宁他好像一直都很忙......”
“那就是心里有人了?”
克莱尔敏锐地捕捉到了程新竹的迟疑,立刻来了精神,“是不是那个经常来找他的长腿美女?叫沈知夏的那个?”
佩妮在旁边推了推厚重的黑框眼镜,小声说道:
“那是林总的好朋友......从小一起长大的......”
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!