天才一秒记住【热天中文网】地址:https://www.rtzw.net
一位来自麻省理工学院MIT的老教授站了起来,扶了扶话筒
“林先生,你的几何比喻很精彩。
但是,深层网络的优化曲面是非凸的Non-convex,存在大量的鞍点SaddlePoints。
在数学上,这些点会导致海森矩阵HessianMatrix出现负特征值,从而阻碍收敛。
你是
如何看待这个问题的?”
这是一个非常硬核的数学问题。
全场安静下来,等待着林允宁的回答。
“这是一个非常好的几何问题。”
林允宁眼睛亮了。
他指了指台边的黑板,“能帮我推过来吗?”
工作人员迅速将黑板推到舞台中央。
林允宁拿起粉笔,转身面对黑板。
“其实,如果我们跳出欧几里得空间的限制,把参数空间看作一个黎曼流形......”
哒哒哒。
粉笔在黑板上敲击出清脆的节奏。
第一行,他写下了海森矩阵的本征值分解公式。
台下的观众频频点头,来到这里的虽然大部分是计算机科学家,但数学水平并不低。
他们对于这些基础的代数问题,还是理解得很深入的。
第二行,林允宁开始引入莫尔斯理论MorseTheory,用临界点的指数来描述鞍点的性质。
台下有一半人开始皱眉,拿笔的手停住了。
“进一步,如果我们考虑梯度流在这个流形上的测地线偏离方程GeodesicDeviationEquation......”
从第三行开始,林允宁直接祭出了他在和陶哲轩讨论时用到的“同调群”
HomologyGroup演化方程,开始证明在高维空间中,鞍点其实是逃逸路径的“路标”
,而非陷阱。
台下彻底安静了。
那是一种死一般的寂静。
刚才还在点头的计算机科学家们,现在的表情就像是误入了高等数学专业课的大一新生。
他们的眼神从迷茫,变成了呆滞,最后变成了放弃思考的释然。
只剩下此起彼伏的相机快门声????
虽然听不懂,但这公式看着就很厉害,先拍下来再说。
林允宁写得兴起,手中的粉笔折断了一截。
他回过头,正准备解释一下贝蒂数的物理意义,却看到了台下几千双迷茫的眼睛。
甚至连前排的杰夫?迪恩都在揉太阳穴。
"
Be......"
林允宁愣了一下,瞬间反应过来。
这是AI大会,不是数学家大会。
他刚才那套连陶哲轩都要思考几分钟的推导,对这帮搞工程的人来说,简直就是天书。
这就是所谓的降维打击一
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!