天才一秒记住【热天中文网】地址：https://www.rtzw.net
第一层射偏了一点点，第二层又偏了一点点......
到了第50层，那个偏差已经被放大了无数倍，子弹早就不知道飞到哪里去了。
这叫“内部协变量偏移”
InternalCovariateShift。
靶子一直在乱晃，枪手根本瞄不准。
林允宁试着调低学习率，试着更换初始化方法，试着加各种正则化手段。
没用。
那个NaN就像是个诅咒，顽固地霸占着屏幕。
如果不解决这个问题，深层网络就是个不可训练的废品。
时间一分一秒地过去。
很快到了深夜两点。
机房里的轰鸣声依旧，热得像蒸笼，但满头大汗的林允宁已经盯着那个NaN看了整整两个小时。
常规的方法已经试了个遍，他甚至尝试了梯度裁剪等等稀奇古怪的野路子。
结果还是没有改进。
只要层数一深，数据分布就会乱套。
"
LA"
一杯冰咖啡放在了手边。
程新竹拉过一把椅子坐在他旁边，手里捧着厚厚的病理报告和生物化学工具书，准备陪着他熬夜，顺便查阅P450酶的资料。
“别急，慢慢来。”
程新竹喝了一口自己的抹茶拿铁，看着屏幕上乱跳的曲线，随口嘟囔道，“这AI跟养细胞似的，真娇气。
“你知道吗，我们养细胞的时候最怕也是环境波动。
“培养液的pH值只要差个0.1，或者温度波动个0.5度，那些酶就罢工了，细胞直接死给你看。
生物体内的反应环境必须是绝对稳定的，这叫稳态Homeostasis。
“只有环境稳了，酶才能专心干活……………”
“稳态....……”
林允宁听着程新竹的喋喋不休，端着咖啡的手忽然停在半空。
他的瞳孔猛地收缩，脑海中那个一直旋转的齿轮，突然卡进了一个关键的槽口。
【天?:灵感洞察LV.1已激活。
】
他的目光从咖啡杯移到了屏幕上那乱糟糟的数据流上。
神经网络的每一层，不就是生物体内的一级级酶促反应吗?
现在的困境是，前一层的参数一变，输出的数据分布均值和方差就跟着变。
下一层神经元就像是那个可怜的细胞，上一秒培养液还是酸性的，下一秒就变成碱性了，它光顾着适应环境了，哪还有精力去处理信息?
“如果生物体需要稳态......”
林允宁喃喃自语，眼睛越来越亮，“那神经网络也需要稳态。”
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！