手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第2页）
当梯度太大时，参数的调整会变得过于剧烈，网络的学习变得不稳定，甚至会导致训练失败。
这就像你在陡峭的悬崖边滑落，一下子失去了控制。
网络的参数变化过大，导致结果变得很不稳定，甚至完全错误。
概括地说：
梯度消失就像在一座越来越平的山坡上，梯度变得很小，神经网络不知道该怎么调整，进而学习变得很慢，甚至无法进步。
梯度爆炸就像从悬崖边滚下去，梯度变得很大，网络的学习变得过于剧烈，结果会非常不稳定，训练过程变得不可控。
这两个问题经常会出现在深层神经网络中。
而这也是马库斯所要倾诉的困扰。
“说起来，最近的研究还卡在了‘梯度消失’的问题上。”马库斯苦笑着说道，靠在沙发上，“我们在训练一些更深层次的神经网络时，发现模型一旦超过一定的深度，反向传播算法中的梯度会逐渐趋近于零，根本无法有效更新权重。深度越大，梯度就越容易消失，整个网络的学习效率大幅下降。”
马库斯知道林枫硕士是麻省理工学院的计算机硕士，因此也就全都用专业术语表述了。
对于这些林枫当然能听明白，非但能听明白，而且作为一个资深的人工智能从业人员。
林枫也清楚知道马库斯面临的难题。
林枫对AI的发展也有所了解，涉及到梯度问题在2014年是深度学习研究中的一个巨大挑战。
甚至可以说解决不了梯度问题就很难有真正的深度学习，也就不会有后来的人工智能成果的一系列井喷。
林枫心说，自己这是一不小心站在了技术发展的最前沿了吗？
不得不说，这种举手投足之间就能影响时代命运的感觉是真的无比美妙。
“梯度消失的问题一直存在，尤其是深层网络。梯度爆炸倒是相对好解决，但梯度消失会直接导致学习过程停滞不前。”林枫沉思片刻，补充道，“这不仅是你们实验室的问题，也是整个领域的瓶颈。反向传播的基本原理决定了，当信号在网络中层层传递时，梯度的变化会以指数级缩小。”
马库斯脑海中泛起了大大的问号，梯度爆炸问题好解决吗？
他怎么觉得梯度爆炸问题也挺麻烦的？
不过聊天本来就是求同存异，既然林同样认为梯度消失难以解决就够了。
马库斯也没纠结为什么林说梯度爆炸容易解决，而是继续就梯度消失发表观点说道：“是啊，哪怕有了ReLU（修正线性单元）激活函数的引入，虽然能在一定程度上减轻梯度消失，但对深层网络还是不够。”
林枫想了想，说道：“你们有考虑过改进网络结构吗？”
喜欢不朽从二零一四开始请大家收藏：（）不朽从二零一四开始
致命毒宠，凛冬玫瑰 我有无限分身，成就仙帝不过分吧 轮回天帝 你跟我很想至少一半以上 八零：迫嫁糙汉怀上三胞胎 趣谈老祖宗那些事儿 费伦大陆的普通奇幻冒险 小小领主不好惹！惹急眼了争天下 纨绔女王爷：腹黑夫君别使坏 第四天灾：我的玩家会修仙 穿越大唐：打造最强工业园 人在四合院：我能看见弹幕 全民巨鱼求生：我能听到巨鱼心声 祁木温年 穿越后，我被新帝瞄上了 鬼魂与反派的禁忌之恋 清末小旗兵 我在都市学会了修真直到无敌于世 综穿带着王者系统当bKing 贾二虎的迷乱青春续集
鬼医倾城之摄政王有喜了
关于鬼医倾城之摄政王有喜了她是神技局的特工鬼医离月，绝代风华，一双素手，可起死回生。她是相府弃女，无才无德又‘貌丑’，替嫁不成，反身陷花楼。一朝醒来，当她变成她调戏美男撕白莲，治病救人名天下。当她赚的盆满钵满，准备逃之夭夭之际，债主上门了。某女哭，为何她随手调戏的美男，竟会是权倾朝野的摄政王！女人，调戏完了本王不用负责的吗？男人一脸阴鸷的靠近。王爷，有话好商量！安临月扶腰泪奔，说好的商量呢？...
契约少女VS恶魔天团
为了赚钱，余念进入水晶宫伺候四位传说中完美无瑕的贵族少爷们，谁知道传言全都是假的，少爷们一个比一个难缠，一个比一个变态！少爷饿了我做饭，少爷渴了我递水，少爷睡觉我当抱枕，少爷出门我当跟班。可是少爷们突然化身为狼，威逼利诱强取豪夺，个个逼我做女朋友肿么办？恶魔少爷你敢说个不试试？偏执美男我这辈子只要你。冷酷boss要多少，开个价。妖孽少年脚踏18层阳台你要是不答应，我立刻从这里跳下去！余念转身就逃少爷，求求你们别闹了好不好！如果您喜欢契约少女VS恶魔天团，别忘记分享给朋友...
卿卿神君别渡我
她追了他几千年，走他走过的神山，去他到过的凡间，最终与他并肩而立，创下万世江山，他却一柄神剑，让她魂飞魄散。人人都说她入了魔，她是魔。白瑟你是谁？不记得了？如此也好。他走了，走到一处墓碑前，看见了远远的她，他笑了，笑着同她告了别，然后，他的躯体连同他远古的魂魄消散在了茫茫天地间。从此世间再无拂弦。如果您喜欢卿卿神君别渡我，别忘记分享给朋友...
重生学霸：校草，放肆宠
关于重生学霸校草，放肆宠（墙裂推荐‘醉华华’的甜妻报到老公，宠上瘾）重生女神学霸√爽文√甜宠√鲜血淋漓，闺蜜和弟弟怂恿她自残说是为了她好，心上人玩弄她说是为了让她快乐，父亲将录取通知书上她的名字换成弟弟的名字，美其名曰女子无才便是德。被亲近之人推入崖底，不料竟是他来替她收尸。带着满腔恨意重活一世，她虐渣弟斗白莲花揍渣男以其人之道还治其人之身，将所有即将降临在她身上的噩运悉数掐死在萌芽里。不再唯唯诺诺，...
掠夺两界
我叫南木，两个空间的主宰者。南木格言老子曰天地不仁以万物为刍狗。掠夺异界文明面对机甲战士兽化战士符法师变种人僵尸荒兽变异怪兽异星人等等南木说打劫！征服原界文明面对商业寡头，南木说我能用黄金铺满你所能看到的地方！面对工业巨头，南木说看过漫威吗？托尼斯塔克玩的是哥剩下的东西。面对能源霸主，南木说见过一张卡片，驱动的坦克吗？那如果驱动的是飞船呢？面对修者超能者，南木说来呀！正面钢呀！面对两界的女人南木冷静些！今天名额满了。孟子曰有无相生。（非无脑爽文，逻辑科幻，古风描写，不爽你找我）Q群109576670如果您喜欢掠夺两界，别忘记分享给朋友...