手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第1页）
2014年，人工智能领域正处于深度学习的快速发展时期，但在训练深层神经网络时，仍存在一些无法绕过的核心难题，其中“梯度消失”和“梯度爆炸”问题尤其突出。
当马库斯和林枫的对话逐渐转向这些人工智能瓶颈时，他们自然聊到了这个话题。
对于人工智能涉及到的梯度消失和梯度爆炸这个问题，对于前世就从事人工智能方面工作的林枫来说，他自然是不陌生。
梯度消失和梯度爆炸是神经网络训练中常见的问题。
了解梯度消失和梯度爆炸首先要了解神经网络。
简单说，神经网络是一种模仿人脑工作原理的计算模型。
它由很多“神经元”组成，这些神经元分成多层，数据会从一层传到另一层，最终得到一个结果。
训练神经网络的过程就是不断调整这些神经元之间的“连接强度”，让网络的输出越来越接近我们想要的结果。
为了调整神经网络中的这些连接强度，我们需要用到一种叫“梯度”的东西。
简单来说，梯度就是用来指引我们“往哪里走”的方向，就像你爬山时要知道往哪边是上坡、哪边是下坡。
我们通过“梯度”来知道哪些参数需要调整，从而让网络的表现变得更好。
那“梯度消失”和“梯度爆炸”又是什么呢？
假设你在玩一个滑滑梯，当你站在滑梯的最高处，往下滑时，你能很快感受到速度在增加，因为坡度很大。
但是，如果滑到快要到底部的地方，坡度变得很小，你几乎就感觉不到滑动的速度了。
这里的“坡度”就像是“梯度”——当坡度变小，滑动的速度也变小。
在神经网络中，类似的事情也会发生。
如果我们给网络很多层，它们之间的梯度会越来越小，传到前面几层时，梯度几乎“消失”了。这就是“梯度消失”问题。
梯度太小，无法有效调整那些神经元的连接强度，网络的训练就会变得非常困难。
想象你在爬一个大山，山的坡度越来越平，最终你几乎感受不到自己在上升了，这时你很难再判断该怎么继续往上爬。
在神经网络里，梯度消失的问题就是这种感觉，网络不知道该如何继续改进。
而梯度爆炸又是另外的一个极端。
假设这次你站在一座非常陡的悬崖边，一不小心就滚下去了！
因为坡度太陡了，你的速度变得非常快，失控了。
在神经网络中，这种情况也被称为“梯度爆炸”
百岁躺进棺材中，让我攻略女帝 琪亚娜的万界之旅 我携山河画卷，穿越古今追光 碎婚 假千金撬了男主他墙角 穿越后我在异世界娱乐圈爆红 和闺蜜穿七零，带着婆婆一起离 春花秋月李三妮 倚天：我从双修开始修炼成仙 妖月悬空，开局觉醒双星核 鞠怡以的神影 神耳偷仙，诡变求存 血虹剑 你帅，我靓，咱俩日子过得旺 红颜情殇之宫阙风云 重生之都市极品天尊 我在快穿游戏里玩儿嗨了 老婆请转身沈浪苏妙涵 被道侣分手后，系统终于来了！ 一穿越就成断案高手
爱上冷漠Boss
爱上冷漠Boss简介emspemsp关于爱上冷漠Boss爱上冷漠Boss本是一场交易，却不想意外失了心，在爱情，亲情，友情的漩涡中挣扎无法自拔她花费四年的时间抹平曾经的伤口，不料却掉入到更大的惊天阴谋当中。龙盛，我们两清了。林郁...
人家吃糠我吃肉，随军过上好日子
沈七七刚拿下百花影后奖就突遭意外穿到了一本年代文里。她家作为女主对照组，全家都是极品，满门都是炮灰。沈七七作为全家团宠，不知道该哭还是该笑。书里原主一路倒贴，男女主照单全收，却对她家赶尽杀绝。沈七七一个绝版陈世美加一朵盛世白莲花，渣男贱女赶紧滚！沈七七果断拦住义愤填膺杀去男主家里逼婚的哥哥们。这个狗男人我不要...
南宋异闻录
南宋异闻录简介emspemsp关于南宋异闻录一个小小家丁，却牵扯着一个千古之秘。一桩离奇命案，把一个恋爱脑的多情大小姐和一个清冷傲娇的小俏婢联系到一起。她们，真的只是无辜涉入的人？西湖断桥，诡谲重重。情缘牵一线。真相，只在咫尺之间。...
都市续命诊所
都市续命诊所简介emspemsp关于都市续命诊所新书黑暗西游之恶魔唐僧已发表，欢迎大家来支持。一家神秘的诊所，一个充满传奇的医生，他参加过无数次的医疗爱心活动，治好过无数的重病患者，他无偿治好穷人，天价治好有钱人。他得到...
洪荒：从遇到蚩尤坐骑开始
帝俊我有一逆子陆压可为风灵道友代步，不知可否将妖族的还款期限再宽限几年？祖巫我有一幺妹后土可为风灵道友良配，不知可否再投资巫族更多的气运？三教弟子风灵老祖，我们是在除魔啊！真的不是在直播违禁场景，求求不要封了我们的直播。风灵老祖我对气运和功德没兴趣，我觉得我最幸福的时候，就是没有先天至宝和大神通，孑然一身在紫霄宫听道之余，看那白云悠悠天地转。唉，我当初就不应该接下鸿蒙紫气，它让我失去了快乐。平凡大学生叶苏意外身穿那洪荒时。看他那如何以一介凡人躯一步步成为风灵老祖。与那一众先天生灵仙佛妖魔争天地气运，证得混元道果。如果您喜欢洪荒从遇到蚩尤坐骑开始，别忘记分享给朋友...
夫君凉薄无情，重生我等和离
江晚前世嫁与公爵府，作为当家主母，从十五岁熬到了三十三岁，日夜操劳，落了一身病，最后和傅砚惨死野外。再次归来，她有了两世的记忆，第一世她是一个什么都沾点边的杂食主播，第二世，她是一个勤勤恳恳的当家主母，呵呵，结局都是惨死。再来一次，她不卷了。穿最鲜丽华贵的衣裳，吃最美味稀罕的美食。国公他冷心冷情？没关系，我们吃好喝...