手机浏览器扫描二维码访问
第606章 用故事解释softmax函数的溢出问题（第1页）
用故事解释softmax函数的溢出问题
故事背景：龙族宴会上的金碗
在一座神秘的龙族王国，龙族每年都会举行一次盛大的宴会，宴会上有一个传统：每条龙要把自己的财富（金币数量）放进一个金碗，然后让智慧长老计算每条龙的“财富占比”，来决定谁是这一年的财富之王。
宴会当天，四条龙分别报出了自己的金币数量：
?
火龙：100万金币
?
冰龙：200万金币
?
雷龙：300万金币
?
风龙：10亿金币
智慧长老准备使用一个古老的计算方法——softmax规则，将这些财富转换成概率来比较。但他很快发现了一个严重的问题：
金碗炸了！
为什么？因为按照softmax的计算方法，他需要计算每个金币数量的指数值：
但这些数值实在是太大了，远远超出了王国的计算能力，直接导致金碗崩溃（计算溢出）。
智慧长老陷入了困境，他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧：
“我们不直接放金币，我们可以先让大家的金币数减去最大的金币数！”
于是，他重新计算：
?
火龙的金币数变为
100万
-
10亿
=
-9.99亿
?
冰龙的金币数变为
200万
-
10亿
=
-9.98亿
?
雷龙的金币数变为
300万
他如焰藏匿我心 军人军医，办公室恋情？ 重生1990，带着全村人发家致 温婉沧海 末世，给异类收编 导演我要举报！她跑龙套还开挂！ 引凰归帝凰临：炼丹契兽倾世女帝 和校花解散后，契约灵兵皆S级 他的Freesia 梦幻西游：大唐弃徒，成就史一法 哭包竹马爱哭还难哄 你和我的苏打水情缘 仙集 爱丽丝综合征 我在乡下当村医 快穿：拯救反派，本系统亲自下场 武夫李青舟，要问剑仙李太白 隔壁那个帝少 意外得到空间后金手指带我闯末日 带着猴哥游异界
汉子他又野又凶
江暮晓重生在纪凛还是她未婚夫的时候，她决定好好改造这个未来毒枭。后来才发现，纪凛是个英雄。如果您喜欢汉子他又野又凶，别忘记分享给朋友...
穿成团宠后她暴富了
穿成团宠后她暴富了简介emspemsp（团宠）（仙女人设）（1V1蜜宠）一朝穿越，姜知绵成为姜家团宠，众星捧月，蜜罐里长大。然后，她给自己加上仙女人设之后，一切就变得疯狂了疼爱姜知绵的二伯上山，有野鸡飞到他锄头上，撞死了！讨厌姜知绵...
长生仙婿
我曾经助炎黄二帝大战蚩尤，长生万亿年。我曾经助神农品尝百草，帮始皇帝统一七国，却被觊觎长生之道。萧凡长生无数岁月发觉无聊之后，入赘林家当上门女婿，本想安静的度过岁月，却为了维护爱妻不得不重新崛起如果您喜欢长生仙婿，别忘记分享给朋友...
官场：刚被免职就被佳人缠上
宦海浮沉，诱惑太多，金钱，美女，权利。当这些摆在面前时，一向风轻云淡的赵辰却误打误撞坠入了美色，且看他翻手为云覆手为雨，在桃色陷阱中精明脱身，官运亨通。...
无限大萌王
无限大萌王简介emspemsp关于无限大萌王江睿穿越了可为什么获得萌王能力的我不在异界？不是赛博朋克也不是蒸汽克苏鲁？而是现代？可为啥现代还有超凡？灵气复苏？量子力学，平行宇宙？等等，我有一个大胆的想法！找到自己！然后？！穿越还是重生？这是一个问题这是一个史莱姆穿越就被追杀然后机缘巧合下为祸世界的故事注又名关于我转生成萌王在现代这档事旧日史莱姆闯诸天超凡萌王史莱姆之主萌王乐园等啪叽！...
我想要幸福
我想要幸福简介emspemsp两个龟缩在黑暗中的人，脱不开过去痛苦的桎梏，走不进阳光灿烂的未来，他们在各自的世界中徘徊和沉沦，一遍遍寻求自我救赎，一遍遍被黑暗吞噬，他们是长在腐朽土地上的绝美花朵，芳香却阴郁。不想辜负各自父...