resnet50网络结构,resnet50网络结构绘制及注意点详解?

营销圈公众号引导关注

解决的问题

由于梯度消失,深层网络很难训练。因为梯度反向传播到前面的层,重复相乘可能使梯度无穷小。结果就是,随着网络的层数更深,其性能趋于饱和,甚至迅速下降。

核心思想

引入一个恒等映射(也称之为跳跃连接线),直接跳过一个或者多个层,尺寸一样时可以相加,尺寸,当尺寸不一样时,需要进行downsample操作,使得维度一致。

resnet50网络结构,resnet50网络结构绘制及注意点详解?

  • 在网络上堆叠这样的结构,就算梯度消失,我什么也学不到,我至少把原来的样子恒等映射了过去,相当于在浅层网络上堆叠了“复制层”,这样至少不会比浅层网络差。
  • 万一我不小心学到了什么,那就赚大了,由于我经常恒等映射,所以我学习到东西的概率很大。
  • 恒等映射分两种:高宽不变,维度变;高宽变为二分之一,维度变

resnet50网络结构,resnet50网络结构绘制及注意点详解?

数学推导

关于为什么残差结构(即多了一条跳跃连接线后)为什么一定程度缓解了梯度消散的数学推导:

resnet50网络结构,resnet50网络结构绘制及注意点详解?

50层的由来

resnet50网络结构,resnet50网络结构绘制及注意点详解?

好了,这篇文章的内容营销圈就和大家分享到这里,如果大家对网络推广引流和网络创业项目感兴趣,可以添加微信:Sum8338 备注:营销圈引流学习,我拉你进直播课程学习群,每周135晚上都是有实战的推广引流技术和网络创业项目课程分享,当然是免费学!

版权声明:本站部分文章来源互联网用户自发投稿,主要目的在于分享信息,版权归原作者所有,不承担相关法律责任。如有侵权请联系我们反馈邮箱yingxiaoo@foxmail.com,我们将在7个工作日内进行处理,如若转载,请注明本文地址:https://www.yingxiaoo.com/123272.html