Cruise007
论坛版主
论坛版主
  • 最后登录2020-10-19
  • 发帖数100
  • 金币4145枚
  • 贡献勋章0枚
  • 原创写手
  • 喜欢达人
  • 社区居民
  • 忠实会员
阅读:685回复:4

当UNet遇见ResNet会发生什么?

楼主#
更多 发布于:2020-04-16 18:58
1.前言
这篇文章主要以几篇经典的分割论文为切入点,浅谈一下当Unet遇见ResNet会发生什么?
2. UNet
首先回顾一下UNet,UNet的结构如下图所示:

图片:1-1.png





UNet 网络结构
「从UNet的网络结构我们会发现两个最主要的特点,一个是它的U型结构,一个是它的跳层连接。」 其中UNet的编码器一共有4次下采样来获取高级语义信息,解码器自然对应了4次上采样来进行分辨率恢复,为了减少下采样过程带来的空间信息损失跳层连接被引入了,通过Concat的方式使得上采样恢复的特征图中包含更多low-level的语义信息,使得结果的精细程度更好。
使用转置卷积的UNet参数量是31M左右,如果对其channel进行缩小例如缩小两倍,参数量可以变为7.75M左右,缩小4倍变成2M左右,可以说是非常的轻量级了。UNet不仅仅在医学分割中被大量应用,也在工业界发挥了很大的作用。
3. ResNet
再来简单回顾一下ResNet。
在ResNet之前普遍认为网络的深度越深,模型的表现就更好,因为CNN越深越能提取到更高级的语义信息。但论文的实验发现,通过和浅层网络一样的方式来构建深层网络,结果性能反而下降了,这是因为网络越深越难训练。实验如Figure1所示:

图片:1-2.png





因此网络的深度不能随意的加深,前面介绍的GoogLeNet和VGG16/19均在加深深度这件事情上动用了大量的技巧。那么到底什么是残差呢?
首先,浅层网络都是希望学习到一个恒等映射函数,其中指的是用这个特征/函数来代表原始的的信息,但随着网络的加深这个恒等映射变得越来越难以拟合。即是用BN这种技巧存在,在深度足够大的时候网络也会难以学习这个恒等映射关系。因此ResNet提出将网络设计为,然后就可以转换为学习一个残差函数,只要残差为,就构成了一个恒等映射,并且相对于拟合恒等映射关系,拟合残差更容易。残差结构具体如Figure2所示,identity mapping表示的就是恒等映射,即是将浅层网络的特征复制来和残差构成新的特征。其中恒等映射后面也被叫作跳跃连接(skip connrection)或者短路连接(shortcut connection),这一说法一直保持到今天。同时我们可以看到一种极端的情况是残差映射为,残差模块就只剩下,相当于什么也不做,这至少不会带来精度损失,这个结构还是比较精巧的。

图片:1-3.png

模块为什么残差结构是有效的呢?这是因为引入残差之后的特征映射对输出的变化更加敏感,也即是说梯度更加,更容易训练。从图2可以推导一下残差结构的梯度计算公式,假设从浅层到深层的学习特征,其中就是带权重的卷积之后的结果,我们可以反向求出损失函数对的提取,其中代表损失函数在最高层的梯度,小括号中的表示残差连接可以无损的传播梯度,而另外一项残差的梯度则需要经过带有可学习参数的卷积层。另外残差梯度不会巧合到全部为,而且就算它非常小也还有这一项存在,因此梯度会稳定的回传,不用担心梯度消失。同时因为残差一般会比较小,残差学习需要学习的内容少,学习难度也变小,学习就更容易。
4. 当UNet初见ResNet
我们知道UNet做下采样的BackNone是普通的CBR模块(Conv+BN+ReLU)堆叠的,一个自然的想法就是如果将学习更强的ResNet当作UNet的BackBone效果是否会更好呢?
CVPR 2017的LinkNet给出了答案。LinkNet的网络结构如下所示:

图片:1-4.png

其中,conv 代表卷积,full-conv 代表全卷积,/2代表下采样的步长是2,*2代表上采样的因子是2。在卷积层之后添加 BN,后加 ReLU。左半部分表示编码,右半部分表示解码。编码块基于ResNet18。编解码模块如下所示。

图片:1-5.png



编码模块

图片:1-6.png

解码模块

这项工作的主要贡献是在原始的UNet中引入了残差连接,并直接将编码器与解码器连接来提高准确率,一定程度上减少了处理时间。通过这种方式,保留编码部分中不同层丢失的信息,同时,在进行重新学习丢失的信息时并未增加额外的参数与操作。在Cittycapes和CamVID数据集上的实验结果证明残差连接的引入(LinkNet without bypass)使得mIOU获得了提升。

图片:1-7.png

在Cityscapes上的实验结果

图片:1-8.png

在CamVid上的实验结果

这篇论文的主要提升技巧在于它的bypass技巧,但我们也可以看到ResNet也进一步对网络的效果带来了改善,所以至少说明ResNet是可以当成BackBone应用在UNet的,这样结果至少不会差。
5. 当UNet再见ResNet
CVPR 2018北邮在DeepGlobe Road Extraction Challenge全球卫星图像道路提取)比赛中勇夺冠军,他们提出了一个新网络名为D-LinkNet,论文链接以及代码/PPT见附录。

图片:1-9.png

D-LinkNet 网络结构

D-LinkNet使用LinkNet作为基本骨架,使用在ImageNet数据集上与训练好的ResNet作为网络的encoder,并在中心部分添加带有shortcut的dilated-convolution层,使得整个网络识别能力更强、接收域更大、融合多尺度信息。网络中心部分展开示意图如下:

图片:1-10.png

网络中心部分展开示意图

这篇论文和ResNet的关系实际上和LinkNet表达出的意思一致,也即是将其应用在BackBone部分增强特征表达能力。
6. 最后,ResNet+UNet被玩出了花
这篇文章其实是比上两篇文章早的,但我想放到最后这个位置来谈一下,这篇文章是DLMIA 2016的文章,名为:「The Importance of Skip Connections in Biomedical Image Segmentation」 。这一网络结构如下图所示

图片:1-11.png

所以这一节介绍的是将ResNet和UNet结合之后对跳跃连接的位置做文章,通过这种长跳短跳连接可以使得网络获得更好的性能。
7. 总结
这篇文章只是对我个人阅读ResNet相关的类UNet分割结构的一点小总结,希望能起到一点作用科普和给你带来一点点启发。
8. 附录
LinkNet:https://arxiv.org/abs/1707.03718
D-LinkNet:http://openaccess.thecvf.com/content_cvpr_2018_workshops/w4/html/Zhou_D-LinkNet_LinkNet_With_CVPR_2018_paper.html
D-LinkNet代码和PPT:https://github.com/zlkanata/DeepGlobe-Road-Extraction-Challenge
The Importance of Skip Connections inBiomedical Image Segmentation:https://arxiv.org/pdf/1608.04117.pdf
喜欢3

最新打赏:0人

努力到无能为力,拼搏到感动自己
飞原000
技术员
技术员
  • 最后登录2020-10-15
  • 发帖数102
  • 金币706枚
  • 贡献勋章0枚
  • 社区居民
沙发#
发布于:2020-04-17 08:37
高级理论,值得学习,谢谢楼主分享
月的窗棂_D
高级工程师
高级工程师
  • 最后登录2020-10-20
  • 发帖数218
  • 金币5062枚
  • 贡献勋章0枚
  • 社区居民
  • 忠实会员
板凳#
发布于:2020-04-17 09:30
mark一下,以后肯定有用
< Thinking Rains You >
yangbaojun
技术员
技术员
  • 最后登录2020-10-16
  • 发帖数42
  • 金币514枚
  • 贡献勋章0枚
  • 社区居民
  • 忠实会员
地板#
发布于:2020-04-18 09:59
高级理论,值得学习,谢谢楼主分享
回忆里的小时候
技术员
技术员
  • 最后登录2020-10-07
  • 发帖数93
  • 金币289枚
  • 贡献勋章0枚
  • 社区居民
4楼#
发布于:2020-09-26 16:19
高级理论,值得学习,谢谢楼主分享
游客

返回顶部
支付

欢迎打赏,请选择打赏金额

  • 1元
  • 6元
  • 10元
  • 66元
  • 100元

支付即代表同意《本站支付协议》 有疑问请联系客服