Squeeze-and-Excitation Networks 笔记
发布网友
发布时间：2023-05-27 21:43
共1个回答
热心网友
时间：2024-11-26 19:50
在这篇论文中，作者调查了模型设计中稍微不同的一方面：通道之间的关系。目标是为了通过显示地对通道之间卷积特征的依赖关系进行建模，来提高网络的表达能力。作者提出了一种机制，允许网络进行特征校准(feature recalibration)。通过它，来更多地关注信息丰富的特征，抑制信息少的特征。
作者认为，在网络的不同深度，SE block会扮演不同的角色。在比较浅的层，作者认为SE是作用在对类别信息一无所知的情况下，因此，它能够支持那些底层特征。在比较高的层，SE越来越趋向于class-specific。
Squeeze-and-Excitationblock。像前面所说，SE block可以应用在任何转换上。论文中，那卷积操作作为例子。 表示卷积操作， 表示卷积的核，那么 的输出 可以表示为：
Squeeze：Global Information Embedding：作者将squeeze视为对全局信息的embedding，我们知道在卷积操作中，每一个filter都操作在一个区域中，是无法利用其他区域的信息。因此，作者使用了global average pooling来产生每个通道的统计信息。如下图：
Excitation：Adaptive Recalibration：为了利用squeeze操作的信息，作者使用Excitation来捕捉通道间的相关性。
Inception
ResNet
