HINet | 性能炸裂,旷视科技提出适用于low-level问题的Half Instance No...
发布网友
发布时间:2024-09-19 06:05
我来回答
共1个回答
热心网友
时间:2024-09-27 23:00
本文探讨了Instance Normalization在low-level视觉任务上的应用,并提出了一种新的模块:Half Instance Normalization(HIN)以提升图像复原网络性能。HINet,基于HIN模块,设计了一个简单且强大的多阶段网络,实现了在不同图像复原任务上的超越SOTA方案的性能。具体贡献包括:使用HIN改进网络建模能力,减少计算量的同时提升性能;CSFF和SAM对网络子网络进行连接;采用PSNR作为损失函数进行优化。
HIN模块在每个尺度上提取特征,下采样时通道数倍增,解码部分采用ResBlock提取高级特征并与编码部分融合,补偿信息损失。HINet包含两个子网络,均采用UNet架构,使用公式卷积提取初始特征,经过编码和解码过程后得到最终残差输出。
实验结果在多个数据集上验证了方案的有效性。在图像降噪、图像去模糊和图像去雨任务上,HINet相比MPRNet分别取得了0.28dB、0.3dB和更高的性能,且计算量降低至30%。在NTIRE2021图像去模糊Track2赛道,通过扩展HINet并采用TTA策略和模型集成,模型性能从29.05dB提升至29.25dB。
总的来说,HINet通过引入HIN模块,结合网络架构优化和额外策略,显著提升了图像复原任务的性能,展现出在low-level视觉问题上的潜力。
热心网友
时间:2024-09-27 22:58
本文探讨了Instance Normalization在low-level视觉任务上的应用,并提出了一种新的模块:Half Instance Normalization(HIN)以提升图像复原网络性能。HINet,基于HIN模块,设计了一个简单且强大的多阶段网络,实现了在不同图像复原任务上的超越SOTA方案的性能。具体贡献包括:使用HIN改进网络建模能力,减少计算量的同时提升性能;CSFF和SAM对网络子网络进行连接;采用PSNR作为损失函数进行优化。
HIN模块在每个尺度上提取特征,下采样时通道数倍增,解码部分采用ResBlock提取高级特征并与编码部分融合,补偿信息损失。HINet包含两个子网络,均采用UNet架构,使用公式卷积提取初始特征,经过编码和解码过程后得到最终残差输出。
实验结果在多个数据集上验证了方案的有效性。在图像降噪、图像去模糊和图像去雨任务上,HINet相比MPRNet分别取得了0.28dB、0.3dB和更高的性能,且计算量降低至30%。在NTIRE2021图像去模糊Track2赛道,通过扩展HINet并采用TTA策略和模型集成,模型性能从29.05dB提升至29.25dB。
总的来说,HINet通过引入HIN模块,结合网络架构优化和额外策略,显著提升了图像复原任务的性能,展现出在low-level视觉问题上的潜力。