NTIRE2024| 夜间图像渲染 Night Photography Rendering
发布网友
发布时间：2024-10-01 21:17
共1个回答
热心网友
时间：2024-10-17 22:50
Night Photography Rendering Challenge文章地址：
数据特征：由手机收集的RAW类型数据(华为Mate40Pro，16bitPNG with meta-data)，夜间场景中存在多个显著不同的光源(颜色校正)，噪声水平高(像素尺寸小），渐晕。
挑战赛目标：同时兼顾质量和速度，算法输入是RAW图像，输出是sRGB图像。
设置：开始时提供了最初的200张图像，用于算法开发和测试。挑战期间提供了3个验证集。此外还提供了校准白色低光场景。另外还提供了相机内ISP Pipeline的基线代码。
评估方法：使用Yandex Tasks进行图像恢复质量的评估和打分(一种由用户参与对图像进行评价的方式，赛事官方做了很多设置，保证了评分的公平性)。使用相同的计算机评估图像处理时间，保证公平性。
参赛队伍方法概述：
队伍排名：纵轴代表每秒能处理多少张图片(Mi 1.5s/张)，横轴代表图像恢复质量。
2. MiAlgo(小米)
速度最快，质量排第二(比质量第一的算法快11倍，1分制评分仅低0.01)，整体第一名。
在Deep-FlexISP基础上进行了改进。首先进行常规的ISP预处理，包含下采样、BLC、LSC、U-Net(参考文献33、26)Raw域去噪、FC4执行WB。接下来执行XYZ 到 sRGB 的变换，这一步包含色彩空间变换、镜头阴影修复、色调映射、伽马校正，将原始图像转换为 RGB 图像（固定参数）、对比度增强、再次伽马校正、再次白平衡校正，并进行定向修复。之后使用基于MWRCAN的模型细化RGB图像，并对图像进行后处理。最后训练一个分割模型(36,15)，分割出天空区域并降低色温。
3. SCBC(SRC-Beijing)
多级ISP流程，包括预处理、RAW图像去噪(使用NTIRE2020提出的预训练模型)和带有颜色校正的图像细节修复。
4. IVLTeam(意大利米兰比可卡大学)
依赖于传统的图像处理技术，包含五个阶段，分别是RAW域预处理、对sRGB图像应用非局部均值去噪、对比度增强、锐化和白平衡。
5. DH-AISP(大华)
主观质量评分得分最高。包含三大部分，分别是数据预处理模块、RAW转RGB模块、HDR模块。在数据预处理部分，执行BLC、AWB、自适应增益调整和binning操作，自适应增益调整通过计算RAW数据的平均值来生成一组曝光不足、正常曝光和过曝的图像。在RAW转RGB模块，训练了一个U-Net网络来获取不同曝光增益下的图像。在HDR模块，通过调整RAW2RGB模块的输出，产生具有不同光分布的曝光不足和过曝候选，之后，基于U-Net的曝光模型自适应地学习融合权重。最后引入CCM算法进一步优化最终输出的颜色分布。
6. 其他团队
IIR实验室首先在RAW域进行去噪(使用NAFNet，旷视2022年提出的一种高效的去噪模型)，之后在sRGB域进行了基于UNet的网络替代色调映射、颜色增强和锐化等模块进行渲染增强。PolyColor使用基于DNN的方法执行去噪，传统ISP算法用于其他步骤。OzU-VGL对23年挑战赛的冠军方案进行了更精细化的调优，使用了很多技巧提升夜间暗图像的视觉效果。
7. 总结与展望
总结：所有方法都是将ISP Pipeline中的某些模块进行了精细化调整或者替换为了人工智能模块，并没有看到端到端的进行RAW2RGB的图像渲染(这是AISP想要走的一条路线，目前来看并不成熟)。同时，两种采用了深度学习的方案，在计算效率上超越了传统方法，表明在ISP Pipeline中使用深度学习，已成为现实。
展望：提升夜视图像质量，一方面是对传统ISP Pipeline中的module进行更精细的优化，另一方面是使用轻量级深度学习算法替代某些module，例如RAW-domain/sRGB去噪、白平衡光源估计等，这一点和 海思越影系列是不谋而合的。
热心网友
时间：2024-10-17 22:51
Night Photography Rendering Challenge文章地址：
数据特征：由手机收集的RAW类型数据(华为Mate40Pro，16bitPNG with meta-data)，夜间场景中存在多个显著不同的光源(颜色校正)，噪声水平高(像素尺寸小），渐晕。
挑战赛目标：同时兼顾质量和速度，算法输入是RAW图像，输出是sRGB图像。
设置：开始时提供了最初的200张图像，用于算法开发和测试。挑战期间提供了3个验证集。此外还提供了校准白色低光场景。另外还提供了相机内ISP Pipeline的基线代码。
评估方法：使用Yandex Tasks进行图像恢复质量的评估和打分(一种由用户参与对图像进行评价的方式，赛事官方做了很多设置，保证了评分的公平性)。使用相同的计算机评估图像处理时间，保证公平性。
参赛队伍方法概述：
队伍排名：纵轴代表每秒能处理多少张图片(Mi 1.5s/张)，横轴代表图像恢复质量。
2. MiAlgo(小米)
速度最快，质量排第二(比质量第一的算法快11倍，1分制评分仅低0.01)，整体第一名。
在Deep-FlexISP基础上进行了改进。首先进行常规的ISP预处理，包含下采样、BLC、LSC、U-Net(参考文献33、26)Raw域去噪、FC4执行WB。接下来执行XYZ 到 sRGB 的变换，这一步包含色彩空间变换、镜头阴影修复、色调映射、伽马校正，将原始图像转换为 RGB 图像（固定参数）、对比度增强、再次伽马校正、再次白平衡校正，并进行定向修复。之后使用基于MWRCAN的模型细化RGB图像，并对图像进行后处理。最后训练一个分割模型(36,15)，分割出天空区域并降低色温。
3. SCBC(SRC-Beijing)
多级ISP流程，包括预处理、RAW图像去噪(使用NTIRE2020提出的预训练模型)和带有颜色校正的图像细节修复。
4. IVLTeam(意大利米兰比可卡大学)
依赖于传统的图像处理技术，包含五个阶段，分别是RAW域预处理、对sRGB图像应用非局部均值去噪、对比度增强、锐化和白平衡。
5. DH-AISP(大华)
主观质量评分得分最高。包含三大部分，分别是数据预处理模块、RAW转RGB模块、HDR模块。在数据预处理部分，执行BLC、AWB、自适应增益调整和binning操作，自适应增益调整通过计算RAW数据的平均值来生成一组曝光不足、正常曝光和过曝的图像。在RAW转RGB模块，训练了一个U-Net网络来获取不同曝光增益下的图像。在HDR模块，通过调整RAW2RGB模块的输出，产生具有不同光分布的曝光不足和过曝候选，之后，基于U-Net的曝光模型自适应地学习融合权重。最后引入CCM算法进一步优化最终输出的颜色分布。
6. 其他团队
IIR实验室首先在RAW域进行去噪(使用NAFNet，旷视2022年提出的一种高效的去噪模型)，之后在sRGB域进行了基于UNet的网络替代色调映射、颜色增强和锐化等模块进行渲染增强。PolyColor使用基于DNN的方法执行去噪，传统ISP算法用于其他步骤。OzU-VGL对23年挑战赛的冠军方案进行了更精细化的调优，使用了很多技巧提升夜间暗图像的视觉效果。
7. 总结与展望
总结：所有方法都是将ISP Pipeline中的某些模块进行了精细化调整或者替换为了人工智能模块，并没有看到端到端的进行RAW2RGB的图像渲染(这是AISP想要走的一条路线，目前来看并不成熟)。同时，两种采用了深度学习的方案，在计算效率上超越了传统方法，表明在ISP Pipeline中使用深度学习，已成为现实。
展望：提升夜视图像质量，一方面是对传统ISP Pipeline中的module进行更精细的优化，另一方面是使用轻量级深度学习算法替代某些module，例如RAW-domain/sRGB去噪、白平衡光源估计等，这一点和 海思越影系列是不谋而合的。
