上海论文网是一家老字号代写网站,专业提供代写硕士毕业论文服务。

基于卷积神经网络的图像盲超分辨之计算机研究

日期:2020-02-14 20:20 作者:上海论文网 编辑:vicky 点击次数:168
销售价格:0 论文编号:el2020021420204419779 论文字数:4481 所属栏目:计算机论文
论文地区: 论文语种:其他 论文用途:其他

本文是一篇计算机论文,本文提出循环模糊核校正网络(Iterative Kernel Correction,IKC),通过估计网络对 LR 图像退化信息中对超分辨效果影响较大的模糊核进行估计,并通过循环方式进行调整以

本文是一篇计算机论文,本文首先对图像退化过程进行建模,将真实 LR 图像可能出现的模糊和噪声加入退化模型,使得构建的 LR 图像更接近真实场景。本文提出使用卷积神经网络对LR 图像的退化参数进行估计。根据分析本文发现退化模糊核的估计准确程度对最终超分辨效果有较大的影响,不准确的退化模糊核会使超分辨结果出现过平滑或伪影。因此本文通过 IKC 以循环的方式对初步估计的退化模糊核进行校正,以减小估计误差,从而得到较为准确的退化退化模糊核。同时本文提出了 SFTMD 网络,网络中使用了空间特征变换层将 LR 图像估计得到的退化参数与超分辨过程中间特征进行融合调整,使得模型能够更好的利用退化信息对 LR 图像进行超分辨。通过结合 IKC 与 SFTMD,模型可以实现端对端的训练。

第 1 章 绪论

1.1 课题背景与研究意义
近年来,随着数码相机、智能手机等硬件成本的不断下降与质量的不断提升,移动图像采集设备不断普及,海量的图片与视频被捕捉拍摄。同时由于 4G 网络覆盖区域不断增加,这些图像与视频在互联网中不断流动传播,对人们的工作与生活产生了巨大影响。相比于低质量缺少纹理的图片对于图像内容的破坏,纹理细腻、质量清晰的图片能给人们带来更多信息,极大提升人们的视觉感受。因此人们对于高清晰高质量数字图片的需求逐渐增大。
然而大部分图像采集设备的解析力因为体积、成本等因素导致设备采集的原始图像质量受到限制。衍射现象限制了光学传感器单位面积的像素数量,而设备对便携的需求限制了光学传感器的体积与镜头的解析、变焦能力;设备的成本问题影响了镜头通光量与传感器对噪声的控制能力。在图像采集过程中,对焦不准、快门速度过慢等因素则会导致采集的图像出现模糊,极大影响了图像的视觉效果。同时,在传播过程中的数字编解码会使得图像数据出现一定程度的损失,导致图像质量出现不同程度的下降。因此人们不断探索数字图像优化算法,对采集的图像进行复原优化,从而提升图像质量,提供更好的视觉效果。
图像超分辨率(Super-resolution,SR)是数字图像复原任务的一种,是指将给定的清晰度较低、细节较少的低分辨率图像(Low-resolution,LR)或图像序列,通过数字图像处理算法转化为高质量、细节丰富的高分辨率图像(High-resolution,HR)。经过算法处理后的 HR 图像具有清晰的边缘、丰富的纹理的同时,能在整体结构上与 LR 图像保持一致。从而在不影响图像内容的情况下,让人们对于图像的感官感受获得了极大提升。
........................

1.2 国内外研究现状
由于图像超分辨问题的解不唯一,导致超分辨问题成为病态问题。大多算法通过先验知识对超分辨问题的解空间进行约束。在传统的图像超分辨算法中,我-们可以根据对待图像先验知识的方式将算法分为四种[2]:预测模型、基于边缘模型、基于统计的方法和基于字典学习的方法;其中预测模型中基于插值的算法,如最近邻插值(Nearest)、双线性插值(Bilinear)、Bicubic 和 Lanczos 算法,通过对LR 中相邻像素值进行加权平均来获得 HR 的对应像素。然而生成图像由于局部相似性而缺少锐利边缘所需要的较大梯度,导致 HR 缺少高频细节信息,视觉上过于平滑。IP[3] 方法利用 HR 通过预定义下采样模型迭代生成 LR,通过生成图与真实的 LR 之间的差异对 HR 进行补充修正。由于生成的 LR 和 HR 在线性下采样下有最好匹配,因此边缘对比度比双三次插值结果有所增强。基于图像边缘信息的方法[4] 通过边缘先验学习到梯度轮廓参数,用来重建 HR 图像。此类方法生成的图像在较大边缘处表现比较锐利,但仍然无法处理如纹理等的高频细节信息。基于统计类方法[5],通过图像重尾梯度分布预测 HR 图像。在字典学习方法中,Freeman等方法[6–13] 使用 LR/HR 图像对做字典,通过最近邻方法找到高分辨率图像中的对应块来重建 HR。Chang et al[14] 在搜索方法上使用流形嵌入的方法替代了最近邻。一些方法通过探索图像内部相似性对解空间进行约束[15,16]. 随后出现了如核回归、随机森林和 ANR[17]、A+[18] 等方法,这些方法在映射函数的准确率或速度方面有所增强。
近年来深度学习技术由于具有强大的特征学习能力,在计算机视觉任务中展现出了极大优势。随着硬件并行计算能力提升、Re LU 等激活函数和大量数据集的出现,卷积神经网络(Convolutional Neural Network, CNN)在图像分类、目标检测、人脸识别和行人检测等方面迅速超越了传统算法,取得了重大成功。
..............................

第 2 章 基于合成退化图像的图像盲超分辨

2.1 图像退化模型及参数设定
本章首先对 LR 图像退化过程的关键因素进行建模。通过结合 Bicubic 下采样方式、图像模糊和噪声三个退化因素,我们将 LR 图像的退化过程表示为公式2-1所示:
基于卷积神经网络的图像盲超分辨之计算机研究
退化可以提高算法对真实场景的处理效果。
在模型中的模糊核设置方面,本文使用了图像处理领域广泛使用的各向同性高斯模糊核。对于各向同性高斯模糊核,在 2,3,4 倍超分辨倍率下,模糊核宽度范围设置为 [0.2,2],[0.2,3] 和 [0.2,4]。模糊核大小固定为21 × 21 像素,模糊核可视化结果如图 2-1 所示:
图2-1 各项同性模糊核可视化图
.............................

2.2 图像盲超分辨模型
SRMD 首先对图像超分辨过程中的 LR 图像退化过程进行建模,并实现单一模型处理多退化超分辨任务。但 SRMD 应用时需要输入 LR 图像的退化参数,难以直接应用于实际的盲超分辨任务,因此本章提出预测网络(Predictor Network,P)对 LR 图像退化信息进行预测。超分辨模型对于预测模糊核的准确度非常敏感。如图 2-3 所示,其中σLR表示 LR 图像的真实退化模糊核宽度,σSR表示超分辨过程使用的退化模糊核宽度。可见,如图像矩阵下三角部分,超分辨过程使用的退化模糊核大于真实 LR 图像退化模糊核将会导致超分辨结果出现振铃现象;而从上三角部分可见,超分辨过程使用的模糊核小于真实 LR 图像退化模糊核则会导致超分辨结果过平滑,视觉效果难以令人满意;只有当超分辨过程使用的退化模糊核符合 LR 真实退化模糊核时(对角线部分),才能输出清晰且无非自然现象的高质量图像。从图像的统计特征也能反映此现象。如图 2-4 所示,当退化模糊核不匹配时,图像梯度的分布偏离了自然图像的重尾梯度分布。
因此,本章提出循环模糊核校正网络,根据预测结果以及超分辨的中间结果,通过循环的方式对退化模糊核进行校正,最终得到较为准确的退化模糊核,结合非盲超分辨网络,最终输出符合人类视觉效果的超分辨结果。
..................................

 

第 3 章 真实超分辨数据集 .................................27
3.1 数据集采集及处理 ...................................... 27
3.1.1 变焦成像分析 ................................... 27
3.1.2 数据集采集 ..................................... 28
第 4 章 基于沙漏模块的图像超分辨模型 ............................39
4.1 图像质量对比 ................. 39
4.2 HGSR 模型 ....................................... 40
4.3 实验结果及分析 ................................... 42\

第 4 章 基于沙漏模块的图像超分辨模型

4.1 图像质量对比
本章选择了 PSNR、SSIM 和 LPIPS 三种有参考图像质量评价指标和拉普拉斯梯度方差、BRISQUE 两种无参考图像质量评价指标对 RSR 图像进行评测。表 4-1为 RSR 中的真实 LR 图像和通过对 HR 图像进行 Bicubic 降采样得到的 LR 图像的图像质量对比。
基于卷积神经网络的图像盲超分辨之计算机研究
梯度方差数值越低表示图像清晰度越低,纹理越稀疏。BRISQUE 指标越高表示图像质量更不符合人类视觉感受。从表中梯度方差和 BRISQUE 可见真实 LR 图像有着更低的清晰度和更稀疏的纹理。图 4-1 所示为真实 LR 图像和合成 LR 图像的图像对比,可见真实的 LR 图像有着更差的视觉感官效果。基于 CNN 的超分辨模型是通过数据驱动的方式学习 LR 图像到 HR 图像的映射过程,从而实现对 LR图像的超分辨率。真实 LR 图像的 PSNR、SSIM 和 LPIPS 三种有参考评价指标相对于通过 Bicubic 方式合成的 LR 图像更低,这表示真实 LR 图像的退化较合成 LR图像来说更为严重复杂,因此用于真实超分辨任务的模型需要学习更为复杂的映射关系,才能重建出清晰的 HR 图像。
...........................

结论


近年来,由于卷积神经网络强大的学习能力和端对端学习的特性,基于卷积神经网络的超分辨方法不断涌现,在视觉效果和评价指标上逐渐超越了传统超分辨方法。这些方法大多假设 LR 图像由 HR 图像通过 Bicubic 插值降采样得到,然而真实 LR 图像由于噪声、运动模糊和镜头模糊等因素会出现不同程度的退化,当退化过程不符合算法假设时,模型超分辨率效果会出现明显下降,无法输出清晰高质量的 HR 图像。

本文首先对图像退化过程进行建模,将真实 LR 图像可能出现的模糊和噪声加入退化模型,使得构建的 LR 图像更接近真实场景。本文提出使用卷积神经网络对LR 图像的退化参数进行估计。根据分析本文发现退化模糊核的估计准确程度对最终超分辨效果有较大的影响,不准确的退化模糊核会使超分辨结果出现过平滑或伪影。因此本文通过 IKC 以循环的方式对初步估计的退化模糊核进行校正,以减小估计误差,从而得到较为准确的退化退化模糊核。同时本文提出了 SFTMD 网络,网络中使用了空间特征变换层将 LR 图像估计得到的退化参数与超分辨过程中间特征进行融合调整,使得模型能够更好的利用退化信息对 LR 图像进行超分辨。通过结合 IKC 与 SFTMD,模型可以实现端对端的训练。本文在仿真合成数据测试集和真实图像测试集上对 IKC、SFTMD 模型进行了测试,并与目前主流基于神经网络的超分辨算法进行对比。实验证明,IKC、SFTMD 方法在 PSNR、SSIM 指标上和视觉上都有良好的表现。
该论文为收费论文,请扫描二维码添加客服人员购买全文。