超分辨率图像重建方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像、视频处理技术，尤其涉及一种超分辨率图像重建方法和装置。
【背景技术】
[0002] 随着多媒体技术的迅速发展，人们对于图像和视频的视觉逼真效果和丰富的画面 细节信息的要求越来越高，这需要高分辨率的图像和视频，并且在实际的图像处理与分析 系统中，通常也都需要高分辨率的图像和视频。然而，图像的分辨率通常受限于图像采集 设备、光学、成像速度和硬件存储等制约条件，在许多成像应用中捕获的都是低分辨率的图 像和视频，例如，数码相机、医学成像系统和视频监控系统捕获的都是低分辨率的图像和视 频。所以，为了获取高分辨率的图像和视频，需要超分辨率技术去利用获取的低分辨率图像 和视频来重建出高分辨率的图像和视频。
[0003] 现有的超分辨率图像重建方法大致可以分为两大类，多帧图像超分辨率方法和单 帧图像超分辨率方法。其中，单帧图像超分辨率方法又进一步划分为基于重建的方法和基 于学习的方法。基于重建的方法通常采取约束条件或先验知识来最优化超分辨率模型的目 标函数；
[0004] 然而，对于低分辨率图像的复杂结构，上述超分辨率方法不能够恢复微小的图像 边缘和细节，甚至在结果中出现模糊不清或锯齿现象等失真，原因在于细纹图像结构和噪 声的随机性；此外，上述超分辨率方法的性能严重依赖于输入图像的噪声水平。
【发明内容】
[0005] 本发明提供一种基于结构自相似性的图像超分辨率重建方法和装置，用以有效恢 复低分辨率图像的边缘和纹理信息，提高重建图像的质量。
[0006] 第一方面，本发明提供一种超分辨率图像重建方法，包括：
[0007] 步骤S1，对输入的低分辨率图像y进行N次下采样，生成图像片库B ;
[0008] 步骤S2,对所述低分辨率图像y的任一给定图像片Xl，采用近似最近邻算法在所 述图像片库B中获取相似图像片％;
[0009] 步骤S3,聚集重叠与所述相似图像片％对应的图像区域1，并根据与所述图像区 域对应的权重系数，获得第一高分辨率图像Γ i ;
[0010] 步骤S4,对所述第一高分辨率图像Γ i采用背投影算法，获得第二高分辨率图像 L，并将所述第二高分辨率图像L加入所述图像片库B。
[0011] 在第一方面的第一种可能的实现方式中，所述对所述第一高分辨率图像Γ :采用 背投影算法，获得第二高分辨率图像L之后，还包括：
[0012] 将所述第二高分辨率图像Ii作为新的低分辨率图像y，重复执行步骤S2~步骤 S4,获得第三高分辨率图像Γ p ;
[0013] 将所述第三高分辨率图像Γ p放大P级后，采用双三次插值对所述第三高分辨率 图像Γ p进行下采样，获得放大倍数为Z的初始目标高分辨率图像Ip。
[0014] 结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述方法 还包括：
[0015] 步骤S5,对所述初始目标高分辨率图像Ip和所述低分辨率图像y采用交替最小化 算法计算数学模型a y ;
[0016] 其中，所述数学模型ay为：
[0017]
[0018] s. t. hF = hr,
[0019] 其中，退化矩阵D表示下采样算子，退化矩阵Η表示模糊算子，λ和μ表示正则 化参数，a i是所述给定图像片Xl的编码系数，a为a i的集合，β i是a i在稀疏编码域的 非局部均值，V表示梯度操作符，F是变换函数，匕是目标高分辨率图像X的参考直方图，hF 是变换的梯度图像尸(Vx)的直方图。
[0020] 结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述步骤 S5具体包括：
[0021] S51，采用K均值聚类算法获取超完备字典；
[0022] S52,根据梯度直方图保持不变算法更新所述变换函数F ;
[0023] S53,根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像 Ip〇
[0024] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述S51 具体包括：
[0025] 根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K 个初始类簇中心，采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析， 从而获得K个初始类簇；
[0026] 对每个所述初始类簇训练对应的子字典；
[0027] 将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完 备字典。
[0028] 结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述S52 具体包括：
[0029] 所述目标高分辨率图像X和所述低分辨率图像y满足图像观测模型：y = DHx+v ; 其中，退化矩阵D表示下采样算子，退化矩阵Η表示模糊算子；
[0030] 根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像X的参考梯度 直方图;其中
；其中，hy是对所述低分辨率 图像利用双三次插值得到的上采样图像的梯度直方图；hx是随机变量X的概率密度函数的 离散形式，比是独立同分布随机变量g的概率密度函数的离散形式，P是常数，R(hx)是梯 度直方图正则项，?是卷积操作符；
[0031] 通过求解优化问题rain,,, |F(Vx)-Vsb s. t. hF = i来更新变换函数F。
[0032] 结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，所述S53 具体包括：
[0033]
确定 ,其中， 0s表示第t次迭代的目标高分辨率图像估计值，pm表示第t+1/2次迭代的目标高分辨 率图像估计值，S为常数，表示#1的梯度图；
[0034] 根据确定,其中，表示第t+1/2次迭代的高分辨率 图像片Xl的稀疏系数，表示第t次迭代的高分辨率图像片Xl所归属的初始类簇对应的 子字典，民表示从初始目标高分辨率图像Ip在位置i处获取高分辨率图像片Xl的矩阵；
[0035] 根据关于优化问题的循环迭代求解的稀疏编码系数修正公式
确定第t+Ι次 迭代的高分辨率图像片Xi的稀疏系数gm): <其中，
其中，τ表示 用于调节衰减速度的控制参数，W表示归一化因子，'表示高分辨率图像片\的相似图像 片组，Sv。表示软阈值函数，c表示正则化参数；
[0036]
确定 其中， f $表示第t+1次迭代的目标高分辨率图像，Φα+1)表示史―对应的超完备字典。
[0037] 结合第一方面的第三种至第六种任一可能的实现方式，在第七种可能的实现方式 中，所述方法还包括：
[0038] 重复执行步骤S51~步骤S53,获得收敛解为最终目标高分辨率图像χΗ。
[0039] 第二方面，一种超分辨率图像重建装置，包括：
[0040] 生成模块，用于对输入的低分辨率图像y进行Ν次下采样，生成图像片库Β ;
[0041] 获取模块，用于对所述低分辨率图像y的任一给定图像片Xl，采用近似最近邻算 法在所述图像片库B中获取相似图像片I ;聚集重叠与所述相似图像片％对应的图像区域 ，并根据与所述图像区域对应的权重系数，获得第一高分辨率图像Γ i;对所述第一 高分辨率图像Γ :采用背投影算法，获得第二高分辨率图像L，并将所述第二高分辨率图 像L加入所述图像片库B。
[0042] 在第二方面的第一种可能的实现方式中，所述获取模块还用于：
[0043] 将所述第二高分辨率图像L作为新的低分辨率图像y，获得第三高分辨率图像 Γ P;将所述第三高分辨率图像Γ p放大P级后，采用双三次插值对所述第三高分辨率图 像Γ p进行下采样，获得放大倍数为Z的初始目标高分辨率图像Ip。
[0044] 结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述装置 还包括计算模块，用于对所述初始目标高分辨率图像I p和所述低分辨率图像y采用交替最 小化算法计算数学模型a y ;
[0045] 其中，所述数学模型ct y为：
[0046]
[0047] s. t. hF = hr,
[0048] 其中，退化矩阵D表示下采样算子，退化矩阵Η表示模糊算子，λ和μ表示正则 化参数，ct i是所述给定图像片Xl的编码系数，α为a i的集合，β i是a i在稀疏编码域的 非局部均值，￥表示梯度操作符，F是变换函数，匕是目标高分辨率图像X的参考直方图，hF 是变换的梯度图像/〃(▽幻的直方图。
[0049] 结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述计算 模块具体用于：
[0050] 采用K均值聚类算法获取超完备字典；根据梯度直方图保持不变算法更新所述变 换函数F ;根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像Ip。
[0051] 结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述计算 模块具体用于：
[0052] 根据尺寸大小随机选取K个所述初始目标高