CN102521798A - 基于有效特征裁选掩模构造的图像自动恢复方法 - Google Patents
基于有效特征裁选掩模构造的图像自动恢复方法 Download PDFInfo
- Publication number
- CN102521798A CN102521798A CN2011103564229A CN201110356422A CN102521798A CN 102521798 A CN102521798 A CN 102521798A CN 2011103564229 A CN2011103564229 A CN 2011103564229A CN 201110356422 A CN201110356422 A CN 201110356422A CN 102521798 A CN102521798 A CN 102521798A
- Authority
- CN
- China
- Prior art keywords
- image
- blur
- scale
- gradient
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract 2
- 238000011084 recovery Methods 0.000 claims description 47
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于有效特征裁选掩模构造的图像自动恢复方法，其特征在于其步骤是：图像的自动恢复，不需要先验信息；本算法可以在没有模糊形式和模糊核参数的情况下，自动恢复复杂运动轨迹下的运动模糊和一定大小范围内的失焦模糊；提高处理速度在迭代过程中引入预增强步骤，减少了迭代次数；采用图像梯度而不是图像像素值进行计算；获得更清晰的处理后图像；恢复前对图像强边缘区域进行预增强；算法更稳定。
Description
技术领域：
本发明涉及一种数字图像处理，具体涉及基于有效特征裁选掩模构造的图像自动恢复方法。
背景技术
假设模糊图像是由清晰图像和模糊核做卷积得到，一般的图像恢复技术（非盲恢复）是通过观察模糊图像由经验推测模糊的形式，（比如运动模糊、失焦模糊），进而试验出有关模糊核的参数，最后对模糊图像进行反卷积得到清晰图像。
同业中使用的多是非盲恢复：
非盲恢复的主要缺点是由经验得到的模糊核缺乏准确度，尤其对于轨迹较复杂的运动模糊，这种方式无法准确估计出模糊核，导致非盲恢复适用范围窄。
图像盲恢复不需要有关模糊核的先验信息，只需要一幅模糊图像就可以进行复杂降质过程下图像的恢复，适用范围更广，恢复效果也更好、更精确。
有一种简单盲恢复需要模糊的形式已知，计算模糊核的参数并做反卷积得到恢复后的图像。这种方法的缺点同非盲恢复类似，需要预先估计模糊形式，并且模糊核的形状或轨迹要求比较简单。
已有专利多是简单盲恢复，仍然有对模糊形式的假设，如：运动模糊图像的盲恢复方法（申请号：200810115097.5，申请人：北京航空航天大学），通过估计运动模糊核的大小和方向进行恢复，而实际情况下运动轨迹复杂多样，基本不存在一个单一的方向，所以此方法适用性不广。
现有文献中的盲恢复技术缺点：运算量大处理速度慢，不够鲁棒(恢复出的图像会偏离原图)，对参数要求高（作者：jiajiaya，文章：High-quality Motion Deblurring from a Single Image）,过度增强、对模糊核约束过多导致模糊核的过度平滑或过度稀疏（作者：cho，文章：Fast Motion Deblurring）。
发明内容
为了克服上述缺陷，本发明的目的是提供一种基于有效特征裁选掩模构造的图像自动恢复方法。
为了实现上述目的，本发明采用如下技术方案：
基于有效特征裁选掩模构造的图像自动恢复方法，其步骤是：
1. 图像的自动恢复，不需要先验信息
本算法可以在没有模糊形式和模糊核参数的情况下，自动恢复复杂运动轨迹下的运动模糊和一定大小范围内的失焦模糊
2. 提高处理速度
在迭代过程中引入预增强步骤，减少了迭代次数；
采用图像梯度而不是图像像素值进行计算。
3. 获得更清晰的处理后图像
恢复前对图像强边缘区域进行预增强。
4. 算法更稳定
对梯度图像进行裁选得到掩模，掩模为零的区域不参与运算，从而实现了对有效特征的筛选。使用多尺度处理的框架，采用交替迭代的方法对每个尺度依次进行处理，增加了待估计的模糊核（点扩展函数PSF）较大时算法的稳定性；
加入清晰图像的预增强步骤，使用引导滤波对图像的强边缘区域进行预增强，在增强的过程中始终以原模糊图像的灰度范围作为指导，避免了过度增强；
对梯度图像进行裁选:从梯度图像在各个位置的密度和方向两方面评价恢复特征，设置裁选规则，得到图像掩模,掩模值为零的区域将不参与运算，有效减少了结果模糊核的噪声；
模糊核的估计均在梯度图像进行，过程分为粗糙估计和精细估计两种：第一次迭代进行粗糙估计，获得模糊核的覆盖范围，即待恢复结构周围的渐变区域，为下一步迭代梯度图像的精细裁选提供条件；之后进行的迭代过程均为精细估计，此时图像已经被正确裁选，使得模糊核的估计过程更加鲁棒。
设计了快速的图像非盲恢复算法，由于之前几个步骤的加入使得我们的算法鲁棒性较高，可以容忍稍差的非盲恢复结果，使得算法可以进一步提高速度。
单尺度盲恢复算法流程（流程图右半部分）简述如下
(1) 首先读入模糊图像 
，手动给定模糊核大小(该数值只需大于真实模糊核大小)。
进行中间迭代盲恢复的过程，包括预增强图像、获得掩模、裁选梯度图 像、模糊核估计和一个非盲恢复步骤，得到估计的清晰图像
和模糊核。
(2) 迭代，得到最终的恢复结果。
多尺度盲恢复步骤如下：
(1) 首先在最粗尺度2(以三个尺度为例)上，进行单尺度盲恢复处理得到该尺度的估计清晰图像
和
。
(2) 将
上采样得到在尺度1上模糊核的初值
，进行单尺度盲恢复处理，得到尺度1的估计清晰图像和
。
(3) 循环(2)步，直到在尺度0上得到估计清晰图像
和
为止。
上一部分已有总体流程图，现解释关键流程的原理和实现过程：
图像预增强：
使用引导滤波对图像的强边缘区域进行预增强，在增强的过程中始终以原模糊图像的灰度范围作为指导，避免过度增强；
裁选梯度图像：
裁选目的是选出对图像恢复最有帮助的特征参与运算，特征量化的标准即裁选规则主要有两个：
1.每个像素点周围区域的梯度分布密度统计，避免使用边缘分布过度密集的区域，边缘的密度分布和阈值可以由原来的梯度图像和模糊核的覆盖范围估计出；
2梯度图像中各个梯度方向上的像素点数应该保持平衡，通过对图像进行(0,45,90,135度)四个梯度方向的扫描实现。
综合两种指标设定阈值，获得裁选掩模，进行图像的裁选。
假设原图像为I，掩模为M，则裁选后图像I’为：, 
表示矩阵点乘
梯度图像裁选完毕后的后处理：如果被选择的区域只占原图大小的一小部分，则对原图进行进一步剪裁，梯度图也做相应的剪裁，缩小参与运算的图像大小。
（粗糙/精细）模糊核估计：
模糊核估计不加入正则项，以防止估计结果的过度平滑或稀疏。
粗糙模糊核估计，采用整幅模糊图像
和预增强图像的梯度图像
估计模糊核
，也就是最小化
其中，
精细模糊核估计，采用裁选后的模糊图像梯度
和预增强并裁选过的梯度图像
估计模糊核
就是最小化 
(2)
其中，
(
)表示按位置点乘；
展开即是：
非盲恢复：
利用估计的模糊核
和模糊图像加入L2正则项进行非盲恢复，即最小化
本发明加入清晰图像的预增强步骤，使用引导滤波对图像的强边缘区域进行预增强，在增强的过程中始终以原模糊图像的灰度范围作为指导，避免了过度增强；对梯度图像进行裁选:从梯度图像在各个位置的密度和方向两方面评价恢复特征，设置裁选规则，得到图像掩模,掩模值为零的区域将不参与运算，有效减少了结果模糊核的噪声；模糊核的估计均在梯度图像进行，过程分为粗糙估计和精细估计两种：第一次迭代进行粗糙估计，获得模糊核的覆盖范围，即待恢复结构周围的渐变区域，为下一步迭代梯度图像的精细裁选提供条件；之后进行的迭代过程均为精细估计，此时图像已经被正确裁选，使得模糊核的估计过程更加鲁棒。
附图说明
图1为本发明的原理图。
具体实施方式
下面结合附图进一步说明：
如图1所示，一种本方法实现顺序：（此处只说明总体流程，具体各环节交底书“附图及其简要说明”已有说明）
输入模糊图像I，预设模糊核大小psfSZ，假设最高降采样次数设为H，执行多尺度处理
1. 将I降采样为最低尺度，记为尺度H，同时将psfSZ按降采样比例缩小，
a) 执行单尺度盲恢复处理，即顺序执行：(i)预增强图像、(ii)获得掩模、(iii)裁选梯度图像、(iv)模糊核估计 和 (v)非盲恢复步，得到估计的清晰图像
和模糊核
b) 迭代，将
和
作为输入重复执行a)中(i-v)直至终止条件
2. 将I降采样为次低尺度，记为尺度H-1，同时将psfSZ按降采样比例缩小，将上采样得到在尺度H-1上得到模糊核的初值，
a) 进行单尺度盲恢复处理，顺序执行：(i)预增强图像、(ii)获得掩模、(iii)裁选梯度图像、(iv)模糊核估计 和 (v)非盲恢复步，得到尺度H-1的估计清晰图像
和模糊核。
b) 迭代，将
和
作为输入重复执行a)中(i-v) 直至终止条件
3. 重复执行步骤2，直至达到尺度0，得到估计清晰图像
和模糊核
4. 输出估计清晰图像
和模糊核
。
Claims (2)
1.基于有效特征裁选掩模构造的图像自动恢复方法，其特征在于其步骤是：
图像的自动恢复，不需要先验信息；
本算法可以在没有模糊形式和模糊核参数的情况下，自动恢复复杂运动轨迹下的运动模糊和一定大小范围内的失焦模糊；
提高处理速度
在迭代过程中引入预增强步骤，减少了迭代次数；
采用图像梯度而不是图像像素值进行计算；
获得更清晰的处理后图像；
恢复前对图像强边缘区域进行预增强；
算法更稳定；
设计了快速的图像非盲恢复算法，由于之前几个步骤的加入单尺度盲恢复算法，可以容忍稍差的非盲恢复结果，使得算法可以进一步提高速度。
2.如权利要求1所述的基于有效特征裁选掩模构造的图像自动恢复方法，其特征在于：单尺度盲恢复算法流程（流程图右半部分）简述如下
首先读入模糊图像 
，手动给定模糊核大小(该数值只需大于真实模糊核大小)，
进行中间迭代盲恢复的过程，包括预增强图像、获得掩模、裁选梯度图 像、模糊核估计和一个非盲恢复步骤，得到估计的清晰图像
和模糊核
，
迭代，得到最终的恢复结果，
多尺度盲恢复步骤如下：
(1) 首先在最粗尺度2(以三个尺度为例)上，进行单尺度盲恢复处理得到该尺度的估计清晰图像
和
，
(2) 将
上采样得到在尺度1上模糊核的初值
，进行单尺度盲恢复处理，得到尺度1的估计清晰图像
和
，
(3) 循环(2)步，直到在尺度0上得到估计清晰图像和
为止，
上一部分已有总体流程图，现解释关键流程的原理和实现过程：
图像预增强：
使用引导滤波对图像的强边缘区域进行预增强，在增强的过程中始终以原模糊图像的灰度范围作为指导，避免过度增强；
裁选梯度图像：
裁选目的是选出对图像恢复最有帮助的特征参与运算，特征量化的标准即裁选规则主要有两个：
1.每个像素点周围区域的梯度分布密度统计，避免使用边缘分布过度密集的区域，边缘的密度分布和阈值可以由原来的梯度图像和模糊核的覆盖范围估计出；
2梯度图像中各个梯度方向上的像素点数应该保持平衡，通过对图像进行(0,45,90,135度)四个梯度方向的扫描实现，
综合两种指标设定阈值，获得裁选掩模，进行图像的裁选，
假设原图像为I，掩模为M，则裁选后图像I’为：
, 
表示矩阵点乘
梯度图像裁选完毕后的后处理：如果被选择的区域只占原图大小的一小部分，则对原图进行进一步剪裁，梯度图也做相应的剪裁，缩小参与运算的图像大小，
（粗糙/精细）模糊核估计：
模糊核估计不加入正则项，以防止估计结果的过度平滑或稀疏，
粗糙模糊核估计，采用整幅模糊图像
和预增强图像的梯度图像
估计模糊核
，也就是最小化
其中，
精细模糊核估计，采用裁选后的模糊图像梯度
和预增强并裁选过的梯度图像
估计模糊核
就是最小化 
(2)
其中，
(
)表示按位置点乘；
展开即是：
非盲恢复：
利用估计的模糊核
和模糊图像
加入L2正则项进行非盲恢复，即最小化
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110356422.9A CN102521798B (zh) | 2011-11-11 | 2011-11-11 | 基于有效特征裁选掩模构造的图像自动恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110356422.9A CN102521798B (zh) | 2011-11-11 | 2011-11-11 | 基于有效特征裁选掩模构造的图像自动恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102521798A true CN102521798A (zh) | 2012-06-27 |
| CN102521798B CN102521798B (zh) | 2015-07-15 |
Family
ID=46292703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110356422.9A Expired - Fee Related CN102521798B (zh) | 2011-11-11 | 2011-11-11 | 基于有效特征裁选掩模构造的图像自动恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102521798B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875349A (zh) * | 2016-12-30 | 2017-06-20 | 无锡高新兴智能交通技术有限公司 | 盲图像复原方法中模糊核的计算方法及盲图像复原方法 |
| CN109345474A (zh) * | 2018-05-22 | 2019-02-15 | 南京信息工程大学 | 基于梯度域和深度学习的图像运动模糊盲去除方法 |
| CN112862715A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种实时且可控的尺度空间滤波方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080240607A1 (en) * | 2007-02-28 | 2008-10-02 | Microsoft Corporation | Image Deblurring with Blurred/Noisy Image Pairs |
| CN101359398A (zh) * | 2008-06-16 | 2009-02-04 | 北京航空航天大学 | 运动模糊图像的盲恢复方法 |
| US20100080487A1 (en) * | 2006-10-23 | 2010-04-01 | Yitzhak Yitzhaky | Blind restoration of images degraded by isotropic blur |
| CN101930601A (zh) * | 2010-09-01 | 2010-12-29 | 浙江大学 | 一种基于边缘信息的多尺度模糊图像盲复原方法 |
| CN101986345A (zh) * | 2010-11-04 | 2011-03-16 | 浙江大学 | 一种图像去模糊方法 |
-
2011
- 2011-11-11 CN CN201110356422.9A patent/CN102521798B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100080487A1 (en) * | 2006-10-23 | 2010-04-01 | Yitzhak Yitzhaky | Blind restoration of images degraded by isotropic blur |
| US20080240607A1 (en) * | 2007-02-28 | 2008-10-02 | Microsoft Corporation | Image Deblurring with Blurred/Noisy Image Pairs |
| CN101359398A (zh) * | 2008-06-16 | 2009-02-04 | 北京航空航天大学 | 运动模糊图像的盲恢复方法 |
| CN101930601A (zh) * | 2010-09-01 | 2010-12-29 | 浙江大学 | 一种基于边缘信息的多尺度模糊图像盲复原方法 |
| CN101986345A (zh) * | 2010-11-04 | 2011-03-16 | 浙江大学 | 一种图像去模糊方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875349A (zh) * | 2016-12-30 | 2017-06-20 | 无锡高新兴智能交通技术有限公司 | 盲图像复原方法中模糊核的计算方法及盲图像复原方法 |
| CN109345474A (zh) * | 2018-05-22 | 2019-02-15 | 南京信息工程大学 | 基于梯度域和深度学习的图像运动模糊盲去除方法 |
| CN112862715A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种实时且可控的尺度空间滤波方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102521798B (zh) | 2015-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| Wu et al. | Light field reconstruction using deep convolutional network on EPI | |
| CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| US9262815B2 (en) | Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term | |
| CN102326379B (zh) | 从图像中去除模糊的方法 | |
| US9245328B2 (en) | Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN114331886B (zh) | 一种基于深度特征的图像去模糊方法 | |
| KR101028628B1 (ko) | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 | |
| CN107392986B (zh) | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN102521798B (zh) | 基于有效特征裁选掩模构造的图像自动恢复方法 | |
| CN108154488B (zh) | 一种基于显著图像块分析的图像运动模糊去除方法 | |
| CN110211059A (zh) | 一种基于深度学习的图像重建方法 | |
| Hou et al. | Joint learning of image deblurring and depth estimation through adversarial multi-task network | |
| CN114418892B (zh) | 一种结合鲁棒显著边缘选择与稀疏性的图像去模糊方法 | |
| Liu et al. | Robust guided image filtering | |
| Zeng et al. | Single image motion deblurring based on modified denseNet | |
| CN104166961B (zh) | 用于图像盲复原的低秩逼近的模糊核估计方法 | |
| Bareja et al. | An improved iterative back projection based single image super resolution approach | |
| CN110969582B (zh) | 一种基于多源参考信息的遥感图像盲复原方法 | |
| He et al. | Joint motion deblurring and superresolution from single blurry image | |
| Wu et al. | VDIP-TGV: Blind image deconvolution via variational deep image prior empowered by total generalized variation | |
| Ngernplubpla et al. | Image Enhancement based on neuro-fuzzy gradient profile clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 310013 West Street Wuchang No. 998 building 7 East Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. Address before: 310013, Zhejiang, Hangzhou, Tianmu Road, No. 398 (ancient pier intersection), Kun building, four floor, South Block Applicant before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. |
|
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 310013 West Street Wuchang No. 998 building 7 East Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. Address before: Hangzhou City, Zhejiang province Yuhang District 310013 West Street Wuchang No. 998 building 7 East Applicant before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image automatic recovering method for cutting and selecting mask structure based on effective characteristic Effective date of registration: 20190820 Granted publication date: 20150715 Pledgee: Hangzhou Yuhang Financial Holding Co.,Ltd. Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. Registration number: Y2019330000016 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20200917 Granted publication date: 20150715 Pledgee: Hangzhou Yuhang Financial Holding Co.,Ltd. Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. Registration number: Y2019330000016 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Automatic image restoration method based on effective feature cut mask construction Effective date of registration: 20200921 Granted publication date: 20150715 Pledgee: Hangzhou Yuhang Financial Holding Co.,Ltd. Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. Registration number: Y2020330000737 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150715 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |