CN105118040A - 基于结构激光线的文档图像畸变矫正方法 - Google Patents

Abstract

本发明公开了一种基于结构激光线的文档图像畸变矫正方法，该方法至少包括：对相机内、外参数进行标定，并计算结构激光线所在的平面方程；获取文档图像；提取激光线；根据标定的相机内、外参数、所述结构激光线所在的平面方程以及所述提取的激光线，估计所述文档图像的3D页面准线；根据所述3D页面准线，对可展曲面进行插值；对所述插值的可展曲面进行展开；根据所述展开的可展曲面，对图像畸变进行矫正。通过本发明，至少解决如何矫正非平面文档图像的几何畸变的技术问题。

Description

基于结构激光线的文档图像畸变矫正方法

技术领域

本发明实施例涉及数字图像处理和计算机视觉技术领域，尤其是涉及基于结构激光线的文档图像畸变矫正方法。

背景技术

传统的平板式扫描仪在扫描积厚文档(如书刊)时，由于文档的书脊区域无法完全平展紧贴扫描仪的玻璃平板表面，最终导致得到的文本图像在书脊区域出现显著的图像畸变、非均匀阴影等扫描缺陷。这些扫描缺陷会严重影响后续的文档图像分析工作(如文档图像的版面分割、字符识别等)。因此，作为常用的文档扫描工具，传统的平板式扫描仪通常不适用于非平面文档的高质量扫描工作。

为实现书籍等文档的高质量扫描，人们先后提出了一系列技术来试图解决具有弯曲表面形状的文档图像高质量扫描问题。这些技术可大致分为两大类：基于软件的方法和基于硬件辅助的方法。前者通常对获取的畸变图像利用算法首先估计得到图像的畸变函数，然后通过图像变换矫正图像中的畸变失真；而后者则通常在图像采集过程中，借助某种硬件设备来辅助实现文档图像的高质量采集。

基于软件的方法关键在于正确的估计文档图像的畸变函数，常用的方法包括基于图像局部形变的技术、基于Shape-from-X的技术、基于页面曲面模型化的技术、基于多视点图像的技术等。基于图像局部形变的技术注意到文档图像中通常存在大量的文本行。而对于无畸变的图像，这些文本行通常都是水平方向、平行排列的。因此，该方法首先分割并提取文档图像中文本行，并估计每条文本行对应的文本行基线，然后将弯曲的文本行基线拉成一条水平直线，并将文本行中的单词逐个旋转并沿矫正的基线重新排列，从而矫正文本行的弯曲。利用这种方法矫正后的图像，文字识别精度能够得到显著提升，然而该方法矫正后的图像视觉质量不高，图像中仍存在大量的畸变，且无法矫正非文本区域的图像畸变。

基于shape-from-X的技术利用图像中的某种视觉线索来恢复文档页面的3D形状，从而构造图像的畸变矫正函数。这些视觉线索包括阴影、轮廓、纹理等。在现有技术中，以页面的阴影曲面最为常用。该技术通过分析页面阴影与页面形状之间的约束关系，得到二者所满足的约束方程，求解该方程得到页面的3D曲面。最后利用该曲面完成图像几何畸变的矫正。该技术对页面阴影要求较高，仅适用于光源受控环境下的图像采集。

基于页面曲面模型化的技术则假设页面的弯曲形状为某种特定类型的曲面，如柱面或可展曲面，从而利用该假设来约束页面曲面的估计。这其中，柱面假设是最为常用的一种假设。为估计透视变换下的柱面模型的参数，该技术通常进一步限定相机拍摄的视角、距离、姿态等，且还需预先知道文档页面的尺寸等额外物理信息。这些苛刻条件为实际应用造成了很多不便。此外，为准确估计柱面模型的参数，需要精确的分割并提取文档图像中水平文本行，在对尚不成熟的文本行精确提取和拟合技术提出了很高的要求。由于文档版面类型的多样性以及图像获取过程中引入的畸变、噪声等影响，精确的分割并提取水平文本行基线在实际中非常困难，从而严重制约了该方法的实际应用。

可展曲面假设是另一种常用的页面形状假设。由于文档页面总可以展开至平面上，因此，与柱面假设相比，该假设更具一般性。注意到可展曲面可由逐条平面片很好逼近，有研究者最新提出采用分片薄板样条曲面来近似可展曲面，用于图像几何畸变的矫正。该技术利用目前成熟的平面透视失真矫正技术，对薄板样条曲面逐片矫正，最后对这些矫正后的结果拼接完成图像的矫正。然而，由于无可避免的估计误差，拼接后的图像中常存在裂缝、重叠等缺陷。这些缺陷大大影响了图像矫正后的视觉效果。此外，由于透视失真与非线性几何形变失真的复合，该技术无法彻底矫正图像中存在的几何畸变，存在矫正残留误差大、算法复杂等缺点。

近来，有研究者还提出了基于多视点图像的文档图像畸变矫正技术。该技术通过获取同一文档不同视点下的多幅图像，从中提取图像特征进行配准，进而利用多视几何和极线约束估计页面的3D形状。为了精确估计页面的3D形状，该技术需要对不同视点下拍摄的图像进行精确的特征点配准。然而，由于图像畸变的影响，在畸变严重的地方特征点匹配精度很差，从而导致该区域的形状估计误差大，得到的形变函数无法有效的矫正该区域的图像畸变。

与基于软件的方法不同，基于硬件辅助的技术在图像采集阶段就引入特定的硬件装备来辅助书籍文档图像的采集。代表性的技术包括基于3D扫描仪的技术、基于V-bed的书籍扫描技术和基于V-head的书籍扫描技术。基于3D扫描仪的技术利用3D扫描仪直接获取文档页面的3D深度信息，基于这些信息重构页面曲面的3D形状，最后通过一个保角映射和纹理映射将扭曲的图像映射至平面上，来矫正图像的几何扭曲。这类方法通常对图像的几何形变类型不加限制，能够适用于图像中多种类型的几何畸变的矫正。然而，由于额外需要价格昂贵的3D扫描仪辅助图像矫正，这类方法在实际中并不常用。并且，由于深度数据中几何拓扑关系的缺失，3D页面形状的重构还存在计算量大、数值不稳定等缺点，这些进一步限制的这类方法在实际中的应用。

基于V-bed的扫描技术设计了一种V形的底座来方便地放置打开的书页。放置在V形底座上的书页，通过手指轻压或借助于透明的玻璃平板覆压可防止页面出现显著的形变。在采集页面图像时，该技术通常利用两部高分辨率相机分别拍摄书籍的左右页面。该技术能够防止书籍图像采集过程中产生显著畸变，然而为了得到高质量的页面图像，在扫描一本书不同厚度部分时，常需要不断调整V形底座张开的角度。此外，该技术利用按压来防止书籍页面出现变形，这种技术属于接触式扫描方法，不适用于易损古籍的扫描。

基于V-head的书籍扫描技术利用专门设计的V形扫描头，并结合V形底座对书籍进行扫描。这种扫描技术专门用于对积厚书籍的图像扫描。扫描的时候，将一本厚书打开向上放置于V形底座上，然后将V形扫描头插入页面并调整高度将书籍页面压紧，防止页面出现弯曲变形。该技术与基于V-bed的扫描技术类似，属于一种接触式的扫描技术，不适用于易损古籍的扫描。此外，基于V-head的扫描技术是专门针对书籍文档的扫描而设计的，不能用于其他文档的扫描，因此，其应用范围在实际中受到很大限制。

有鉴于此，特提出本发明。

发明内容

本发明实施例的主要目的在于提供一种基于结构激光线的文档图像畸变矫正方法，其至少部分地解决了如何矫正非平面文档图像的几何畸变的技术问题。

为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：

一种基于结构激光线的文档图像畸变矫正方法，该方法至少可以包括：

对相机内、外参数进行标定，并计算结构激光线所在的平面方程；

获取文档图像；

提取激光线；

根据标定的相机内、外参数、所述结构激光线所在的平面方程以及所述提取的激光线，估计所述文档图像的3D页面准线；

根据所述3D页面准线，对可展曲面进行插值；

对所述插值的可展曲面进行展开；

根据所述展开的可展曲面，对图像畸变进行矫正。

进一步地，所述对相机内、外参数进行标定，具体包括：

根据棋盘格图案标定块，得到标定块图像，根据相机标定算法计算相机的内参数；

在所述标定块图像上建立世界坐标系，根据所述相机标定算法计算相机对应的外参数。

进一步地，所述计算结构激光线所在的平面方程，具体包括：

根据所述相机外参数和内参数，计算所述激光线上的点在世界坐标系下的3D坐标，利用最小二乘算法对同一激光线上的3D坐标点进行平面拟合。

进一步地，所述获取文档图像具体包括：

利用两条一字线激光器照射文档，开启和关闭激光器电源，同时利用相机拍摄文档页面图像。

进一步地，所述提取激光线，具体包括：

提取所述文档图像的红色通道图像，并计算红色通道图像差值，得到差值图像；根据图像阈值，在差值图像上逐列对图像差值高于指定阈值的像素点，提取极大值点作为所述激光线的估计。

进一步地，所述估计所述文档图像的3D页面准线，具体包括：

根据所述标定的相机内、外参数和所述结构激光线所在的平面方程，计算文档图像中所述激光线上每点对应的3D坐标，并利用B样条曲线对同一所述激光线上的3D点进行拟合。

进一步地，所述对可展曲面进行插值，具体包括：

根据动态规划算法，求解优化问题，获取两条3D页面准线之间的最优对应函数，其中，所述优化问题为：

$\underset{\mathrm{\φ}(\·)}{min}{\∫}_0^{l_0}\left(\right|(\frac{{\mathrm{dC}}_0}{ds}\×\frac{{\mathrm{dC}}_1}{d\mathrm{\φ}},C_1(\mathrm{\φ}\left(s\right))-C_0\left(s\right)>|+{\mathrm{\λ\φ}}^{\′2}(s\left)\right)ds$

s.t.φ(0)＝0，φ(l₀)l₁，

$\frac{-b\mathrm{\σ}\left(s\right)}{1-b}\≤{\mathrm{\φ}}^{\′}\left(s\right)\≤\frac{a\mathrm{\σ}\left(s\right)}{a-1},$

其中，

C₀—第一条激光线曲线；

C₁—第二条激光线曲线；

l₀—C₀曲线的总长度；

l₁—C₁曲线的总长度；

φ(s)—C₀和C₁之间的对应函数；

s—曲线的弧长参数；

λ—指定参数，用于控制待求对应函数的光滑程度；

a—指定参数，需大于1；

b—指定参数，需小于0；

σ(s)—曲线对应点切线夹角的比例函数，定义如下：

$\mathrm{\σ}\left(s\right)=\frac{{\mathrm{sin\α}}_0\left(s\right)}{{\mathrm{sin\α}}_1\left(s\right)},$

其中，

α₀(s)—C₀在s点处的切线与对应直母线的夹角；

α₁(s)—C₁在对应点处的切线与对应直母线的夹角。

进一步地，所述对所述插值的可展曲面进行展开，具体包括：

计算所述可展曲面上两条3D准线展开至平面所对应的曲线方程，利用最优对应函数，在平面上构造可展曲面的直母线，对曲面进行展开。

进一步地，通过求解常微分方程，计算所述可展曲面上两条3D准线展开至平面所对应的曲线方程，其中，所述常微分方程为：

$\left\{\begin{array}{c}{x}^{\′}{y}^{\′\′}-x^{\′\′}{y}^{\′}=k_g\\ x^{\′2}+y^{\′2}=1\\ x\left(0\right)=x_0,y\left(0\right)=y_0,x^{\′}\left(0\right)={\mathrm{\μ}}_0,y^{\′}\left(0\right)=v_0\end{array}\right.$

其中，

k_g—可展曲面上曲线的测地曲率函数；

x₀—待展曲线起始点在平面上的x坐标；

y₀—待展曲线起始点在平面上的y坐标；

μ₀—待展曲线起始点在平面上指定的展开方向的x坐标；

ν₀—待展曲线起始点在平面上指定的展开方向的y坐标；

所述常微分方程通过以下公式求解：

其中，

cosC₀＝μ₀，sinC₀＝v₀。

进一步地，所述根据所述展开的可展曲面，对图像畸变进行矫正，具体包括：

在所述展开的可展曲面上放置规则网格点，计算所述网格点对应的曲面参数坐标，并利用所述相机内、外参数，计算所述网格点对应于原图像的像素坐标；

利用所述像素坐标与网格点坐标的对应关系，通过函数插值构造图像形变函数，对图像畸变进行矫正。

与现有技术相比，上述技术方案至少具有以下有益效果：

本发明实施例通过采用两条结构激光线来获取待弯曲文档(例如：书籍)页面的3D形状，估计文档图像的3D页面准线；根据3D页面准线，对可展曲面进行插值，并通过显式求解常微分方程来计算可展曲面的展开，进而构造矫正函数对图像进行畸变矫正。本发明实施例可应用于多种形状的畸变书籍页面图像的畸变矫正，例如：柱面、平面、锥面及可展曲面，具有计算复杂度低、精度高、成本低廉、非接触式扫描、全自动无交互、适用性广等优点。本发明实施例可应用于书籍页面等畸变文档的高质量成像，在文档资料数字化、数字图书馆构建、珍贵历史文献典籍保护等领域具有广阔的应用前景。

当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。

需要说明的是，发明内容部分并非旨在标识出请求保护的主题的必要技术特征，也并非是用来确定请求保护的主题的保护范围。所要求保护的主题不限于解决在背景技术中提及的任何或所有缺点。

附图说明

附图作为本申请的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1为根据一示例性实施例示出的基于结构激光线的文档图像畸变矫正方法的流程图；

图2为根据一示例性实施例示出的基于结构激光线的书籍文档扫描系统的结构示意图；

图3a为根据一示例性实施例示出的有激光线的文档图像；

图3b为根据一示例性实施例示出的无激光线的文档图像；

图4a为根据一示例性实施例示出的对应于图3a和图3b红色通道的差值图像；

图4b为根据一示例性实施例示出的两条激光线对应的3D准线曲线的估计；

图5a为根据一示例性实施例示出的最优对应函数的示意图；

图5b为根据一示例性实施例示出的插值得到的可展曲面的示意图；

图6为根据一示例性实施例示出的对可展曲面进行展开的形式的示意图；

图7为根据一示例性实施例示出的展开平面上规则网格点与像素点的对应关系的示意图；

图8a为畸变文档图像的示意图；

图8b为矫正后的文档图像的示意图。

这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。

需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。

图2为根据一示例性实施例示出的基于结构激光线的文档(例如：书籍)扫描系统的结构示意图。该系统由两个一字线激光器、一台高分辨率相机、支架以及底座构成。

本发明的基本构思是:利用两条结构激光线照射待拍摄书籍文档的页面表面，通过提取相机拍摄的文档图像中的激光线，来估计页面曲面上对应的两条3D准线，进而构造插值于这两条准线的可展曲面。最后，通过可展曲面展开，对图像中存在的几何畸变进行矫正，得到一幅高质量的无畸变文档图像。

需要说明的是，本发明实施例假设文档页面的畸变曲面为光滑的可展曲面。该假设仅是为了更好地说明本发明，不视为对本发明保护范围的限制。

为了解决如何矫正非平面文档图像的几何畸变的技术问题，本发明实施例提供一种基于结构激光线的文档图像畸变矫正方法。图1为根据一示例性实施例示出的基于结构激光线的文档图像畸变矫正方法的流程图。如图1所示，该方法至少可以包括步骤S100至步骤S112。

S100：对相机内、外参数进行标定，并计算结构激光线所在的平面方程。

在该步骤中，根据棋盘格图案标定块，得到标定块图像，根据相机标定算法计算相机的内参数；在标定块图像上建立世界坐标系，根据相机标定算法计算相机对应的外参数。

在实际应用中，相机可以从不同角度、不同位置对棋盘格图案标定块成像，得到一系列标定块图像。然后，利用相机标定算法计算相机的内参数。固定相机，并将棋盘格图案标定块放置于相机下方。利用相机对其成像，在图像上手动选取坐标系原点及x，y坐标轴方向，建立世界坐标系，并利用相机标定算法计算相机对应的外参数(例如：旋转矩阵和平移向量)。尽管术语“x轴”和“y轴”在本文中用于说明特定图中的某些方向，但应理解，这些术语不是指绝对方向。换句话说，“x轴”可为任何相应轴，且“y轴”可为不同于x轴的特定轴。通常，x轴垂直于y轴。

在一个可选的实施例中，计算结构激光线所在的平面方程具体包括：

根据相机外参数和内参数，计算激光线上的点在世界坐标系下的3D坐标，利用最小二乘算法对同一激光线上的3D坐标点进行平面拟合。

在该实施例中，将棋盘格图案标定块先、后距相机不同的距离放置，开启/关闭激光器并用相机对其成像，并提取其中的激光线。然后利用相机标定算法计算对应的相机外参数，进而利用相机外参数和内参数计算激光线上的点在世界坐标系下的3D坐标。最后，利用最小二乘算法对同一激光线上的3D坐标点进行平面拟合，得到对应结构激光线所在的平面方程。

S102：获取文档图像。

在该步骤中，利用两条一字线激光照射待扫描文档(例如书籍)的页面表面。通过控制设备开启和关闭激光器电源，同时利用高分辨率相机分别拍摄两幅文档的页面图像，其中一幅有激光线，另一幅没有激光线。

S104：提取激光线。

作为示例，图3a和图3b中给出了文档扫描系统拍摄的两幅有激光线和无激光线的文档图像。分别提取两幅图像的红色通道图像，并计算红色通道图像差值，得到差值图像。由于图像上存在有激光位置和无激光位置，差值显著，因此，在差值图像上，很容易提取激光线。图4a给出了对应于图3a和图3b红色通道的差值图像。在差值图像上提取激光线时，需要人工设定一个检测阈值，并沿图像从左至右的顺序，逐列对差值图像中像素值高于设定阈值的像素点，分上下两部分检测对应的极大值点。这些极大值点可作为该列上激光线点的估计。

S106：根据标定的相机内、外参数、结构激光线所在的平面方程以及提取的激光线，估计文档图像的3D页面准线。

在该步骤中，利用标定好的相机内、外参数和结构激光线所在的平面方程，计算图像中激光线上每点对应的3D坐标，并利用B-样条曲线对同一激光线上的3D点进行拟合，得到文档页面曲面准线的估计。其中，在数值分析里，B-样条曲线是样条曲线一种特殊的表示形式。它是B-样条基曲线的线性组合。B-样条曲线是贝兹曲线的一种一般化。

作为示例，图4b给出了两条激光线对应的3D准线曲线的估计。从图像中提取激光线后，对激光线上每一个像素点，可构造一条通过相机光心和该像素点的直线。计算该直线与结构激光线平面的焦点，可得到该像素点对应的3D点坐标，进而获得每条激光线对应的曲面的3D准线。得到3D准线后，进一步利用B样条曲线拟合，去除因图像量化误差引入的准线估计误差。

S108：根据3D页面准线，对可展曲面进行插值。

在该步骤中，得到可展曲面上两条3D准线后，可构造插值于这两条准线的可展曲面，如图5b所示。为此，需要计算两条准线之间的最优对应函数。利用动态规划算法求解优化问题，可以得到两条3D页面准线之间的最优对应函数，如图5a所示。

其中，该优化问题可以为：

$\underset{\mathrm{\φ}(\·)}{min}{\∫}_0^{l_0}\left(\right|(\frac{{\mathrm{dC}}_0}{ds}\×\frac{{\mathrm{dC}}_1}{d\mathrm{\φ}},C_1(\mathrm{\φ}\left(s\right))-C_0\left(s\right)>|+{\mathrm{\λ\φ}}^{\′2}(s\left)\right)ds$

s.t.φ(0)＝0，φ(l₀)＝l₁，

$\frac{-b\mathrm{\σ}\left(s\right)}{1-b}\≤{\mathrm{\φ}}^{\′}\left(s\right)\≤\frac{a\mathrm{\σ}\left(s\right)}{a-1},$

其中，

C₀—第一条激光线曲线；

C₁—第二条激光线曲线；

l₀—C₀曲线的总长度；

l₁—C₁曲线的总长度；

φ(s)—C₀和C₁之间的对应函数；

s—曲线的弧长参数；

λ—指定参数，用于控制待求对应函数的光滑程度；

a—指定参数，需大于1；

b—指定参数，需小于0；

σ(s)—曲线对应点切线夹角的比例函数，定义如下：

$\mathrm{\σ}\left(s\right)=\frac{{\mathrm{sin\α}}_0\left(s\right)}{{\mathrm{sin\α}}_1\left(s\right)},$

其中，

α₀(s)—C₀在s点处的切线与对应直母线的夹角；

α₁(s)—C₁在对应点处的切线与对应直母线的夹角。

S110：对插值的可展曲面进行展开。

该步骤具体可以包括：计算所述可展曲面上两条3D准线展开至平面所对应的曲线方程，利用最优对应函数，在平面上构造可展曲面的直母线，对曲面进行展开。

在实际应用中，得到可展曲面后，通过将可展曲面展开至平面上，可构造图像畸变矫正所需的矫正函数。可展曲面展开，可通过展开曲面上对应的两条准线来实现。通过求解常微分方程，可将可展曲面上的一条准线展开至平面上。该常微分方程为：

$\left\{\begin{array}{c}{x}^{\′}{y}^{\′\′}-x^{\′\′}{y}^{\′}=k_g\\ x^{\′2}+y^{\′2}=1\\ x\left(0\right)=x_0,y\left(0\right)=y_0,x^{\′}\left(0\right)={\mathrm{\μ}}_0,y^{\′}\left(0\right)=v_0\end{array}\right.$

其中，

k_g—可展曲面上曲线的测地曲率函数；

x₀—待展曲线起始点在平面上的x坐标；

y₀—待展曲线起始点在平面上的y坐标；

μ₀—待展曲线起始点在平面上指定的展开方向的x坐标；；

ν₀—待展曲线起始点在平面上指定的展开方向的y坐标；

给定曲线展开的起点坐标和初始展开方向后，展开曲线的方程可通过下式直接计算：

其中，

将两条曲面上的3D准线展开至平面后，由于可展曲面展开具有保角性和保距性，因此利用两条准线之间的对应函数，可非常容易地在平面上构造可展曲面的直母线，从而得到曲面在平面上的展开形式。图6给出了求解常微分方程对可展曲面进行展开的形式。

S112：根据展开的可展曲面，对图像畸变进行矫正。

该步骤具体可以包括：在展开的可展曲面上放置规则网格点，计算网格点对应的曲面参数坐标，并利用相机内、外参数，计算网格点对应于原图像的像素坐标；利用像素坐标与网格点坐标的对应关系，通过函数插值，构造图像形变函数，对图像畸变进行矫正。

在实际应用中，为了实现图像中畸变的矫正，还需要构造用于图像畸变矫正的矫正函数。为此，首先在曲面展开平面上构造一个规则网格。对规则网格上的每一个网格点，求解如下方程组计算该点对应于可展曲面上的点的坐标：

$\left(\begin{array}{c}u\\ v\end{array}\right)=\left(1-\mathrm{\τ}\right){\stackrel{\‾}{C}}_0\left(s\right)+\mathrm{\τ}{\stackrel{\‾}{C}}_1\left(\mathrm{\φ}\left(s\right)\right);$

其中，

(u,v)—展开平面上规则网格点坐标；

—曲线C₀展开至平面上对应的曲线

—曲线C₁展开至平面上对应的曲线

(s,τ)—规则网格点(u,v)对应的曲面上的点坐标。

得到曲面上对应的点坐标后，也就得到了该网格点对应的曲面上点的3D坐标，进而利用相机的内、外参数，可计算该点对应的图像上的像素坐标。从而构建平面上规则网格点坐标与原图像中像素点坐标之间的一一对应关系。最后，利用样条函数拟合，可构造如下两个二元函数：

$\left\{\begin{array}{c}G(u_i,v_j)=x_i\\ F(u_i,v_j)=y_j\end{array}\right.$

这两个二元函数实现规则网格点到图像像素点坐标的映射。因此，利用这两个二元函数，对于展开平面上任何一点，可方便地计算该点对应的图像上的像素点。图7给出了计算展开平面上规则网格点与像素点的对应关系。

为了验证本发明实施例，利用基于结构激光线的文档扫描系统对一幅畸变的书籍页面进行成像。通过开启和关闭激光器，分别拍摄两幅图像，一幅有激光线，另一幅无激光线。利用这两幅图像，通过计算图像差值提取图像中的激光线，进而估计激光线对应的曲面3D准线，并构造插值于3D准线的可展曲面，最后通过可展曲面展开构造图像畸变矫正函数。图8a至图8b是获取的畸变文档图像和矫正后的文档图像。从中可以看出，本发明可有效地矫正文档图像中的几何畸变，矫正后图像中的文本行平直、文字字体大小均一，矫正后的图像和扫描图像在视觉上非常相似。

本实施例中将各个步骤按照上述先后次序的方式进行了描述，本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时执行或执行次序颠倒，这些简单的变化都在本发明的保护范围之内。

以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。

需要说明的是：附图中的标记只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。

术语“包括”、“包含”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备/装置中还存在另外的要素，即“包括一个”的意思还涵盖“包括另一个”的意思。

本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。

本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的范围。

尽管上文已经示出、描述和指出了适用于各种实施方式的本发明的基本新颖特征的详细描述，但是将会理解，在不脱离本发明意图的情况下，本领域技术人员可以对系统的形式和细节进行各种省略、替换和改变。

Claims (10)

1.一种基于结构激光线的文档图像畸变矫正方法，其特征在于，该方法至少包括：

对相机内、外参数进行标定，并计算结构激光线所在的平面方程；

获取文档图像；

提取激光线；

根据标定的相机内、外参数、所述结构激光线所在的平面方程以及所述提取的激光线，估计所述文档图像的3D页面准线；

根据所述3D页面准线，对可展曲面进行插值；

对所述插值的可展曲面进行展开；

根据所述展开的可展曲面，对图像畸变进行矫正。

2.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述对相机内、外参数进行标定，具体包括：

根据棋盘格图案标定块，得到标定块图像，根据相机标定算法计算相机的内参数；

在所述标定块图像上建立世界坐标系，根据所述相机标定算法计算相机对应的外参数。

3.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述计算结构激光线所在的平面方程，具体包括：

根据所述相机外参数和内参数，计算所述激光线上的点在世界坐标系下的3D坐标，利用最小二乘算法对同一激光线上的3D坐标点进行平面拟合。

4.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述获取文档图像，具体包括：

利用两条一字线激光器照射文档，开启和关闭激光器电源，同时利用相机拍摄文档页面图像。

5.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述提取激光线，具体包括：

提取所述文档图像的红色通道图像，并计算红色通道图像差值，得到差值图像；

根据图像阈值，在差值图像上逐列对图像差值高于指定阈值的像素点，提取极大值点作为所述激光线的估计。

6.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述估计所述文档图像的3D页面准线，具体包括：

根据所述标定的相机内、外参数和所述结构激光线所在的平面方程，计算文档图像中所述激光线上每点对应的3D坐标，并利用B样条曲线对同一所述激光线上的3D点进行拟合。

7.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述对可展曲面进行插值，具体包括：

根据动态规划算法，求解优化问题，获取两条3D页面准线之间的最优对应函数，

其中，所述优化问题为：

$\underset{\mathrm{\&phi;}(\&CenterDot;)}{min}{\&Integral;}_O^{l_0}\left(\right|<\frac{{\mathrm{dC}}_0}{ds}\&times;\frac{{\mathrm{dC}}_1}{d\mathrm{\&phi;}},C_1\left(\mathrm{\&phi;}\right(s\left)\right)-C_0\left(s\right)>|+\mathrm{\&lambda;}{\left(s\right)}^{\&prime;2}(s\left)\right)ds$

s.t.φ(0)＝0，φ(l₀)＝l₁，

$\frac{-b\mathrm{\&sigma;}\left(s\right)}{1-b}\&le;{\mathrm{\&phi;}}^{\&prime;}\left(s\right)\&le;\frac{a\mathrm{\&sigma;}\left(s\right)}{a-1},$

其中，

C₀—第一条激光线曲线；

C₁—第二条激光线曲线；

l₀—C₀曲线的总长度；

l₁—C₁曲线的总长度；

φ(s)—C₀和C₁之间的对应函数；

s—曲线的弧长参数；

λ—指定参数，用于控制待求对应函数的光滑程度；

a—指定参数，需大于1；

b—指定参数，需小于0；

σ(s)—曲线对应点切线夹角的比例函数，定义如下：

$\mathrm{\&sigma;}\left(s\right)=\frac{{\mathrm{sin\&alpha;}}_0\left(s\right)}{{\mathrm{sin\&alpha;}}_1\left(s\right)},$

其中，

α₀(s)—C₀在s点处的切线与对应直母线的夹角；

α₁(s)—C₁在对应点处的切线与对应直母线的夹角。

8.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述对所述插值的可展曲面进行展开，具体包括：

计算所述可展曲面上两条3D准线展开至平面所对应的曲线方程，，利用最优对应函数，在平面上构造可展曲面的直母线，对曲面进行展开。

9.根据权利要求8所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

通过求解常微分方程，计算所述可展曲面上两条3D准线展开至平面所对应的曲线方程，其中，所述常微分方程为：

$\left\{\begin{array}{c}{x}^{\&prime;}{y}^{\&prime;\&prime;}-x^{\&prime;\&prime;}{y}^{\&prime;}=k_g\\ x^{\&prime;2}+y^{\&prime;2}=1\\ x\left(0\right)=x_0,y\left(0\right)=y_0,x^{\&prime;}\left(0\right)={\mathrm{\&mu;}}_0,y^{\&prime;}\left(0\right)=v_0\end{array}\right.$

其中，

k_g—可展曲面上曲线的测地曲率函数；

x₀—待展曲线起始点在平面上的x坐标；

y₀—待展曲线起始点在平面上的y坐标；

μ₀—待展曲线起始点在平面上指定的展开方向的x坐标；

ν₀—待展曲线起始点在平面上指定的展开方向的y坐标；

所述常微分方程通过以下公式求解：

其中，

cosC₀＝μ₀，sinC₀＝ν₀。

10.根据权利要求1所述的基于结构激光线的文档图像畸变矫正方法，其特征在于，

所述根据所述展开的可展曲面，对图像畸变进行矫正，具体包括：

在所述展开的可展曲面上放置规则网格点，计算所述网格点对应的曲面参数坐标，并利用所述相机内、外参数，计算所述网格点对应于原图像的像素坐标；

利用所述像素坐标与网格点坐标的对应关系，通过函数插值构造图像形变函数，对图像畸变进行矫正。