CN1214595A - 利用位图匹配的图像稳定装置及图像稳定方法 - Google Patents

Abstract

一种利用位图匹配技术来校正图像记录装置的运动的图像稳定装置及其图像稳定方法。在该图像稳定装置中,一个场存储器存储输入的数字图像信息。一个运动检测电路利用位图匹配技术来计算两个屏幕之间的图像信息的运动量,并输出图像记录装置的运动矢量。一个运动校正电路通过在与运动矢量方向相反的方向上移动存储在场存储器中的图像信息,来校正图像记录装置的运动。

Description

利用位图匹配的图像 稳定装置及图像稳定方法

本发明涉及图像记录装置，尤其涉及用于补偿图像记录装置的移动从而使图像记录装置捕获的图像稳定的图像稳定装置(image stabilizing apparatus)及图像稳定方法。

当利用比如摄录一体机(camcoder)之类的图像捕获系统拍摄一物体时，很难在手不抖动的情况下稳定地拍摄物体。当图像捕获系统小而轻从而使用户仅用一只手握着摄录一体机进行拍摄时，手的抖动可能会很严重。此外，如果摄录一体机的变焦透镜(zoom lens)的放大率增大，所拍摄的图像就会因为摄录一体机的极小移动而严重抖动。

为解决这个问题，需要通过自动校正手的抖动而稳定所拍摄图像的图像稳定装置。在这样的图像稳定装置中，通过图像检测方法来检测由手抖动所造成的图像捕获装置的运动。也就是说，利用局部运动矢量(local motionvector detector)检测器来检测图像的局部矢量。此外，利用局部运动矢量检测出代表整个场(field)的运动的场运动矢量和代表特殊环境的累加运动矢量。

一种传统的运动检测方法根据一代表点(representative point)的运动来检测图像的运动。在这种方法中，在运动检测区域设定预定数量的代表点。然后，通过检测预定数量的代表点的运动来估计图像的运动。虽然这样的方法具有可由简单硬件实现的优点，但是当图像中为运动物体时，这种方法的缺点是准确度下降。

另一种传统的图像检测方法利用带提取代表点(band extractrepresentative point,BERP)来检测图像的运动。按照这种利用BERP的运动检测方法，通过让图像信号通过带通滤波器来提取图像的特征点，以便与利用代表点的方法相比能提高准确性。然后，利用特征点来检测图像的运动。然而，这种方法的一个缺点是需要的存储容量增大。

另一种传统的图像检测方法利用边缘图形(edge pattern)匹配技术。这种利用边缘图形匹配技术的运动检测方法可以以简单的硬件实现，并能通过从图像提取边缘图形来减少存储容量，这就可以解决利用BERP的方法的问题。然而，按照这种方法，当照明度较低时可降低检测准确性。另外，从图像检测边缘很困难。

因此，需要一种在保持运动检测的准确程度的同时能够减少所需存储容量的运动检测方法。

为解决上述问题，本发明的一个目的是提供一种通过位图匹配(bit-planematching)来校正图像的运动的图像稳定装置，该装置能够根据照明度的变化准确地检测运动并能减少存储容量。

本发明的另一个目的是提供一种利用上述图像稳定装置的图像稳定方法。

为实现本发明的一个上述目的，本发明提供了一种利用位图匹配技术来校正图像记录装置的运动的图像稳定装置，及其图像稳定方法。在该图像稳定装置中，一个场存储器存储输入的数字图像信息。一个运动检测电路利用位图匹配技术来计算两个屏幕之间的图像信息的运动量，并输出图像记录装置的运动矢量。一个运动校正电路通过在与运动矢量方向相反的方向上移动存储在场存储器中的图像信息，来校正图像记录装置的运动。

为实现本发明的另一个上述目的，本发明提供了一种图像记录装置中的图像稳定方法，该方法包括步骤：(a)利用位图匹配技术来检测输入图像的运动矢量；和(b)通过在与所检测的运动矢量方向相反的方向上移动输入图像来校正图像记录装置的运动。

最好，步骤(a)包括下列步骤：(a1)从数字图像信息提取位图；(a2)在提取的位图中选择最优位图；(a3)存储先前屏和当前屏的最优位图；(a4)对存储在位图存储器中的先前屏的最优位图的像素值和当前屏中的最优位图的像素值进行比较，以计算像素位图之间的相关值，并累加所计算的相关值；以及(a5)从累加的相关值计算运动矢量。

通过参照附图详细描述本发明的一优选实施例，本发明的上述目的和优点将变得更加明白，附图中：

图1是根据本发明的利用位图匹配的图像稳定装置的方框图；

图2是图1所示的运动检测电路的详细方框图；

图3说明从236灰度级图像提取的位图，以作为根据本发明的将数字图像信息转换为位图的一个例子；

图4是说明根据本发明的选择最优位图的方法的流程图；

图5示范性地示出根据本发明的位图中的运动矢量检测区域；

图6表示图5所示的位图的运动矢量检测区域中的二进制像素；

图7说明根据本发明的两个场之间的位图匹配技术；以及

图8表示相关值相对于运动量的特性曲线。

参照图1，图像稳定装置包括运动检测电路101、场存储器102和运动校正电路103。

场存储器102接收和存储输入的数字图像信息。运动检测电路101根据位图匹配技术通过计算场单元中的输入图像信息的运动量来检测输入图像的运动矢量。运动校正电路103接收由运动检测电路101输出的运动矢量，并通过在与运动矢量方向相反的方向上移动存储在场存储器102中的图像信息来校正图像信息的运动。

图1所示的图像稳定装置按如下方式进行操作：

由摄录一体机之类的图像捕获装置的电荷耦合器件(CCD)输出的图像信息，或者是由盒式录像机之类的图像记录/再现装置输出的图像信息，通过模数转换器转换为数字图像信息。数字图像信息存储在场存储器102中并同时输入到运动检测电路101。由运动检测电路101根据位图匹配技术来检测两个连续场之间的图像信息的运动量，并根据所检测的运动量输出运动矢量。存储在场存储器102中的图像信息以与来自运动校正电路的运动矢量方向相反的方向移动，并作为已校正运动的数字图像信号输出。

图2是图1所示的运动检测电路的详细方框图。

图2的运动检测电路101包括位图提取器201、最优位图检测器202、位图存储器203、相关值(correlation value)检测单元204和运动矢量计算器206。相关值检测单元204包括位图比较器/计算器204a和相关值累加器204b。

位图提取器201从数字图像信息中提取位图。最优位图检测器202确定适合于具体照明度条件下的运动检测的最优位图。位图存储器203存储由位图检测器202在位图提取器201所提取的位图之中所确定的最优位图。位图存储器203存储至少两个分别从至少两个连续场中提取的最优位图。

相关值检测单元204对存储在位图存储器203中的先前场和当前场的位图之间的像素值进行比较，计算这两个位图中的像素之间的相关值，并累加相关值，以产生运两个位图之间的总的相关值。也就是说，在相关值检测单元204中，位图比较器/计算器204a比较当前场的位图和先前场的位图，并进行逻辑操作，以计算像素之间的相关值。相关值累加器204b累加由位图比较器/计算器204a输出的相关值。

运动矢量计算器206从一检测窗口(detection window)的运动量中计算由相关值累加器204b输出的具有最小相关值，即具有最大相关性的，来自先前位图的运动检测区域的运动矢量。

下面将参照图2详细描述图1所示的图像稳定装置的操作。

如图2所示，位图的每一个都是二进制图像信息，并由位图提取器201从输入的数字图像信息中提取出。考虑到环境条件对检测运动矢量的影响(最显著的是照明度的变化)，最优位图检测单元202在位图提取器201所提取的位图之中确定最优位图。

总之，当从具有k比特灰度级的图像信息中提取出位图时，图像信息的每一个像素值都由下述方程式(1)表示： $a_{k-1}{2}^{k-1}+a_{k-2}{2}^{k-2}+...+a_2{2}^2+a_1{2}^1+a_0{2}^0....\left(1\right)$

也就是说，像素值由k个系数a_i(i=0,1,2,…,k-1)表示，每个系数都为0或1。这样，具有256灰度级的图像信息可转换为8个位图，如图3所示。例如，如果原始图像的第203灰度级，即“11001011”，像素值由8个位图的第一像素值表示，如图3所示。

位图根据照明度的变化具有下述特性。在正常照明条件下，可检测出图像形状的信息包含于较高层位图(upper bit-plane)，这种信息对于检测输入图像的运动很重要。相反，二进制值随机分布于较低层位图(lower bit-plane)。同时，在较低照明度条件下，具有可检测形状(shape-detectable)信息的位图移动到较低层位图。相反，在较高照明度条件下，具有可检测形状信息的位图移动到较高层位图。由于对视觉重要的位图根据照明度的变化而移动，有必要选择最优位图，以便准确地检测运动矢量。

为了根据照明度的变化来选择最优位图，每个位图的比特转换率C_m由下列方程式(2)来计算： $C_m=\frac{\underset{X}{\mathrm{\&Sigma;}}\underset{Y}{\mathrm{\&Sigma;}}\&lsqb;a_m(x,y)\&CirclePlus;a_m(x-1,y)\&rsqb;}{M\&times;N},0<m<k-1....\left(2\right)$ 其中，表示异或操作(XOR)，而M×N表示位图大小。

除了二进制数据以相对随机方式分布的两个最低层位图BIT-PLANE 0和BIT-PLANE 1之外，其余的位图BIT-PLANE 2至BIT-PLANE 7表现出这样的特性，对较低层位图，比特转换率高，而对较高层位图，比特转换率低。并且，当照明度低时，每个位图的比特转换率趋向于低。这样，当选择最优位图时，在低照明度条件下选择相对较低层位图，而在高照明度条件下选择相对较高层位图，以便准确检测图像捕获装置的运动。

图4是说明根据本发明的检测最优位图的方法的流程图。

首先，最优位图检测器202初始化最优位图指数m和平均比特转换率C_avg(步骤S40)。在本实施例中，最优位图指数m初始化为位图指数的中值(median value)。然而，在本发明的另一实施例中，最优位图指数m可初始化为另一个值。此外，在本实施例中，在使用图像捕获装置期间根据经验确定平均比特转换率C_avg。

然后，计算所选择位图的比特转换率C_m(步骤S42)。在步骤44中，确定步骤S42中计算的比特转换率和步骤S40中计算的比特转换率之间的差的绝对值是否等于或小于一阈值T(步骤S44)。

如果步骤S44中确定绝对值等于或小于阈值T，则保持当前比特转换率。此时，平均比特转换率C_avg由下列方程式(3)来调节： $C_{\mathrm{avg}}=\frac{C_m+C_{\mathrm{avg}}}{2}$

然而，如果步骤S44中确定绝对值大于阈值T，则将位图改变为另一个(步骤S48)。为了改变位图，需确定所计算出的比特转换率C_m是否大于平均比特转换率C_avg(步骤S48a)。如果在步骤S48a中确定比特转换率C_m大于平均比特转换率C_avg，则比特转换指数增大并选择高于当前位图的位图(步骤S48b)。如果在步骤S48a中确定比特转换率C_m不大于平均比特转换率C_avg，则比特转换指数减小并选择低于当前位图的位图(步骤S48c)。在调节平均比特转换率C_avg或最优位图指数后，可执行步骤S40至S48c，以进一步优化最优位图指数。

如上所述，在本发明中，最优位图检测器202利用比特转换率产生一最优位图指数，以便检测最优位图。结果，根据照明度的变化检测最优位图。

相关值检测单元204在所检测的最优位图中设置一预定区域作为如图5所示的运动检测区域。并且，相关值检测单元204比较连续场的最优位图的像素值，并累加比较结果，以获得一相关值。运动矢量计算器206利用来自相关值检测单元204的所计算的相关值来检测图像的运动矢量。

当利用图像捕获装置进行拍摄时，运动物体通常位于屏幕中心，而将屏幕边缘指定为背景。这样，为减少计算量和所需的存储容量，最好设定一运动检测区域，并利用该运动检测区域中的像素而不是利用整个图像的所有像素来确定运动矢量。此外，最好将运动检测区域设置到靠近屏幕边缘。这样，在本发明的一优选实施例中，在靠近位图边缘处设置了4个运动矢量检测区域1、2、3和4。

图6表示图5所示的位图的运动矢量检测区域中的二进制像素。位图比较器/计算器204a顺序产生每一个都具有相同大小的多个检测窗口，作为当前位图的预定搜索区域中的运动检测区域，运在图7中由虚线矩形表示。然后位图比较器/计算器204a对检测窗口的像素值和存储在位图存储器中的先前位图中的运动检测区域的像素值进行比较。也就是说，位图比较器/计算器204a对先前位图中的运动检测区域的二进制像素值和当前位图的检测窗口的像素值进行异或操作(XOR)，如方程式(4)所示，相关值累加器204b累加XOR的结果，以获得最终的相关值。 $P(i,j)=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\&lsqb;a_m^{t-1}(x,y)\mathrm{XOR}{a}_m^t(x+i,y+j)\&rsqb;,0\&le;m\&le;k-1...\left(4\right)$

其中a_m ^t(x,y)表示t时刻的第m个位图，(i,j)表示运动矢量，该运动矢量是水平和垂直方向的来自运动检测区域的检测窗口的运动量，而P(i,j)表示对应于该运动矢量的相关值。并且，在式(4)中假设运动检测区域大小为(k×k)。

图8表示相关值相对于运动量的特性曲线。如从图8中看到的，相关值在对应于图像由于手抖动而致的实际位移的位置处最小，并随着所假定的(assumed)运动量的增加/减小而增加。这样，图2中的运动矢量计算器206确定在图像在场间运动时相关值在其最小值的位置。对四个运动检测区域执行这样的过程，并确定每一个运动量作为每一个检测区域的运动矢量V_n(0≤n≤3)。最后，将四个运动检测区域的运动矢量的平均值确定为总的运动矢量。

           V₀=(i,j)-arg min[P(i,j)]    …(5)

另一方面，本发明的图像稳定方法能用于除录像机以外的图像记录/再现装置，如数字盒式录像机(digital video cassette recorder,DVCR)和数字静止录像机(digital still camera,DSC)。例如，在DVCR的情况下，由记录在录像机上的图像信号所反映的手的抖动，可在被记录的同时利用本发明的图像稳定装置得到补偿。可替代的是，在利用比如录像机的拍摄装置拍摄图像时所引入的手的抖动，可在所记录的图像信号被再现时利用本发明的图像稳定装置来校正。

如上所述，在利用位图匹配来校正输入图像的运动的图像稳定装置及其方法中，因为仅将来自输入图像信息的一特定位图的二进制图像信息存储在存储器中，故所需的存储容量可减少。并且，因为在位图中仅执行一简单的逻辑操作，故总的计算速度可增加。此外，因为在位图匹配中所需的异或操作可由简单电路执行，故总的图像稳定系统的结构可被简化。

Claims (8)

1．一种图像记录装置的图像稳定装置，包括：

一个场存储器，用于存储输入的数字图像信息；

一个运动检测电路，用于利用位图匹配技术来计算两个屏幕之间的输入图像信息的运动量，并输出该图像记录装置的运动矢量；以及

一个运动矢量校正电路，用于通过在与该运动矢量方向相反的方向上移动存储在该场存储器中的图像信息，来校正该图像记录装置的运动。

2．如权利要求1所述的图像稳定装置，其中所述图像检测电路包括：

一个位图提取器，用于从输入的数字图像信息中提取位图；

一个最优位图检测器，用于在由该位图提取器所提取的位图中检测适合于检测运动的最优位图；

一个位图存储器，用于存储由该位图检测器所检测的最优位图；

一个位图相关值检测器，用于对存储在该位图存储器中的先前屏的最优位图的像素值和当前屏中的最优位图的像素值进行比较，以计算像素位图之间的相关值，并累加所计算的相关值；以及

一个运动检测计算器，用于从所累加的相关值中计算运动矢量。

3．一种图像记录装置中的图像稳定方法，该方法包括下列步骤：

(a)利用位图匹配技术来检测输入图像的运动矢量；和

(b)通过在与所检测的运动矢量方向相反的方向上移动该输入图像来校正图像记录装置的运动。

4．如权利要求3所述的图像稳定方法，其中所述步骤(a)包括下列步骤：

(a1)从数字图像信息提取位图；

(a2)在提取的位图中选择最优位图；

(a3)存储先前屏和当前屏的最优位图；

(a4)对存储在位图存储器中的先前屏的最优位图的像素值和当前屏中的最优位图的像素值进行比较，以计算像素位图之间的相关值，并累加所计算的相关值；以及

(a5)从累加的相关值中计算运动矢量。

5．如权利要求4所述的图像稳定方法，其中所述步骤(a2)包括下列步骤：

(a2a)初始化最优位图指数m和平均比特转换率C_avg；

(a2b)计算由最优位图指数m所确定的最优位图的比特转换率C_m；

(a2c)确定所计算的比特转换率和平均比特转换率之间的差的绝对值是否等于或小于一预定的阈值；和

(a2d)如果在步骤(a2c)中该绝对值小于或等于该阈值，则保持当前位图，而如果该绝对值大于该阈值，则改变位图。

6．如权利要求5所述的图像稳定方法，其中，如果在所述步骤(a2d)中保持所述当前位图，则将所述平均比特转换率复位为C_avg=(C_m+C_avg)/2。

7．如权利要求5所述的图像稳定方法，其中所述步骤(a2d)中的所述位图的改变包括下列步骤：

确定所述比特转换率C_m是否大于所述平均比特转换率C_avg；和

如果所述比特转换率C_m大于所述平均比特转换率C_avg，则选择较高层位图，而如果所述比特转换率C_m不大于所述平均比特转换率C_avg，则选择较低层位图。

8．如权利要求5所述的图像稳定方法，还包括在所选择的最优位图中设置一预定数目的运动检测区域的步骤，

其中，对于该预定数目的运动检测区域中的像素值，比较先前屏的最优位图的像素值和当前屏中的最优位图的像素值。

Images