[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103139578A - 调整影像的运动景深的方法 - Google Patents

调整影像的运动景深的方法 Download PDF

Info

Publication number
CN103139578A
CN103139578A CN2011103779771A CN201110377977A CN103139578A CN 103139578 A CN103139578 A CN 103139578A CN 2011103779771 A CN2011103779771 A CN 2011103779771A CN 201110377977 A CN201110377977 A CN 201110377977A CN 103139578 A CN103139578 A CN 103139578A
Authority
CN
China
Prior art keywords
performance data
value
relatively moves
relatively
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103779771A
Other languages
English (en)
Inventor
刘广智
汪淳
姜建德
刘国卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN2011103779771A priority Critical patent/CN103139578A/zh
Priority to US13/455,130 priority patent/US20130135430A1/en
Publication of CN103139578A publication Critical patent/CN103139578A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种调整影像的运动景深的方法,用于二维转三维影像处理。上述方法包括接收多个时间点的多个画面,并计算各画面各自的多个狭域移动向量与一广域移动向量。上述方法还包括判断上述多个画面中,上述多个狭域移动向量与广义移动向量间的第一差异程度。上述方法还包括判断上述画面当中一最近画面与其余先前画面间的第二差异程度。上述方法还包括依据第一差异程度与第二差异程度来计算出一增益值。上述方法还包括依据增益值来调整最近画面的原始运动景深。藉此,可以避免或改善景深倒置的现象。

Description

调整影像的运动景深的方法
技术领域
本发明涉及一种调整影像的运动景深的方法,特别是涉及一种可避免或改善景深倒置现象的调整影像的运动景深的方法。
背景技术
随着显示技术的进步,可提供三维(3D)影像画面的显示器如雨后春笋般地涌现。此种立体显示器所需的影像信息包括二维(2D)影像画面及其深度信息。藉由二维影像画面及其深度信息,立体显示器可重建对应的三维影像画面。
传统影像景深的估算方法之一是藉由物体运动程度来撷取其深度,此称为「自运动获取深度(depth-from-motion;DMP)」方法。其中,具较高运动程度的物体被赋予较小(较近)深度;反之,具较低运动程度的物体被赋予较大(较远)深度。
对于一般的影像而言,藉由上述DMP方法所获得的景深,不至发生景深倒置的现象。然而,倘若影像中具有视窗移动物件(windowed-movingobject),藉由传统的DMP方法就会发生景深倒置的现象。请参考图1,图1为一影像100包含有一视窗移动物件120的示意图。影像100的拍摄场合为拍摄者本身处于移动状态下,例如拍摄者坐在汽车或火车等正在进行中的交通工具并对着车窗外拍摄。视窗移动物件120呈现所拍摄的车窗外景况,而影像100中的背景110则呈现了车内的景况。在传统的DMP方法中,因具较高运动程度的物体被赋予较小(较近)景深,故视窗移动物件120的景深会较背景110的景深小,而使得观看者所看到的影像100中视窗移动物件120会较背景110还要近的景深倒置现象。
发明内容
本发明提供调整影像的运动景深的方法,此方法可避免或改善景深倒置现象。
本发明的一实施例提出一种调整影像的运动景深的方法,用于二维转三维影像处理。上述方法包括:(i)接收多个时间点的多个画面,并依据各画面各自的多个狭域移动向量与一广域移动向量,计算上述画面当中每一个的相对移动特性数据;(ii)将上述画面的相对移动特性数据累积计算,以获得第一累积相对移动特性数据;(iii)将上述画面当中除一最近画面外的其余画面的相对移动特性数据累积计算,以获得一第二累积相对移动特性数据;(iv)比较最近画面的相对移动特性数据与第二累积相对移动特性数据以获得一比较相对移动特性数据;(v)依据第一累积相对移动特性数据与比较相对移动特性数据来计算出一增益值;以及(vi)依据增益值来调整最近画面的原始运动景深。
本发明的另一实施例提出一种调整影像的运动景深的方法,用于二维转三维影像处理。上述方法包括:接收多个时间点的多个画面,并计算各画面各自的多个狭域移动向量与一广域移动向量;判断上述多个画面中,上述多个狭域移动向量与广义移动向量间的第一差异程度;判断上述画面当中一最近画面与其余先前画面间的第二差异程度;依据第一差异程度与第二差异程度来计算出一增益值;以及依据增益值来调整最近画面的原始运动景深。
在本发明的一实施例中,上述步骤(i)包括:(a)分别就各画面计算各狭域向量与广域向量间的差值,以获得多个相对移动向量;以及(b)依据各画面的狭域移动向量与相对移动向量,以获得各画面的相对移动特性数据。
在本发明的一实施例中,上述步骤(b)包括:(b1)判断各狭域移动向量的绝对值是否大于一第一临界值;(b2)判断各相对移动向量的绝对值是否大于一第二临界值;以及(b3)依据上述判断结果以获得各画面的相对移动特性数据。
在本发明的一实施例中,上述步骤(b3)包括:依据上述判断结果以计算出各画面中与多个狭域单元相对应的多个比较结果值;以及将上述比较结果值沿一行/列映射方向映射以产生一映射移动向量,映射移动向量代表相对移动特性数据。
在本发明的一实施例中,上述产生映射移动向量的步骤包括:将上述比较结果值沿行/列映射方向计数以产生多个分别对应于不同行/列的计数值;以及将上述计数值分别与一第三临界值比较,以依据上述计数值与第三临界值的比较结果来产生映射移动向量的多个元素值。
在本发明的一实施例中,上述步骤(i)至(v)分别依据上述画面的一个至多个方向实施。
在本发明的一实施例中,上述画面中的相对移动特性数据的每一个各包括多个对应于不同行/列的元素值。上述步骤(ii)包括:将上述画面中对应于同一行/列的元素值进行或运算,以获得第一累积相对移动特性数据。
在本发明的一实施例中,上述步骤(iii)包括:将上述其余画面的相对移动特性数据中对应于同一行/列的元素值进行或运算,以获得第二累积相对移动特性数据。
在本发明的一实施例中,上述步骤(iv)包括:将相对移动特性数据的多个元素值与第二累积相对移动特性数据中对应于同一行/列的相反元素值进行与运算,以获得比较相对移动特性数据。
在本发明的一实施例中,上述步骤(v)包括:依据第一累积相对移动特性数据,取得一第一增益值;依据比较相对移动特性数据,取得一第二增益值;以及依据第一增益值及第二增益值计算出增益值。
在本发明的一实施例中,上述取得第一增益值的步骤包括:依据第一累积相对移动特性数据的多个元素值的一第一加总值,自一第一增益曲线中获得第一增益值。上述取得第二增益值的步骤包括:依据比较相对移动特性数据的多个元素值的一第二加总值,自一第二增益曲线中获得第二增益值。
在本发明的一实施例中,上述第一增益值与第二增益值当中每一个分别依第一与第二方向计算。
在本发明的一实施例中,上述计算增益值步骤包括:获得沿第一方向的第一增益值与第二增益值的乘积;获得沿第二方向的第一增益值与第二增益值的乘积;以及依据上述两乘积当中的一较大者来决定增益值。
在本发明的一实施例中,上述判断第一差异程度的步骤包括:分别就各画面计算狭域向量与广域向量间的差值,以获得多个相对移动向量;依据各画面的狭域移动向量与相对移动向量,以获得各画面的相对移动特性数据;以及将画面的相对移动特性数据累积计算,以获得第一累积相对移动特性数据,而第一累积相对移动特性数据代表第一差异程度。
在本发明的一实施例中,上述获得各画面的相对移动特性数据的步骤包括:判断狭域移动向量的绝对值是否大于一第一临界值;判断相对移动向量的绝对值是否大于一第二临界值;以及依据上述判断结果以获得各画面的相对移动特性数据。
在本发明的一实施例中,上述判断第二差异程度的步骤包括:将画面当中除一最近画面外的其余画面的相对移动特性数据累积计算,以获得一第二累积相对移动特性数据;以及比较最近画面的相对移动特性数据与第二累积相对移动特性数据以获得一比较相对移动特性数据,比较相对移动特性数据代表第二差异程度。
在本发明的一实施例中,当第一差异程度越大时,增益值设定为越小,以及当第二差异程度越小时,增益值设定为越小。
基于上述,上述实施例藉由所计算出的第一累积相对移动特性数据及比较相对移动特性数据,获得增益值。其中,第一累积相对移动特性数据用以判断狭域向量与广域向量间之间的差异程度,而比较相对移动特性数据用以判断最近画面与其余的先前画面之间的差异程度。因此,所得到的增益值会相关于狭域向量与广域向量间之间的差异程度,并相关于最近画面与其余的先前画面之间的差异程度。藉此,依据增益值而调整的最近画面的运动景深得以真实地反应拍摄景况,而避免或改善景深倒置现象。
为使本发明的上述特征和优点能更明显易懂,下文特举实施例,并结合附图详细说明如下。
附图说明
图1为一影像包含有一视窗移动物件的示意图。
图2A是本发明一实施例的影像处理电路的功能方块图。
图2B为依据一实施例的调整影像的运动景深的方法的概要流程图。
图2C为依据一实施例的调整影像的运动景深的方法的细步流程图。
图3绘示了图2A的影像在时序上的多个画面。
图4A绘示了本发明一实施例的画面M0中各狭域单元所对应的相对移动向量。
图4B绘示了本发明另一实施例的画面M0中各狭域单元所对应的相对移动向量。
图5A绘示了本发明一实施例中画面M0的各狭域单元所对应的相对移动向量。
图5B绘示了本发明另一实施例中画面M0的各狭域单元所对应的相对移动向量。
图6A绘示了本发明一实施例中各画面的相对移动特性数据、第一累积相对移动特性数据、第二累积相对移动特性数据及比较相对移动特性数据。
图6B绘示了本发明另一实施例中各画面的相对移动特性数据、第一累积相对移动特性数据、第二累积相对移动特性数据及比较相对移动特性数据。
图7A绘示了本发明一实施例中画面M0的各狭域单元所对应的比较结果值。
图7B绘示了本发明另一实施例中画面M0的各狭域单元所对应的比较结果值。
图8绘示了本发明一实施例中画面M0的各狭域单元所对应的原始运动景深。
图9为第一增益曲线的示意图。
图10为第二增益曲线的示意图。
附图符号说明
100:影像
110:背景
120:视窗移动物件
200:影像处理电路
210:接收端口
220:逻辑电路
230:缓冲存储器
410:狭域单元
IMG1、IMG2:影像
M0~M9:画面
T0~T9:时间点
V(0,1,1)~V(0,M,N):狭域移动向量
X:水平方向
Y:垂直方向
VG:广域移动向量
GX:广域移动向量VG在水平方向X上的分量
GY:广域移动向量VG在垂直方向Y上的分量
Δ(0,1,1)~Δ(0,M,N)、[ΔX(0,1,1),ΔY(0,1,1)]~[ΔX(0,M,N),ΔY(0,M,N))]:相对移动向量
H[0]~H[P]:相对移动特性数据
HX[0]~HX[P]:水平分量
HY[0]~HY[P]:垂直分量
H[0,1]~H[P,Q]、HX[0,1]~HX[P,M]、HY[0,1]~HY[P,N]:元素值
OR1:第一累积相对移动特性数据
OR1X:第一累积相对移动特性数据的水平分量
OR1Y:第一累积相对移动特性数据的垂直分量
O[1]~O[Q]、OX[1]~OX[M]、OY[1]~OY[N]:元素值
OR2:第二累积相对移动特性数据
OR2X:第二累积相对移动特性数据的水平分量
OR2Y:第二累积相对移动特性数据的垂直分量
U[1]~U[Q]、UX[1]~UX[M]、UY[1]~UY[N]:元素值
AND1:比较相对移动特性数据
AND1X:比较相对移动特性数据的水平分量
AND1Y:比较相对移动特性数据的垂直分量
A[1]~A[Q]、AX[1]~AX[M]、AY[1]~AY[N]:元素值
A(0,1,1)~A(0,M,N)、[AX(0,1,1),AY(0,1,1)]~[AX(0,M,N),AY(0,M,N)]:比较结果值
CX[0]:水平映射移动向量
CY[0]:垂直映射移动向量
S[1]~S[M+N]、SX[1]~SX[M]、SY[1]~SY[N]:计数值
C[1]~C[M+N]、CX[1]~CX[M]、CY[1]~CY[N]:元素值
D(0,1,1)~D(0,M,N):原始运动景深
C1:第一增益曲线
C2:第二增益曲线
Gain1:第一增益值
Gain2:第二增益值
Or_C:第一加总值
And_C:第二加总值
S201~S205、S211~S216:流程步骤
具体实施方式
请参考图2A,图2A是本发明一实施例的影像处理电路200的功能方块图。影像处理电路200包括接收端口210、逻辑电路220以及缓冲存储器230。接收端口210用以接收影像IMG1于多个时间点的多个画面。如图3所示,影像IMG1具有多个画面M0~M9,而画面M0~M9分别与时间点T0~T9对应。其中,画面M0对应于时间点T0、画面M1对应于时间点T1,依此类推。在此,画面M0被定义为目前所处理的画面,而称为「最近画面」,其余画面M1~M9则称为「先前画面」。须了解的,虽然图3所绘示的影像IMG1具有10个画面,但本领域的技术人员应了解影像IMG1的画面数可为其他数目。
逻辑电路220耦接于接收端口210,用以执行本发明的调整影像的运动景深的方法。当逻辑电路220调整完影像IMG1中任一画面的运动景深后,即可产生并输出另一影像IMG2中一个对应的画面。影像IMG2的每个画面的运动景深皆由逻辑电路220调整过,且影像IMG2可被传送至一显示装置,而由该显示装置基于影像IMG2显示对应的画面。
缓冲存储器230耦接于逻辑电路220,用以暂存逻辑电路220于运作过程中所产生的数据。以下进一步说明影像处理电路200实施调整影像的运动景深的方法。
图2B为依据一实施例的调整影像的运动景深的方法的概要流程图,其可由图2A所示的影像处理电路200来实施。首先,于步骤S201中,逻辑电路220接收多个时间点的多个画面,并计算各该画面各自的多个狭域移动向量与一广域移动向量。
接下来,于步骤S202中,逻辑电路220判断该多个画面中,该多个狭域移动向量与该广义移动向量间的第一差异程度。当几个画面中狭域向量与广域向量之间的差异程度整体较高时,表示在画面中可能有一定大小的移动物体。
接下来,于步骤S203中,逻辑电路220判断这些画面当中一最近画面与其余先前画面间的第二差异程度。当第二差异程度越大时,表示画面中的移动物体在一定时间内有一定的空间位移。
接下来,于步骤S204中,逻辑电路220依据该第一差异程度与该第二差异程度来计算出一增益值。较佳地,当第一差异程度越大时,此增益值设定为越小;反之,当第二差异程度越小时,则设定此增益值越小。最后,于步骤S205中,即可依据该增益值来调整该最近画面的原始运动景深。
结果,在应用此方法时,倘若在画面中的移动物体为视窗移动物件(windowed-moving object),则所计算出来的第一差异程度会偏大,且所计算出的第二差异程度会偏小,进而可得到偏小的增益值G。如此一来,当画面中的移动物体为视窗移动物件时,依据偏小的增益值G来调整后的运动景深会较小,进而可避免或改善景深倒置的现象。
相对地,倘若在画面中的移动物体并非视窗移动物件,则其所计算出来的第一差异程度及第二差异程度可能皆偏大,进而产生偏大的增益值。如此一来,调整后的运动景深会较大,而使用者会观看到正常景深的影像。
继续参考图2C,其为依据一实施例的调整影像的运动景深的方法的细步流程图,用以说明图2B中各步骤的进一步细节。如图2C所示,其包括下述步骤。
首先,于步骤S211中,逻辑电路220接收多个时间点的多个画面,并依据各该画面各自的多个狭域移动向量与一广域移动向量,以进一步计算出这些画面当中每一个各自的一相对移动特性数据。此相对移动特性数据代表每一画面中的多个狭域移动向量与一广域移动向量的差异程度。
接下来,于步骤S212中,逻辑电路220将这些画面的这些相对移动特性数据累积计算,以获得第一累积相对移动特性数据。其中,第一累积相对移动特性数据即用来代表图2B中所述的第一差异程度。
接下来,于步骤S213中,逻辑电路220将这些画面当中除一最近画面外的其余画面的该相对移动特性数据累积计算,以获得一第二累积相对移动特性数据。继而,于步骤S214中,即可比较该最近画面的该相对移动特性数据与该第二累积相对移动特性数据,以获得一比较相对移动特性数据。其中,比较相对移动特性数据即用来代表图2B中所述的第二差异程度。
接下来,于步骤S215中,即可依据该第一累积相对移动特性数据与该比较相对移动特性数据来计算出一增益值。最后,于步骤S216中,即可依据该增益值来调整该最近画面的原始运动景深。
值得注意的是,上述步骤S211至S215可分别依据画面的一个至多个方向实施,譬如为水平方向X或/和垂直方向Y。当步骤S211至S215依据画面的多个方向实施时,上述多个方向可为水平方向X及垂直方向Y。以下将进一步使用各种实施例来详细说明图2C的调整影像的运动景深的方法的各个步骤。
首先,于步骤S211中,逻辑电路220计算每一画面M0~M9中与多个狭域单元410相对应的多个狭域移动向量及一广域移动向量VG。请参考图4A,图4A绘示本发明一实施例的画面M0中各狭域单元所对应的狭域移动向量。画面M0被区分为多个狭域单元410,而每一个狭域单元410具有画面M0的一个或多个像素,而多个狭域单元410排列成M列乘以N行的阵列,其中M和N为正整数。与画面M0相同地,影像IMG1的其他画面(例如:画面M1~M9)的每一个都具有排列成M列乘以N行阵列的多个狭域单元410。
为方便说明,如图4A所示,逻辑电路220所计算出的画面M0中与多个狭域单元410相对应的多个狭域移动向量分别以V(0,1,1)~V(0,M,N)表示。类似地,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的狭域移动向量以V(i,j,k)表示,其中0≤i,1≤j≤M,1≤k≤N。上述计算狭域移动向量及广域移动向量VG的方式可以是自运动获取深度(DMP)方法中所采用的计算狭域移动向量(local motion vector)及广域移动向量(global motionvector)的方式,而DMP方法为本领域的技术人员所熟知,故在此即不多赘述。
值得注意的是,较佳地,于计算时,每一狭域移动向量萃取出两方向的分量,譬如是一水平移动向量以及一垂直移动向量,其中水平移动向量与垂直移动向量相互垂直。请参考图4B,图4B绘示了本发明一实施例的画面M0中各狭域单元410所对应的相对移动向量。为方便说明,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的狭域移动向量以[VX(i,j,k),VY(i,j,k)]表示,其中0≤i,1≤j≤M,1≤k≤N,VX(i,j,k)表示狭域移动向量在水平方向X上的水平分量,而VY(i,j,k)表示狭域移动向量在垂直方向Y上的垂直分量。以图4B为例,逻辑电路220所计算出的画面M0中与多个狭域单元410相对应的多个狭域移动向量分别以[VX(0,1,1),VY(0,1,1)]~[VX(0,M,N),VY(0,M,N)]表示。此外,逻辑电路220所计算的广域移动向量VG是以[GX,GY]表示。其中,GX为广域移动向量VG在水平方向X上的分量,而GY为广域移动向量VG在垂直方向Y上的分量。
之后,逻辑电路220分别就各画面将多个狭域向量分别与广域向量VG比较,以计算多个相对移动向量。为方便说明,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的相对移动向量以Δ(i,j,k)表示,其中0≤i,1≤j≤M,1≤k≤N。以图5A为例,图5A绘示画面M0中各狭域单元410所对应的相对移动向量。如图5A所示,逻辑电路220所计算出的画面M0中与多个狭域单元410相对应的多个相对移动向量分别以Δ(0,1,1)~Δ(0,M,N)表示。
在本发明一实施例中,逻辑电路220分别就各画面计算多个狭域向量与广域向量VG间的差值以获得多个相对移动向量。换言之,各相对移动向量依据下述的方程式(1)取得:
Δ(i,j,k)=V(i,j,k)-VG  (1)
值得注意的是,较佳地,于计算相对移动向量Δ(i,j,k)时,分别计算两方向的分量。请参考图5B,图5B绘示了画面M0中各狭域单元410所对应的相对移动向量。为方便说明,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的相对移动向量以[ΔX(i,j,k),ΔY(i,j,k)]表示,其中0≤i,1≤j≤M,1≤k≤N,ΔX(i,j,k)表示相对移动向量在水平方向X上的分量,而ΔY(i,j,k)表示相对移动向量在垂直方向Y上的分量。以图5B为例,逻辑电路220所计算出的画面M0中与多个狭域单元410相对应的多个相对移动向量分别以[ΔX(i,1,1),ΔY(i,1,1)]~[ΔX(i,M,N),ΔY(i,M,N)]表示。在本发明一实施例中,各相对移动向量在水平方向X及垂直方向Y上的分量依据下述的方程式(1-1)、(1-2)取得:
ΔX(i,j,k)=VX(i,j,k)-GX  (1-1)
ΔY(i,j,k)=VY(i,j,k)-GY  (1-2)
之后,逻辑电路220依据各画面的狭域移动向量与相对移动向量,以获得各画面的一相对移动特性数据。请参考图6A,图6A绘示了各画面的相对移动特性数据。其中,H[0]表示为画面M0的相对移动特性数据;H[1]表示为画面M1的相对移动特性数据;H[2]表示为画面M2的相对移动特性数据,依此类推。
在本发明一实施例中,各相对移动特性数据H[0]~H[P]分别以一维矩阵或一向量表示。如图6A所示,相对移动特性数据H[0]~H[P]的每一个各包括多个对应于不同行/列的元素值。以相对移动特性数据H[1]为例,相对移动特性数据H[1]包括多个元素值H[1,1]~H[1,Q],分别对应于画面M1的第1至第M列,或是对应于画面M1的第1至第N行;而以相对移动特性数据H[P]为例,相对移动特性数据H[P]包括多个元素值H[P,1]~H[P,Q],分别对应于画面MP的第1至第M列,或是对应于画面MP的第1至第N行。其中元素值H[s,t]表示在时间点Ts的画面所对应的相对移动特性数据H[s]的第t个元素值。
另外,值得注意的是,如图6B所示,于计算每一画面的相对移动特性数据H[0]~H[P]时,较佳可分别计算一水平分量以及一垂直分量。例如,画面M0的相对移动特性数据(HX[0],HY[0])包括水平分量HX[0]以及垂直分量HY[0];画面M1的相对移动特性数据(HX[1],HY[1])包括水平分量HX[1]以及垂直分量HY[1];画面M2的相对移动特性数据(HX[2],HY[2])包括水平分量HX[2]以及垂直分量HY[2],依此类推。
更仔细说,在时间点Ti的画面所对应的相对移动特性数据(HX[i]、HY[i])的水平分量HX[i]的第j个元素值可以HX[i,j]表示,而时间点Ti的画面所对应的相对移动特性数据(HX[i]、HY[i])的垂直分量HY[i]的第k个元素值可以HY[i,k]表示,其中1≤j≤M,1≤k≤N。以相对移动特性数据(HX[1]、HY[1])为例,其水平分量HX[1]包括多个元素值HX[1,1]~HX[1,M],其垂直分量HY[1]包括多个元素值HY[1,1]~HY[1,N];而以相对移动特性数据(HX[P]、HY[P])为例,其水平分量HX[P]包括多个元素值HX[P,1]~HX[P,M],其垂直分量HY[P]包括多个元素值HY[P,1]~HY[P,N]。
在上述实施例中,图6A中所示的相对移动特性数据H[1]至H[P]的各元素值,分别作为一对应行/列上的各个狭域移动向量V(i,j,k)的绝对值与相对移动向量Δ(i,j,k)的绝对值是否够大的象征。以下继续以范例仔细说明获得相对移动特性数据H[0]~H[P]的详细计算方式。
关于获得相对移动特性数据H[0]~H[P]的过程,在本发明一实施例中,在逻辑电路220获得各画面的相对移动特性数据H[0]~H[P]的过程中,逻辑电路220会先判断各狭域移动向量V(i,j,k)的绝对值是否大于第一临界值,并判断各相对移动向量Δ(i,j,k)的绝对值是否大于第二临界值,之后再依据上述两种判断结果以获得各画面的相对移动特性数据H[0]~H[P]。
而关于依据上述两种判断结果以获得各画面的相对移动特性数据H[0]~H[P]的过程,在本发明一实施例中,逻辑电路220会先计算出各画面中与狭域单元410相对应的多个比较结果值A(i,j,k),此比较结果值代表上述两种判断结果,继而逻辑电路220再将这些比较结果值A(i,j,k)沿一行/列映射方向映射以产生映射移动向量CX[0]或CY[0],并使用此映射移动向量CX[0]或CY[0]来代表上述的相对移动特性数据H[0]~H[P]。
请参考图7A,图7A绘示了画面M0中各狭域单元410所对应的比较结果值A(i,j,k),以说明比较结果值A(i,j,k)与映射移动向量CX[0]或CY[0]的产生过程。为方便说明,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的比较结果值以A(i,j,k)表示,其中0≤i,1≤j≤M,1≤k≤N。以图7A为例,逻辑电路220所计算出的画面M0中与多个狭域单元410相对应的多个比较结果值分别以A(0,1,1)~A(0,M,N)表示。
在本发明一实施例中,各比较结果值依据下述的方程式(2)取得:
A ( i , j , k ) = 1 , if | V ( i , j , k ) | > Th 1 and | Δ ( i , j , k ) | > Th 2 0 , if | V ( i , j , k ) | ≤ Th 1 or | Δ ( i , j , k ) | ≤ Th 2 - - - ( 2 )
其中,Th1为上述的第一临界值,而Th2为上述的第二临界值。换言之,倘若|V(i,j,k)|大于第一临界值Th1且|Δ(i,j,k)|大于第二临界值Th2,则设定比较结果值A(i,j,k)等于1。相对地,倘若|V(i,j,k)|不大于第一临界值Th1或|Δ(i,j,k)|不大于第二临界值Th2,则设定比较结果值A(i,j,k)等于0。因此,只有|V(i,j,k)|与|Δ(i,j,k)|分别够大时,才能够设定比较结果值A(i,j,k)等于1,于其余情况下,比较结果值A(i,j,k)皆设定为等于0。
在获得结果值A(i,j,k)后,继而逻辑电路220会将上述的比较结果值沿一行/列映射方向映射以产生映射移动向量CX[0]或CY[0],而此映射移动向量CX[0]或CY[0]即可代表相对移动特性数据。在此所谓的行/列映射方向例如是水平方向X或垂直方向Y,其中水平方向X与垂直方向Y相互垂直。以图7A为例,逻辑电路220可将画面M0中的比较结果值A(0,1,1)~A(0,M,N)沿水平方向X映射,以产生映射移动向量CX[0]。或者,逻辑电路220可将画面M0中的比较结果值A(0,1,1)~A(0,M,N)沿垂直方向Y映射,以产生映射移动向量CY[0]。如图7A所示,映射移动向量CX[0]可具有多个元素值C[1]~C[M],而映射移动向量CY[0]可具有多个元素值C[M+1]~C[M+N]。每一元素值C[1]~C[M+N]对应于一列狭域单元410或一行狭域单元410。
在一实施例中,在逻辑电路220将上述的比较结果值沿行/列映射方向映射以产生映射移动向量的过程中,逻辑电路220会将上述的比较结果值沿行/列映射方向计数,以产生多个分别对应于不同行/列的计数值,继而再将上述的计数值分别与第三临界值Th3比较,以依据上述计数值与第三临界值Th3的比较结果来产生映射移动向量的多个元素值。
以图7A所示的画面M0为例,倘若上述的行/列映射方向为垂直方向Y,亦即Q等于M,逻辑电路220会将比较结果值A(0,1,1)~A(0,M,N)沿垂直方向Y计数以产生多个分别对应于不同列的计数值S[1]~S[M],并将上述的计数值S[1]~S[M]分别与第三临界值Th3比较,以依据上述计数值S[1]~S[M]与第三临界值Th3的比较结果来产生映射移动向量CX[0]的多个元素值C[1]~C[M]。其中计数值S[1]~S[M]是依据下述的方程式(3)取得,而元素值C[1]~C[M]是依据下述的方程式(4)取得:
S [ j ] = Σ k = 1 N A ( 0 , j , k ) - - - ( 3 )
C [ j ] = 1 , if S [ j ] > Th 3 0 , if S [ j ] ≤ Th 3 - - - ( 4 )
其中,图7A中的映射移动向量CX[0]即为图6A中相对移动特性数据H[0],元素值C[1]~C[M]即为相对移动特性数据H[0]的元素值H[0,1]~H[0,Q]。
相似地,倘若上述的行/列映射方向为水平方向X,亦即Q等于N,逻辑电路220会将比较结果值A(0,1,1)~A(0,M,N)沿水平方向X计数以产生多个分别对应于不同行的计数值S[M+1]~S[M+N],并将上述的计数值S[M+1]~S[M+N]分别与第三临界值Th3比较,以依据上述计数值S[M+1]~S[M+N]与第三临界值Th3的比较结果来产生映射移动向量的多个元素值C[M+1]~C[M+N]。其中计数值S[M+1]~S[M+N]依据下述的方程式(5)取得,而元素值C[M+1]~C[M+N]依据下述的方程式(6)取得:
S [ M + k ] = Σ j = 1 M A ( 0 , j , k ) - - - ( 5 )
C [ M + k ] = 1 , if S [ M + k ] > Th 3 0 , if S [ M + k ] ≤ Th 3 - - - ( 6 )
其中,图7A中的映射移动向量CY[0]即为图6A中相对移动特性数据H[0],元素值C[M+1]~C[M+N]即为相对移动特性数据H[0]的元素值H[0,1]~H[0,Q]。
值得注意的是,如前所述,于计算相对移动特性数据的过程中,较佳可计算其水平分量与垂直分量。因此,在本发明一实施例中,逻辑电路220可将每一狭域移动向量[VX(i,j,k),VY(i,j,k)]的水平分量VX(i,j,k)的绝对值及垂直分量VY(i,j,k)的绝对值分别与第一临界值Th1比较,每一相对移动向量[ΔX(i,j,k),ΔY(i,j,k)]的水平分量ΔX(i,j,k)的绝对值及垂直分量ΔY(i,j,k)的绝对值分别与第二临界值Th2比较,之后逻辑电路220再依据上述比较结果以获得各画面的相对移动特性数据。
另外,逻辑电路220同样可将代表上述判断结果的多个沿水平方向X及垂直方向Y的比较结果值,分别沿水平方向X及垂直方向Y映射以产生水平映射移动向量及垂直映射移动向量,其分别代表相对移动特性数据的水平分量与垂直分量。请参考图7B,图7B绘示了图6B中画面M0中各狭域单元410所对应的比较结果值。其中,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的比较结果值以[AX(i,j,k),AY(i,j,k)]表示,0≤i,1≤j≤M,1≤k≤N,而每一比较结果值[AX(i,j,k),AY(i,j,k)]包含有水平比较结果值AX(i,j,k)及垂直比较结果值AY(i,j,k)
与方程式(5)类似,在本发明一实施例中,各水平比较结果值AX(i,j,k)及垂直比较结果值AY(i,j,k)依据下述的方程式(2-1)、(2-2)取得:
A X ( i , j , k ) = 1 , if | V X ( i , j , k ) | > Th 1 and | Δ X ( i , j , k ) | > Th 2 0 , if | V X ( i , j , k ) | ≤ Th 1 or | Δ X ( i , j , k ) | ≤ Th 2 - - - ( 2 - 1 )
A Y ( i , j , k ) = 1 , if | V Y ( i , j , k ) | > Th 1 and | Δ Y ( i , j , k ) | > Th 2 0 , if | V Y ( i , j , k ) | ≤ Th 1 or | Δ Y ( i , j , k ) | ≤ Th 2 - - - ( 2 - 2 )
接下来,依类似的方式,逻辑电路220可将上述画面M0中的水平比较结果值AX(0,1,1)~AX(0,M,N)沿垂直方向Y映射以产生水平映射移动向量CX[0],且逻辑电路220可将上述画面M0中的垂直比较结果值AY(0,1,1)~AY(0,M,N)沿水平方向X映射以产生垂直映射移动向量CY[0]。
而产生水平映射向量CX[0]与垂直映射向量CY[0]的过程中,逻辑电路220同样将水平比较结果值AX(0,1,1)~AX(0,M,N)沿垂直方向Y计数以产生多个分别对应于不同列的计数值SX[1]~SX[M],并将垂直比较结果值AY(0,1,1)~AY(0,M,N)沿水平方向X计数以产生多个分别对应于不同行的计数值SY[1]~SY[N]。接下来,逻辑电路220可套用下述的方程式产生水平映射移动向量CX[0]的多个元素值CX[1]~CX[M]以及垂直映射移动向量CY[0]的多个元素值CY[1]~CY[N]。其中计数值SX[1]~SX[M]及SY[1]~SY[N]依据下述的方程式(3-1)、(5-1)取得,而元素值CX[1]~CX[M]及CY[1]~CY[N]依据下述的方程式(4-1)、(6-1)取得:
S X [ j ] = Σ k = 1 N A X ( 0 , j , k ) - - - ( 3 - 1 )
C X [ j ] = 1 , if S X [ j ] > Th 3 0 , if S X [ j ] ≤ Th 3 - - - ( 4 - 1 )
S Y [ k ] = Σ j = 1 M A Y ( 0 , j , k ) - - - ( 5 - 1 )
C Y [ k ] = 1 , if S Y [ k ] > Th 3 0 , if S Y [ k ] ≤ Th 3 - - - ( 6 - 1 )
另外,亦值得注意的是,相对移动特性数据H[0]~H[Q](不论是HX[0]~H[M]或HX[0]~H[N])的各元素值,分别作为某一对应行/列上的各个狭域移动向量V(i,j,k)的绝对值与相对移动向量Δ(i,j,k)的绝对值是否够大的象征。因此,于其他实施例中,可以种种不同方式计算相对移动特性数据H[1]~H[Q],并不限定上述特定实施例的方式。
请再参考图2C与图6A。当逻辑电路220获得各画面的相对移动特性数据H[0]~H[P]之后,逻辑电路220会进行步骤S212,以将(P+1)个画面的相对移动特性数据H[0]~H[P]累积计算,以获得第一累积相对移动特性数据OR1。
在一实施例中,逻辑电路220会将(P+1)个画面中对应于同一行/列的元素值进行或(OR)运算,以获得上述的第一累积相对移动特性数据OR1。数学上来说,第一累积相对移动特性数据OR1具有多个元素值O[1]~O[Q],每一元素值O[1]~O[Q]相对移动特性数据H[0]~H[P]中对应于同一行/列的元素值进行或运算而获得的。详言之,元素值O[1]~O[Q]是依据下述的方程式(7)取得:
O[q]=H[0,q]∨H[1,q]∨H[2,q]∨...H[P,q]   (7)
其中,1≤q≤Q。
请再参考图6B。当逻辑电路220获得各画面的相对移动特性数据的水平分量HX[0]~HX[P]及垂直分量HY[0]~HY[P]之后,逻辑电路220会将各画面的相对移动特性数据累积计算,以获得第一累积相对移动特性数据(OR1X、OR1Y),其中OR1X代表第一累积相对移动特性数据的水平分量,OR1Y代表第一累积相对移动特性数据的垂直分量。换言之,逻辑电路220会将(P+1)个画面的相对移动特性数据的水平分量HX[0]~HX[P]及垂直分量HY[0]~HY[P]累积计算,以获得第一累积相对移动特性数据(OR1X、OR1Y)。
值得注意的是,如图6B所示,第一累积相对移动特性数据同样可沿垂直方向与水平方向分别计算。更进一步地说,第一累积相对移动特性数据(OR1X、OR1Y)具有多个元素值OX[1]~OX[M]、OY[1]~OY[N],其譬如可依据下述的方程式(7-1)、(7-2)取得:
OX[j]=HX[0,j]∨HX[1,j]∨HX[2,j]∨...HX[P,j](7-1)
OY[k]=HY[0,k]∨HY[1,k]∨HY[2,k]∨...HY[P,k](7-2)
其中,1≤j≤M,1≤k≤N。
另外,亦值得注意的是,第一累积相对移动特性数据OR1或(OR1X、OR1Y)用以判断几个连续画面中狭域向量与广域向量间之间的整体差异程度。当几个画面中狭域向量与广域向量间之间的差异程度整体较高时,表示在画面中可能有一定大小的移动物体。因此,于其他实施例中,可以依据其他方式计算相对移动特性数据OR1来代表这种差异,并不局限于此实施例所例示的特定方式。
接下来,说明图2C中的步骤S213。除了获得第一累积相对移动特性数据OR1之外,逻辑电路220还会将最近画面M0排除,而将上述多个画面当中其余画面的相对移动特性数据H[1]~H[P]累积计算,以获得第二累积相对移动特性数据OR2,如图6A所示。在本发明一实施例中,第二累积相对移动特性数据OR2包括多个对应于不同行/列的元素值U[1]~U[Q]。与第一累积相对移动特性数据OR1类似,每一元素值U[1]~U[Q]是逻辑电路220将上述的其余画面的相对移动特性数据H[1]~H[P]中对应于同一行/列的元素值进行或运算而取得。详言之,元素值U[1]~U[Q]是依据下述的方程式(8)取得:
U[q]=H[1,q]∨H[2,q]∨H[3,q]∨...H[P,q](8)
其中,1≤q≤Q。
值得注意的是,如图6B所示,逻辑电路220同样可沿两方向计算第二累积相对移动特性数据(OR2X、OR2Y),其中OR2X代表第二累积相对移动特性数据的水平分量,OR2Y代表第二累积相对移动特性数据的垂直分量。在本发明一实施例中,第二累积相对移动特性数据(OR2X、OR2Y)包括多个对应于不同行/列的元素值UX[1]~UX[M]、UY[1]~UY[N],其可依据下述的方程式(8-1)、(8-2)取得:
UX[j]=HX[1,j]∨HX[2,j]∨HX[3,j]∨...HX[P,j](8-1)
UY[k]=HY[1,k]∨HY[2,k]∨HY[3,k]∨...HY[P,k](8-2)
其中,1≤j≤M,1≤k≤N。
接下来,说明图2C中的步骤S214。逻辑电路220会比较最近画面M0的相对移动特性数据H[0]与第二累积相对移动特性数据OR2,以获得比较相对移动特性数据AND1(如图6A所示)。在进行此比较的过程中,举例而言,可将最近画面M0的相对移动特性数据H[0]与第二累积相对移动特性数据OR2的相反数据(元素值1变为0,而0变为1)进行与(AND)运算,以获得比较相对移动特性数据AND1。
更仔细说,最近画面的相对移动特性数据H[0]的元素值H[0,1]~H[0,Q]是与第二累积相对移动特性数据OR2中对应于同一行/列的相反元素值
Figure BDA0000111827780000171
Figure BDA0000111827780000172
进行与运算,以获得比较相对移动特性数据AND1。因此,比较相对移动特性数据AND1包含有多个元素值A[1]~A[Q],而元素值A[1]~A[Q]是依据下述的方程式(9)取得:
Figure BDA0000111827780000173
其中,1≤q≤Q。
值得注意的是,如图6B所示,逻辑电路220会比较最近画面M0的相对移动特性数据(HX[0]、HY[0])与第二累积相对移动特性数据(OR2X、OR2Y)以获得比较相对移动特性数据(AND1X、AND1Y),其中AND1X为比较相对移动特性数据的水平分量,AND1Y为比较相对移动特性数据的垂直分量。而类似地,比较相对移动特性数据(AND1X、AND1Y)包含有多个元素值AX[1]~AX[M]、AY[1]~AY[N],分别可依据下述的方程式(9-1)、(9-2)取得:
Figure BDA0000111827780000181
其中,1≤j≤M,1≤k≤N。
另外,亦须值得注意的是,比较相对移动特性数据AND1用以判断最近画面M0与其余的先前画面之间的差异程度。当差异程度越大时,表示画面中的移动物体在一定时间内有一定的空间位移。因此,于其他实施例中,可以依据其他方式计算相对移动特性数据AND1来代表这种差异,并不局限于此实施例所例示的特定方式。
最后,即可进行图2C中的步骤S215与S216,其中逻辑电路220即可依据第一累积相对移动特性数据OR1或(OR1X、OR1Y)与比较相对移动特性数据AND1或(AND1X、AND1Y)来计算出一增益值G,并依据所计算出的增益值G来调整最近画面M0中与狭域单元410相对应的原始运动景深。
请参考图8,图8绘示画面M0中各狭域单元410所对应的原始运动景深。为方便说明,在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的原始运动景深以D(i,j,k)表示,其中0≤i,1≤j≤M,1≤k≤N。如图8所示,逻辑电路220所计算出的画面M0中各狭域单元410所对应的原始运动景深分别以D(0,1,1)~D(0,M,N)表示。在此假设逻辑电路220所计算出的增益值为G,则在时间点Ti的画面Mi中第j列第k行的狭域单元410所对应的经调整后的运动景深等于(D(i,j,k)×G)。
关于计算增益值G的过程(步骤S215),于一较佳实施例中,逻辑电路220可依据第一累积相对移动特性数据OR1,取得一第一增益值Gain1,以及依据比较相对移动特性数据AND1,取得一第二增益值Gain2。而较佳地,第一增益值Gain1与该第二增益值Gain2当中每一个可分别依第一与第二方向(譬如为行方向或列方向)计算。接下来,逻辑电路即可依据第一增益值Gain1及第二增益值Gain2计算出该增益值。以下将分别详细说明上述过程
在本发明一实施例中,逻辑电路220会加总第一累积相对移动特性数据OR1的多个元素值O[1]~O[Q],以取得第一加总值Or_C。其中,第一加总值Or_C依据下述的方程式(10)取得:
Or _ C = Σ n = 1 Q O [ n ] - - - ( 10 )
之后,逻辑电路220再依据第一加总值Or_C,取得第一增益值Gain1。在本发明一实施例中,逻辑电路220会依据第一加总值Or_C自第一增益曲线C1中获得第一增益值Gain1。
如图9所示,其显示依据一实施例的第一增益曲线C1。如图9所示,第一增益曲线C1为一渐增曲线,因此越大的第一加总值Or_C所对应的第一增益值Gain1越大。须了解的是,第一加总值Or_C(或第一累积相对移动特性数据OR1)可用以判断几个连续画面中狭域向量与广域向量间之间的整体差异程度。当几个画面中狭域向量与广域向量间之间的差异程度整体较高时,表示在画面中可能有一定大小的移动物体,同时所计算出的第一加总值Or_C相对地会越大。
类似地,在获得第二增益值Gain1的过程中,逻辑电路220会先加总比较相对移动特性数据AND1的多个元素值A[1]~A[Q],以取得第二加总值And_C。其中,第二加总值And_C是依据下述的方程式(11)取得:
And _ C = Σ n = 1 Q A [ n ] - - - ( 11 )
接下来,逻辑电路220即可依据第二加总值And_C,取得第二增益值Gain2。在本发明一实施例中,逻辑电路220会依据第二加总值And_C自第二增益曲线C2中获得第二增益值Gain2。
图10为依据一实施例的第二增益曲线C2。如图所示,第二增益曲线C2为渐减曲线,因此越大的第二加总值And_C所对应的第二增益值Gain2越小。第二加总值And_C(或比较相对移动特性数据AND1)可用以判断最近画面M0与其余的先前画面之间的差异程度。当最近画面M0与其余的先前画面之间的差异程度越大,进而表示画面中的移动物体可能在一定时间内有一定的空间位移,同时所计算出的第二加总值And_C会越大。
因此,倘若在画面中的移动物体为视窗移动物件(windowed-movingobject),则其所计算出来的第一加总值Or_C会偏大,且第二加总值And_C会偏小,进而可得到偏小的增益值G。如此一来,当画面中的移动物体为视窗移动物件时,依据偏小的增益值G来调整后的运动景深会较小,进而可避免或改善景深倒置的现象。
相对地,倘若在画面中的移动物体并非视窗移动物件,则其所计算出来的第一加总值Or_C及第二加总值And_C皆偏大,而得到偏大的增益值G。如此一来,当画面中的移动物体并非视窗移动物件时,因偏大的增益值G,调整后的运动景深会较大,而使用者会观看到正常景深的影像。
接下来,逻辑电路220可依据第一增益值Gain1及第二增益值Gain2计算出上述的增益值G。在本发明一实施例中,增益值G是依据下述的方程式(12)取得:
G=1-Gain1×Gain2    (12)
其中因0≤Gain1≤1且0≤Gain2≤1,故0≤G≤1。
值得注意的是,较佳地,第一加总值、第二加总值、第一增益值与第二增益值同样可沿两方向计算。在本发明一实施例中,逻辑电路220会加总第一累积相对移动特性数据(OR1X、OR1Y)的中水平分量的多个元素值OX[1]~OX[M],以取得第一加总值的水平分量Or_CX,并加总垂直分量的多个元素值OY[1]~OY[N],以取得第一加总值的垂直分量Or_CY。其中,第一加总值的水平分量Or_CX及垂直分量Or_CY分别可依据下述的方程式(10-1)、(10-2)取得:
Or _ C X = Σ j = 1 M O X [ j ] - - - ( 10 - 1 )
Or _ C Y = Σ k = 1 N O Y [ k ] - - - ( 10 - 2 )
之后,逻辑电路220可再依据第一加总值的水平分量Or_CX取得第一增益值的水平分量Gain1X,并依据第一加总值的垂直分量Or_CY取得第一增益值的垂直分量Gain1Y。其中,越大的第一加总值的水平分量Or_CX所对应的第一增益值的水平分量Gain1X越大,而越大的第一加总值的垂直分量Or_CY所对应的第一增益值的垂直分量Gain1Y越大。于一较佳实施例中,第一增益值的水平分量Gain1X及垂直分量Gain1Y的取得方式可藉由图9的第一增益曲线C1取得。在取得第一增益值的水平分量Gain1X的过程中,逻辑电路220将图9的横轴及纵轴分别视为第一加总值的水平分量Or_CX及第一增益值的水平分量Gain1X,再依据第一加总值的水平分量Or_CX在第一增益曲线C1中取得对应的第一增益值的水平分量Gain1X。相似地,在取得第一增益值的垂直分量Gain1Y过程中,逻辑电路220将图9的横轴及纵轴分别视为第一加总值的垂直分量Or_CY及第一增益值的垂直分量Gain1Y,再依据第一加总值的垂直分量Or_CY从第一增益曲线C1中取得对应的第一增益值的垂直分量Gain1Y
类似地,逻辑电路220会加总比较相对移动特性数据(AND1X、AND1Y)的水平分量的多个元素值AX[1]~AX[M]取得第二加总值的水平分量And_CX,并加总垂直分量的多个元素值AY[1]~AY[N]取得第二加总值的垂直分量And_CY。其中,第二加总值的水平分量And_CX及垂直分量And_CY分别可依据下述的方程式(11-1)、(11-2)取得:
And _ C X = Σ j = 1 M A X [ j ] - - - ( 11 - 1 )
And _ C Y = Σ k = 1 N A Y [ k ] - - - ( 11 - 2 )
接下来,逻辑电路220依据第二加总值的水平分量And_CX取得第二增益值的水平分量Gain2X,并依据第二加总值的垂直分量And_CY取得第二增益值的垂直分量Gain2Y。越大的第二加总值的水平分量And_CX所对应的第二增益值的水平分量Gain2X较佳为越小,且越大的第二加总值的垂直分量And_CY所对应的第二增益值的垂直分量Gain2Y较佳为越小。于一较佳实施例中,第二增益值的水平分量Gain2X及垂直分量Gain2Y的取得方式可藉由图10的第二增益曲线C2取得。在取得第二增益值的水平分量Gain2X过程中,逻辑电路220将图10的横轴及纵轴分别视为第二加总值的水平分量And_CX及第二增益值的水平分量Gain2X,再依据第二加总值的水平分量And_CX在第二增益曲线C2中取得对应的第二增益值的水平分量Gain2X。相似地,在取得第二增益值的垂直分量Gain2Y过程中,逻辑电路220将图10的横轴及纵轴分别视为第二加总值的垂直分量And_CY及第二增益值的垂直分量Gain2Y,再依据第二加总值的垂直分量And_CY在第二增益曲线C2中取得对应的第二增益值的垂直分量Gain2Y
接下来,逻辑电路220可依据上述第一增益值的水平与垂直分量、第二增益值的水平与垂直分量Gain1X、Gain1Y、Gain2X、Gain2Y计算出上述的增益值G。在本发明一实施例中,增益值G可依据下述的方程式(12-1)取得:
G=1-max(Gain1X×Gain2X,Gain1Y×Gain2Y)(12-1)
根据上式,倘若(Gain1X×Gain2X)大于(Gain1Y×Gain2Y),则增益值G等于[1-(Gain1X×Gain2X)];倘若(Gain1X×Gain2X)小于(Gain1Y×Gain2Y),则增益值G等于[1-(Gain1Y×Gain2Y)]。其中因Gain1X、Gain1Y、Gain2X、Gain2Y皆大于等于0并小于等于1,故0≤G≤1。
综上所述,上述实施例所述的方法藉由所计算出的第一累积相对移动特性数据及比较相对移动特性数据,获得增益值。其中,第一累积相对移动特性数据是藉由判断数各画面中狭域向量与广域向量间之间的整体差异程度所获得的,而比较相对移动特性数据是藉由判断最近画面与其余的先前画面之间的差异程度所获得的。因此,所得到的增益值会依据狭域向量与广域向量间之间的差异程度以及最近画面与其余的先前画面之间的差异程度而决定。藉此,依据增益值而调整的最近画面的运动景深得以真实地反应拍摄景况,而避免或改善景深倒置现象。
虽然本发明已以实施例揭示如上,然其并非用以限定本发明,本领域的技术人员,在不脱离本发明的精神和范围的前提下,可作若干的更动与润饰,故本发明的保护范围是以本发明的权利要求为准。

Claims (18)

1.一种调整影像的运动景深的方法,用于二维转三维影像处理,该方法包括:
(i)接收多个时间点的多个画面,并依据各该画面各自的多个狭域移动向量与一广域移动向量,计算这些画面当中每一个的一相对移动特性数据;
(ii)将这些画面的这些相对移动特性数据累积计算,以获得第一累积相对移动特性数据;
(iii)将这些画面当中除一最近画面外的其余画面的该相对移动特性数据累积计算,以获得一第二累积相对移动特性数据;
(iv)比较该最近画面的该相对移动特性数据与该第二累积相对移动特性数据以获得一比较相对移动特性数据;
(v)依据该第一累积相对移动特性数据与该比较相对移动特性数据来计算出一增益值;以及
(vi)依据该增益值来调整该最近画面的原始运动景深。
2.如权利要求1所述的调整影像的景深的方法,其中步骤(i)包括:
(a)分别就各这些画面计算这些狭域向量与该广域向量间的差值,以获得多个相对移动向量;以及
(b)依据各这些画面的这些狭域移动向量与这些相对移动向量,以获得各该画面的该相对移动特性数据。
3.如权利要求2所述的调整影像的景深的方法,其中步骤(b)包括:
(b1)判断这些狭域移动向量的绝对值是否大于一第一临界值;
(b2)判断这些相对移动向量的绝对值是否大于一第二临界值;以及
(b3)依据上述判断结果以获得各这些画面的该相对移动特性数据。
4.如权利要求3所述的调整影像的景深的方法,其中步骤(b3)包括:
依据上述判断结果以计算出各这些画面中与多个狭域单元相对应的多个比较结果值;以及
将这些比较结果值沿一行/列映射方向映射以产生一映射移动向量,该映射移动向量代表该相对移动特性数据。
5.如权利要求4所述的调整影像的景深的方法,其中产生该映射移动向量的步骤包括:
将这些比较结果值沿该行/列映射方向计数以产生多个分别对应于不同行/列的计数值;以及
将这些计数值分别与一第三临界值比较,以依据这些计数值与该第三临界值的比较结果来产生该映射移动向量的多个元素值。
6.如权利要求1所述的调整影像的景深的方法,其中步骤(i)至(v)分别依据这些画面的一个至多个方向实施。
7.如权利要求1所述的调整影像的景深的方法,其中这些画面中的这些相对移动特性数据的每一个各包括多个对应于不同行/列的元素值,而上述步骤(ii)包括:
将这些画面中对应于同一行/列的这些元素值进行或运算,以获得该第一累积相对移动特性数据。
8.如权利要求7所述的调整影像的景深的方法,其中上述步骤(iii)包括:
将这些其余画面的这些相对移动特性数据中对应于同一行/列的这些元素值进行或运算,以获得该第二累积相对移动特性数据。
9.如权利要求7所述的调整影像的景深的方法,其中步骤(iv)包括:
将该相对移动特性数据的多个元素值与该第二累积相对移动特性数据中对应于同一行/列的相反元素值进行与运算,以获得该比较相对移动特性数据。
10.如权利要求1所述的调整影像的景深的方法,其中上述步骤(v)包括:
依据该第一累积相对移动特性数据,取得一第一增益值;
依据该比较相对移动特性数据,取得一第二增益值;以及
依据该第一增益值及该第二增益值计算出该增益值。
11.如权利要求10所述的调整影像的景深的方法,其中
取得该第一增益值的步骤包括:
依据该第一累积相对移动特性数据的多个元素值的一第一加总值,自一第一增益曲线中获得该第一增益值;而
取得该第二增益值的步骤包括:
依据该比较相对移动特性数据的多个元素值的一第二加总值,自一第二增益曲线中获得该第二增益值。
12.如权利要求10所述的调整影像的景深的方法,其中该第一增益值与该第二增益值当中每一个分别依第一与第二方向计算。
13.如权利要求10所述的调整影像的景深的方法,其中计算该增益值步骤包括:
获得沿该第一方向的该第一增益值与第二增益值的乘积;
获得沿该第二方向的该第一增益值与第二增益值的乘积;以及
依据上述两乘积当中的一较大者来决定该增益值。
14.一种调整影像的运动景深的方法,用于二维转三维影像处理,该方法包括:
接收多个时间点的多个画面,并计算各该画面各自的多个狭域移动向量与一广域移动向量;
判断该多个画面中,该多个狭域移动向量与该广义移动向量间的第一差异程度;
判断这些画面当中一最近画面与其余的先前画面之间的第二差异程度;
依据该第一差异程度与该第二差异程度来计算出一增益值;以及
依据该增益值来调整该最近画面的原始运动景深。
15.如权利要求14所述的调整影像的景深的方法,其中判断该第一差异程度的步骤包括:
分别就各这些画面计算这些狭域向量与该广域向量间的差值,以获得多个相对移动向量;
依据各这些画面的这些狭域移动向量与这些相对移动向量,以获得各该画面的该相对移动特性数据;以及
将这些画面的这些相对移动特性数据累积计算,以获得第一累积相对移动特性数据,而该第一累积相对移动特性数据代表该第一差异程度。
16.如权利要求15所述的调整影像的景深的方法,其中获得各该画面的该相对移动特性数据的步骤包括:
判断这些狭域移动向量的绝对值是否大于一第一临界值;
判断这些相对移动向量的绝对值是否大于一第二临界值;以及
依据上述判断结果以获得各这些画面的该相对移动特性数据。
17.如权利要求15所述的调整影像的景深的方法,其中判断该第二差异程度的步骤包括:
将这些画面当中除一最近画面外的其余画面的该相对移动特性数据累积计算,以获得一第二累积相对移动特性数据;以及
比较该最近画面的该相对移动特性数据与该第二累积相对移动特性数据以获得一比较相对移动特性数据,该比较相对移动特性数据代表该第二差异程度。
18.如权利要求14所述的调整影像的景深的方法,其中当该第一差异程度越大时,该增益值设定为越小,以及当该第二差异程度越小时,该增益值设定为越小。
CN2011103779771A 2011-11-24 2011-11-24 调整影像的运动景深的方法 Pending CN103139578A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011103779771A CN103139578A (zh) 2011-11-24 2011-11-24 调整影像的运动景深的方法
US13/455,130 US20130135430A1 (en) 2011-11-24 2012-04-25 Method for adjusting moving depths of video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103779771A CN103139578A (zh) 2011-11-24 2011-11-24 调整影像的运动景深的方法

Publications (1)

Publication Number Publication Date
CN103139578A true CN103139578A (zh) 2013-06-05

Family

ID=48466493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103779771A Pending CN103139578A (zh) 2011-11-24 2011-11-24 调整影像的运动景深的方法

Country Status (2)

Country Link
US (1) US20130135430A1 (zh)
CN (1) CN103139578A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300871B2 (en) * 2012-06-08 2016-03-29 Apple Inc. Stationary camera detection and virtual tripod transition for video stabilization
US9413963B2 (en) * 2014-05-30 2016-08-09 Apple Inc. Video image stabilization
US9674438B2 (en) 2014-07-06 2017-06-06 Apple Inc. Low light video image stabilization strength modulation
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US9787902B1 (en) 2016-06-10 2017-10-10 Apple Inc. Video image stabilization with enforced stabilization constraints
CN111819837B (zh) * 2018-03-11 2022-01-14 谷歌有限责任公司 识别静态视频的方法和系统
KR20230164980A (ko) * 2022-05-26 2023-12-05 삼성전자주식회사 전자 장치 및 그 영상 처리 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281650A (zh) * 2008-05-05 2008-10-08 北京航空航天大学 用于视频稳定的快速全局运动估计方法
CN101589622A (zh) * 2006-11-14 2009-11-25 索尼德国有限责任公司 使用两种匹配判据的运动估计和场景变换检测
CN101631256A (zh) * 2009-08-13 2010-01-20 浙江大学 用于三维电视系统中2d视频到3d视频的转换方法
CN102158719A (zh) * 2010-02-05 2011-08-17 索尼公司 图像处理装置、成像装置、图像处理方法和程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589622A (zh) * 2006-11-14 2009-11-25 索尼德国有限责任公司 使用两种匹配判据的运动估计和场景变换检测
CN101281650A (zh) * 2008-05-05 2008-10-08 北京航空航天大学 用于视频稳定的快速全局运动估计方法
CN101631256A (zh) * 2009-08-13 2010-01-20 浙江大学 用于三维电视系统中2d视频到3d视频的转换方法
CN102158719A (zh) * 2010-02-05 2011-08-17 索尼公司 图像处理装置、成像装置、图像处理方法和程序

Also Published As

Publication number Publication date
US20130135430A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103139578A (zh) 调整影像的运动景深的方法
Zhang et al. Dispsegnet: Leveraging semantics for end-to-end learning of disparity estimation from stereo imagery
US20190220992A1 (en) Object pose estimating method and apparatus
US20170161565A1 (en) Quasi-parametric optical flow estimation
US20180231871A1 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
US10148873B2 (en) Method and system for motion adaptive fusion of optical images and depth maps acquired by cameras and depth sensors
Tang et al. Single image dehazing via lightweight multi-scale networks
CN107578430B (zh) 一种基于自适应权值和局部熵的立体匹配方法
EP3293700B1 (en) 3d reconstruction for vehicle
CN102902961A (zh) 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN106485671A (zh) 基于边缘的多方向加权tv和自相似性约束图像去模糊方法
EP2466901A2 (en) Depth data upsampling
CN109978935A (zh) 一种基于深度学习和傅里叶域分析的图像深度估计算法
CN106530336A (zh) 基于色彩信息和图割理论的立体匹配算法
CN114119694A (zh) 一种基于改进U-Net的自监督单目深度估计算法
CN101523436A (zh) 用于恢复视频流中的视差的方法和滤波器
CN116630388A (zh) 基于深度学习的热成像图像双目视差估计方法及系统
US20060244861A1 (en) Method for detecting bisection pattern in deinterlacing
CN104980726A (zh) 一种联合运动向量的双目视频立体匹配方法
Hou et al. Joint learning of image deblurring and depth estimation through adversarial multi-task network
Huang et al. Algorithm and architecture design of multirate frame rate up-conversion for ultra-HD LCD systems
CN102883170B (zh) 图像处理装置及图像处理方法
US20120218382A1 (en) Multiclass clustering with side information from multiple sources and the application of converting 2d video to 3d
Huang et al. Lidar-camera fusion based high-resolution network for efficient road segmentation
CN113486928A (zh) 一种基于有理多项式模型可微分张量表达的多视影像对齐方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20151111

C20 Patent right or utility model deemed to be abandoned or is abandoned