CN102387371A - 图像调整 - Google Patents
图像调整 Download PDFInfo
- Publication number
- CN102387371A CN102387371A CN2011102596627A CN201110259662A CN102387371A CN 102387371 A CN102387371 A CN 102387371A CN 2011102596627 A CN2011102596627 A CN 2011102596627A CN 201110259662 A CN201110259662 A CN 201110259662A CN 102387371 A CN102387371 A CN 102387371A
- Authority
- CN
- China
- Prior art keywords
- image
- color attribute
- difference
- color
- image capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010586 diagram Methods 0.000 claims description 35
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 12
- 238000012360 testing method Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
- H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
- H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及图像调整。一种用于处理由两个图像捕获设备输出的图像的图像调整装置,这两个图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像,该图像调整装置包括:噪声组合器,该噪声组合器用于组合噪声信号和通过两个图像捕获设备所捕获的一对对应图像中的一个或二者;差异检测器,该差异检测器用于检测通过噪声组合器所输出的一对对应图像之间的颜色属性的差异;以及颜色属性调整器,该颜色属性调整器用于基于通过差异检测器所检测的差异来调整来自图像捕获设备中的至少一个的图像的颜色属性,以便减少通过两个图像捕获设备所捕获的对应图像之间的颜色属性的差异。
Description
技术领域
本发明涉及图像调整。
背景技术
现今,三维(3D)电视已对消费者可用,并且,预期在未来的若干年后,3D装置和编程的量将迅速增加。
3D电视取决于立体技术,通过该技术,图像对通过以某距离(例如,用户眼睛的典型间距)横向布置(即,本质上在水平图像方向上)的各自相机所捕获。因此,图像对代表同样场景的轻微不同的示图;一般而言,它们将包括在场景中(可能除了在图像极限处)的相同的项目,但是,在两个图像之间的项目的相对位置将取决于项目距离相机布置的距离。
当显示图像时,用户的每个眼睛看到(至少主要地)图像对的各自一个是很重要的。在实际中,通过各种方式来实现它,诸如,通过用户佩戴偏光、时分复用或颜色过滤的眼睛、或通过电视屏幕自身设置有将两个图像的每一个转移到观看者的各自眼睛位置处的特定的透镜布置来实现。当然,在3D影院的早期尝试中所常用的颜色过滤技术一般不用于3D电视技术中。
返回到3D相机系统,通过带有其自身的透镜和图像捕获布置(例如,CCD布置)的独立相机来捕获每个图像对。但是,为了保持观看者的3D错觉,每个图像对的两个图像在其颜色和相关的属性中相匹配是很重要的。各种颜色参数对专业视频相机和外部颜色校正单元的操作者是可用的,诸如,伽马(gamma)、拐点(knee)、白电平和黑电平参数,但是,建立3D相机布置的任务比建立惯常的(单个)视频相机的任务难得多,因为不仅需要针对当前的场景正确设置参数,还需要设置参数,使得形成3D相机布置的两个相机生成带有相同(或极尽相同)的图像属性的图像。在家用视频相机的情形中,用户可用的调整范围更加受限,使得设置两个相机以提供相同的颜色属性更加苦难。
发明内容
本发明提供了一种用于处理通过两个图像捕获设备输出的图像的图像调整装置,这两个图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像,该图像调整装置包括:
噪声组合器,该噪声组合器用于组合噪声信号和通过两个图像捕获设备所捕获的一对对应图像中的一个或二者;
差异检测器,该差异检测器用于检测通过噪声组合器所输出的一对对应图像之间的颜色属性的差异;以及
颜色属性调整器,该颜色属性调整器用于基于通过差异检测器所检测的差异来调整来自图像捕获设备中的至少一个的图像的颜色属性,以便减少通过两个图像捕获设备所捕获的对应图像之间的颜色属性的差异。
本发明还提供了一种用于处理通过两个图像捕获设备输出的图像的方法,这两个图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像,所述方法包括如下步骤:
组合噪声信号和通过两个图像捕获设备所捕获的一对对应图像中的一个或二者;
检测通过组合步骤所输出的图像对之间的颜色属性的差异;以及
调整器用于基于通过检测步骤所检测的差异来调整来自图像捕获设备中的至少一个的图像的颜色属性,以便减少通过两个图像捕获设备所捕获的对应图像之间的颜色属性的差异。
发明还提供了用于实施这种方法的计算机软件,以及包括这种软件的计算机程序产品。
发明认识到虽然通过3D布置的两个相机所捕获的图像将(故意地)稍微不同,因为图像代表大体上相同的场景,因此,可假定它们的颜色属性大体上相同。发明通过提供对对应图像(例如,同时捕获的图像的对应左-右对)之间的颜色属性中的差异的自动检测并调整图像中的至少一个的颜色属性来利用该认识,以便减少这这种差异。
在发明的实施例中,差异检测器包括颜色属性检测器,该颜色属性检测器布置为检测通过每个图像捕获设备所捕获的图像的颜色属性,并且,通过颜色属性检测器所检测的颜色属性代表像素亮度在每个主像素颜色集中的分布。通过这种方式,可利用对像素颜色值的自动统计分析来检测两个图像之间的颜色属性中的差异。
在发明的实施例中,针对分量像素颜色集,通过颜色属性检测器所检测的颜色属性包括关于亮度间隔集的在该颜色中关于亮度间隔集或接收器集的像素亮度的柱状图。为了减少需要处理并比较的数据的数量,在发明的实施例中,至少某些间隔包括多于一个的可能像素亮度值。
事实上,柱状图或类似数据可在图像之间变化,对于观看者而言,将看起来主观上相同。这是因为柱状图的生成可将具有几乎相同的颜色值的像素布置到不同的柱状图间隔中,仅仅因为颜色值落入两个这种间隔之间的边界的任一侧。为了减少这种效果,发明提供了噪声组合器,该噪声组合器组合噪声信号和将要提供给差异检测器的图像。通过这种方式,在发生柱状图分析之前,随机的、伪随机的、或其他噪声被添加到像素数据,其可具有将紧密间隔在柱状图间隔边界的任一侧的像素更均匀地分布到边界任一侧的柱状图间隔中的效果。
减少该问题的另一潜在特征是发明的实施例可提供低通滤波器,该低通滤波器用于在检测柱状图之间的差异之前平滑关于图像对所生成的柱状图,从而减少由柱状图分析所导致的在柱状图数据中的任意人造波峰或波谷。
发明的实施例认识到通过3D相机布置所捕获的两个图像几乎但不是完全相同,因此,在发明的实施例中,颜色属性检测器布置为关于每个对应图像对的子区域检测颜色属性-例如,可使用每个图像的中央区域,因为在两个图像中的另一个中,更容易找到中央区域。在发明的实施例中,图像对的各自子区域关于彼此布置,以便代表场景的本质上相同的特征。
上述颜色属性检测和平衡处理可在“现场”视频上执行,即,在连续的图像对上实施,其中,术语“现场”可指随着连续图像被捕获或重放而处理。但是,在发明的实施例中,装置包括用于存储图像对的图像仓库,使得可在具体的图像对上实施颜色平衡操作,然后,可在后续的现场视频上使用结果的颜色属性调整设置。
在发明的实施例中,装置可操作用于实施对不同颜色属性调整参数的一次或多次尝试,以便寻找导致颜色属性中的差异小于阈值量的参数集。
在发明的实施例中,颜色属性调整器操作用于调整来自包括如下参数的列表的一个或多个参数:伽马;拐点;黑电平;以及白电平。在使用了所有四个这种参数的情形中,为了减少将要测试的参数的置换数量,颜色属性调整器可布置为从伽马和拐点参数来导出白电平和黑电平参数。
虽然可自动调整二者图像的颜色属性以便减少它们之间的差异,但是,这可意味着没有图像具有相机布置的操作者所实际希望的颜色属性集。因此,在发明的实施例中,来自图像捕获设备中的一个的图像是主图像,而来自图像捕获设备的另一个的图像是从图像;并且,颜色属性调整器布置为改变从图像的颜色属性,使得从图像的颜色属性更加对应于主图像的颜色属性。为了允许对主图像的颜色属性的用户调整,装置可包括用于对主图像的颜色属性的用户调整的用户控制。
发明还提供了一种相机系统,该系统包括一对图像捕获设备,这对图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像;以及如以上所定义的图像调整装置。在发明的实施例中,图像捕获设备是视频相机,其可基本在水平图像方向上被彼此横向位移,以便生成各自的三维图像对。
对发明的进一步各自方面和特征定义在所附权利要求中。发明的一个方面的特征(例如,装置)可等同地适用于发明的其他方面(例如,方法)。
附图说明
现将仅通过示例和参照附图来描述发明的实施例,其中:
图1示意性地示出了带有手动颜色校正的3D相机布置;
图2示意性地示出了根据发明的实施例的带有自动后期处理校正的3D相机布置;
图3示意性地示出了根据发明的实施例的带有自动相机调整的3D相机布置;
图4示意性地示出了图像调整装置;
图5是示意示例柱状图;
图6示意性地示出了差异评估器的操作;
图7示意性地示出了参数查找器和参数计算器的操作;
图8示意性地示出了拐点、伽马、黑电平和白电平参数;
图9示意性地示出了参数搜索策略;以及
图10示意性地示出了数据处理装置。
具体实施方式
现参照图,用于与现有技术比较,图1示意性地示出了带有手动颜色校正或颜色属性调整的惯常的3D相机布置。
在图1中,提供了两个视频相机10、20。来自每个相机的视频信号被提供给各自颜色矫正器(CCR)30、40,以用于手动颜色属性调整。已调整的视频信号代表3D视频信号的左侧(L)和右侧(R)视频信号。
为了提供3D操作,通过机制(在图1中一般示出为支架50)来保持相机10、20,该机制使相机维持某种分开距离。两个相机的透镜系统的中心的分离可等同于平均的眼睛间隔(例如,8cm),虽然在最终的3D视频中可使用其他分离以用于各种艺术效果。相机通常被横向分离,即,沿着水平图像的方向,并且,可选地,其可相对于彼此定向,以便稍微会聚,有时将该会聚称之为前束(toe-in)。在其视频捕获定时(例如,通过设置有公用的视频同步信号,未示出)以及其标称缩放、聚焦和曝光设置方面,相机还一起同步。相机捕获代表场景的不同各自示图的图像。
颜色矫正器30、40使用已知的技术来调整各自图像的颜色属性。例如,关于视频信号的每个主颜色(例如,红、绿和蓝),颜色矫正器可调整以下属性:白电平、黑电平、伽马和拐点。即,颜色矫正器30将参数集应用到通过相机10所生成的视频信号的红色分量,将另一参数集(很可能不同的)应用到通过相机10所生成的视频信号的绿色分量,以及将第三参数集(可能再次不同)应用到通过相机10所生成的视频信号的蓝色分量。关于通过相机20所生成的视频信号的分量,虽然用潜在完全不同的参数,但是,颜色矫正器40做出类似的功能。
以下,将进一步描述白电平、黑电平、伽马和拐点参数。这些仅是示例参数,但是,本领域技术人员将理解,可以以不同的方式操作颜色矫正器,以获得对图像或视频信号的颜色属性的所希望的调整。
图2示意性地示出了根据发明的实施例的带有自动后期处理校正的3D相机布置。图2的布置利用通过支架50以与图1相同的方式相连接的视频相机10、20。可将该布置看作相机对和图像调整装置。
在被提供到CCR30(在L视频信号的情形中)和已修改的40’(在R视频信号的情形中)之前,视频信号被传递给(可选的)各自帧仓库60、70(一起用作图像仓库)。两个CCR的输出被传递给控制CCR40’的操作的差异检测器80。
视频信号中的任一个(在该示例中是L视频信号)被看作是主视频信号。如在图1中所示,其具有可通过用户用CCR30调整的颜色属性。用户利用用户控制(未示出)来调整主视频信号,以获得所希望的颜色属性集。另一个信号被看作是从信号。系统调整从信号的颜色属性,以便将其更加对应于主信号的颜色属性。
为了获得对R视频信号的颜色属性调整,帧仓库被使能(例如,在用户的控制下,或者,在差异检测器80的控制下),以便用作图像仓库以冻结L和R视频信号。即,在正常操作中,帧仓库仅将L和R视频信号传递给30、40’,而当发生颜色属性调整校准时,帧仓库行动,以便存储两个视频信号的特定图像或帧,并且,仅将该帧提供给CCR,直到冻结操作终止为止。这允许基于对应图像的恒定对来校准颜色属性调整操作,使得那些已校准的参数可随后被应用于之后的图像对。在发明的实施例中,在用于校准处理的帧仓库中被冻结的图像对代表在相同时间点处被捕获的图像对。
差异检测器80检测L和R视频流的图像对的颜色属性中的差异。具体地,在已通过噪声添加器处理了图像之后,差异检测器检测这种图像的颜色属性中的差异(参看以下)。
从这些所检测的差异中,差异检测器80生成颜色属性调整参数以控制CCR40’的操作,以便将所检测的差异减少到零或减少到阈值量内(例如,针对每个颜色分量集的各自阈值差异)。这具有减少两个图像之间的颜色属性的实际差异的效果。因此,基于通过差异检测器所检测的差异来控制用作颜色属性调整器的CCR40’,以便减少通过两个图像捕获设备所捕获的对应图像之间的颜色属性中的差异。以下,将参照图4来进一步描述差异检测器的操作。
一旦校准处理完成(即,所检测的差异已被减少到零或减少到阈值量内),则可终止对帧仓库60、70的冻结操作,并且,系统可返回到在实时地传递视频信号(注意,即便在实时操作期间,帧仓库60、70和CCR30、40’中的每一个也可在信号路径中引入小延迟)。换言之,在发明的实施例中,颜色属性调整在校准期间从样本图像对中导出,然后,在已导出调整之后,将调整应用到后续图像或图像对。可通过用户来启动校准阶段,或者,可响应于正被上电或重启的装置而启动校准,或者,可周期性地发生校准。如果需要,来自相机的图像“现场”流可被布置为在校准阶段绕过图像调整装置。
图3示意性地示出了根据发明的实施例的带有自动相机调整的3D相机布置。此处,设置了可选的帧仓库60、70,使得(如果需要)可在校准处理期间冻结测试中的图像。差异检测器80’以与差异检测器80相同的方式运作,但是,其控制与相机10、20中的至少一个相关联的相机控制单元(CCU)设置,而非控制CCR40’的操作。在图3中所示的布置中,将相机10看作是具有可通过用户调整的CCU设置(诸如,白电平、黑电平、伽马和拐点)的主相机,而相机20是具有通过差异检测器80’控制其CCU设置的从相机。以下对基于CCR的实施例的描述的特征还可应用于图3的实施例。
图4示意性地示出了图像调整装置,并且,具体地,示出了图2的差异检测器80和其与CCR30、40’的交互。
差异检测器80包括共同用作颜色属性检测器的一对柱状图检测器100、110、差异评估器120、参数查找器130和参数计算器140。
每个柱状图检测器100、110在各自视频流(L、R)上运作,并且,检测像素量度值在三个主颜色(红、绿和蓝,或R、G和B)流中的每一个中的分布。当然,如果使用了除了RGB之外的视频格式,则柱状图检测器可反之在那些格式的相关流上运作。针对一个这种流(例如,L视频信道的红色流),在图5中示出了示例柱状图,并且,其示出了跨越图像(或图像的所选择部分)的像素值被分配给像素值间隔(接收器(bin)),并且,检测到在每个这种间隔内的像素实例的数量。间隔可包括多于一个的可能像素值,一部分用于减少后续比较的数据处理要求,而一部分用于平滑结果柱状图数据,以便减少对差异的检测,其中,观看者可能无法看到差异。虽然在本示例中使用了一致大小的间隔,但是,在具体柱状图中,间隔并不必具有相同的范围。但是,在用于比较的每对柱状图中所使用的间隔(例如,L信道的红色柱状图和R信道的红色柱状图)是相同的是很有用的。在本示例中,使用了256等同隔开的间隔,因此,在每个颜色视频10比特(1024个可能值)的情形中,每个间隔包括4个可能的像素值。
为了检测柱状图,每个柱状图检测器100、110包括区域选择器112、噪声添加器114、柱状图计算器116和低通滤波器118。
区域选择器112操作用于选择将要在其上计算柱状图的图像的区域(诸如,子区域)。这可以是中心区域,其代表整个图像数据的子部分(其是有用的,原因有二:因为图像的立体对的边缘将通常是不同的,并且,还可减少处理要求),并且,区域可被位移或横向布置(即,在水平图像方向上),以便一般地包括场景的相同部分,或者,换言之,以便一般地代表场景的本质上相同的特征。可预先将位移量设置为值(例如,20像素),其将倾向于导致场景的对应部分落入两个所选择的区域内。或者,可通过图像匹配处理来导出位移,该图像匹配处理标识对应的图像特征。或者,可利用相机当前的缩放和/或聚焦和/或会聚(前束)参数的功能来导出位移。注意,所选择的区域用于检测差异的目的,但是,从那些所检测的差异所导出的任意颜色属性调整在发明的实施例中被应用到整个各自图像。即,从跨越所选择的区域所检测的差异导出的颜色属性调整用作对整个图像的颜色校正的种子。
然后,通过噪声添加器114将噪声添加到一个图像或其二者的所选择的区域。已添加的噪声可以是随机的、伪随机的、或其他类型的,并且,噪声被添加到红、绿和蓝流中的每一个的像素值中,例如,(a)带有平均(例如,均方根)幅度1(在像素值刻度中),或(b)带有相对于柱状图间隔的大小的幅度-例如,半个间隔大小。添加噪声背后的目的是避免如下情形:在观看者看来显得非常类似或相同的像素(例如,被在像素值刻度中的一个所分离的像素)落入不同的柱状图间隔中,并且由此,导致生成不必要的校正参数。添加噪声意味着这种邻近两个间隔的边界的像素将被随机布置在边界的任一边的间隔中。添加噪声在其他颜色属性检测布置中也是有用的,以便避免或减少由非常靠近任意检测阈值等的任一边的相同下降的像素所导致的人造差异的出现率或效果。
如果仅在图像中的一个中添加噪声,则仍通过噪声添加器输出另一图像,仅保持未变更。但是,在发明的实施例中,噪声被添加给图像二者。
然后,利用所定义的间隔,通过柱状图计算器116,以惯常的方式计算柱状图。
最后,低通滤波器118将平滑应用到柱状图,以便倾向于减少在邻近间隔中的所检测的示例数目之间的大变化。这样做是与通过噪声添加器114添加噪声出于相同的原因的,其为了避免(或减少其量)应用于用于由像素仅下降到间隔边界的一边或另一边所导致的人造效果的校正。
因此,在发明的实施例中,柱状图生成的处理包括通过噪声添加器(噪声组合器)在对应的所捕获的图像对中的一个或二者进行处理、很可能在每个图像的所选择的子区域内,之后,用作颜色属性检测器的柱状图计算器检测颜色属性,该颜色属性代表关于亮度间隔集的在每个主颜色集中的像素亮度的分布,之后,低通滤波器在检测柱状图的差异之前平滑柱状图。并不必须应用所有这些处理。
图6示意性地示出了差异评估器120的操作。该操作包括基于间隔对间隔来比较两个柱状图(关于相同的颜色流,来自L&R信道中的每个的一个)122,针对每个间隔对所获得的差异平方124,以及对平方求和126。关于该颜色分量流,其生成单个的差异值。然后,可输出或存储该单个差异值(如果,系统正搜索最低的这种差异-参见以下),或者,可与阈值比较128(如果系统正寻找达到阈值之下的差异的第一参数集)。
图7示意性地示出了参数查找器130和参数计算器140的操作。该布置操作用于实施对不同颜色属性调整参数的一次或多次尝试,以便寻找导致比阈值量小的颜色属性(或至少所检测的颜色属性)差异的参数集。
参照以下在图9的描述中所指出的参数搜索策略,参数查找器标识(132)将要根据以下所讨论的搜索策略测试的伽马和拐点参数的下一值。从这些值中,参数计算器140以已知的方式导出(134)白电平参数和黑电平参数,并且,将这四个参数应用到CCR40’。柱状图从CCR40’的输出中导出,并且,通过图6的装置测试,以导出差异值。对该差异值是优于(小于)还是劣于(大于)之前所获得的差异值的测试(136)被用于导航对值的下一选择(132)。
关于在输入像素值和输出像素值之间的映射方程,图8示意性地示出了拐点、伽马、黑电平和白电平参数。这些是在CCR或CCU中所使用的惯常参数。白电平是在输出像素值中的最高像素值(其被称为“白”,虽然可将映射应用到诸如红、绿和蓝流之类的分量流中的各自分量)。黑电平是在可能的输出值中的最低像素值。伽马和拐点参数定义了在输入像素值和输出像素值之间的非线性关系。
图9示意性地示出了参数搜索策略。该搜索是多阶段搜索,其中,测试了多个伽马参数和拐点参数的值对。注意,在上述的实施例中,通过参数计算器140来从伽马和拐点参数中导出白电平和黑电平。这是例程计算,此处将不详细描述。在其他实施例中,作为搜索策略的一部分,可测试提供变化所有颜色校正参数的置换,从而避免以所描述的方式从其他中导出某些参数的需要。
在图9中,跨越可能的伽马和拐点参数值的完成范围,首先测试对伽马和拐点参数的九次置换集。在实际的示例中,可使用更高数量的置换;所示出的九金处于示图清楚的目的。从这些初始测试中,选择给出最低差异(通过差异评估器120所检测到的)的参数对290,并且,(如在图9的右手侧上所示出的)在所选择的对290附近,测试对参数对的更精细的分辨率集。可重复该处理(如果希望或需要),以便从所测试的对中达到给出最低差异的参数对。
在搜索策略中找到“下一”参数集的步骤可包括例如:
(a)从通过搜索策略所定义的置换中简单地选择未测试的参数集,直到已测试了所有参数集为止;或者
(b)检测之前对参数的增加或减小是否使结果更差或更好;如果更好,则实现与之前的变更相同的(增加或减小)对该参数的进一步变更。如果更差,实现相反的进一步的变更。在两种情形中,其受制于在搜索策略中带有所要求的增加或减少的可用的进一步置换。在发明的实现中,在不断的测试中仅改变了参数集的一个参数。
作为可替换例,搜索可在由CCR30所使用的预定参数范围(或由操作者所选择的范围)内的参数中操作,或者,搜索可根据在当前由CCR30所使用的各自参数之上和之下的位移操作。
当获得了达到低于阈值的差异的第一参数集时,搜索可停止,或者,即便存在若干个达到低于阈值的差异的参数对,搜索也可寻找最低差异。
注意,每个颜色分量流(例如,红、绿和蓝)具有各自的参数搜索。
上述布置针对通过各自视频相机新近捕获的图像而操作。但是,可记录图像,然后,针对上述类型的颜色校正而重放。
上述系统可实现在硬件、可编程或定制硬件(诸如,专用集成电路)或场编程门阵列和/或在软件控制下操作的数据处理装置中。图10示意性地示出了这种数据处理装置,该数据处理装置包括处理器(CPU)300、诸如程序存储器和数据存储器之类的存储器310,以及一个或多个输入/输出设备320,所有这些通过总线布置330互联。经由诸如光盘(未示出)之类的非暂存式存储介质和/或经由网络或因特网连接(未示出)提供作为计算机程序的合适的软件。应当理解,在利用软件实现的实施例的情形中,软件自身、计算机程序产品和提供软件的介质应当被看作是发明的实施例。
Claims (19)
1.一种用于处理通过两个图像捕获设备输出的图像的图像调整装置,所述两个图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像,所述图像调整装置包括:
噪声组合器,用于组合噪声信号和通过所述两个图像捕获设备所捕获的一对对应图像中的一个或二者;
差异检测器,用于检测通过所述噪声组合器所输出的所述一对对应图像之间的颜色属性的差异;以及
颜色属性调整器,用于基于由所述差异检测器所检测的差异来调整来自所述图像捕获设备中的至少一个的图像的颜色属性,以便减少通过所述两个图像捕获设备所捕获的对应图像之间的颜色属性的差异。
2.如权利要求1所述的装置,其中,所述差异检测器包括:
颜色属性检测器,该颜色属性检测器被布置为检测由所述噪声组合器所输出的图像的颜色属性;
以及,其中,由所述颜色属性检测器所检测的颜色属性代表在主像素颜色集中的每一个中像素亮度的分布。
3.如权利要求2所述的装置,其中,由所述颜色属性检测器所检测的颜色属性包括:针对分量像素颜色集中的每一个,在该颜色中的像素亮度相对于亮度间隔集的柱状图。
4.如权利要求3所述的装置,其中,至少某些所述间隔包括多于一个的可能像素亮度值。
5.如权利要求3或4所述的装置,包括低通滤波器,该低通滤波器用于在检测柱状图之间的差异之前平滑关于图像对所生成的柱状图。
6.如前述权利要求中的任一项所述的装置,其中,所述颜色属性检测器被布置为关于所述一对对应图像中的每一个的子区域检测颜色属性。
7.如权利要求6所述的装置,其中,所述图像对的各自的子区域相对于彼此被位移,以便代表场景的本质上相同的特征。
8.如前述权利要求中的任一项所述的装置,包括用于存储图像对的图像仓库。
9.如前述权利要求中的任一项所述的装置,其中,所述装置可操作用于执行对不同颜色属性调整参数的一次或多次尝试,以便寻找导致颜色属性中的差异小于阈值量的参数集。
10.如前述权利要求中的任一项所述的装置,其中,所述颜色属性调整器可操作用于调整来自包括如下参数的列表的一个或多个参数:
伽马;
拐点;
黑电平;以及
白电平。
11.如权利要求10所述的装置,其中,所述颜色属性调整器被布置为从所述伽马和拐点参数来导出所述白电平和黑电平参数。
12.如前述权利要求中的任一项所述的装置,其中:
来自所述图像捕获设备中的一个的图像是主图像,而来自所述图像捕获设备中的另一个的图像是从图像;
所述颜色属性调整器被布置为改变所述从图像的颜色属性,以使得所述从图像的颜色属性更加接近地对应于所述主图像的颜色属性。
13.如权利要求12所述的装置,包括用于对所述主图像的颜色属性的用户调整的用户控制。
14.一种相机系统,包括:
一对图像捕获设备,这对图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像;以及
如前述权利要求中的任一项所述的图像调整装置。
15.如权利要求14所述的相机系统,其中,所述图像捕获设备基本在水平图像方向上被彼此横向位移,以便生成各自的三维图像对。
16.如权利要求14或15所述的相机系统,其中,所述图像捕获设备是视频相机。
17.一种用于处理由两个图像捕获设备输出的图像的方法,所述两个图像捕获设备被相对于彼此布置,以便捕获代表场景的各个不同示图的图像,所述方法包括如下步骤:
组合噪声信号和由所述两个图像捕获设备所捕获的一对对应图像中的一个或二者;
检测通过所述组合步骤所输出的图像对之间的颜色属性的差异;以及
基于通过所述检测步骤所检测的差异来调整来自所述图像捕获设备中的至少一个的图像的颜色属性,以便减少由所述两个图像捕获设备所捕获的对应图像之间的颜色属性的差异。
18.一种用于执行如权利要求17所述的方法的计算机软件。
19.一种计算机程序产品,包括存储介质,通过该存储介质,如权利要求18所述的计算机软件被存储。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1014409.5A GB2483433A (en) | 2010-08-31 | 2010-08-31 | 3D image adjustment based on differences in colour properties between stereo pair |
GB1014409.5 | 2010-08-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102387371A true CN102387371A (zh) | 2012-03-21 |
CN102387371B CN102387371B (zh) | 2015-10-14 |
Family
ID=43013427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110259662.7A Expired - Fee Related CN102387371B (zh) | 2010-08-31 | 2011-08-31 | 图像调整装置、方法及相机系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8896669B2 (zh) |
CN (1) | CN102387371B (zh) |
GB (1) | GB2483433A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104885125A (zh) * | 2012-12-27 | 2015-09-02 | 索尼电脑娱乐公司 | 信息处理设备、信息处理系统和信息处理方法 |
CN105184773A (zh) * | 2015-08-13 | 2015-12-23 | 海信集团有限公司 | 一种场景切换中插入图片的方法和设备 |
CN105981367A (zh) * | 2014-02-11 | 2016-09-28 | 罗伯特·博世有限公司 | 对来自多摄像机系统的视频的亮度和颜色匹配 |
CN107135384A (zh) * | 2017-05-19 | 2017-09-05 | 中国科学院深圳先进技术研究院 | 白平衡调节方法、装置、图像处理终端及存储介质 |
CN107580777A (zh) * | 2015-05-14 | 2018-01-12 | 高通股份有限公司 | 色彩调节 |
CN107666607A (zh) * | 2016-07-28 | 2018-02-06 | 魏伟 | 一种通过手机双摄像头获得数据并处理制作3d片源的方法 |
US10304203B2 (en) | 2015-05-14 | 2019-05-28 | Qualcomm Incorporated | Three-dimensional model generation |
US10341568B2 (en) | 2016-10-10 | 2019-07-02 | Qualcomm Incorporated | User interface to assist three dimensional scanning of objects |
US10373366B2 (en) | 2015-05-14 | 2019-08-06 | Qualcomm Incorporated | Three-dimensional model generation |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2489929A (en) | 2011-04-08 | 2012-10-17 | Sony Corp | Generation of a Colour Difference Amount Between Pairs of Images |
JP6082304B2 (ja) * | 2012-04-17 | 2017-02-15 | キヤノン株式会社 | 画像処理装置及びその処理方法 |
US9247223B2 (en) | 2013-01-25 | 2016-01-26 | Blackberry Limited | Reduce operating environment effect using multiple cameras |
EP2760208B1 (en) * | 2013-01-25 | 2019-04-10 | BlackBerry Limited | Reduce operating environment effect using multiple cameras |
GB2526067B (en) * | 2014-05-01 | 2019-02-27 | Imagination Tech Ltd | Noise enhanced histograms |
WO2017083331A1 (en) * | 2015-11-09 | 2017-05-18 | Digital Surgicals Pte Ltd. | Personalized hand-eye coordinated digital stereo microscopic systems and methods |
CN108833875B (zh) * | 2018-06-27 | 2020-11-10 | 上海安威士科技股份有限公司 | 一种自动白平衡校正方法 |
DE102019118510B4 (de) * | 2019-07-09 | 2021-05-12 | Carl Zeiss Meditec Ag | Verfahren zur Bildverarbeitung |
CN111866492A (zh) * | 2020-06-09 | 2020-10-30 | 青岛小鸟看看科技有限公司 | 基于头戴显示设备的图像处理方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020196353A1 (en) * | 2001-05-29 | 2002-12-26 | Toshiaki Nakahira | Method of and apparatus for processing picture signal |
CN1788486A (zh) * | 2004-05-17 | 2006-06-14 | 精工爱普生株式会社 | 图像处理方法、图像处理装置和程序 |
CN101038734A (zh) * | 2003-04-02 | 2007-09-19 | 夏普株式会社 | 图像显示设备和该图像显示设备的驱动装置及方法 |
CN101542537A (zh) * | 2006-11-21 | 2009-09-23 | 汤姆逊许可证公司 | 用于3d图像的颜色校正的方法和系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6933983B2 (en) * | 2001-09-10 | 2005-08-23 | Jaldi Semiconductor Corp. | System and method for reducing noise in images |
JP3809359B2 (ja) * | 2001-10-18 | 2006-08-16 | キヤノン株式会社 | 立体撮像レンズ装置および立体撮像システム |
TW583600B (en) * | 2002-12-31 | 2004-04-11 | Ind Tech Res Inst | Method of seamless processing for merging 3D color images |
WO2007097125A1 (ja) * | 2006-02-27 | 2007-08-30 | Nikon Corporation | 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
US8456515B2 (en) * | 2006-07-25 | 2013-06-04 | Qualcomm Incorporated | Stereo image and video directional mapping of offset |
JP4897593B2 (ja) * | 2007-07-09 | 2012-03-14 | 富士フイルム株式会社 | 複眼撮影装置及びその調節方法 |
US8917424B2 (en) * | 2007-10-26 | 2014-12-23 | Zazzle.Com, Inc. | Screen printing techniques |
KR100924121B1 (ko) * | 2007-12-15 | 2009-10-29 | 한국전자통신연구원 | 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법 |
KR100942925B1 (ko) * | 2008-08-11 | 2010-02-22 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
JP5230376B2 (ja) * | 2008-11-28 | 2013-07-10 | 三星電子株式会社 | 撮像装置及び撮像方法 |
US8675091B2 (en) * | 2008-12-15 | 2014-03-18 | Nvidia Corporation | Image data processing with multiple cameras |
JP5919086B2 (ja) * | 2012-05-09 | 2016-05-18 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
-
2010
- 2010-08-31 GB GB1014409.5A patent/GB2483433A/en not_active Withdrawn
-
2011
- 2011-08-15 US US13/209,905 patent/US8896669B2/en not_active Expired - Fee Related
- 2011-08-31 CN CN201110259662.7A patent/CN102387371B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020196353A1 (en) * | 2001-05-29 | 2002-12-26 | Toshiaki Nakahira | Method of and apparatus for processing picture signal |
CN101038734A (zh) * | 2003-04-02 | 2007-09-19 | 夏普株式会社 | 图像显示设备和该图像显示设备的驱动装置及方法 |
CN1788486A (zh) * | 2004-05-17 | 2006-06-14 | 精工爱普生株式会社 | 图像处理方法、图像处理装置和程序 |
CN101542537A (zh) * | 2006-11-21 | 2009-09-23 | 汤姆逊许可证公司 | 用于3d图像的颜色校正的方法和系统 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9619868B2 (en) | 2012-12-27 | 2017-04-11 | Sony Corporation | Information processing device, information processing system, and information processing method |
CN104885125A (zh) * | 2012-12-27 | 2015-09-02 | 索尼电脑娱乐公司 | 信息处理设备、信息处理系统和信息处理方法 |
CN104885125B (zh) * | 2012-12-27 | 2017-05-31 | 索尼电脑娱乐公司 | 信息处理设备、信息处理系统和信息处理方法 |
US10166921B2 (en) | 2014-02-11 | 2019-01-01 | Robert Bosch Gmbh | Brightness and color matching video from multiple-camera system |
CN105981367A (zh) * | 2014-02-11 | 2016-09-28 | 罗伯特·博世有限公司 | 对来自多摄像机系统的视频的亮度和颜色匹配 |
CN107580777A (zh) * | 2015-05-14 | 2018-01-12 | 高通股份有限公司 | 色彩调节 |
US10304203B2 (en) | 2015-05-14 | 2019-05-28 | Qualcomm Incorporated | Three-dimensional model generation |
CN107580777B (zh) * | 2015-05-14 | 2019-06-14 | 高通股份有限公司 | 色彩调节 |
US10373366B2 (en) | 2015-05-14 | 2019-08-06 | Qualcomm Incorporated | Three-dimensional model generation |
CN105184773B (zh) * | 2015-08-13 | 2018-05-01 | 海信集团有限公司 | 一种场景切换中插入图片的方法和设备 |
CN105184773A (zh) * | 2015-08-13 | 2015-12-23 | 海信集团有限公司 | 一种场景切换中插入图片的方法和设备 |
CN107666607A (zh) * | 2016-07-28 | 2018-02-06 | 魏伟 | 一种通过手机双摄像头获得数据并处理制作3d片源的方法 |
US10341568B2 (en) | 2016-10-10 | 2019-07-02 | Qualcomm Incorporated | User interface to assist three dimensional scanning of objects |
CN107135384A (zh) * | 2017-05-19 | 2017-09-05 | 中国科学院深圳先进技术研究院 | 白平衡调节方法、装置、图像处理终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
GB201014409D0 (en) | 2010-10-13 |
US20120050492A1 (en) | 2012-03-01 |
GB2483433A (en) | 2012-03-14 |
CN102387371B (zh) | 2015-10-14 |
US8896669B2 (en) | 2014-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102387371B (zh) | 图像调整装置、方法及相机系统 | |
US11849224B2 (en) | Global tone mapping | |
US12028624B2 (en) | Systems and methods for increasing dynamic range of time-delay integration images | |
KR101879161B1 (ko) | 결함있는 이미지 센서 요소들의 교정 | |
US8731277B2 (en) | Methods for matching gain and color for stereoscopic imaging systems | |
US20090160931A1 (en) | Image processing for supporting a stereoscopic presentation | |
CN102867295B (zh) | 一种彩色图像颜色校正方法 | |
JP6564409B2 (ja) | イベントタイミング画像を処理するためのシステムおよび方法 | |
US10109063B2 (en) | Image processing in a multi-channel camera | |
CN110225242A (zh) | 摄像元件、摄像元件的控制方法和摄像设备 | |
US20220198625A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
CN107979726B (zh) | 一种全景镜头的配对方法和全景镜头 | |
US9232208B2 (en) | Systems and methods for detecting image properties | |
US20170127037A1 (en) | Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor | |
US9342895B2 (en) | Device and method for detecting a plant against a background using photographs with different levels of brightness | |
Opozda et al. | The survey of subjective and objective methods for quality assessment of 2D and 3D images | |
KR101455662B1 (ko) | 다면 상영을 위한 영상 보정 시스템 및 방법 | |
JP2013197770A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR101706554B1 (ko) | 클리어 에지 재현을 위한 영상 처리 장치 및 방법 | |
Xu | Capturing and post-processing of stereoscopic 3D content for improved quality of experience | |
Pamornnak et al. | Color correction scheme for different illumination and camera device conditions | |
JP2020150345A (ja) | 多視点映像色合わせ装置およびそのプログラム | |
TWI547168B (zh) | 局部增強裝置、多重曝光影像系統以及局部增強方法 | |
Gadia et al. | Local color correction of stereo pairs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151014 Termination date: 20210831 |