[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106416226A - 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质 - Google Patents

图像处理系统、成像设备、图像处理方法以及计算机可读记录介质 Download PDF

Info

Publication number
CN106416226A
CN106416226A CN201580027228.2A CN201580027228A CN106416226A CN 106416226 A CN106416226 A CN 106416226A CN 201580027228 A CN201580027228 A CN 201580027228A CN 106416226 A CN106416226 A CN 106416226A
Authority
CN
China
Prior art keywords
image
subregion
correction
value
assessment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580027228.2A
Other languages
English (en)
Other versions
CN106416226B (zh
Inventor
吉川博美
吉田和弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN106416226A publication Critical patent/CN106416226A/zh
Application granted granted Critical
Publication of CN106416226B publication Critical patent/CN106416226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

一种图像处理系统在包含作为重叠区域的重叠图像区域的多个图像上执行图像处理。所述系统包含被配置来使用每个所述重叠区域中的一个或多个像素的像素值计算用于评估所述多个图像的每一个的评估值的计算器；被配置来基于由所述计算器计算的所述评估值确定在所述多个图像中是否存在要被校正的图像确定控制器；被配置来当所述确定控制器确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像当中，确定作为用于校正的参考的校正参考图像的图像确定部；以及被配置来基于由所述图像确定部确定的所述校正参考图像校正要被校正的所述图像的图像校正部。

Description

图像处理系统、成像设备、图像处理方法以及计算机可读记录 介质
技术领域
本发明涉及图像处理系统、成像设备、图像处理方法以及用于使得计算机执行所述方法的计算机可读记录介质。
背景技术
作为能够360度成像的成像设备，已知存在全景成像相机被用作监视相机。所述全景成像相机通过多个成像元件，使用多个广角镜头或鱼眼镜头来拍摄图像，在多个拍摄的图像上做失真校正和投影变形，并且将它们合成以生成一个全景图像。由相邻的成像元件拍摄的图像具有图像重叠区域，在所述重叠区域中所述图像彼此部分地重叠。全景成像相机通过图像重叠区域合成图像。
全景成像相机通过使用多个不同成像方向的成像元件来拍摄图像，并且由成像元件获得的图像的图像重叠区域在亮度和色彩上有差异，这引起了合成的图像的可视性劣化的问题。已提出借助于用于使得图像重叠区域的色调统一的初始增益以及用于降低与其他成像元件的差异的校正增益，通过校正映射重叠区域来用于降低在图像重叠区域之间色调的差异的技术(例如，参考日本专利No.4739122)。
全景成像相机使用广角镜头和鱼眼镜头在宽广面积内拍摄图像，并且因此，来自诸如太阳或照明设备的光源的光很可能进入成像范围内。在这种情况下，已知有高可能性发生闪光以致图像白模糊以及呈现出具有光的扩散。所述闪光不均匀地发生在图像上，并且因此带闪光的图像和不带闪光的图像彼此在亮度和色彩上有差异。因此，存在合成的图像中的接缝突出的问题。
根据前述的传统技术，能够降低在图像重叠区域之间的色调的差异来使所述接缝不太突出，但是不能校正其他图像区域。结果是，合成的图像在亮度和色彩上具有差异。
因此，有必要提供允许在多个图像之间的亮度和色彩上差异降低的系统以及方法。
发明内容
本发明的目的是至少部分地解决传统技术中的问题。
根据一个实施例，提供了用于在包含重叠图像区域作为重叠区域的多个图像上执行图像处理的图像处理系统。图像处理系统包含：计算器，配置来使用每个重叠区域中的一个或多个像素的像素值计算评估值，所述评估值用于评估多个图像中的每一个；确定控制器，配置来基于由计算器计算的评估值，确定在多个图像中是否存在要被校正的图像；图像确定部，配置来当确定控制器确定存在要被校正的图像时，基于评估值从多个图像当中确定用于校正的参考的校正参考图像；以及图像校正部，配置来基于由图像确定部确定的校正参考图像校正要被校正的图像。
当联系附图考虑时，通过阅读本发明当前优选的实施例的以下具体描述，将会更好地理解本发明的上述和其他的目的、特征、优点以及以及技术和工业价值。
附图说明
图1是成像设备的外部视图。
图2是示出成像设备的硬件配置的图。
图3是描述用于在成像设备中使用的鱼眼镜头的图。
图4是描述在由成像设备拍摄的多个图像中的重叠区域的图。
图5是描述全景图像的格式的图。
图6是描述用于鱼眼图像转换到全景图像的转换表格的图。
图7是用于生成全景图像的处理的流程图。
图8是示出失真校正的结果的图。
图9描述用于检测连接位置的方法的图。
图10是图像处理系统的功能框图。
图11是由图像处理系统执行的整体处理的流程图。
图12是描述在图11中描述的步骤S1110处评估值的获取的图。
图13是在图11中描述的步骤S1120处用于确定的具体处理的流程图。
图14是在图11中描述的步骤S1130处用于校正映射的创建的具体处理的流程图。
图15是描述校正排除映射的创建的图。
图16是描述用于计算对重叠区域校正量的方法的图。
图17是描述用于从对重叠区域的校正量中计算对整体图像校正量的方法的图。
图18是描述用于通过参考图15创建的校正排除映射修正参考图14创建的校正映射的方法的图。
图19是用于在图13中描述的步骤S1310计算重叠区域中平均值的处理的流程图。
图20是用于图13中描述的步骤S1310计算重叠区域中平均值的另一处理的流程图。
图21是描述用于在图20中描述的步骤S2030计算匹配度的方法。
图22是描述在图14中描述的步骤S1430在校正量之间插值的图。
图23是描述在图14中描述的步骤S1430在校正量之间插值的图。
图24是描述在图14中描述的步骤S1430在校正量之间插值的图。
图25是描述在图14中描述的步骤S1430在校正量之间插值的图。
图26是用于修正重叠区域中的校正量的处理的流程图。
图27是用于限制重叠区域中的校正量的处理的流程图。
图28是示出用于在图27中描述的处理中使用的阈值表格的示例图。
具体实施方式
图1是包含图像处理系统的成像设备的外部视图。在这个示例中，成像设备是全景成像相机但不限于此。所述成像设备可以是任何被配置来由多个成像元件拍摄重叠图像区域(重叠区域)并通过它们的重叠区域将多个拍摄的图像连接的成像设备。借助于图像处理IC或软件能够执行用于通过它们的重叠区域连接多个拍摄图像的处理。
全景成像相机10包含用于在一个成像位置处全景成像的、具有大于180度的视角的两个鱼眼镜头11和12以及与鱼眼镜头11和12分别相对应的两个成像元件13和14。在这个示例中，所述全景成像相机10被配置来包含所述两个鱼眼镜头11、12以及所述两个成像元件13、14。然而，全景成像相机10不限于这个配置，还可包含三个或更多个的每个组件。视角参考由鱼眼镜头11和12成像的角度范围。
鱼眼镜头11和12可以是等距投影类型，在此类型中，到拍摄图像中心的距离与光的入射角成比例。所述成像元件13和14可以是将入射光转换为电信号的电荷耦合设备(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。所述两个成像元件13和14全景地拍摄图像以使拍摄的图像包含作为重叠图像区域的重叠区域。
通过摄影师按下成像SW 15来引起成像元件13和14同时进行曝光而执行成像。成像元件13和14将接收的光转换为电信号以获取图像。获取的图像是通过利用鱼眼镜头11和12拍摄，并且因此被称为鱼眼图像。由两个成像元件13和14获取的两个鱼眼图像经历图像转换并在随后的图像处理中通过重叠区域被合成，由此生成全景图像。
全景成像相机10可存储用于生成的全景图像的数据，并且，在接到请求时，将数据输出至包含显示装置的器材(诸如未示出的PC)以在显示装置上显示全景图像。所述全景成像相机10还可以将生成的全景图像输出至未示出的打印机或多功能外围设备(MFP)用于打印输出的生成。所述全景成像相机10可进一步将生成的全景图像输出至MDP或PC用于传真传输或邮件传输。
图2是示出全景成像相机10的硬件配置的图。在图2的示例中，鱼眼镜头11和12未被示出。全景成像相机10包含控制器20、SDRAM 21以及外部存储设备22，还包含两个成像元件13和14以及成像SW 15。SDRAM 21被用于与控制器20结合以存储用于实现预定的图像处理的程序。所述外部存储装置22存储被处理过的图像的数据，即前述的全景图像数据。
所述控制器20包含CPU 23、ROM 24、SRAM 25、图像处理模块26、SDRAM I/F 27以及外部存储I/F 28，它们各自被连接至总线29。所述CPU 23控制整个全景成像相机10。所述ROM 24存储用于激活全景成像相机10的程序、后文描述的转换表格以及其他。SRAM 25提供用于CPU 23的工作区。所述图像处理模块26协同CPU 23、SRAM 25以及SDRAM 21等执行前述的预定的图像处理。图像处理模块26可以是作为专用集成电路的特定用途集成电路(ASIC)。
全景成像相机10通过两个成像元件13和14获取两个鱼眼图像。所述成像元件13和14各自包含A/D转换器，并通过A/D转换器将转换的电信号转换为数字数据。所述成像元件13和14将数字数据作为鱼眼图像数据输出至包含于控制器20的图像处理模块26。所述图像处理模块26执行前述的图像转换以及用于协同CPU 23等将图像连接为全景图像的处理作为预定的图像处理，并经由外部存储I/F 28将生成的全景图像数据存储至外部存储设备22中。
全景成像相机10进一步包含通信I/F以执行与PC、MFP以及未示出的其他的有线或无线通信来将全景图像数据传输至这些设备用于屏幕显示、打印输出或诸如此类。通过诸如Wi-Fi、蓝牙(注册商标)以及红外线的无线LANs可以执行无线通信。
参考图3，将具体描述鱼眼镜头11。鱼眼镜头12以与鱼眼镜头11相同的方式被配置，并且在本文仅给出鱼眼镜头11的描述。由具有鱼眼镜头11的成像元件13以大于180度的视角拍摄的鱼眼图像是以成像位置为中心的主体的近似半球形图像。
如图3中(a)中所示，当将在鱼眼镜头11上的光的入射角指定为φ时，图像的中心与像点之间的距离被给定为图像高度h，以及将投影函数指定为f，通过以下等式(1)能够表达这些项之间的关系。
h＝f(φ) (1)
投影函数f取决于鱼眼镜头11的特性而变化。例如，当使用等距投影类型鱼眼镜头时，存在如图3中(b)中所示的比例关系，以使，随入射角φ变得更大，如箭头所显示，图像高度h变得更大。在图3中(b)中，在圆圈外的涂黑区域是没有光入射的区域。
参考图4，将描述由成像元件13和14拍摄的在两个鱼眼图像中的重叠区域。在图4中，所述成像元件13被称为“第一成像元件”，而所述成像元件14被称为“第二成像元件”。所述鱼眼镜头11和12各自具有大于180的视角，并且由成像元件13和14拍摄的鱼眼图像包含重叠区域。在图4中，(a)示出由成像元件13和14拍摄的鱼眼图像，所述图像包含没有光入射的涂黑区域、带有90度或更小入射角的白色区域，以及带有大于90度入射角的斜线阴影区域。
图4中(a)中的斜线阴影区域为在两个鱼眼图像之间重叠的图像区域，能将其定义为重叠区域。然而，随图像高度h变得更大以使像点更加远离图像的中心，鱼眼镜头11和12很可能引起更大的失真和像差。另外，鱼眼镜头11和12的外框会被反映在图像中。带有失真或像差的区域的图像或外框的图像不能被用于图像连接。
因此，如图4中(b)中所示，重叠区域30会被限制于由垂直条纹所显示的预定宽度的环形的内部区域。在图4中(b)的示例中，通过被成像元件13和14同步曝光获得两个鱼眼图像，并因此重叠区域30基本地构成相同主体的图像。
接下来，参考图5，将描述全景图像。如图5中(a)中所示，以圆形的形式格式化每个鱼眼图像以表现近似半球形图像。以地球仪为例，经度与水平角度相对应以及纬度与垂直角度对应。水平角度属于0至360度的范围内，而垂直角度属于0至180度的范围内。
以图5中(b)所示的矩形的形式格式化全景图像，通过沿水平方向的水平角度以及沿垂直方向的垂直角度合成两个半球形图像而生成所述全景图像。在精确的意义上，每个要被合成的图像由于重叠区域而大于半球形图像，但为方便起见在本文被称为半球形图像。
所述两个半球形图像被生成为具有与水平角度和垂直角度相对应的像素的、在图5中(b)以矩形格式所表现的图像，其带有与在鱼眼图像中的水平角度和垂直角度相对应的那些像素相同的像素值。通过使鱼眼图像经历投影转换，能够生成每个半球形图像。合成两个生成的半球形图像能够在水平方向以及垂直方向上生成全360度全景图像。
图6显示了用于在鱼眼图像的投影转换中使用的转换表格的示例。如图6中(a)中所示，转换表格包含作为改变前的图像的鱼眼图像的水平和垂直角度的值作为坐标值与作为改变后的图像的半球形图像的坐标值之间的对应关系。所述改变前的图像的坐标值被表现为(x,y)，而改变后的图像的坐标值为(θ,φ)。如图6中(b)中所示，对于每个图像，参考在左上角处的坐标(0,0)确定改变前的图像中的像素和改变后的图像中的相对应的像素，并且像素的坐标值的组被作为在转换表格中的数据保留。从改变前的图像与改变后的图像之间的投影关系中能够确定所述对应关系。
对于两个鱼眼镜头11、12以及两个成像元件13、14中的每一个，基于镜头设计数据等能预先创建转换表格，并且，所述转换表格能被存储于图2中所示的ROM 24中以及作为之后使用的必需品而被读取。使用转换表格可能使鱼眼图像经历投影转换并且校正鱼眼图像中的失真。能够合成校正的图像以生成全景图像。
参考图7，将描述用于生成全景图像的处理的流程。该处理在步骤S700处开始，在所述处理中，通过两个成像元件13和14拍摄并输入两个鱼眼图像。在步骤S710，存储于ROM24中的如图6中(a)中所示的转换表格被用来使鱼眼图像经历用于失真校正的投影转换。所述失真校正使生成如图5中(a)中所示的两个半球形图像是可能的。
在步骤S720，检测在重叠区域中用于连接两个获得的半球形图像的连接位置。后文将具体描述连接位置的所述检测。在步骤S730处，基于检测结果校正在步骤S710使用的转换表格。后文将描述所述校正的目的以及所述处理的具体内容。在步骤S740，校正的转换表格经历旋转变形以创建用于图像生成的转换表格。出于保证图像的垂直方向与全景成像相机10的天顶方向之间的一致的目的，在用于图像生成的转换表格中执行旋转变形。
在步骤S750，使用用于图像生成的转换表格来使两个鱼眼图像经历投影转换以校正在图像中的失真。在步骤S760，执行融合以合成带失真校正的两个图像。所述两个图像通过它们的重叠区域被合成。然而，如果在一个图像中存在仅用于重叠区域的数据，则使用所述数据执行图像的合成。在融合完成后，所述处理移至步骤S770并结束。
参考图8，将具体描述图7中步骤S710处的失真校正。由两个成像元件13和14拍摄的两个鱼眼图像使用它们分别的转换表格经投影转换，借此所述鱼眼图像被转换为如图8中(a)中所示的矩形半球形图像。由成像元件13拍摄并转换的图像31构成图8中(a)中的上部图像，而由成像单元14拍摄并转换的图像32构成图8中(a)中的下部图像。在上部图像与下部图像之间重叠的中间的图像区域构成重叠区域30。能够容易地检测所述重叠区域30。
在这样的转换的图像中，图8中(b)所示，相对于由包含具有鱼眼镜头11和12的成像元件13和14的全景成像相机10的箭头A显示的垂直方向近似90度旋转所述垂直方向。
参考图9，将描述用于检测连接位置的处理。通过通常所知的模板匹配能够执行所述连接位置的检测。在模板匹配中，如图8中所示的重叠区域被检测，并且在两个半球形图像的其中一个中的重叠区域30之中取得具有预定尺寸的图像，并将其设置为如图9中(a)中所示的模板图像34。在预定的有规律的间隔ST处，以垂直规格h乘以水平规格w取得多个模板图像34。参考图9中的(a)，模板图像34为带有编号1至6的矩形图像。每个模板图像34具有在其左上角处的坐标作为对于模板图像34取得的坐标(sx1,sy1)。例如，每个取得的模板图像34为图9中(b)中所示的图像。
检测连接位置以使坐标(kx,ky)被设置在模板图像34的左上角作为搜索位置，在两个半球形图像中另一个的重叠区域内偏移所述搜索位置以搜索带有最高评估值的位置，如图9中(c)所示。搜索范围可落在重叠区域内。然后，由模板匹配检测的坐标(kx,ky)与对于模板图像34取得的坐标(sx1,sy1)之间的差作为连接位置的检测结果被输出。通过在预定的间隔ST逐步地取得多个模板图像来获得所述检测结果，并因此构成离散的数据。因此，可以执行线性插值或诸如之类以获取离散数据之间的数据。
重叠区域表现相同主体的图像但因为成像元件13和14在相对于主体的不同方向上被定向，故在其之间具有视差。在视差发生时，主体以重影被表现，这要求所述两个图像要被调整为它们中的任一个。合成位置的检测旨在校正这样的视差。所述视差取决于主体位置而变化，并且需要在每个成像的每个重叠区域中检测最佳连接位置。
图7中描述的在步骤S730处的转换表格的校正是借助于由模板匹配检测的坐标而做出的。具体地，作为连接位置的检测结果的差异被加到用于在一个鱼眼图像中使用的转换表格中的坐标值(x,y)以校正坐标值。所述校正旨在将一个鱼眼图像连接至另一个鱼眼图像。因此，不对用于在另一个鱼眼图像中使用的转换表格做出校正。
给出关于用于使通过两个成像元件13和14拍摄的鱼眼图像经历图像转换以及连接所述两个图像以生成全景图像的处理的前述的描述。在下文中，将给出用于确定是否在鱼眼图像中发生闪光，以及当发生闪光时，适当地校正以降低由于闪光的发生导致的在亮度和色彩上的差异的描述。在下文描述中，以闪光作为亮度和色彩上的差异的原因的示例。然而，带有亮度和色彩上差异的不自然地合成的图像的原因不限于闪光。
图10是用于实现前述处理的图像处理系统的功能框图。所述图像处理系统配置来在从多个成像元件13和14以及其他输入的多个图像上执行图像处理。所述图像处理系统被配置为包含计算器40、确定控制器41、图像确定部42以及图像校正部43。这些功能单元通过图2中所示的CPU 23执行存储于SDRAM 21中的程序，或例如通过图像处理模块26实现。
所述计算器40使用每个重叠区域中的一个或多个像素的像素值来计算用于每个图像的评估的评估值。例如，所述评估值可以是在每个重叠区域中的多个像素的像素值的平均值或方差值。当在彩色图像中采用RGB色彩空间时，每个像素值可包含在RGB色彩中的信号量。当采用YCbCr色彩空间时，每个像素值可包含亮度、蓝色的色相和强度以及红色的色相和强度的值。
确定控制器41根据由计算器40计算的评估值确定是否在多个图像中存在要被校正的图像。例如，所述确定控制器41具有阈值以通过与阈值进行比较做出关于有或没有要被校正的图像的确定。具体地，所述确定控制器41将具有大于阈值的平均值或方差值的图像确定为要被校正的图像。当有这样的图像时，确定控制器41确定存在要被校正的图像。
当确定控制器41确定存在要被校正的图像时，所述图像确定部42根据由计算器40计算的评估值，从多个图像之中，将校正参考图像确定为用于校正的参考。可以从排除要被校正的图像的多个图像之中选择所述校正参考图像。例如，所述校正参考图像可以是与要被校正的图像不同的并且是要与要被校正的图像合成的图像。在上述的全景成像相机10的情况下，当一个图像是要被校正的图像时，另一个可被确定为校正参考图像。
图像校正部43根据由图像确定部42确定的校正参考图像校正要被校正的图像。所述图像校正部43校正要被校正的图像以使其亮度和色彩接近于校正参考图像的亮度和色彩。所述校正允许在多个要被校正的图像之间的亮度和色彩上的差异降低。
参考图11，将描述通过图像处理系统执行的处理。所述图像处理系统在收到由两个成像元件13和14拍摄的两个鱼眼图像时在步骤S1100开始所述处理。在步骤S1110处，计算器40使用两个鱼眼图像的每个重叠区域中的一个或多个像素的像素值来计算用于每个图像的用于评估的评估值。
在步骤S1120，所述确定控制器41根据通过计算器40计算的评估值，确定在两个鱼眼图像中是否存在带有闪光的图像(闪光图像)。在步骤S1120处，当存在闪光图像时，所述处理移至步骤S1130，且当不存在闪光图像时，所述处理移至步骤S1150并结束。
在步骤S1130，所述图像确定部42将不带有闪光的图像确定为校正参考图像，并且图像校正部43使用在步骤S1110计算的评估值来创建校正映射(correction map)，在所述校正映射中用于闪光图像的校正的校正值被映射。在步骤S1140处，所述图像校正部43使用创建的校正映射来校正闪光图像。在校正完成后，所述处理移至步骤S1150并结束。
将参考图12描述图11中的在步骤S1110的评估值的计算。使用在重叠区域中一个或多个像素的像素值来计算所述评估值，其要求获取由在图12中(a)中垂直条纹显示的重叠区域30中的一个或多个像素的像素值。将在下文中描述一种用于获取的方法。以下方法为示例，并且能够使用任何其他的用于计算评估值的方法。
首先，如图12中(a)中所示，两个输入鱼眼图像的每一个被划分为多个预定数量的、具有相同尺寸的矩形评估分区。例如，当每个鱼眼图像的尺寸为1952(像素)×1932(像素)时，鱼眼图像可被划分为48×48分区。该分区的数量为示例，并因此可以由实验或诸如此类来确定和采用任何其他最佳的分区数量。图像处理系统可包含，作为用于这样的划分的功能单元的区域划分部，其被配置来将图像划分为多个评估分区。
接下来，如图12中(b)中所示，包含于由垂直条纹显示的重叠区域30中的所有评估分区，被检测为与重叠区域30相对应的评估分区。在图12中(b)中，以灰色显示检测的评估分区35。图像处理系统可包含作为用于这样的检测的功能单元的分区检测部。
每个所检测的评估分区35由多个像素组成。每个像素具有像素值。通过将像素值相加可计算评估值，将像素值的和除以像素值的数量以确定在所有评估分区35中的平均值，将在所有评估分区中确定的平均值相加，然后将平均值的和除以评估分区的数量以确定平均值。可替换地，通过确定在所有评估分区中确定的平均值的方差值可计算评估值。因此，可以使用前述的平均值或方差值来确定所述评估值。图像处理系统可包含，作为功能单元的、用于计算在评估分区中平均值的平均值计算器。
在通过如图1中所示构造的由全景成像相机10来360度成像的情况下，摄影师的手指按下成像SW15会被显著地反映。在这种情况下，在重叠区域30中看到手指，但在其他重叠区域30中看不到。因此，取决于有或没有手指的映像所计算的平均值或方差值显著地变化。因此，图像中手指的部分优选地不被用于评估值的计算。
因此，在低于重叠区域30的1/4部分处的、可能带手指映像的分区可被设置为不必要的分区，而包含于重叠区域30中的其他的评估分区可被检测为与重叠区域30相对应的评估分区35。在这个示例中，在低于重叠区域30的1/4部分处的分区被设置为不必要的分区，但该实施例不限于此。可替换地，在重叠区域的1/5或更少的部分或1/3或更多的部分的分区可被设置为不必要的分区，或其他的分区可被添加为不必要的分区。
通过设置不必要的分区来将诸如手指的障碍物从评估目标中排除，确定仅在闪光图像与校正参考图像之间有高相关性的评估分区中的平均值或方差值成为可能。
将参考图13描述图11中步骤S1120处关于有或没有闪光图像的确定。在评估值的计算时的步骤S1300处开始该过程。在步骤S1310处，作为评估值计算的、与重叠区域相对应的所有评估分区中的平均值被平均。对于每个要被连接的图像实行该步骤。因此，当两个图像要被连接时，对于两个图像的每一个计算平均值。
在步骤S1320处，在要被连接的图像之间比较所计算的平均值。在这个示例中，计算平均值中差的绝对值并提取具有最小平均值的图像。然后，输出信息作为比较结果。例如，当图像P和Q要被连接并且将它们的平均值指定为AVE_P和AVE_Q时，当|AVE_P-AVE_Q|且AVE_P>AVE_Q时，比较结果为图像Q，否则当AVE_P<AVE_Q时比较结果为图像P。
在步骤S1330处，确定在比较结果中的差的绝对值是否大于预设阈值T。当绝对值更大时，在亮度或诸如此类中的差异大并因此所述处理移至步骤S1340来确定闪光已发生以及图像为闪光图像。相反地，当绝对值更小时，差异小并因此所述处理移至步骤S1350。在这种情况下，没有确定闪光已发生或图像为闪光图像。在确定完成时，所述处理移至步骤S1360并结束。
能够将具有通过在步骤S1320处比较和提取而获得的最小平均值的图像确定为不具有闪光的图像和校正参考图像。基本地，当通过同步曝光拍摄两个图像时，图像应包含相同亮度下表现相同主体的重叠区域。然而，当闪光发生在一个图像中时，重叠区域中的平均值变得更高。因此，如上文所述设置阈值使得当图像具有比阈值更大的平均值时，将图像确定为闪光图像成为可能。具有最小平均值的图像具有高可能性无闪光并因此能够被用作校正参考图像。
将参考图14描述图11中所示的在步骤S1130处校正映射的创建。当确定存在闪光图像时，在步骤S1400开始该处理。在步骤S1410处，创建校正排除映射来从校正中规定要被排除的分区。在校正排除映射中，校正排除值被存储于与评估分区相对应的位置处的模块中，所述评估分区包含于根据多个构成要被校正的图像的像素的像素值来确定的要被校正的图像的校正排除分区中，在所述校正排除分区中不做校正。非校正排除值存储于其他模块中。图像处理系统可包含作为功能单元的分区确定部，其被配置来确定用于校正排除映射的创建的校正排除分区。
当带闪光的图像要被基于具有最小平均值并且不带闪光的图像校正时，带闪光的整体图像被校正。对整体图像做校正会整体地降低亮度并造成色彩改变。因此，合成的图像会出现不自然。例如，光源的实际亮度和色彩被反映在带闪光的图像的亮度和色彩上，但是做校正以降低了亮度并使色彩变暗。因此，创建校正排除映射以使对不要被校正的(诸如光源)主体的图像不做校正。
在步骤S1420处，从评估值(诸如与重叠区域相对应的评估分区中的平均值或方差值)中计算对重叠区域的校正量。校正量旨在量化要降低的亮度的程度以及要改变的色彩的程度。在步骤S1430处，基于在步骤S1420处计算的校正量通过插值来计算对要被校正的整体图像(即带闪光的整体图像)的校正量，并且使用计算的校正量创建校正映射。在所述校正映射中，计算的校正量存储于与要被校正的图像中的评估分区相对应的位置处的模块中。
在步骤S1440处，在步骤S1410处创建的校正排除映射被应用于在步骤S1430处创建的校正映射以修正校正映射。然后在步骤S1450处，当校正映射中的校正值包含任何极高或极低的值，平整处理(leveling process)，即，执行低通滤波器(LPF)处理来平整这些值。LPF可以是高斯滤波器(Gaussian filter)。
可以一次或多次执行LPF处理。尽管如此，LPF处理的迭代数量优选地较小。这是因为，当大量次数执行LPF处理时，从校正中排除的图像中的校正值很大地改变，这使校正排除没有意义。在图14中描述的实施例中，在步骤S1460处如描述的两次执行LPF处理。图像处理系统可进一步包含作为功能单元的、用于执行平整处理的平整处理部。
在步骤S1460处，确定LPF处理是否已被执行两次。当LPF处理尚未被执行两次时，所述处理回至步骤S1440。当LPF处理已被执行两次时，所述处理移至步骤S1470。在步骤S1470处，执行用于校正映射的尺寸调整处理。所述尺寸调整处理旨在将包含于校正映射中的评估分区的数量改变为要被校正的图像中像素的数量。因此，图像处理系统可包含作为功能单元的尺寸调整部。
根据如图12中所示的鱼眼图像的水平和垂直的划分的数量，来给在步骤S1440和更早创建的校正映射调整尺寸。即，当鱼眼图像被分为48×48时，校正映射的尺寸为48×48。在前述示例中，鱼眼图像的实际尺寸为1952(像素)×1932(像素)。因此，执行调整尺寸处理以将尺寸从48×48改变到1952×1932。在调整尺寸处理完成的时，所述处理移至步骤S1480并结束。
可通过任何已知方法执行所述调整尺寸。例如，通过例如双线性、最近邻或双三次方法改变尺寸。
将参考图15描述图14中用于在步骤S1410处创建校正排除映射的方法。在图15中，参考(a)，具有光源50的映像的图像，表现光源50的图像的部分被设置为要被从校正中排除的主体的图像。首先，如图15中(b)所示，整体图像被分为多个评估分区，并计算在评估分区中的平均值或方差值，然后确定每个评估分区是否构成校正排除分区。由上文描述的分区确定部可以做出该确定。
用于校正排除分区的条件可以是“高亮度以及非彩色色彩”或“高亮度以及亮度的最大值等于或大于阈值”。在作为条件1的“高亮度以及非彩色色彩”下，例如，亮度值属于0至255内的情况下，高亮度可被设置在200或更大，而在色彩差异值属于-127至127内的情况下，非彩色色彩可被设置-1至1。在作为条件2的“高亮度以及亮度的最大值等于或大于阈值”下，例如，在亮度值属于0至255内的情况下，高亮度可以被设置在230或更大，而在亮度值属于0至255内的情况下，阈值的值可以被设置在250。这些值为示例并且本发明不限于这些值。
理想地在条件1和2两者下可以确定校正排除分区。当一个整体评估分区具有统一的亮度和色彩时，仅在条件1下可以确定校正排除分区。然而，当诸如光源50的高亮度的主体和诸如树枝的低亮度的主体在一个评估分区中被看到时，条件1是不可应用的并且因此光源50的图像被校正并变成暗的、不自然的图像。在条件2下也在条件1下做出确定使得适当地提取表现光源50和树枝的部分作为校正排除分区成为可能。
参考图15中的(b)，作为达到这些条件的分区，八个分区51被提取。以与将要被校正的图像划分为多个评估分区相同的方式格式化校正排除映射。如图15中(c)所示，校正排除映射存储“1”作为指示与达到条件的评估分区相对应的位置处的模块中校正排除的值。校正排除映射存储“0”作为指示与未达到条件的评估分区相对应的位置处的模块中非校正排除的值。
将参考图16描述在图14中的步骤S1420处用于计算校正量的方法。在图16中，(a)示出闪光图像和参考图像，而(b)包含由(a)中虚线显示的、包含于重叠区域30中的评估分区35的放大视图。与连接位置相对应的评估分区35被给定了相同的参考代码。具体地，在图16中(b)左侧视图中从闪光图像中提取的具有参考代码a的评估分区与在图16中(b)右侧视图中从参考图像中提取的具有参考代码a的评估分区要被连接。这是因为全景成像相机10同时拍摄正面和背面侧的图像并因此重叠区域中的所述图像相对于彼此被旋转180度。
当两个图像被连接时，具有参考代码a的两个评估分区的值，一个由于发生闪光较高而另一个由于未发生闪光较低。因此，做出校正以使这些值相等。通过下列等式(2)或(3)能够计算在校正中使用的校正量c。在等式(2)中，Eb表示作为校正参考图像的参考图像的评估值，而Et表示要被校正的图像，即闪光图像，的评估值。
C＝Eb-Et (3)
通过前述等式(2)或(3)能够计算校正量c。计算的校正量c作为与闪光图像相对应的评估分区的值被存储。因此，当对于图16中(b)中所示的参考代码a计算校正量c时，校正量c作为参考代码a的值被存储。
将参考图17描述在图14中步骤S1430处的校正量之间的插值。使用等式(2)或(3)计算对重叠区域的校正量c。对于在重叠区域之内，对于在重叠区域中的多个评估分区35计算的校正量被用来，如图17中(a)中箭头显示的，向图像的中心对校正量插值，从而确定对内部评估分区的校正量。后文将具体描述用于确定的方法。
对于在重叠区域外，在随后的步骤S1450处执行LPF处理。因此，需要在重叠区域中设置校正量，其即使当执行LPF处理时也不会很大地改变。如图17中(b)中所示，例如，通过与紧接着上部的评估分区的校正量相同的校正量来校正每个评估分区x，并且通过与紧接着左边的评估分区的校正量相同的校正量校正每个评估分区y。能够预先确定对哪个要被使用的评估分区的校正量。
将参考图18描述图14中步骤S1440处的校正映射的修正。在图18中，(a)示出由图14中描述的处理所创建的校正映射的部分，而(b)示出图15中(c)中所示的校正排除映射的部分。图18中(a)所示的校正映射存储由等式2表达的评估值之间的比率，作为对评估分区的校正量。
在图18中(a)中所示的校正映射的修正处，对图18中(b)中所示的校正排除映射做参考。当在校正排除映射中的对相对应的评估分区的校正量为“0”时，对于评估分区不做修正。相反地，当校正排除映射中的校正量为“1”时，改变所述值以使对校正量不做校正。参考图18中的(b)，在坐标(x3,y2)、(x3,y3)以及(x4,y2)的评估分区中存储1的校正量，并因此在与那些校正映射中相同位置处的模块的值改变为1.00，从而修正校正映射。因此，能够修正校正映射来在相对应的校正排除分区中做出不太有效的校正。
借助于在执行图14中的尺寸调整处理之后的校正映射来校正闪光图像。通过所述尺寸调整处理，校正映射具有带有与那些闪光图像相同数量的像素的图像尺寸。当校正映射存储对使用由等式(2)计算的评估值之间的比率所确定的像素的校正量时，将闪光图像中的像素的像素值乘以相对应的对像素的校正量，从而来校正闪光图像中像素的像素值。当校正映射存储对从由等式(3)计算的评估值中的差中确定的像素的校正量时，将相对应的对像素的校正量加到闪光图像中像素的像素值，从而来校正闪光图像中像素的像素值。
在单色图像的情况下，对于闪光图像创建一个校正映射。在彩色图像的情况下，闪光图像由三个平面组成并因此创建三个校正映射。具体地，当彩色图像为RGB图像时，闪光图像由红、蓝和绿色的三个平面组成，并且对于所述平面的校正建立三个校正映射，并且所述三个校正映射用于闪光图像的校正。
闪光图像能够以这样的方式被校正，其允许在合成的图像中的亮度和色彩的差异的降低。另外，能够从校正中排除表现光源等的部分以致对表现光源等的部分不做出校正，其不引起表现光源的部分的变暗以防止色彩饱和部分中的色移。此外，在校正映射上执行带LPF的平整处理使消除校正量中的急剧改变，以及减轻在从校正中排除的光源与它的外围分区之间的像素值中的差以防止不自然的校正成为可能。
将参考图19描述图13中步骤S1310处在重叠区域中平均值的计算的另一示例。在图13的示例中，从重叠区域中的所有评估分区中计算平均值。与此同时，在图19的示例中，在预先设置的条件下计算平均值用于评估分区的分类。具体地，在执行所述处理之前，对于评估分区中的平均值预先设置阈值(上限Tup和下限Tdw)，并且将阈值设置为上限值和下限值。
在步骤S1900处开始这个处理。在步骤S1910处，选择任何一个评估分区，并确定所述评估分区是否属于重叠区域内。例如，可以从图像的左上角处顺次选择评估分区。这仅为示例并因此可以通过任何其他方法选择所述评估分区。
当评估分区不属于重叠区域内时，所述处理移至步骤S1920并且评估分区中的平均值从总和中被排除。即，平均值不隶属于总和。相反地，当评估分区属于重叠区域内时，所述处理移至步骤S1930以确定评估分区中的平均值是否大于上限Tup。当平均值大于上限Tup时，所述处理移至步骤S1920并且评估分区中的平均值从总和中被排除。当平均值等于或小于上限Tup时，所述处理移至步骤S1940以确定评估分区中的平均值是否小于下限Tdw。当平均值小于下限Tdw时，所述处理移至步骤S1920并且评估分区中的平均值从总和中被排除。当平均值等于或大于下限Tdw时，所述处理移至步骤S1950并且评估分区中的平均值隶属于总和。
当平均值在步骤S1920处从总和中被排除或在S1950处隶属于总和时，所述处理移至步骤S1960以确定是否对于所有评估分区完成所述处理。当尚未对所有评估分区完成所述处理时，所述处理回到步骤S1910来在下一个评估分区上执行相同的处理。当对所有评估分区完成所述处理时，所述处理移至步骤S1970以将平均值的总和除以评估分区的数量以计算重叠区域中的平均值。在步骤S1980处结束该处理。
考虑到对关于有或没有闪光图像的确定的影响，可以确定上限Tup和下限Tdw来允许评估分区的适当的排除值从总和中被排除。
仍将参考图20描述在图13中的步骤S1310处重叠区域中平均值的计算的另一示例。在图19的示例中，将上限Tup和下限Tdw设置为阈值。在图20的示例中，称为重合度(匹配度)的指标被设置为阈值，并且根据匹配度来确定评估分区隶属于总和或从总和中排除。匹配度为指示在校正参考图像的重叠区域中的每个评估分区与作为要被校正的图像的闪光图像的重叠区域中的每个评估分区之间的重合程度的指标。所述图像系统可包含作为功能单元的重合度计算器，其被配置来计算匹配度。
在步骤S2000处开始这个处理。在步骤S2010处，确定评估分区是否属于重叠区域。当评估区域不属于重叠区域，所述处理移至步骤S2020并且重叠区域中的平均值从总和中排除。当评估区域属于重叠区域，所述处理移至步骤S2030以计算评估分区的匹配度。后文将描述匹配度以及用于计算匹配度的方法。在步骤S2040处，确定计算的匹配度是否小于作为对于重合度预设的阈值的匹配度阈值Tm。
当计算的匹配度大于匹配度阈值Tm时，所述处理移至步骤S2020并且评估分区中的平均值从总和中排除。当计算的匹配度等于或小于匹配度阈值Tm时，所述处理移至步骤S2050以使评估分区中的平均值隶属于总和。当在步骤S2020处评估分区从总和中被排除时或当在步骤S2050处评估分区隶属于总和时，所述处理移至步骤S2060以确定是否对于所有评估分区完成所述处理。当尚未完成所述处理时，所述处理回到步骤S2010以在下一个评估分区上执行相同的处理。当完成所述处理时，所述处理移至步骤S2070以将重叠区域的评估分区中的平均值的总和除以评估分区的数量以计算重叠区域中的平均值。在步骤S2080处结束该处理。
参考图21，将描述匹配度和用于计算参考图20使用的匹配度的方法。连接位置与评估分区之间的关系如图16中所显示。然而，图像以水平和垂直方向被均匀地划分，并且因此连接位置和评估分区与彼此不完全重合。
例如，如图21所示，以灰色显示评估分区35以及将评估分区中心处的坐标设置在O1和O2。另外，通过模板匹配或诸如此类检测的连接位置被指定为P1和P2，以及具与所述评估分区相同尺寸的、由虚线显示的分区，所述分区以连接位置为中心，被指定为连接分区36。
连接分区36中的主体的图像在闪光图像与参考图像之间相等。分别地，当评估分区35中的中心O1和连接分区36中的中心P1与彼此重合，以及评估分区35中的中心O2和连接分区36中的中心P2与彼此重合时，评估分区35和连接分区36与彼此重合。因此，评估分区35中的主体的图像与彼此重合。
然而，当中心坐标中的任何一个中存在不重合时，评估分区35中的主体的图像与彼此不重合。在很少色彩渐变的主体(诸如天空或平的墙壁)的情况下，甚至当主体的图像与彼此不完全重合时，产生对评估值很小的影响。换言之，在很多色彩渐变的主体的情况下，图像中轻微的偏移使在亮度和色彩上有差异，对评估值有很大影响。因此，匹配度作为被用来确定在评估分区35中主体的图像是否与彼此重合的指标。
使用对于每个评估分区35计算的方差值通过下列等式(4)或(5)能够计算匹配度。在等式(4)中，m表示匹配度，σ1为闪光图像的方差值，以及σ2为参考图像的方差值。在等式(5)中，V1表示闪光图像的亮度值，以及V2为参考图像的亮度值。
m＝|σ1-σ2| (4)
m＝|V1×V2-V2 2| (5)
等式(4)中的匹配度m由闪光图像和参考图像的方差值的差的绝对值定义。通常，随匹配度的增加，主体的图像与彼此越重合。然而，在这个实例中，随匹配度的减小，主体的图像与彼此越重合。随主体的图像中越多的色彩渐变，方差值倾向于越高，而随主体的图像中越少的色彩渐变，方差值倾向于越低。因此，即使在更多色彩渐变的主体的图像中的小偏移，也具有对匹配度更大的影响。换言之，即使在更少色彩渐变的主体的图像中的大偏移，也具有对匹配度更小的影响。
用于在匹配度的计算中使用的像素值可以是所有像素的像素值。然而，使用所有的像素值会导致更高的计算成本。优选地，仅使用对图像的亮度有影响的像素的像素值。这样的像素值可以是RGB图像中G的值或YCbCr图像中Y的值。
在等式(5)中，使用亮度值，而不使用方差值来计算匹配度。等式(5)中的匹配度m由亮度值中的差的绝对值定义，这意味着随匹配度的减少主体的图像与彼此更重合，如等式(4)的情况下。
将参考图22描述图17中用于在校正量之间插值的方法的一个示例。在图22中(a)中以灰色显示的重叠区域30中多个评估分区35中的平均值被平均以计算重叠区域中的平均值。计算的平均值被设置为对在重叠区域30中心处的斜线阴影部分的校正量。
如图22中(b)中所示，中心被指定为C，从中心C向重叠区域水平和垂直延伸的线的交叉处的重叠分区被指定为O，在中心C与重叠分区O之间的要被计算的分区被指定为T，以及对分区T的校正量被指定为rc,ro和rt。另外，中心C与分区T之间的距离被指定为d1，以及分区T与重叠分区O之间的距离被指定为d2。因此，能够通过下列等式(6)表达对分区T的校正量rt，在所述等式中以距离作为权重执行加权平均。
使用等式(6)，计算图22中(b)中的、对从中心C向重叠区域垂直和水平延伸的分区的校正量。已计算出对以灰色显示的计算的分区之间的、以白色显示的分区的校正量，并且根据计算的分区与重叠区域之间的距离能够通过加权平均计算如图22中(c)中所示的重叠区域。要被计算的分区被指定为T，以及从分区T向上垂直延伸的直线与计算的分区之间的交叉点被指定为H。另外，从分区T向下垂直延伸的直线与重叠区域之间的交叉点被指定为O1，从分区T向右水平延伸的直线与计算的分区之间的交叉点被指定为V，以及从分区T向左水平延伸的直线与重叠区域之间的交叉点被指定为O2。分区T与分区V之间的距离被指定为dh1，分区T与分区O2之间的距离被指定为dh2，分区T与分区H之间的距离被指定为dv1，以及分区T与与分区O1之间的距离被指定为dv2。另外，对分区T、H、V、O1和O2的校正量被分别指定为rt,rh,rv,ro1和ro2。因此，通过下列等式(7)能够计算对分区T的校正量rt。
使用等式(6)和(7)，能够计算对在重叠区域内部的所有的评估分区的校正量。
根据用于图22中所示的校正量之间插值的方法，在任意方向上统一地执行插值。当相同主体的图像存在于要被连接的图像之间的重叠区域中时，这样的统一插值没有问题。然而，当由于有障碍物，例如，在一个具有如上文描述的作为主体的手指的反映的图像的情况下，在重叠区域中存在不同的主体的图像时，统一插值会引起问题。在这种情况下，插值不能被统一地执行。因此，如该示例中以特定的方向执行插值。将参考图23描述用于插值的方法。
如图23中(a)中所示，例如，重叠区域中的三个评估分区O1,O2和O3被用来从在重叠区域垂直顶部下面的一阶的分区向下顺次地计算校正量。首先，与在图23中(a)中所示的重叠区域顶部的评估分区接触的、在重叠区域内的分区T1被设置为要被计算校正量的分区。使用对分区T1上面一阶的且与重叠区域内部接触的评估分区O1、在分区T1的右侧和左侧处且与重叠区域内部接触的评估分区O2以及O3的校正量r1,r2和r3、分区T1和分区O2之间的距离的d1，以及分区T1与分区O3之间的距离d2来计算校正量。通过下列等式(8)能够计算校正量rt1。
使用等式(8)，对于在图23中(b)中所示的分区T1右侧和左侧处水平方向上的在重叠区域内的所有的分区计算校正量。接下来，计算对于在重叠区域内的分区T1下面一阶的分区T2的校正量rt2。通过使用对分区T2上面一阶的分区P的校正量rp、对于在水平方向上与重叠区域内接触的评估分区O4和O5的校正量r4和r5、分区T2与分区O4之间的距离d3，以及分区T2与分区O5之间的距离d4计算校正量rt2。通过下列等式(9)能够计算校正量rt2。重复在垂直向下方向上的计算使计算对在重叠区域内部的所有分区的校正量成为可能。
当在重叠区域中存在任何带有极大或极低校正量的评估分区时，校正量可通过插值整体扩展而造成不自然的图像。
在图14中步骤S1410处校正排除映射的创建上，可计算作为校正排除分区的模块中的平均坐标值以将平均坐标值确定为校正排除分区的中心。设置校正量以使对包含确定的中心(中心区域)的预定区域不做出校正，并向中心区域执行插值。这使最小化极大或极小的校正量的扩散成为可能。
当在校正排除分区之中的中心区域为如图24中所示的斜线阴影区域时，中心区域被设置为插值参考区域，并且通过重叠区域周围与插值参考区域之间的插值来计算对在重叠区域内的评估分区的校正量。通过如在前述等式6和7中表达的加权平均能够计算校正量。可替换地，通过使用等式(8)和(9)可计算校正量。
参考图24，通过从四个方向向插值参考区域插值来计算对重叠区域内的评估分区的校正量。可替换地，通过从特定方向的插值可以计算校正量。在重叠区域中存在障碍物或随统一插值发生的一些问题这样的情况下，要从特定方向计算校正量。在图25中所示的斜线阴影区域中，垂直延展插值参考区域60，以及指示没有校正的值存储于在插值参考区域60中。因此，通过插值参考区域60将在重叠区域内的区域分为两个。通过等式(6)和(7)中表达的加权平均能够对于每个划分的区域计算校正量。可替换地，通过使用等式(8)和(9)可以计算校正量。
具有高匹配度的重叠区域包含相同主体的图像，并因此在图像连接中为高可靠性的图像。换言之，具有低匹配度的重叠区域包含不同主体的图像，并因此在图像连接中为低可靠性的图像。因此，在具有低匹配度的重叠区域中，甚至当计算校正值时很可能计算错误的值。
参考图26，将描述用于基于匹配度校正对重叠区域的校正量的处理。在图14中描述的步骤S1420处计算对重叠区域的校正量后能够做出该校正。在开始所述处理之前，对于匹配度设置阈值Tm。
在步骤S2600处开始该处理。在步骤S2610处，确定评估分区是否属于重叠区域。当所述评估分区不属于重叠区域时，不校正对评估分区的校正量并且所述处理移至步骤S2650。当所述评估分区属于重叠区域时，所述处理移至步骤S2620以参考评估分区的匹配度。当没有匹配度被计算出时，通过上述方法计算所述匹配度。
在步骤S2630处，确定参考的匹配度是否大于对于匹配预设的阈值Tm。当匹配度小于阈值Tm时，不校正对评估分区的校正量并且所述处理移至步骤S2650。相反地，当匹配度大于阈值Tm时，所述处理移至步骤S2640来对评估分区的校正量做出校正。在那时，校正对评估分区的校正量以使没有校正被做出。具体地，当由上述的评估值之间的比率表现校正量时，校正量被校正为“1.0”，而当由评估值之间的差表现校正量时，校正量被校正为“0”。
在步骤S2650，确定是否对于所有评估分区完成所述处理。当尚未对于所有评估分区完成所述处理，所述处理回到步骤S2610以在下一个评估分区上执行相同的处理。当所述完成处理时，所述处理移至步骤S2660并结束。
在图14中描述的步骤S1420处对重叠区域的校正量的计算时，一些计算的校正量会取到意料外的值。例如，在要被连接的图像中重叠区域之间不存在相同主体的图像的情况下，或在要被连接的图像中重叠区域之间的亮度存在极大差异的情况下发生这样的事件。在这样情况下，能够执行用于限制校正量的处理以保持校正量在预定范围内不致于极其大或小。
参考图27，将描述所述限制处理。在图14中描述的步骤S1420处对重叠区域的校正量的计算后，或步骤1430处通过插值计算校正量后能够执行所述限制处理。在开始所述限制处理之前，准备显示闪光图像的像素值与对于限制处理的阈值之间的关系的阈值表格。
阈值表格可以表现为如图28中(a)或(b)所示的曲线图，或例如表现为拥有来自曲线图的数字值的表格。在图28中，(a)显示在其中的校正量为评估值之间的比率的表格，以及(b)显示在其中的校正值为评估值中的差的表格。在阈值表格中，上限Tup和下限Tdw被确定为与作为闪光图像的像素值的信号量相对应的阈值。
当闪光图像的信号量被指定为s并且用于校正的信号量的限额被指定为a，通过下列等式(10)和(11)能够表达图28中(a)中的上限Tup和下限Tdw。
当闪光图像的信号量被指定为s以及用于校正的信号量的限额被指定为a时，通过下列等式(12)和(13)能够表达图28中(b)中上限Tup和下限Tdw。
Tup＝a (12)
Tdw＝-a (13)
在步骤S2700处开始该处理。在步骤S2700处，确定评估分区是否属于重叠区域。当评估分区不属于重叠区域时，不校正对评估分区的校正量并且所述处理移至步骤S2750。当评估分区属于重叠区域时，所述处理移至步骤S2720以参考图28中示出的阈值表格来获取对于校正量的阈值Tup和Tdw。通过等式(10)和(11)或等式(12)和(13)能够计算阈值Tup和Tdw。
在步骤S2730处，确定对评估分区的校正量是否大于阈值表格中的上限Tup或是否小于阈值表格中的下限Tdw。当校正量大于上限Tup或小于下限Tdw时，在对评估分区的校正量上不执行限制处理并且所述处理移至步骤2750。相反地，当校正量等于或小于上限Tup，或等于或大于下限Tdw时，所述处理移至步骤S2740以在对评估分区的校正量上执行限制处理。
限制处理旨在校正对评估分区的校正量以使没有校正被做出。具体地，当由上述的评估值之间的比率表现校正量时，校正量被校正为“1.0”，而当由上述的评估值之间的差表现校正量时，校正量被校正为“0”。
在步骤S2750处，确定是否对于所有评估分区完成所述处理。当尚未对于所有评估分区完成所述处理时，所述处理回到步骤S2710以在下一个评估分区上执行相同的处理。当完成所述处理时，所述处理移至步骤S2760并结束。
如上文所述，根据本发明的实施例允许对即使具有闪光发生的图像做出适当的校正。在校正时，具有最低的发生闪光可能性的图形被设置为校正参考图像，并且校正其他图像。另外，具有低匹配度的平均值(在等式(4)和(5)的情况下，具有高匹配度的平均值)通常不隶属于总和，并因此仅使用带闪光图像与校正参考图像之间高校正的平均值能够计算所述重叠区域中的平均值。即使极其明亮的主体(诸如光源)或极其暗的主体被反映，在不使用这样的主体的图像中的平均值的情况下计算重叠区域中的平均值。这降低了对重叠区域中平均值的计算的影响。
执行限制处理使得防止由极大的校正量做出校正成为可能。执行平整处理使得防止部分地做出过度校正成为可能。在校正映射上执行尺寸调整处理允许校正通过基于像素的算法操作而被做出，其消除了对于在校正映射中复杂的转换的需求。通过加权平均计算对所有评估分区的校正量，使得防止由所述校正引起表现图像中亮度或色彩的差异的信号电平的差异成为可能，这将实现自然的校正。通过上述的比率或差计算校正量，其在校正时不会引起信号电平的差异。
上文描述了图像处理系统和图像处理方法的实施例。然而，本发明不限于前述的实施例。通过利用另一实施例替换可修正本发明，或诸如添加、改变，或删除，只要本领域技术人员能够知晓的任何其他模式。只要所述修正能够制造本发明的技术效果与优点，任何方面的修正均包含于本发明的范围内。因此，本发明使得提供用于使计算机执行图像处理方法的程序、带该程序存储其中的计算机可读记录介质、经由网络提供所述程序服务器设备等称为可能。
根据上述实施例，在多个要被合成的图像之间降低亮度和色彩中的差异是可能的。
虽然为完整并清楚的公开已关于特定实施例描述了本发明，所附权利要求并不因此被限制，而是被解释为本领域技术人员可以想到的体现所有修正和替换结构，其适当地属于本文阐述的基本教导之内。

Claims (19)

1.一种图像处理系统，用于在包含重叠图像区域作为重叠区域的多个图像上执行图像处理，所述图像处理系统包括：
计算器，其被配置来使用每个所述重叠区域中的一个或多个像素的像素值计算用于评估所述多个图像的每一个的评估值；
确定控制器，其被配置来基于由所述计算器计算的所述评估值，确定在所述多个图像中是否存在要被校正的图像；
图像确定部，其被配置来当所述确定控制器确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像当中，确定作为用于校正的参考的校正参考图像；以及
图像校正部，其被配置来基于由所述图像确定部确定的所述校正参考图像校正要被校正的所述图像。
2.根据权利要求1所述的图像处理系统，还包括被配置来使用组成要被校正的图像的多个像素的像素值确定校正排除分区的分区确定部，在要被校正的所述图像中对所述校正排除分区不做出校正，其中
所述图像校正部校正除所述校正排除分区外要被校正的所述图像的分区。
3.根据权利要求1所述的图像处理系统，其中，所述图像确定部确定具有最小评估值的图像作为所述校正参考图像，并且从除所述校正参考图像以外的多个图像当中，确定一个或多个图像作为要被校正的所述图像。
4.根据权利要求1所述的图像处理系统，还包括：
分区划分部，其被配置来将所述多个图像中的每一个划分为多个评估分区；
平均计算器，其被配置来平均组成每个所述评估分区的多个像素的像素值以计算在每个所述评估分区中的平均值；以及
分区检测部，其被配置来检测包含于所述重叠区域中的多个评估分区，其中，
所述计算器，对于由所述分区检测部检测的所述多个评估分区，平均每个由所述平均计算器计算的所述平均值，以计算所述评估值。
5.根据权利要求4所述的图像处理系统，还包括重合度计算器，其被配置来计算包含于所述校正参考图像的所述重叠区域中的每个所述评估分区的图像与包含于要被校正的所述图像的所述重叠区域中的每个所述评估分区的图像之间的重合的程度，其中，
所述计算器计算排除评估分区中的所述平均值的所述评估值，所述评估分区具有小于预设重合度阈值的所述重合度。
6.根据权利要求4所述的图像处理系统，其中，对于由所述分区检测部检测的所述评估分区，所述计算器拥有上限值和下限值，并且排除每个大于所述上限值或每个小于所述下限值的所述平均值，以计算所述评估值。
7.根据权利要求4所述的图像处理系统，其中，
所述图像校正部通过使用所述校正参考图像的所述评估值以及要被校正的所述图像的所述评估值，计算对包含于要被校正的所述图像的所述重叠区域中所述多个评估分区的校正量，
所述图像校正部通过使用对所述多个评估分区的所述校正量，计算对不同于包含于所述重叠区域中的所述多个评估分区的评估分区的校正量，以及
所述图像校正部通过使用所述计算的校正量来校正要被校正的所述图像。
8.根据权利要求7所述的图像处理系统，其中，
所述图像校正部拥有对于对包含于所述重叠区域中的所述多个评估分区的校正量的校正量阈值，以及
当计算出所述多个评估分区当中的一个或多个评估部分的任何校正量超过所述校正量阈值时，所述图像校正部改变所述计算的校正量以使对所述一个或多个评估分区不做出校正。
9.根据权利要求7所述的图像处理系统，其中，
所述图像校正部参考在包含于所述校正参考图像的所述重叠区域中的每个所述评估分区的图像与包含于要被校正的所述图像的所述重叠区域中的每个所述评估区间的图像之间的重合的程度，以及
当所述重合的程度小于预设的重合度阈值时，所述图像校正部将所述计算的对具有更小重合的程度的所述评估分区的校正量改变为以使对所述评估部分不做出校正的校正量。
10.根据权利要求7所述的图像处理系统，其中，所述图像校正部计算作为所述校正参考图像的所述重叠区域中所述评估值与要被校正的所述图像的所述重叠区域中的所述评估值之间的比率的所述校正量。
11.根据权利要求7所述的图像处理系统，其中，所述校正量被作为在所述校正参考图像的所述重叠区域中的所述评估值与要被校正的所述图像的所述重叠区域中的所述评估值之间的差计算。
12.根据权利要求7所述的图像处理系统，其中，所述图像校正部以被计算校正量的所述评估分区与包含于所述重叠区域中的所述多个评估分区之间的距离作为权重，通过加权平均，计算对不同于包含于所述重叠区域中的多个评估分区的评估分区的所述校正量。
13.根据权利要求7所述的图像处理系统，其中，所述图像校正部创建校正映射，在所述校正映射中所述计算的校正量被存储在与要被校正的所述图像的每个所述评估分区相对应的位置，并且通过校正映射的应用对要被校正的所述图像做出校正。
14.根据权利要求13所述的图像处理系统，其中，所述图像校正部借助于校正排除映射修正所述创建的校正映射，并且通过修正的校正映射的应用对要被校正的图像做出校正，在所述校正排除映射中，指示从校正中排除的值被存储在包含于校正排除分区中的评估分区的位置，在要被校正的图像中根据构成要被校正的图像的多个像素的像素值确定的所述校正排除分区处，没有校正要被做出。
15.根据权利要求13所述的图像处理系统，还包括被配置来在所述校正映射上执行平整处理的平整处理部。
16.根据权利要求13所述的图像处理系统，还包括尺寸调整部，其被配置来将校正映射中拥有的评估分区的数量改变为要被校正的图像的像素的数量。
17.一种成像设备包括：
多个成像元件；以及
图像处理系统，其被配置来在包含重叠图像区域作为重叠区域的多个图像上执行图像处理，所述图像由多个成像元件拍摄，其中
所述图像处理系统包含
计算器，其被配置来使用每个所述重叠区域中的一个或多个像素的像素值计算用于评估所述多个图像的每一个的评估值；
确定控制器，其被配置来基于由所述计算器计算的所述评估值确定在所述多个图像中是否存在要被校正的图像；
图像确定部，其被配置来当所述确定控制器确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像当中，确定作为用于校正的参考的校正参考图像；以及
图像校正部，其被配置来基于由所述图像确定部确定的所述校正参考图像校正要被校正的所述图像。
18.一种在图像处理系统中执行的图像处理方法，用于对包含重叠图像区域作为重叠区域的多个图像上执行图像处理，所述图像处理方法包括：
使用每个所述重叠区域中的一个或多个像素的像素值，计算用于评估所述多个图像的每一个的评估值；
基于所计算的所述评估值，确定在所述多个图像中是否存在要被校正的图像；
当确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像中确定作为用于校正的参考的校正参考图像；以及
基于所述校正参考图像，校正要被校正的所述图像。
19.一种具有可执行程序存储在其上的计算机可读记录介质，其中所述程序指示计算机执行如权利要求18所述的图像处理方法。
CN201580027228.2A 2014-05-27 2015-05-20 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质 Active CN106416226B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014109112A JP6467787B2 (ja) 2014-05-27 2014-05-27 画像処理システム、撮像装置、画像処理方法およびプログラム
JP2014-109112 2014-05-27
PCT/JP2015/065151 WO2015182626A1 (en) 2014-05-27 2015-05-20 Image processing system, imaging apparatus, image processing method, and computer-readable storage medium

Publications (2)

Publication Number Publication Date
CN106416226A true CN106416226A (zh) 2017-02-15
CN106416226B CN106416226B (zh) 2019-09-17

Family

ID=54698951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027228.2A Active CN106416226B (zh) 2014-05-27 2015-05-20 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质

Country Status (9)

Country Link
US (1) US10554880B2 (zh)
EP (1) EP3149931B1 (zh)
JP (1) JP6467787B2 (zh)
KR (1) KR101869637B1 (zh)
CN (1) CN106416226B (zh)
CA (1) CA2949473C (zh)
MY (1) MY176502A (zh)
PH (1) PH12016502339A1 (zh)
WO (1) WO2015182626A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN108227365A (zh) * 2017-12-26 2018-06-29 余姚舜宇智能光学技术有限公司 一种全景摄像模组及其组装方法
CN109685721A (zh) * 2018-12-29 2019-04-26 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN111355942A (zh) * 2018-12-21 2020-06-30 瑞萨电子株式会社 半导体设备、图像处理系统、方法和计算机可读存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10298864B2 (en) 2016-06-10 2019-05-21 Apple Inc. Mismatched foreign light detection and mitigation in the image fusion of a two-camera system
US9922398B1 (en) 2016-06-30 2018-03-20 Gopro, Inc. Systems and methods for generating stabilized visual content using spherical visual content
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
JP6811935B2 (ja) * 2016-09-21 2021-01-13 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
US10326932B2 (en) * 2016-11-29 2019-06-18 Chengdu Eapil Technology. Ltd Panoramic image acquisition device
US10789671B2 (en) 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
CN108259717A (zh) 2016-12-28 2018-07-06 株式会社理光 联动装置、摄影系统、摄影方法
JP2019057903A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019057264A (ja) 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
WO2018124268A1 (en) * 2016-12-28 2018-07-05 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP6812862B2 (ja) 2017-03-14 2021-01-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法及びプログラム
CN108632589A (zh) 2017-03-15 2018-10-09 株式会社理光 信息处理装置、摄像系统以及记录介质
CN107318010B (zh) 2017-07-05 2019-10-11 上海小蚁科技有限公司 用于生成立体全景图像的方法和设备
US11363214B2 (en) * 2017-10-18 2022-06-14 Gopro, Inc. Local exposure compensation
JP6626081B2 (ja) * 2017-12-28 2019-12-25 株式会社九電工 影の影響の予測装置及びプログラム
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10630921B2 (en) 2018-05-21 2020-04-21 Gopro, Inc. Image signal processing for reducing lens flare
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
JP6696596B2 (ja) * 2019-01-16 2020-05-20 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
JP7306089B2 (ja) 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
JP7379884B2 (ja) 2019-06-27 2023-11-15 株式会社リコー 撮像装置、画像処理システム、方法およびプログラム
US11503232B2 (en) 2019-09-17 2022-11-15 Gopro, Inc. Image signal processing for reducing lens flare
CN112929640A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示装置、显示方法、显示屏校正方法
JP7424076B2 (ja) 2020-01-29 2024-01-30 株式会社リコー 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
JP7415707B2 (ja) * 2020-03-19 2024-01-17 株式会社リコー 撮像装置、補正方法、及び、プログラム
US20210303824A1 (en) * 2020-03-31 2021-09-30 Gopro, Inc. Face detection in spherical images using overcapture
WO2023032125A1 (ja) * 2021-09-02 2023-03-09 日本電信電話株式会社 パノラマ画像生成装置、パノラマ画像生成方法、及びパノラマ画像生成プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701597A (zh) * 2003-03-26 2005-11-23 松下电工株式会社 建立亮度过滤器的方法及虚拟空间建立系统
CN1982934A (zh) * 2005-12-14 2007-06-20 索尼株式会社 图像拍摄设备、图像处理方法、及图像处理程序
US20090097745A1 (en) * 2007-10-11 2009-04-16 Korea Advanced Institute Of Science And Technology Method of performing robust auto white balance
US20100172585A1 (en) * 2007-09-25 2010-07-08 Fujitsu Limited Image synthesizing apparatus and method of synthesizing images
US20140071228A1 (en) * 2012-09-12 2014-03-13 National University of Sciences & Technology(NUST) Color correction apparatus for panorama video stitching and method for selecting reference image using the same

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4739122Y1 (zh) 1969-08-21 1972-11-27
JPS518840A (zh) 1974-07-09 1976-01-24 Fujitsu Ltd
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
US6999602B2 (en) * 2000-06-30 2006-02-14 Matsushita Electric Industrial Co., Ltd. Image generation for assistance of drivers of vehicles
JP2002042109A (ja) 2000-07-21 2002-02-08 Topcon Corp 医用画像合成処理装置及び方法並びに記憶媒体
JP2002281379A (ja) * 2001-03-21 2002-09-27 Ricoh Co Ltd 撮像システム
JP3934006B2 (ja) 2002-08-09 2007-06-20 株式会社リコー 撮像装置
JP2004118786A (ja) * 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4810999B2 (ja) * 2005-12-05 2011-11-09 日産自動車株式会社 車両周辺画像表示装置
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
JP4739122B2 (ja) 2006-06-05 2011-08-03 パナソニック株式会社 車載カメラの画像合成装置および画像合成方法
EP1874034A3 (en) 2006-06-26 2011-12-21 Samsung Electro-Mechanics Co., Ltd. Apparatus and method of recovering high pixel image
KR100781552B1 (ko) * 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
JP2008070844A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 撮像装置
KR100790887B1 (ko) * 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
JP4600448B2 (ja) 2007-08-31 2010-12-15 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
JP2010113424A (ja) * 2008-11-04 2010-05-20 Fujitsu Ltd 画像合成装置及び画像合成方法
JP5235798B2 (ja) * 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
JP5108840B2 (ja) 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
JP2011228856A (ja) * 2010-04-16 2011-11-10 Panasonic Corp 車載カメラシステム、画像処理装置、画像処理方法、およびプログラム
ES2621231T3 (es) * 2011-04-12 2017-07-03 Sun Patent Trust Método de codificación de video de movimiento, aparato de codificación de video de movimiento, método de decodificación de video de movimiento, aparato de decodificación de video de movimiento y aparato de codificación/decodificación de video de movimiento
JP5076002B1 (ja) 2011-04-27 2012-11-21 株式会社東芝 画像処理装置及び画像処理方法
KR101742120B1 (ko) 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
US8928783B2 (en) 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
CN103136544A (zh) * 2011-11-30 2013-06-05 夏普株式会社 图像判断装置
JP5935432B2 (ja) 2012-03-22 2016-06-15 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
KR20140034703A (ko) * 2012-09-12 2014-03-20 한국전자통신연구원 파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법
JP5971207B2 (ja) 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP6253331B2 (ja) 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
KR101436445B1 (ko) * 2012-12-28 2014-09-01 아진산업(주) 차량 주변 영상 표시 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701597A (zh) * 2003-03-26 2005-11-23 松下电工株式会社 建立亮度过滤器的方法及虚拟空间建立系统
CN1982934A (zh) * 2005-12-14 2007-06-20 索尼株式会社 图像拍摄设备、图像处理方法、及图像处理程序
US20100172585A1 (en) * 2007-09-25 2010-07-08 Fujitsu Limited Image synthesizing apparatus and method of synthesizing images
US20090097745A1 (en) * 2007-10-11 2009-04-16 Korea Advanced Institute Of Science And Technology Method of performing robust auto white balance
US20140071228A1 (en) * 2012-09-12 2014-03-13 National University of Sciences & Technology(NUST) Color correction apparatus for panorama video stitching and method for selecting reference image using the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN108227365A (zh) * 2017-12-26 2018-06-29 余姚舜宇智能光学技术有限公司 一种全景摄像模组及其组装方法
CN111355942A (zh) * 2018-12-21 2020-06-30 瑞萨电子株式会社 半导体设备、图像处理系统、方法和计算机可读存储介质
CN111355942B (zh) * 2018-12-21 2023-08-15 瑞萨电子株式会社 半导体设备、图像处理系统、方法和计算机可读存储介质
CN109685721A (zh) * 2018-12-29 2019-04-26 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN109685721B (zh) * 2018-12-29 2021-03-16 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质

Also Published As

Publication number Publication date
WO2015182626A1 (en) 2015-12-03
EP3149931A4 (en) 2017-07-12
EP3149931B1 (en) 2021-04-21
KR20160148635A (ko) 2016-12-26
US10554880B2 (en) 2020-02-04
KR101869637B1 (ko) 2018-06-20
JP6467787B2 (ja) 2019-02-13
MY176502A (en) 2020-08-12
CA2949473A1 (en) 2015-12-03
US20170094169A1 (en) 2017-03-30
CA2949473C (en) 2020-03-24
JP2015226144A (ja) 2015-12-14
CN106416226B (zh) 2019-09-17
EP3149931A1 (en) 2017-04-05
PH12016502339A1 (en) 2017-02-13

Similar Documents

Publication Publication Date Title
CN106416226A (zh) 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质
US10375264B2 (en) Multispectral lighting reproduction
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
Jiang et al. What is the space of spectral sensitivity functions for digital color cameras?
US8948545B2 (en) Compensating for sensor saturation and microlens modulation during light-field image processing
CN101116324B (zh) 用于从多次曝光中创建高动态范围图片的方法和装置
CN105933617B (zh) 一种用于克服动态问题影响的高动态范围图像融合方法
EP3542347B1 (en) Fast fourier color constancy
TWI737979B (zh) 圖像去馬賽克裝置及方法
US20050128509A1 (en) Image creating method and imaging device
US10489885B2 (en) System and method for stitching images
CN102484721A (zh) 四通道滤色片阵列图案
CN108012078A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN104620569A (zh) 成像控制器以及成像控制方法和程序
JP5406151B2 (ja) ３次元撮像装置
CN107911683B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
WO2019029573A1 (zh) 图像虚化方法、计算机可读存储介质和计算机设备
CN113676675A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN112927307A (zh) 一种标定方法、装置、电子设备及存储介质
CN116158087A (zh) 一种多相机色彩一致性校正方法和装置
CN113676715B (zh) 图像处理方法及装置
CN111866369B (zh) 图像处理方法及装置
CN117425091B (zh) 图像处理方法与电子设备
CN109300186A (zh) 图像处理方法和装置、存储介质、电子设备
JP2012049709A (ja) 撮像装置、空領域判定方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant