[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105981367A - 对来自多摄像机系统的视频的亮度和颜色匹配 - Google Patents

对来自多摄像机系统的视频的亮度和颜色匹配 Download PDF

Info

Publication number
CN105981367A
CN105981367A CN201580007923.2A CN201580007923A CN105981367A CN 105981367 A CN105981367 A CN 105981367A CN 201580007923 A CN201580007923 A CN 201580007923A CN 105981367 A CN105981367 A CN 105981367A
Authority
CN
China
Prior art keywords
color
camera
gain factor
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580007923.2A
Other languages
English (en)
Inventor
G.西皮特科夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN105981367A publication Critical patent/CN105981367A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/349—Adjustment of brightness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

公开了用于调整多摄像机系统中的颜色和亮度的系统和方法。系统使用具有重叠视场、安装在车辆四侧的四个摄像机。针对其中来自后置和侧方摄像机的视场的图像重叠的区域确定颜色误差。针对每个侧方摄像机确定并且应用颜色增益因数（使用后置摄像机作为“主”）以匹配来自侧方摄像机和后置摄像机的视频输出的颜色。然后使用增益因数基于来自侧视摄像机的经匹配的视频输出来调整用于前视摄像机的增益，其中使用侧方摄像机作为对于前置摄像机“从”的“主”。以该方式，后置摄像机间接地用作前置摄像机的主并且所有摄像机最终与后置摄像机颜色匹配。

Description

对来自多摄像机系统的视频的亮度和颜色匹配
相关申请
本申请要求于2014年2月11日提交的美国临时申请No.61/938,439的权益，其全部内容通过引用结合在此。
背景技术
本发明涉及用于匹配车辆中的多摄像机环绕视图系统中的摄像机的系统和方法。
发明内容
在一个实施例中，本发明提供用于车辆的环绕视图系统。该系统包括全部部署于车辆上的第一摄像机、第二摄像机、第三摄像机和控制器。第一摄像机定位于车辆上，用以捕捉包括第一关注区的第一视频图像。第二摄像机定位于车辆上，用以捕捉包括第二关注区的第二视频图像。第二摄像机定位为使得第一关注区与第二关注区至少部分重叠。第三摄像机定位于车辆上，用以捕捉包括第三关注区的第三视频图像。第三摄像机定位为使得第三关注区与第二关注区至少部分重叠。控制器接收第一视频图像和第二视频图像，并且确定第一重叠区，所述第一重叠区包括第一视频图像的其中第一关注区与第二关注区重叠的部分。控制器然后确定第二摄像机的第一颜色误差，所述第一颜色误差是第一重叠区内第一视频图像与第二视频图像之间的颜色差异的指示。控制器然后基于第一颜色误差，确定用于第二摄像机的第一颜色增益因数，并且应用第一颜色增益因数来生成用于第二摄像机的第一调整后的视频输入流，以减小第一颜色误差。控制器然后从第二摄像机接收包括调整后的第二关注区的调整后的第二视频图像以及第三视频图像。控制器然后确定第二重叠区，所述第二重叠区包括第三视频图像的其中第三关注区与调整后的第二关注区重叠的部分。控制器然后确定第三摄像机的第二颜色误差，所述第二颜色误差是第二重叠区内第三视频图像与调整后的第二视频图像之间的第二颜色差异的指示。控制器然后基于第二颜色误差，确定用于第三摄像机的第二颜色增益因数，并且应用第二颜色增益因数来生成用于第三摄像机的第二调整后的视频输入流，以减小第二颜色误差。
在另一实施例中，本发明提供了一种用于纠正多摄像机系统中的颜色的方法。该方法包括从定位于车辆上的第一摄像机接收包括第一关注区的第一视频图像；以及从定位于车辆上的第二摄像机接收包括第二关注区的第二视频图像，其中第二摄像机定位为使得第一关注区与第二关注区至少部分重叠。该方法还包括通过控制器确定第一重叠区，所述第一重叠区包括第一视频图像的其中第一关注区与第二关注区重叠的部分。该方法还包括通过控制器确定第二摄像机的第一颜色误差，所述第一颜色误差是第一重叠区内第一视频图像与第二视频图像之间的颜色差异的指示。该方法还包括通过控制器基于第一颜色误差，确定用于第二摄像机的第一颜色增益因数，并且应用第一颜色增益因数来生成用于第二摄像机的第一调整后的视频输入流，以减小第一颜色误差。该方法还包括从第二摄像机接收包括调整后的第二关注区的调整后的第二视频图像，并且从定位于车辆上的第三摄像机接收与第三关注区相对应的第三视频图像，第三摄像机定位为使得第三关注区与调整后的第二关注区至少部分重叠。该方法还包括通过控制器确定第二重叠区，所述第二重叠区包括第三视频图像的其中第三关注区与调整后的第二关注区重叠的部分。该方法还包括通过控制器确定第三摄像机的第二颜色误差，所述第二颜色误差是第二重叠区内第三视频图像与调整后的第二视频图像之间的第二颜色差异的指示。该方法还包括通过控制器基于第二颜色误差，确定用于第三摄像机的第二颜色增益因数；以及应用第二颜色增益因数来生成用于第三摄像机的第二调整后的视频输入流，以减小第二颜色误差。
在一些实施例中，控制器将重复确定第一颜色误差和确定用于由红色、绿色和蓝色组成的颜色组中的每一个的第一颜色增益因数以产生第一红色增益因数、第一绿色增益因数以及第一蓝色增益因数的步骤；以及应用第一红色增益因数、第一绿色增益因数以及第一蓝色增益因数来生成用于第二摄像机的第一调整后的视频输入流，这减小第一颜色误差。
在一些实施例中，控制器将重复确定第二颜色误差和确定用于由红色、绿色和蓝色组成的颜色组中的每一个的第二颜色增益因数以产生第二红色增益因数、第二绿色增益因数以及第二蓝色增益因数的步骤，以及应用第二红色增益因数、第二绿色增益因数以及第二蓝色增益因数来生成用于第三摄像机的第二调整后的视频输入流，这减小第二颜色误差。
在一些实施例中，控制器调整第一颜色增益因数和第二颜色增益因数，使得它们小于最大阈值并且大于最小阈值。
在一些实施例中，一个增益因数的最小阈值和最大阈值基于其他增益因数的值。
在一些实施例中，控制器改变用于第一和第二调整后的视频流的多个YCbCr至RGB颜色空间转换系数。
在本发明的一些实施例中，控制器基于平均亮度，将亮度增益应用于第一摄像机。
通过考虑具体实施方式和附图，本发明的其他方面将变得清楚。
附图说明
图1为具有多摄像机环绕视图系统的车辆的俯视图。
图2为图1的多摄像机环绕视图系统的示意图示。
图3为通过图2的多摄像机环绕视图系统生成并且显示的用户界面，其示出车辆的俯视图以及相应的后视图像。
图4A为具有带重叠视场的多个摄像机的车辆的俯视图。
图4B为图4A的车辆的前置摄像机的关注区的俯视图。
图4C为图4A的车辆的左侧摄像机的关注区的俯视图。
图4D为图4A的车辆的后置摄像机的关注区的俯视图。
图4E为图4A的车辆的右侧摄像机的关注区的俯视图。
图5为用于匹配来自图1的摄像机的视频图像的颜色和亮度的方法的流程图。
图6为通过图1的系统生成和显示的显示图像，其示出SUV车辆的正3D虚拟透视图。
具体实施方式
在详细解释本发明的任何实施例之前，应理解本发明不被限制在其到以下描述中阐述或者在以下附图中图示的构造细节以及组件布置的应用中。本发明能够有其他实施例并且能够以各种方式实践或实行。
而且，应理解，在此使用的措辞和术语仅为描述目的且不应认为是限制性的。“包括”、“包含”或“具有”及其变型在此的使用意在囊括其后列出的项目及其等同物以及附加项目。术语“安装”、“连接”和“耦合”被宽泛使用并且既囊括直接又囊括间接的安装、连接和耦合。另外，“连接”和“耦合”不局限于物理或机械连接或耦合，并且可以包括无论是直接还是间接的电连接或耦合。而且，可以使用包括有线连接、无线连接等的任意已知手段来执行电子通信和通知。
还应注意，多个基于硬件和软件的装置以及多个不同结构组件可以被利用来实施本发明。还应注意，多个基于硬件和软件的装置以及多个不同结构组件可以用于实施本发明。另外，应理解，本发明的实施例可以包括硬件、软件和电子组件或模块，为了讨论目的，它们可以图示和描述为好像大部分组件仅以硬件来实施。然而，本领域的普通技术人员并且基于阅读本具体实施方式将认识到，在至少一个实施例中，本发明的基于电子的方面可以以由一个或多个处理器可执行的软件（例如，存储在非暂态计算机可读介质上）来实施。这样，应注意，多个基于硬件和软件的装置以及多个不同结构组件可以被利用来实施本发明。例如，在说明书中描述的“控制单元”和“控制器”可以包括诸如一个或多个处理器的标准处理组件、包括非暂态计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口，以及连接组件的各种连接（例如，系统总线）。
在配备有多个摄像机的车辆中，针对用户显示可视信息。如果视频图像以有效方式编译并且合适地呈现，则车辆的操纵被改进。然而，归因于摄像机的差异以及环境条件的变化，由相似配置的摄像机提供的视频图像可能显示不同的亮度和颜色。在显示彼此相邻的视频图像时，例如在图像拼接在一起以创建单个全景或环绕视图时，即使是图像亮度和颜色的微小变化也会非常明显。所显示的视频图像可能对用户造成分神并且限制了显示的有效性。
图1图示配备有多摄像机系统10的车辆12。多摄像机系统10包括定位为具有车辆后方的视场的后置摄像机14、定位为具有在车辆左侧的视场的左侧摄像机16、定位为具有在车辆右侧的视场的右侧摄像机18、以及定位为具有在车辆前方的视场的前置摄像机20。取决于所使用的每个摄像机和透镜的排布，每个摄像机的视场可以高达180〫。
图2图示多摄像机系统10的各种互连组件。系统包括具有处理单元26（例如，微处理器、专用集成电路等）、非暂态计算机可读存储器28以及输入/输出接口30的控制器22。计算机可读存储器28存储图像数据以及在由处理单元执行时提供下述系统功能性的计算机可执行指令。计算机可读存储器28可以包括随机存取存储器（“RAM”）和/或只读存储器（“ROM”）。输入/输出接口30发送以及接收来自控制器22外部的装置的信息。控制器22（例如，通过一个或多个有线和/或无线连接）接收来自摄像机14、16、18、20的图像数据、处理图像数据并且将视频显示图像传输至定位在车辆内部中的显示器24。控制器22还可以使用输入/输出接口30与包括在车辆12中的其他控制器和装置通信，所述其他控制器和装置诸如向车辆12的驾驶者提供其他信息的控制台或仪表板控制器。
控制器22向从摄像机14、16、18、20接收的图像数据应用一个或多个图像处理例程，以生成一个或多个显示图像。例如，图3示出由控制器22基于从摄像机14、16、18、20接收的图像数据生成的一对图像。如上文所提到的，每个摄像机14、16、18、20定位于车辆上以具有与两个相邻摄像机的视场部分重叠的不同视场。图3的右侧的图像显示给车辆12的驾驶者以示出车辆紧后方的区域。该图像通常在车辆处于倒档时显示并且用于在向后移动车辆时辅助车辆驾驶者。
控制器22还配置为处理从摄像机14、16、18、20接收的图像数据并且将它们拼接在一起以创建如在图3的左侧图像中所示的车辆12的在其周围的仿真俯视图（环绕视图）。图3的两个图像可以同时在显示器上示出（例如，如图3中所示的并排），或者可以取决于例如驾驶者的偏好而被分开示出。
如上文所提到的，对于具有“拼接的”摄像机图像的多摄像机环绕视图应用，匹配颜色和亮度对于相邻摄像机来说具有大的重要性。不论所拼接图像的一致性，未匹配的摄像机将减损环绕视图同质性。摄像机14、16、18、20合乎期望地具有“自由运行（free-running）”摄像机视频源并且视频流通过控制器22匹配。因为摄像机14、16、18、20是自由运行摄像机，所以它们必须配置为提供优化图像。针对内部自动白平衡（AWB）和自动曝光（AE）配置摄像机14、16、18、20允许摄像机最大化视频流的有限数据带宽。
图4A-4E进一步图示来自摄像机14、16、18、20中的每一个的图像数据通过其被拼接在一起并且然后用于执行优化的颜色匹配的机制。图4A示出车辆的俯视图——由控制器22生成并且显示给车辆的驾驶者的图像。如上文所提到的，每个摄像机14、16、18、22定位于车辆上具有不同视场。每个相应摄像机的视场包括地面的一部分。来自每个相应摄像机的图像数据由控制器22处理以在摄像机的视场内生成地面的至少一部分的仿真俯视图。该地面部分在此称为每个相应摄像机的“关注区”。
图4B示出前置车辆摄像机20的关注区32——该关注区32与在前置摄像机20的视场内的地面的至少一部分相对应。类似地，图4C示出左侧摄像机16的关注区34，图4D示出后置车辆摄像机14的关注区36以及图4E示出右侧摄像机18的关注区38。如上文所提到的，摄像机14、16、18、20定位为使得每个摄像机的视场与两个相邻摄像机的视场重叠。结果，各个关注区也将重叠。例如，图4A-4E中标识为区域40的区域包括在后方车辆关注区36和左侧关注区34两者中。类似地，区域42包括在后方车辆关注区36和右侧关注区38两者中，区域44包括在前方车辆关注区32和左侧关注区34两者中，以及区域46包括在前方车辆关注区32和右侧关注区38两者中。控制器22将每个相应的关注区的这些经处理的俯视图组合并且插入车辆的仿真图像，以生成车辆及其周边的仿真俯视图，诸如图3和4A中所示。
图像数据的曝光和白平衡限于关注区，从而允许相邻摄像机更接近地匹配，这是因为关注区看起来非常相似。然而，该途径可能导致颜色或亮度失配。例如，道路中心的黄线可能对观看道路的该部分的摄像机的颜色或曝光具有显著影响。为了解决这些颜色或亮度变化，系统10利用相邻关注区的重叠部分内的区域（例如，区域40、42、44和46）来执行颜色匹配。
图5图示一个这样的颜色匹配例程的示例，其调整其中来自两个摄像机的视频图像被组合以创建仿真俯视环绕图像的重叠部分40、42、44、46中的个体颜色分量误差。系统10的控制器22对用于车辆的环绕视图系统中的多个摄像机的亮度和颜色进行匹配。在操作中，控制器指明一个摄像机作为“主”（在步骤52处）。在该示例中，后视摄像机14被指明为“主”，虽然可以替代地选择另一摄像机。该方法通过比较每个关注区中的重叠区域（例如，图4A至4E的区域40、42、44、46）而将其他摄像机16、18、20的亮度和颜色与主摄像机14的亮度和颜色进行匹配。
亮度和颜色匹配在两个阶段中发生。在第一阶段中，侧视摄像机16、18的每一个基于来自后视摄像机14的视频图像被个体调整。使用RGB颜色模型，视频图像中的像素包括三个颜色分量——红色（R）、绿色（G）和蓝色（B）。由后方关注区36和左侧关注区34共享的区域（即，区域40）被分析以针对每个RGB颜色分量确定在来自后置摄像机14的图像数据与来自左侧摄像机16的图像数据之间的颜色误差Cserrr、Cserrg和Cserrb（步骤54处）。在后置摄像机充当用于两个侧方摄像机的“主”的情况下，针对两个侧方的关注区34、38并发地执行该误差计算。
以下等式用于确定每个侧方摄像机的个体颜色误差：
（1）
其中，为侧方摄像机RGB颜色误差（即，“从”颜色误差），为来自主摄像机的重叠区的平均RGB颜色值，以及为来自从摄像机的重叠区的平均RGB颜色值。
接下来，控制器使用颜色误差来确定颜色增益因数，针对侧方摄像机16、18的每个计算、以及（每个颜色分量一个）（在步骤56处）。控制器22使用以下等式来确定用于侧方摄像机的增益因数：
（2）
其中，为从摄像机增益因数、为来自前次迭代的增益因数（初始化为1）、为颜色误差（如在步骤54中计算的）以及为增益缩放因数。控制器22迭代地执行该确定，每次使用来自前次迭代的。随着增益被调整，颜色误差将最终逼近零并且将不必进行进一步调整。
为了防止不稳定操作，控制器22使用以下等式将用于每个摄像机的增益因数限制为定义的最大或最小值（在步骤58处）：
如果，则 （3）
如果，则 （4）
如果，则 （5）
其中，为允许的最大增益因数，为允许的最小增益因数，为步骤56中确定的增益因数以及为将应用于摄像机图像数据的增益因数。
在针对每个侧方摄像机的每个颜色分量确定合适的增益因数之后，控制器22将增益因数应用于来自侧方摄像机16、18的视频输入流，从而调整由侧方摄像机16、18捕捉的图像的RGB颜色等级，以匹配后置摄像机14图像的颜色（在步骤60处）。通过改变YCbCr到RGB颜色空间转换系数，将这些增益因数应用于个体视频输入流。来自摄像机14、16、18、20的进入视频图像通过Y、Cb和Cr值来表示。控制器22可以使用以下等式以使用所计算的增益因数将YCbCr流转换为用于每个像素的RGB值。全部视频流颜色变换运算如下所示。
（6）
（7）
（8）
RGB值具有从0值255的范围。如果以上转换等式产生该范围以外的值，则这些值被如下调整：
如果，则 （9）
如果，则 （10）
如果，则 （11）
其中，是以上确定的或之一，并且是控制器22将在颜色变换运算中使用的或的实际值。
在针对每个侧方摄像机确定并且应用增益因数之后（使用后置车辆摄像机作为“主”），系统前进至第二阶段，其中基于来自侧视摄像机16、18的调整后的视频图像，使用增益因数来调整用于前视摄像机20的增益（在步骤62处）。在侧方摄像机之一用作“主”并且前置摄像机为“从”的情况下，控制器22使用上述相同方法来执行该调整。以该方式，后置摄像机14间接地用作前置摄像机20的主，并且前置摄像机20最终与后置摄像机14颜色匹配。然而，这花费额外的时钟周期或帧用于改变到侧方摄像机16、18增益设定（基于后置摄像机调色盘（color palate））以影响前置摄像机20增益设定。
使用该方法不改变指明为主摄像机的摄像机的增益设定。该增益因数总是应用于缺省的颜色空间系数。在调整其他摄像机之前，系统10的其他配置调整主摄像机的颜色。
应注意，在主摄像机利用内部AE/AWB以归一化视频场景使得图像具有双峰直方图时，结果可能导致环绕视图变暗。由于主后视摄像机控制剩余摄像机的亮度，所以用作控制设置点的平均RGB值可能变暗并且趋向于导致总体较暗的图像。如果方法50被启用，则归因于关注区中较暗的后视摄像机14视频图像而将使侧视摄像机16、18更暗。
在那些情形中，通过选择“较好”的摄像机主或通过基于全部车辆安装的摄像机的平均亮度来将亮度增益应用于主后视摄像机，可以改进结果。由控制器22进行的该处理使用于多摄像机系统的增益最小化并且维持系统尽可能地接近标称。
在大多数当两个相邻摄像机正看向地平面的情形中，可以合适地假设两个摄像机视频图像非常相似。然而，存在当一个摄像机观看其他摄像机未观看的对象时的情形。这可能导致不合适的增益计算。这类场景的解决方案是或者基于其他增益来限制增益（例如，确保红色增益不远大于蓝色或绿色增益），或者通过使控制器22智能地调整关注区的重叠部分。
虽然以上讨论的示例执行颜色匹配以生成仿真俯视图，但是这些技术也可以在使用来自多个摄像机的图像数据生成其他仿真透视图像时应用。例如，一些系统配置为利用多个级联的摄像机视图以生成诸如图中6所示的3D透视图像。在生成3D透视时，确定关注区的重叠部分更加复杂并且因此匹配摄像机要求仔细。在3D透视中，阿尔法混合命令掩码确定用于重叠区的条件。在本发明的模拟环绕视图系统中，阿尔法混合命令掩码可以确定重叠区并且利用重叠区以控制摄像机的亮度和颜色。然而，该布置可能遭受归因于关注区的差异导致的不准确性，关注区的差异归因于不同的摄像机透视。
用于摄像机颜色匹配的另一可能途径是利用模拟正向施加反向校正（AFAIR）灵活性。AFAIR模块可以创建多个级联的摄像机视图，其有可能并发地生成3D透视和顶视透视。当这发生时，顶透视图在可观看范围以外被生成和缓冲，并且用于以与标准顶视匹配中完全相同的方式执行摄像机匹配。该布置简化了算法，这是因为对于任何视图不存在需要的改变。
在一些配置中，系统10利用NTSC视频流或者PAL视频流，并且调整个体RGB颜色分量误差或个体YCbCr分量误差。
因此，除其他以外，本发明的实施例还提供了用于匹配用于车辆的模拟多摄像机环绕视图系统中的摄像机的系统和方法。本发明的各种特征和优点在所附权利要求中阐述。

Claims (14)

1.一种用于车辆的环绕视图系统，所述系统包括：
第一摄像机，定位于所述车辆上，用以捕捉包括第一关注区的第一视频图像；
第二摄像机，定位于所述车辆上，用以捕捉包括第二关注区的第二视频图像，所述第二摄像机定位为使得所述第一关注区与所述第二关注区至少部分重叠；
第三摄像机，定位于所述车辆上，用以捕捉包括第三关注区的第三视频图像，所述第三摄像机定位为使得所述第三关注区与所述第二关注区至少部分重叠；
控制器，配置为
接收所述第一视频图像；
接收所述第二视频图像；
确定第一重叠区，所述第一重叠区包括所述第一视频图像的其中所述第一关注区与所述第二关注区重叠的部分；
确定所述第二摄像机的第一颜色误差，所述第一颜色误差是所述第一重叠区内所述第一视频图像与所述第二视频图像之间的颜色差异的指示；
基于所述第一颜色误差，确定用于所述第二摄像机的第一颜色增益因数；
通过应用所述第一颜色增益因数来生成用于所述第二摄像机的第一调整后的视频输入流，以减小所述第一颜色误差；
从所述第二摄像机接收包括调整后的第二关注区的调整后的第二视频图像；
接收所述第三视频图像；
确定第二重叠区，所述第二重叠区包括所述第三视频图像的其中所述第三关注区与所述调整后的第二关注区重叠的部分；
确定所述第三摄像机的第二颜色误差，所述第二颜色误差是所述第二重叠区内所述第三视频图像与所述调整后的第二视频图像之间的第二颜色差异的指示；
基于所述第二颜色误差，确定用于所述第三摄像机的第二颜色增益因数；以及
使用所述第二颜色增益因数来生成用于所述第三摄像机的第二调整后的视频输入流，以减小所述第二颜色误差。
2.根据权利要求1所述的系统，其中，所述控制器还配置为
重复确定第一颜色误差和确定用于由红色、绿色和蓝色组成的颜色组中的每一个的第一颜色增益因数以产生第一红色增益因数、第一绿色增益因数以及第一蓝色增益因数的步骤；以及
通过应用所述第一红色增益因数、所述第一绿色增益因数以及所述第一蓝色增益因数来生成用于所述第二摄像机的第一调整后的视频输入流，以减小所述第一颜色误差。
3.根据权利要求1所述的系统，其中，所述控制器还配置为
重复确定第二颜色误差和确定用于由红色、绿色和蓝色组成的颜色组中的每一个的第二颜色增益因数以产生第二红色增益因数、第二绿色增益因数以及第二蓝色增益因数的步骤；以及
通过应用所述第二红色增益因数、所述第二绿色增益因数以及所述第二蓝色增益因数来生成用于所述第三摄像机的第二调整后的视频输入流，以减小所述第二颜色误差。
4.根据权利要求1所述的系统，其中，所述控制器还配置为调整所述第一颜色增益因数和所述第二颜色增益因数，使得它们小于最大阈值并且大于最小阈值。
5.根据权利要求4所述的系统，其中，一个增益因数的最小阈值和最大阈值基于其他增益因数的值。
6.根据权利要求1所述的系统，其中，所述控制器还配置为改变用于第一和第二调整后的视频流的多个YCbCr至RGB颜色空间转换系数。
7.根据权利要求1所述的系统，其中，所述控制器还配置为基于平均亮度，将亮度增益应用于所述第一摄像机。
8.一种用于纠正多摄像机系统中的颜色的方法，所述方法包括：
从定位于车辆上的第一摄像机接收包括第一关注区的第一视频图像；
从定位于所述车辆上的第二摄像机接收包括第二关注区的第二视频图像，所述第二摄像机定位为使得所述第一关注区与所述第二关注区至少部分重叠；
通过控制器确定第一重叠区，所述第一重叠区包括所述第一视频图像的其中所述第一关注区与所述第二关注区重叠的部分；
通过所述控制器确定用于第二摄像机的第一颜色误差，所述第一颜色误差是所述第一重叠区内所述第一视频图像与所述第二视频图像之间的颜色差异的指示；
通过所述控制器基于所述第一颜色误差，确定用于所述第二摄像机的第一颜色增益因数；
通过应用所述第一颜色增益因数来生成用于所述第二摄像机的第一调整后的视频输入流，以减小所述第一颜色误差；
从所述第二摄像机接收包括调整后的第二关注区的调整后的第二视频图像；
从定位于所述车辆上的第三摄像机接收与第三关注区相对应的第三视频图像，所述第三摄像机定位为使得所述第三关注区与所述调整后的第二关注区至少部分重叠；
通过所述控制器确定第二重叠区，所述第二重叠区包括所述第三视频图像的其中所述第三关注区与所述调整后的第二关注区重叠的部分；
通过所述控制器确定用于第三摄像机的第二颜色误差，所述第二颜色误差是所述第二重叠区内所述第三视频图像与所述调整后的第二视频图像之间的第二颜色差异的指示；
通过所述控制器基于所述第二颜色误差，确定用于所述第三摄像机的第二颜色增益因数；以及
通过应用所述第二颜色增益因数来生成用于所述第三摄像机的第二调整后的视频输入流，以减小所述第二颜色误差。
9.根据权利要求8所述的方法，还包括：
重复确定第一颜色误差和确定用于由红色、绿色和蓝色组成的颜色组中的每一个的第一颜色增益因数以产生第一红色增益因数、第一绿色增益因数以及第一蓝色增益因数的步骤；以及
通过应用所述第一红色增益因数、所述第一绿色增益因数以及所述第一蓝色增益因数来生成用于所述第二摄像机的第一调整后的视频输入流，以减小所述第一颜色误差。
10.根据权利要求8所述的方法，还包括：
重复确定第二颜色误差和确定用于由红色、绿色和蓝色组成的颜色组中的每一个的第二颜色增益因数以产生第二红色增益因数、第二绿色增益因数以及第二蓝色增益因数的步骤；以及
通过应用所述第二红色增益因数、所述第二绿色增益因数以及所述第二蓝色增益因数来生成用于所述第三摄像机的第二调整后的视频输入流，以减小所述第二颜色误差。
11.根据权利要求8所述的方法，还包括通过所述控制器调整所述第一颜色增益因数和所述第二颜色增益因数，使得它们小于最大阈值并且大于最小阈值。
12.根据权利要求11所述的方法，其中，一个增益因数的最小阈值和最大阈值基于其他增益因数的值。
13.根据权利要求8所述的方法，还包括通过所述控制器改变用于第一和第二调整后的视频流的多个YCbCr至RGB颜色空间转换系数。
14.根据权利要求8所述的方法，还包括基于平均亮度，将亮度增益应用于所述第一摄像机。
CN201580007923.2A 2014-02-11 2015-02-10 对来自多摄像机系统的视频的亮度和颜色匹配 Pending CN105981367A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461938439P 2014-02-11 2014-02-11
US61/938439 2014-02-11
PCT/US2015/015133 WO2015123173A1 (en) 2014-02-11 2015-02-10 Brightness and color matching video from multiple-camera system

Publications (1)

Publication Number Publication Date
CN105981367A true CN105981367A (zh) 2016-09-28

Family

ID=52574446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007923.2A Pending CN105981367A (zh) 2014-02-11 2015-02-10 对来自多摄像机系统的视频的亮度和颜色匹配

Country Status (4)

Country Link
US (1) US10166921B2 (zh)
EP (1) EP3105920B1 (zh)
CN (1) CN105981367A (zh)
WO (1) WO2015123173A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713755A (zh) * 2016-12-29 2017-05-24 北京疯景科技有限公司 全景图像的处理方法及装置
CN109906602A (zh) * 2016-10-12 2019-06-18 Lg伊诺特有限公司 图像匹配方法及装置
CN110753217A (zh) * 2019-10-28 2020-02-04 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
CN111461989A (zh) * 2020-04-02 2020-07-28 深圳普捷利科技有限公司 车载图像像素调整方法、装置、设备及可读存储介质
CN111860632A (zh) * 2020-07-13 2020-10-30 上海航天测控通信研究所 多路图像一致性融合方法
US20220036507A1 (en) * 2020-07-30 2022-02-03 Black Sesame International Holding Limited Method, apparatus, computer device and storage medium for adjusting brightness of mosaiced images

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856297B1 (en) * 2014-12-31 2023-12-26 Gn Audio A/S Cylindrical panorama hardware
US10887653B2 (en) * 2016-09-26 2021-01-05 Cyberlink Corp. Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows
WO2018070799A1 (ko) * 2016-10-12 2018-04-19 엘지이노텍(주) 이미지 정합 방법 및 장치
CN107071291B (zh) * 2016-12-28 2020-08-18 南昌黑鲨科技有限公司 图像处理方法、装置及电子设备
CN107678385A (zh) * 2017-10-11 2018-02-09 王曦 自动驾驶数据采集存储系统装置
WO2019079403A1 (en) * 2017-10-18 2019-04-25 Gopro, Inc. LOCAL EXPOSURE COMPENSATION
US20190034716A1 (en) * 2017-12-28 2019-01-31 Intel Corporation Privacy-preserving demographics identification
DE102018110597A1 (de) * 2018-05-03 2019-11-07 Connaught Electronics Ltd. Verfahren zur Bildharmonisierung, Bildverarbeitungseinrichtung, Kamerasystem und Kraftfahrzeug
DE102018118996B4 (de) * 2018-08-06 2021-10-28 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug
CN109166076B (zh) * 2018-08-10 2020-08-07 影石创新科技股份有限公司 多相机拼接的亮度调整方法、装置及便携式终端
DE102018214602B3 (de) * 2018-08-29 2019-11-28 Robert Bosch Gmbh Verfahren zur Anzeige eines Modells einer Umgebung, Steuergerät und Fahrzeug
JP2020060531A (ja) * 2018-10-12 2020-04-16 株式会社デンソーテン 異常検出装置、異常検出システム、および、異常検出方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155682A (ja) * 1997-08-06 1999-02-26 Minolta Co Ltd デジタルカメラ
CN1788486A (zh) * 2004-05-17 2006-06-14 精工爱普生株式会社 图像处理方法、图像处理装置和程序
JP2007323587A (ja) * 2006-06-05 2007-12-13 Matsushita Electric Ind Co Ltd 車載カメラの画像合成装置および画像合成方法
CN101371271A (zh) * 2006-01-10 2009-02-18 松下电器产业株式会社 颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像检索装置
CN102273201A (zh) * 2009-07-29 2011-12-07 歌乐牌株式会社 车辆用周边监视装置以及车辆用周边图像显示方法
CN102387371A (zh) * 2010-08-31 2012-03-21 索尼公司 图像调整
CN102714710A (zh) * 2009-12-07 2012-10-03 歌乐牌株式会社 车辆周边图像显示系统
US8350923B2 (en) * 2006-05-31 2013-01-08 Sony Corporation Camera system and mobile camera system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
JP3587506B2 (ja) * 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
DE60106997T2 (de) 2000-02-29 2005-12-01 Matsushita Electric Industrial Co., Ltd., Kadoma Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
WO2008068456A2 (en) * 2006-12-06 2008-06-12 Sony United Kingdom Limited A method and an apparatus for generating image content
JP4897593B2 (ja) * 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
TWI417639B (zh) * 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
WO2011082716A1 (en) 2010-01-08 2011-07-14 Valeo Schalter Und Sensoren Gmbh Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image
JP5523954B2 (ja) 2010-06-30 2014-06-18 富士通テン株式会社 画像表示システム
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9930225B2 (en) 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
US8712151B2 (en) * 2011-02-14 2014-04-29 Intuitive Surgical Operations, Inc. Method and structure for image local contrast enhancement
US8902313B2 (en) 2011-11-02 2014-12-02 Robert Bosch Gmbh Automatic image equalization for surround-view video camera systems
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
KR20130080614A (ko) * 2012-01-05 2013-07-15 한국전자통신연구원 휘도 자동 보정 장치 및 방법
EP2629506A1 (en) 2012-02-15 2013-08-21 Harman Becker Automotive Systems GmbH Two-step brightness adjustment in around-view systems
US20140375762A1 (en) * 2012-02-17 2014-12-25 Sony Corporation Information processing apparatus and method, image processing apparatus and method, and program
JP5971207B2 (ja) * 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155682A (ja) * 1997-08-06 1999-02-26 Minolta Co Ltd デジタルカメラ
CN1788486A (zh) * 2004-05-17 2006-06-14 精工爱普生株式会社 图像处理方法、图像处理装置和程序
CN101371271A (zh) * 2006-01-10 2009-02-18 松下电器产业株式会社 颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像检索装置
US8350923B2 (en) * 2006-05-31 2013-01-08 Sony Corporation Camera system and mobile camera system
JP2007323587A (ja) * 2006-06-05 2007-12-13 Matsushita Electric Ind Co Ltd 車載カメラの画像合成装置および画像合成方法
CN102273201A (zh) * 2009-07-29 2011-12-07 歌乐牌株式会社 车辆用周边监视装置以及车辆用周边图像显示方法
CN102714710A (zh) * 2009-12-07 2012-10-03 歌乐牌株式会社 车辆周边图像显示系统
CN102387371A (zh) * 2010-08-31 2012-03-21 索尼公司 图像调整

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109906602A (zh) * 2016-10-12 2019-06-18 Lg伊诺特有限公司 图像匹配方法及装置
US11017508B2 (en) 2016-10-12 2021-05-25 Lg Innotek Co., Ltd. Image matching method and apparatus
CN109906602B (zh) * 2016-10-12 2022-09-27 Lg伊诺特有限公司 图像匹配方法及装置
CN106713755A (zh) * 2016-12-29 2017-05-24 北京疯景科技有限公司 全景图像的处理方法及装置
CN106713755B (zh) * 2016-12-29 2020-02-18 北京疯景科技有限公司 全景图像的处理方法及装置
CN110753217A (zh) * 2019-10-28 2020-02-04 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
CN111461989A (zh) * 2020-04-02 2020-07-28 深圳普捷利科技有限公司 车载图像像素调整方法、装置、设备及可读存储介质
CN111860632A (zh) * 2020-07-13 2020-10-30 上海航天测控通信研究所 多路图像一致性融合方法
CN111860632B (zh) * 2020-07-13 2022-07-22 上海航天测控通信研究所 多路图像一致性融合方法
US20220036507A1 (en) * 2020-07-30 2022-02-03 Black Sesame International Holding Limited Method, apparatus, computer device and storage medium for adjusting brightness of mosaiced images
US12045949B2 (en) * 2020-07-30 2024-07-23 Black Sesame Technologies Inc. Method, apparatus, computer device and storage medium for adjusting brightness of mosaiced images

Also Published As

Publication number Publication date
EP3105920A1 (en) 2016-12-21
EP3105920B1 (en) 2020-07-22
WO2015123173A1 (en) 2015-08-20
US10166921B2 (en) 2019-01-01
US20170166126A1 (en) 2017-06-15

Similar Documents

Publication Publication Date Title
US10166921B2 (en) Brightness and color matching video from multiple-camera system
JP4783461B2 (ja) 画像合成装置及び方法
Zhang et al. A surround view camera solution for embedded systems
KR102154402B1 (ko) 중첩 시야각을 갖는 제1 및 제2 이미지를 블렌딩하기 위한 방법, 장치 및 카메라
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
KR102718457B1 (ko) 영상 처리 장치
US20110242355A1 (en) Combining data from multiple image sensors
US20120081519A1 (en) Combining data from multiple image sensors
US8774495B2 (en) Image synthesizing apparatus and method of synthesizing images
US10165207B2 (en) Image processing apparatus and image processing system
EP3065390B1 (en) Image correction parameter output device, camera system, and correction parameter output method
US20190320152A1 (en) White balance calibration method based on skin color data and image processing apparatus using the same
WO2015141050A1 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US7864222B2 (en) Automatic white balance system and automatic white balance control method
JP2009267923A (ja) 撮像システム
Liu et al. Photometric alignment for surround view camera system
EP2846532A1 (en) System, device and method for displaying a harmonised combined image
KR20170036378A (ko) 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
WO2014118167A1 (en) Method for white balance of an image presentation and camera system for a motor vehicle
EP2522126A1 (en) Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image
US9338414B2 (en) Imaging apparatus and imaging method for performing interpolation processing
CN111355942B (zh) 半导体设备、图像处理系统、方法和计算机可读存储介质
JP2014003486A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム
CN115689877A (zh) 一种全景系统亮度调节方法
JP6825458B2 (ja) 画像処理装置、撮影装置、及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160928

RJ01 Rejection of invention patent application after publication