[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111787220B - 应用处理器 - Google Patents

应用处理器 Download PDF

Info

Publication number
CN111787220B
CN111787220B CN202010581303.2A CN202010581303A CN111787220B CN 111787220 B CN111787220 B CN 111787220B CN 202010581303 A CN202010581303 A CN 202010581303A CN 111787220 B CN111787220 B CN 111787220B
Authority
CN
China
Prior art keywords
image
signal
image data
output
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010581303.2A
Other languages
English (en)
Other versions
CN111787220A (zh
Inventor
李瑞勳
李春承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111787220A publication Critical patent/CN111787220A/zh
Application granted granted Critical
Publication of CN111787220B publication Critical patent/CN111787220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Telephone Function (AREA)
  • Processing Or Creating Images (AREA)
  • Saccharide Compounds (AREA)
  • Plural Heterocyclic Compounds (AREA)

Abstract

提供一种图像处理装置。所述图像处理装置包括：第一透镜；第二透镜，设置在所述第一透镜的一侧；第三透镜，设置在所述第一透镜的另一侧；第一图像传感器，接收从所述第一透镜获得的第一图像的输入以产生第一图像信号；第二图像传感器，接收从所述第二透镜获得的第二图像的输入以产生第二图像信号；第三图像传感器，接收从所述第三透镜获得的第三图像的输入以产生第三图像信号；选择器，接收所述第二图像信号及所述第三图像信号的输入，在第一条件下输出第二图像信号并在与第一条件不同的第二条件下输出第三图像信号；以及图像处理器，利用第一图像信号及选择器的输出信号执行图像处理。也提供一种处理器及图像处理方法。

Description

应用处理器
本申请是中国申请号为201810523612.7，发明名称为“处理器、其图像处理装置及图像处理方法”的专利申请的分案申请，原申请的申请日是2018年05月28日。
原申请主张在2017年6月2号提出申请的韩国专利申请第10-2017-0069040号的优先权，所述韩国专利申请的主题并入本申请供参考。
技术领域
本发明概念涉及处理器、包括处理器的图像处理装置以及利用图像处理装置处理图像的方法。
背景技术
某些图像处理装置可包括多个照相机模块相应图像，统称为多个图像。因此，此类图像处理装置可处理多个图像以产生单个图像。
为了获取相对高质量的图像，给定的照相机模块可包括双传感器。包括双传感器的照相机模块可包括例如广角透镜及摄远透镜，其中可在例如在相对高照度环境中执行的变焦操作(zoom operation)期间有利地使用广角透镜与摄远透镜的组合能力。然而，此不适用于在相对低照度环境中的情形，在所述相对低照度环境中光照等级(light level)不足以实现摄远透镜的有利效果。
发明内容
本发明概念的方面提供一种能够在照度高时提高变焦操作的性能的处理器、包括所述处理器的图像处理装置以及处理图像的方法。
本发明概念的另一个方面提供一种即使在照度低时仍能够提高图像质量的处理器、包括所述处理器的图像处理装置以及处理图像的方法。
本发明概念的又一方面提供一种能够减小由每一透镜获得的图像的校正误差(rectification error)的处理器、包括所述处理器的图像处理装置以及处理图像的方法。
本发明概念的方面并非仅限于以上提到的这些方面，且所属领域中的技术人员通过以下说明可清楚地理解未被提到的另一技术问题。
根据本发明概念的一些实施例，提供一种图像处理装置，所述图像处理装置包括：第一透镜；第二透镜，设置在所述第一透镜的一侧；第三透镜，设置在所述第一透镜的另一侧的；第一图像传感器，接收从所述第一透镜获得的第一图像的输入以产生第一图像信号；第二图像传感器，接收从所述第二透镜获得的第二图像的输入以产生第二图像信号；第三图像传感器，接收从所述第三透镜获得的第三图像的输入以产生第三图像信号；选择器，接收所述第二图像信号及所述第三图像信号的输入，在第一条件下输出所述第二图像信号，并在与所述第一条件不同的第二条件下输出所述第三图像信号；以及图像处理器，利用所述第一图像信号及所述选择器的输出信号执行图像处理。
根据本发明概念的一些实施例，提供一种处理器，所述处理器包括：图像处理器，从第一照相机模块接收第一图像信号的提供；以及第一选择器，从第二照相机模块接收第二图像信号的提供及从第三照相机模块接收第三图像信号的提供，在第一条件下输出所述第二图像信号，并在与所述第一条件不同的第二条件下输出所述第三图像信号，其中所述图像处理器利用所述第一图像信号及所述第一选择器的输出信号来执行图像处理。
根据本发明概念的一些实施例，提供一种图像处理方法，所述图像处理方法包括：由第一信号处理器从第一照相机模块接收第一图像信号，以执行第一图像信号处理；由选择器从第二照相机模块接收第二图像信号及从第三照相机模块接收第三图像信号，以在第一条件下输出所述第二图像信号以及在与所述第一条件不同的第二条件下输出所述第三图像信号；以及由图像处理器利用所述第一信号处理器的输出信号及所述选择器的输出信号产生输出图像。
附图说明
在参照附图考虑本发明概念的某些示例性实施例时，本发明概念的上述及其他方面及特征将变得更加显而易见，在附图中：
图1是根据本发明概念的一些实施例说明图像处理装置10的方块图。
图2A及图2B分别是说明图1所示的第一透镜、第二透镜及第三透镜的示例性配置的图式。
图3是在一个实施例中进一步说明图1所示的第一信号处理器310的方块图。
图4是在一个实施例中进一步说明图1所示的第二信号处理器320的方块图。
图5是在一个实施例中进一步说明图1所示的第一图像产生器400的方块图。
图6是在一个实施例中进一步说明图5所示的深度信息产生器410的方块图。
图7是在一个实施例中进一步说明图5所示的第一输出图像产生器420的方块图。
图8是在一个实施例中进一步说明图5所示的第二输出图像产生单元430的方块图。
图9是根据本发明概念的一些实施例说明图像处理装置的另一方块图。
图10是在一个实施例中进一步说明图9所示的第三信号处理器330的方块图。
图11及图12分别是根据本发明概念的再一些其他实施例的图像处理装置的方块图。
图13是进一步说明图12所示的第二图像产生器500的方块图。
图14是根据本发明概念的一些实施例概述可由各种选择器元件执行的方法步骤的流程图。
图15是根据本发明概念的一些实施例可被配置成包括处理装置的图像系统的概括方块图。
图16是根据本发明概念的一些实施例说明包括图像处理装置的图像系统的一部分的概括方块图。
[符号的说明]
110：第一接口；
120：第二接口；
130：第三接口；
210：第一选择器；
220：第二选择器；
230：第三选择器；
240：第四选择器；
250：第五选择器；
260：第六选择器；
270：第七选择器；
280：第八选择器；
290：第九选择器；
299：第十选择器；
310：第一信号处理器；
310_SS：选择信号产生器；
311：第一格式转换器；
313：第一噪声移除单元；
315：第一图像增强器；
317：第二格式转换器；
320：第二信号处理器；
321：第三格式转换器；
323：第二噪声移除单元；
325：第二图像增强器；
327：第四格式转换器；
330：第三信号处理器；
340：第四信号处理器；
350：第五信号处理器；
400：第一图像产生器；
410：深度信息产生单元/深度信息产生器；
411：调整单元；
413：视差信息产生器；
415：深度信息产生器；
420：第一输出图像产生器/第一输出图像产生单元；
421：离焦单元；
430：第二输出图像产生单元；
431：像素映射单元；
433：混合单元；
440：第三输出图像产生单元；
441：变焦选择器；
500：第二图像产生器；
1000：电子装置；
1010：第一图像信号输出单元；
1011：第一图像传感器；
1012：第一存储装置；
1013：第一模数转换器；
1020：第二图像信号输出单元；
1021：第二图像传感器；
1022：第二存储装置；
1023：第二模数转换器；
1030：第三图像信号输出单元；
1031：第三图像传感器；
1032：第三存储装置；
1033：第三模数转换器；
1100：板/衬底；
1110、1110_1：照相机模块；
1111：第一照相机模块；
1112：第二照相机模块；
1113：第三照相机模块；
1120：处理器；
1121：图像处理器；
1130：存储装置；
1140：接口；
1150：总线；
C1：第一条件；
C2：第二条件；
C3：第三条件；
C4：第四条件；
d1：第一距离；
d2：第二距离；
id1：第一图像/第一图像信号；
id2：第二图像/第二图像信号；
id3：第三图像/第三图像信号；
io：输出图像；
io1：第一输出图像；
io2：第二输出图像；
io3：第三输出图像；
is1：第一图像信号；
is2：第二图像信号；
is3：第三图像信号；
is1a：第一输出信号/图像信号/第一输出图像信号；
is2a：输出信号；
is3a：输出信号；
isa：第一图像输出信号；
isb：第二图像输出信号/图像信号；
is_410a：深度信息；
is_410b：视差信息；
L1：第一透镜；
L2：第二透镜；
L3：第三透镜；
S100、S200、S300、S400：步骤；
SS：选择信号；
SS_ZOOM：变焦选择信号。
具体实施方式
现在将参照图1到图8以一些额外的细节来阐述根据本发明概念的实施例的某些图像处理装置。
图1是根据本发明概念的一些实施例说明图像处理装置的方块图，其中所述图像处理装置一般包括照相机模块1110及处理器1120。
将由照相机模块1110分别产生的图像信号(例如，is1、is2及is3)提供到处理器1120，使得处理器1120可以产生输出图像io的方式处理图像信号(例如，is1、is2及is3)中的一者或多者。在所说明的实施例中，可在照相机模块1110与处理器1120之间视情况包括各种传统上理解的元件。举例来说，由照相机模块1110产生的各图像信号(例如，is1、is2及is3)可通过某些构成元件及/或设置在照相机模块1110与处理器1120之间的接口而被提供到处理器1120。
在图1所示的实施例中，照相机模块1110包括第一照相机模块1111、第二照相机模块1112以及第三照相机模块1113，其中第一照相机模块1111包括第一透镜L1及第一图像信号输出单元1010；第二照相机模块1112包括第二透镜L2及第二图像信号输出单元1020；且第三照相机模块1113包括第三透镜L3及第三图像信号输出单元1030。
此处，第一透镜L1及第三透镜L3中的至少一者可为与第二透镜L2相比不同类型的透镜。举例来说，第一透镜L1及第三透镜L3可为广角透镜，而第二透镜L2可为摄远透镜。
图2A及图2B分别是说明图1所示的第一透镜L1、第二透镜L2及第三透镜L3的示例性配置的图式。
参照图2A，第一透镜L1、第二透镜L2以及第三透镜L3在电子装置1000(例如，移动电话)的主体的一个侧表面(例如，前侧或后侧)上水平设置。在某些配置中，第二透镜L2设置在第一透镜L1的一侧，而第三透镜L3设置在第一透镜L1的相对(或另一)侧。在图2A中，第二透镜L2与第三透镜L3关于第一透镜L1对称设置。也就是说，假设第二透镜L2在一侧与第一透镜L1间隔开第一距离d1且第三透镜L3在另一侧与第一透镜L1间隔开第二距离d2，图2A所示的实施例假设第一距离d1与第二距离d2实质上相同。然而，在本发明概念的其他实施例中未必总是此种情形。
在图2A所示的实施例中，第一透镜L1、第二透镜L2以及第三透镜L3的中心沿水平线线性设置，出于本说明的目的将对用语“水平”的任意定义假设为指跨越电子装置1000的宽度的方向。利用此假设的定义，图2B所示的实施例沿实质上相同的垂直线垂直设置第一透镜L1、第二透镜L2以及第三透镜L3的中心。
参照图2A及图2B，在将物件设置成面对第一透镜L1时，所述对象与第一透镜L1被排列成彼此对准，且第一距离d1与第二距离d2彼此不同，自所述对象反射的光入射到第一透镜L1、第二透镜L2以及第三透镜L3中的每一者的角度将彼此不同。
因此，在准确地表示所述对象时，在从第一透镜L1、第二透镜L2以及第三透镜L3中的每一者获得的图像(例如，id1、id2及id3)中可存在未补偿(或未校正)的畸变。也就是说，由于第一距离d1与第二距离d2彼此不同，因此在所述图像(例如，id1、id2及id3)之间的某一程度的畸变可变得严重。
为了纠正上述图像畸变，可对从第一透镜L1、第二透镜L2以及第三透镜L3中的每一者获得的图像(例如，id1、id2及id3)中的每一者执行校正操作。此时，由于所述图像(例如，id1、id2及id3)之间的畸变程度可能是严重的，因此校正操作的误差可相应地为大的。如果所得校正操作误差是大的，那么输出图像(例如，io)的噪声(伪像)可变大。
在图像处理装置(如图1所示的图像处理装置)中，第二透镜L2及第三透镜L3可分别与第一透镜L1间隔开实质上相同的间距(例如，第一距离d1＝第二距离d2)。与其中第一距离d1与第二距离d2实质上不同的配置相比，其中第一距离d1与第二距离d2实质上相同时所述图像(例如，id1、id2及id3)之间的畸变程度可显著减小。因此，相对于随后对各图像(例如，id1、id2及id3)执行的校正操作，可减小校正误差。
返回参照图1，第一图像信号输出单元1010可包括例如第一图像传感器1011、第一存储装置1012以及第一模数转换器1013；第二图像信号输出单元1020可包括例如第二图像传感器1021、第二存储装置1022以及第二模数转换器1023；且第三图像信号输出单元1030可包括例如第三图像传感器1031、第三存储装置1032以及第三模数转换器1033。
第一图像id1、第二图像id2以及第三图像id3中的每一者分别是从第一透镜L1、第二透镜L2以及第三透镜L3获得。第一图像id1、第二图像id2以及第三图像id3然后可分别被提供到第一图像信号输出单元1010、第二图像信号输出单元1020以及第三图像信号输出单元1030。第一图像传感器1011、第二图像传感器1021以及第三图像传感器1031中的每一者可用以分别感测第一图像id1、第二图像id2以及第三图像id3。
因此，第一图像传感器1011(例如，彩色图像传感器)接收第一图像id1以产生第一图像信号is1；第二图像传感器1021(例如，彩色传感器)接收第二图像id2以产生第二图像信号is2；且第三图像传感器1031(例如，单色图像传感器)接收第三图像id3以产生第三图像信号is3。
第一照相机模块1111、第二照相机模块1112以及第三照相机模块1113中的每一者的校准数据可分别存储在第一存储装置1012、第二存储装置1022以及第三存储装置1032中，其中用语“校准数据”可包括例如与对应照相机模块的旋转程度、焦距及/或光轴相关联的信息。
第一模数转换器1013、第二模数转换器1023、以及第三模数转换器1033中的每一者可用以分别转换第一图像信号id1、第二图像信号id2以及第三图像信号id3的格式。举例来说，可将具有模拟格式的第一图像信号id1、第二图像信号id2以及第三图像信号id3分别转换成对应的数字信号(即，第一图像信号is1、第二图像信号is2及第三图像信号is3)。
分别由第一照相机模块1111、第二照相机模块1112及第三照相机模块1113提供的第一图像信号is1、第二图像信号is2及第三图像信号is3可被输入到处理器1120。在图1所示的实施例中，处理器1120包括第一接口110、第二接口120、第三接口130、第一选择器210、第一信号处理器310、第二信号处理器320以及第一图像产生器400。然而，此仅是可用于实施本发明概念的各种实施例中的处理器的元件及/或功能的许多特定排列中的一者。
然而，在图1所示的实施例中，第一接口110、第二接口120及第三接口130可分别用以将可与第一图像传感器1011、第二图像传感器1021以及第三图像传感器1031兼容的一个或多个信号格式改变为与处理器1120更兼容的格式。此处，第一接口110、第二接口120及第三接口130可为例如照相机串行接口(camera serial interface，CSI)。
在图1中，第一图像信号is1通过第一接口110被提供到第一信号处理器310；第二图像信号is2通过第二接口120被提供到第一选择器210；且第三图像信号is3通过第三接口130被提供到第一选择器210。第一选择器210接收第二图像信号is2及第三图像信号is3作为输入，且响应于选择信号SS，第一选择器210输出第二图像信号is2及第三图像信号is3中被选择的一者作为被提供到图像处理器1121的第一图像输出信号isa。在一些实施例中，第一选择器210可被设置成与图像处理器1121的第二信号处理器320分离。
利用上述实施例作为工作实例，选择信号SS可被配置成与第一条件C1(例如，逻辑值为‘0’)-选择第二图像信号is2或第二条件C2(例如，逻辑值为‘1’)-选择第三图像信号is3中的一者相关。就此来说，第一条件C1与第二条件C2可为不同的条件。举例来说，第一条件C1可指示高照度环境(即，照度大于预定值)且第二条件C2可指示低照度环境(即，照度小于预定值)。在此上下文中，使用用语“照度”来指示与(例如)从第一照相机模块1111的第一透镜L1获得的成像对象相关联的位置的亮度。
在一些实施例中，第一信号处理器310可用于感测照度并将对应的照度信息传送到选择信号产生器310_SS，其中选择信号产生器310_SS用于响应于照度信息来产生选择信号SS。在图1所示的实施例中，选择信号产生器310_SS被示出为设置在处理器1120中，但在本发明概念的其他实施例中未必总是此种情形。举例来说，选择信号产生器310_SS可为设置在处理器1120之外的硬件组件、或提供选择信号产生功能的软件组件。
在图1中，处理器1120的图像处理器1121接收第一图像信号is1以及第一选择器210的输出信号isa与选择信号SS的组合，以便产生输出图像io。此处，图像处理器1121包括第一信号处理器310、第二信号处理器320以及第一图像产生器400。
第一信号处理器310接收第一图像信号is1作为输入并执行第一图像信号处理以向第一图像产生器400提供第一输出图像信号is1a。在此种配置中，例如，由第一信号处理器310提供的第一输出图像信号is1a可为经执行由第一信号处理器310处理的第一图像信号处理的第一输出信号is1。
图3是在一个实施例中进一步说明图1所示的第一信号处理器310的方块图。
参照图3，第一信号处理器310可包括第一格式转换器311、第一噪声移除单元313、第一图像增强器315以及第二格式转换器317。由第一信号处理器310执行的第一图像处理可包括：使第一图像信号is1依序穿过第一格式转换器311、第一噪声移除单元313、第一图像增强器315以及第二格式转换器317，以产生具有适当的信号格式的第一输出信号is1a。
也就是说，第一格式转换器311可接收第一图像信号is1，改变第一图像信号is1的格式，并将格式经改变的第一图像信号提供到第一噪声移除单元313。就此来说，第一图像信号is1可具有根据第一照相机模块1111使用的滤色器排列的具体形式界定的格式。举例来说，在其中例如第一照相机模块1111的第一图像传感器1011包括拜耳(Bayer)颜色排列的情况下，第一格式转换器311可将第一图像信号is1的格式转换成传统上理解的RGB格式。在此种情形中，第一格式转换器311可将第一图像信号is1的格式转换成RGB格式。第一格式转换器311可例如执行去马赛克(demosaic)操作。在其他实施例中，可根据第一照相机模块1111的第一图像传感器1011的滤色器的类型而省略第一格式转换器311的操作。
第一噪声移除单元313可用以从第一格式转换器311提供的输出信号移除一个或多个噪声分量，并将所得的噪声滤除输出信号提供到第一图像增强器315。
继而，从第一噪声移除单元313接收噪声滤除输出信号的第一图像增强器315，执行提高所得信号的质量的信号处理，并将质量经提高的输出信号提供到第二格式转换器317。举例来说，第一图像增强器315可用以从第一噪声移除单元313提供的噪声滤除输出信号移除假彩色分量(false color component)，或可用以执行锐化操作等。
第二格式转换器317接收由第一图像增强器315提供的质量经提高的信号，并可用以将此信号的格式转换成与第一图像产生器400兼容的格式。举例来说，由第一图像增强器315提供的质量经提高的信号可具有RGB格式，所述RGB格式利用第二格式转换器317被转换成包括光亮度信息及彩色信息的(例如)YUV格式。
再次返回参照图1，第二信号处理器320从第一选择器210接收第一图像输出信号isa，并执行第二图像信号处理，以便产生与第一图像产生器400格式兼容的第二图像输出信号isb。
图4是在一个实施例中进一步说明图1所示的第二信号处理器320的方块图。
参照图4，第二信号处理器320可包括第二选择器220、第三格式转换器321、第三选择器230、第二噪声移除单元323、第二图像增强器325、第四选择器240、第四格式转换器327以及第五选择器250。由第二信号处理器320执行的第二图像信号处理可包括：相对于从第一选择器210接收的第一图像输出信号isa产生具有所需格式的第二图像输出信号isb。被提供到第一选择器210的选择信号SS也可被输入到第二选择器220、第三选择器230、第四选择器240以及第五选择器250。
当选择信号SS包括对应于第一条件C1的信息时，第一选择器210的第一图像输出信号isa可为第二图像信号is2。在此种情形中，第二选择器220可基于选择信号SS向第三格式转换器321提供第二图像信号is2。
第三格式转换器321可接收第二图像信号is2的输入并转换第二图像信号is2的格式，以将第二图像信号提供到第三选择器230。第三格式转换器321可与第一信号处理器310的第一格式转换器311(参见图3)实质上相同。
在第一条件C1下，第三选择器230可基于选择信号SS将第三格式转换器321的输出信号提供到第二噪声移除单元323。
第二噪声移除单元323可接收第三选择器230的输出信号的输入，并移除第三选择器230的输出信号的噪声，以将输出信号提供到第二图像增强器325。第二噪声移除单元323可与第一信号处理器310的第一噪声移除单元313(参见图3)实质上相同。
第二图像增强器325可接收第二噪声移除单元323的输出信号的输入，并执行用于提高第二图像信号is2的质量的工作，以将输出信号输出到第四选择器240。第二图像增强器325可与第一信号处理器310的第一图像增强器315(参见图3)实质上相同。
在第一条件C1下，第四选择器240可基于选择信号SS将第二图像增强器325的输出信号提供到第四格式转换器327。
第四格式转换器327可转换第二图像增强器325的输出信号的格式，以将输出信号提供到第一图像产生器400。第四格式转换器327可与第一信号处理器310的第二格式转换器317(图3)实质上相同。
当选择信号SS包括对应于第二条件C2的信息时，第一选择器210的输出信号isa可为第三图像信号is3。在此种情形中，第二选择器220及第三选择器230可基于选择信号SS将第三图像信号is3提供到第二噪声移除单元323。第三照相机模块1113的第三图像传感器1031可为黑白图像传感器。因此，对于第三图像信号is3来说，利用第三格式转换器321的格式转换工作可能是没有必要的。
第二噪声移除单元323可接收第三图像信号is3的输入并移除第三图像信号is3的噪声，以将第三图像信号提供到第二图像增强器325。第二图像增强器325可接收第二噪声移除单元323的输出信号并执行用于提高第二噪声移除单元323的输出信号的质量的工作，以将输出信号提供到第四选择器240。
在第二条件C2下，第四选择器240可基于选择信号SS将第二图像增强器325的输出信号提供到第五选择器250。在第二条件C2下，第五选择器250可基于选择信号SS输出第二图像增强器325的输出信号作为输出信号isb。也就是说，对于第三图像信号is3来说，利用第四格式转换器327的格式转换工作可能是没有必要的。
再次参照图1，第一图像产生器400可利用第一信号处理器310的输出信号is1a以及第二信号处理器320的输出信号isb来执行图像处理并产生输出图像io。
图5是在一个实施例中进一步说明图1所示的第一图像产生器400的方块图。
参照图5，第一图像产生器400包括深度信息产生单元410、第一输出图像产生单元420、第二输出图像产生单元430以及第三输出图像产生单元440。在一些实施例中，由第一图像产生器400执行的图像处理可包括：利用深度信息产生单元410、第一输出图像产生单元420、第二输出图像产生单元430以及第三输出图像产生单元440来产生两个图像信号isb及is1a作为单个图像(例如，io1或io2)。
深度信息产生单元410可接收两个图像信号isb及is1a的输入，并输出深度信息is_410a以及对应的视差(disparity)信息is_410b。
图6是在一个实施例中进一步说明图5所示的第一图像产生器400的深度信息产生单元410的方块图。
参照图6，深度信息产生单元410可包括调整单元411、对应的视差信息产生器413以及深度信息产生器415。
两个图像信号isb及is1a中的每一者可被输入到调整单元411。两个调整单元411可被设置成对应于两个图像信号isb及is1a。调整单元411可执行用于纠正两个图像信号isb及is1a中的每一者的畸变的校正工作。也就是说，调整单元411可对两个图像信号isb及is1a进行校正以使所述两个图像信号行对准(row-aligned)。在校正工作的进程中，调整单元411可使用例如存储在第一照相机模块1111、第二照相机模块1112以及第三照相机模块1113的第一存储装置1012、第二存储装置1022以及第三存储装置1032中的校准数据等。
可将调整单元411的相应输出输入到对应的视差信息产生器413。对应的视差信息产生器413可搜寻调整单元411的输出信号中的每一者中的对应的点，且可计算其中对两个图像信号isb及is1a进行校正的调整单元411的输出信号的对应视差。对应的视差信息产生器413可输出对应的视差信息is_410b。对应的视差信息is_410b可为例如对应的视差图(disparity map)。
对应的视差信息is_410b可被提供到深度信息产生器415。深度信息产生器415可通过视差转换对应的视差信息is_410b，以产生深度信息is_410a。深度信息is_410a可为例如深度图。
再次参照图5，第一输出图像产生单元420可接收第一信号处理器310的输出信号is1a以及深度信息is_410a的输入，以产生第一输出图像io1。
图7是在一个实施例中说明图5所示的第一图像产生器400的第一输出图像产生单元420的方块图。
参照图7，第一输出图像产生单元420可包括离焦单元(out-focus unit)421。离焦单元421可利用深度信息is_410a将第一信号处理器310的输出信号is1a转换成第一输出图像io1。离焦单元421例如可向第一信号处理器310的输出信号is1a提供离焦效果。
再次参照图5，第二输出图像产生单元430可接收两个图像信号isb及is1a以及对应的视差信息is_410b的输入，以产生第二输出图像io2。
图8是在一个实施例中进一步说明图5所示的第一图像产生器400的第二输出图像产生单元430的方块图。
参照图8，第二输出图像产生单元430可包括像素映射单元431及混合单元433。像素映射单元431可利用对应的视差信息is_410b产生两个图像信号isb及is1a的像素图。混合单元433可接收两个图像信号isb及is1a的输入，并利用像素映射单元431的输出来使所述两个图像信号isb及is1a混合，以产生单个第二输出图像io2。
再次参照图5，当选择信号SS包括对应于第一条件C1的信息时，第三输出图像产生单元440可对第一信号处理器310的输出信号is1a及第二信号处理器320的输出信号isb中的一者进行比例缩放以产生第三输出图像io3。举例来说，当处理器(图1所示的1120)是内建在手机中的应用处理器AP且选择信号(图1所示的SS)包括对应于第一条件(图1所示的C1)的信息时，可为用户支持变焦模式(zoom mode)。
当缩放比(scale ratio)低(即，在第三条件C3中)时，第一信号处理器310的输出信号is1a可由变焦选择器441提供到输出图像产生单元440。第三输出图像产生单元440可对第一信号处理器310的输出信号is1a进行比例缩放以产生第三输出图像io3。也就是说，当变焦选择信号SS_ZOOM包括对应于第三条件C3的信息时，变焦选择器441可将第一信号处理器310的输出信号is1a提供到第三输出图像产生单元440。此处，第三条件C3可为例如其中与第三输出图像产生单元440产生的第三输出图像io3相关联的视角小于与第二图像(图1所示的id2)相关联的视角的情形。
当缩放比增大且与第三输出图像产生单元440产生的第三输出图像io3相关联的视角大于或等于与第二图像(图1所示的id2)相关联的视角时(即，在第四条件C4中)，变焦选择器441可将第二信号处理器320的输出信号isb输出到第三输出图像产生单元440。第三输出图像产生单元440可对第二信号处理器320的输出信号isb进行比例缩放以产生第三输出图像io3。也就是说，当变焦选择信号SS_ZOOM包括对应于第四条件C4的信息时，变焦选择器441可将第二信号处理器320的输出信号isb输出到第三输出图像产生单元440。此时，第四条件C4可为例如其中由第三输出图像产生单元440产生的第三输出图像io3的视角等于或大于第二图像(图1所示的id2)的视角的情形。
例如当处理器(图1所示的1120)是内建在移动电话中的应用处理器AP时，变焦选择信号SS_ZOOM可由选择缩放比的用户确定。举例来说，变焦选择信号SS_ZOOM可由变焦选择信号产生器产生。变焦选择信号产生器可利用用户选择的缩放比信息来产生变焦选择信号SS_ZOOM。在一些实施例中，变焦选择信号产生器可被提供为软件。
再次参照图1，作为第一图像产生器400的输出的输出图像io可为第一输出图像io1及第二输出图像io2中的一者。举例来说，根据预定图像系统的模式，第一输出图像io1、第二输出图像io2以及第三输出图像io3中的一者可被输出作为输出图像io。举例来说，当处理器1120是内建在手机中的应用处理器AP时，第一输出图像io1、第二输出图像io2以及第三输出图像io3中的一者可被输出到移动电话的液晶屏幕。
以下，将参照图9及图10阐述根据本发明概念的一些实施例的图像处理装置。
图9是根据本发明概念的一些实施例说明图像处理装置的方块图，且图10是在一个实施例中进一步说明图9所示的第三信号处理器330的方块图。
参照图9及图10，第三信号处理器330可包括输出第二图像信号is2或第三图像信号is3中的一者的第六选择器260。第三信号处理器330还可包括第三格式转换器321、第二噪声移除单元323、第二图像增强器325、第七选择器270、第四格式转换器327、以及第八选择器280。输入到第六选择器260、第七选择器270以及第八选择器280的选择信号SS可被输入到第三信号处理器330。
第三信号处理器330可接收第二图像信号is2及第三图像信号is3的输入。第二图像信号is2可通过第三格式转换器321被输入到第六选择器260。第三图像信号is3可被输入到第六选择器260。
第六选择器260可在第一条件C1下基于选择信号SS输出第三格式转换器321的输出信号。此外，第六选择器260可在第二条件C2下基于选择信号SS输出第三图像信号is3。换句话说，第六选择器260可执行与参照图1所述的第一选择器(图1所示的210)相同的功能。
第六选择器260的输出信号isa可通过第二噪声移除单元323及第二图像增强器325而被输入到第七选择器270。
第七选择器270可在第一条件C1下基于选择信号SS来连接第四格式转换器327的输入端子与第二图像增强器325的输出端子。同时，第七选择器270可在第二条件C2下基于选择信号SS来输出第二图像增强器325的输出信号作为第三信号处理器330的输出信号isb。
图11是根据本发明概念的一些实施例的图像处理装置的方块图。
参照图11，照相机模块1110_1可包括第九选择器290。第九选择器290可选择第二图像信号is2或第三图像信号is3，并输出图像信号作为输出信号isa。第九选择器290可执行与参照图1所述的第一选择器(图1所示的210)实质上相同的功能。
照相机模块1110_1可将第一图像信号is1及第九选择器290的输出信号isa提供到处理器1120。处理器1120可包括第一接口110、第二接口120以及图像处理器1121。图像处理器1121可包括第一信号处理器310、第二信号处理器320以及第一图像产生器400。
图12是说明根据本发明概念的一些实施例的图像处理装置的方块图，且图13是在一个实施例中进一步说明图12所示的第二图像产生器500的方块图。
参照图12及图13，图像处理器1121可接收第一图像信号is1到第三图像信号is3的输入。图像处理器1121可包括第一信号处理器310、第四信号处理器340、第五信号处理器350以及第二图像产生器500。第二图像产生器500可包括第十选择器299，第十选择器299接收第四信号处理器340的输出信号is2a以及第五信号处理器350的输出信号is3a，以基于选择信号SS输出第四信号处理器340的输出信号is2a及第五信号处理器350的输出信号is3a中的一者。
第四信号处理器340可接收穿过第二接口120的第二图像信号is2，并执行第一图像信号处理以输出输出信号is2a。第五信号处理器350可接收穿过第三接口130的第三图像信号is3，并执行第一图像信号处理以输出输出信号is3a。第四信号处理器340及第五信号处理器350可与参照图1及图3所述的第一信号处理器(图1所示的310)实质上相同。
第一信号处理器310的输出信号is1a、第四信号处理器340的输出信号is2a以及第五信号处理器350的输出信号is3a可被提供到第二图像产生器500。
第二图像产生器500中所包括的第十选择器299可执行与参照图1所述的第一选择器210实质上相同的功能。因此，输出信号isa在第一条件C1下可为第四信号处理器340的输出信号is2a，且输出信号isa在第二条件C2下可为第五信号处理器350的输出信号is3a。
深度信息产生单元410可接收第十选择器299的输出信号isa以及第一信号处理器310的输出信号is1a的输入，以产生深度信息is_410a以及对应的视差信息is_410b。第一输出图像产生单元420可接收第一信号处理器310的输出信号is1a以及深度信息is_410a的输入以产生第一输出图像io1。第二输出图像产生单元430可接收第一信号处理器310的输出信号is1a、第十选择器299的输出信号isa、以及对应的视差信息is_410b的输入以产生第二输出图像io2。第三输出图像产生单元440可利用变焦选择器441的输出信号来产生第三输出图像io3。
以下，将参照图14来阐述根据本发明概念的一些实施例的图像处理方法。为阐释清晰起见，对上述说明便不再予以赘述。
图14是根据本发明概念的一些实施例中概述可由第一选择器(图1所示的210)、第六选择器(图10所示的260)、第九选择器(图11所示的290)、以及第十选择器(图13所示的299)中的任一者执行的某些方法步骤的流程图。
参照图14，可提供第二图像信号及第三图像信号(S100)。
具体来说，例如，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可接收从第二照相机模块(图1、图9、图11及图12中的1112)产生的第二图像信号is2、以及从第三照相机模块(图1、图9、图11及图12中的1113)产生的第三图像信号is3的提供。
在照度与预定值之间进行比较(S200)。当照度大于或等于预定值(即，第一条件C1)时，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可输出第二图像信号is2。当照度小于预定值(即，第二条件C2)时，在步骤S400中，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可输出第三图像信号is3。
图像处理器1121可包括利用第一图像信号is1及选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)的输出信号来产生输出图像io。
根据本发明概念的实施例的图像处理装置可包括选择器(图1中的210、图10中的260、图11中的290以及图13中的299)，所述选择器选择并输出第二图像信号is2及第三图像信号is3中的一者。
在第一条件C1的情形中，选择器(图1中的210、图10中的260、图11中的290以及图13中的299)可选择并输出第二图像信号is2(或第四信号处理器(图12中的340)的输出信号is2a)。图像处理器1121可利用从第一照相机模块(图1、图9、图11及图12中的1111)产生的第一图像信号is1以及从第二照相机模块(图1、图9、图11及图12中的1112)产生的第二图像信号is2来产生输出图像io。第一照相机模块(图1、图9、图11及图12中的1111)的第一透镜L1是广角透镜，而第二照相机模块(图1、图9、图11及图12中的1112)的第二透镜L2可为摄远透镜。因此，当照度相对高时，可提高图像处理装置的变焦操作性能。
在第二条件C2的情形中，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可选择并输出第三图像信号is3的输出信号(或第五处理器(图12中的350)的输出信号is3a)。处理器1120可利用从第一照相机模块(图1、图9、图11及图12中的1111)产生的第一图像信号is1以及从第三照相机模块(图1、图9、图11及图12中的1113)产生的第三图像信号is3来产生输出图像io。第一照相机模块(图1、图9、图11及图12中的1111)的第一图像传感器1011可为彩色图像传感器，且第三照相机模块(图1、图9、图11及图12中的1113)的第三图像传感器可为黑白图像传感器。当照度相对低时，黑白图像传感器可具有比彩色图像传感器更高的图像灵敏度。因此，当照度相对低时，可改善图像处理装置的输出图像io的质量。
图15是根据本发明概念的一些实施例包括图像处理装置的图像系统的概括方块图。图16是根据本发明概念的一些实施例说明包括图像处理装置的图像系统的一部分的概括方块图。
参照图15，图像系统可包括照相机模块1110、处理器1120、存储装置1130、接口1140以及总线1150。照相机模块1110、处理器1120、存储装置1130及/或接口1140可通过总线1150互连。总线1150可对应于数据在照相机模块1110、处理器1120、存储装置1130及/或接口1140之间传递的通过路径。
存储装置1130可存储数据及/或命令等。接口1140可执行将数据传递到通信网络或从通信网络接收数据的功能。接口1140可为有线形式或无线形式。举例来说，接口1140可包括天线或有线/无线收发器等。
尽管图中未示出，但图像系统还可包括高速DRAM及/或SRAM作为操作存储器，用于改善照相机模块1110及处理器1120的操作。
所述图像系统可应用到个人数字助理(personal digital assistant，PDA)、便携式计算机、网络平板电脑、无线电话、移动电话或可在无线情况下传送及/或接收信息的所有电子产品。
在一些实施例中，图像系统可应用到移动电话。举例来说，参照图16，处理器1120及接口1140可设置在板1100上并设置成单个板的形式。照相机模块1110可通过接口1140与处理器1120通信。衬底1100可例如为移动电话的衬底。处理器1120可为例如内建在移动电话中的应用处理器AP。
尽管已参照本发明概念的示例性实施例具体说明并阐述了本发明概念，但所属领域中的普通技术人员将理解，在不背离由以上权利要求书所界定的本发明概念的精神及范围的条件下，可作出各种形式及细节上的变化。所述示例性实施例应仅以阐述性意义来考虑而不用于限制目的。

Claims (26)

1.一种应用处理器，包括：
第一照相机串行接口，配置成自第一照相机模块接收对象的第一图像数据；
第二照相机串行接口，配置成自第二照相机模块接收所述对象的第二图像数据，其中所述第一图像数据和所述第二图像数据是彩色图像数据；
第三照相机串行接口，配置成自第三照相机模块接收所述对象的第三图像数据；
第一信号处理器，连接所述第一照相机串行接口且配置成对所述第一图像数据执行第一图像信号处理以产生第一经处理图像数据；
第二信号处理器，连接所述第二照相机串行接口且配置成对所述第二图像数据执行第二图像信号处理以产生第二经处理图像数据；
第三信号处理器，连接所述第三照相机串行接口且配置成对所述第三图像数据执行第三图像信号处理以产生第三经处理图像数据；
选择器，配置成接收所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据，并响应于变焦选择信号输出所述第一经处理图像数据、所述第二经处理图像数据及所述第三经处理图像数据中的一者；以及
输出图像产生器，配置成处理所述选择器的输出，以产生图像输出，
其中所述变焦选择信号响应于缩放比来改变。
2.根据权利要求1所述的应用处理器，还包括另一输出图像产生器，所述另一输出图像产生器配置成基于所述对象的深度信息自所述第一经处理图像数据产生另一图像输出。
3.根据权利要求2所述的应用处理器，还包括深度信息产生器，所述深度信息产生器配置成基于所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据之间的视差信息产生所述深度信息。
4.根据权利要求2所述的应用处理器，其中所述另一输出图像产生器配置成基于所述深度信息对所述第一经处理图像数据提供离焦效果。
5.根据权利要求1所述的应用处理器，还包括另一输出图像产生器，所述另一输出图像产生器配置成基于所述对象的深度信息产生所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据的像素图，且利用所产生的所述像素图混合所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据，以产生另一图像输出。
6.根据权利要求5所述的应用处理器，还包括深度信息产生器，所述深度信息产生器配置成基于所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据之间的视差信息产生所述深度信息。
7.根据权利要求1所述的应用处理器，其中所述输出图像产生器配置成比例缩放所述选择器的所述输出，以产生所述图像输出。
8.一种应用处理器，包括：
第一照相机串行接口，配置成自第一照相机模块接收对象的第一图像数据；
第二照相机串行接口，配置成自第二照相机模块接收所述对象的第二图像数据；
第三照相机串行接口，配置成自第三照相机模块接收所述对象的第三图像数据，
处理器，配置成
分别从所述第一照相机串行接口、所述第二照相机串行接口及所述第三照相机串行接口接收所述第一图像数据、所述第二图像数据及所述第三图像数据，
对所述第一图像数据、所述第二图像数据及所述第三图像数据执行图像信号处理，以及
基于变焦选择信号处理所述第一图像数据、所述第二图像数据及所述第三图像数据中的一者，
其中所述第一图像数据和所述第二图像数据是彩色图像数据，
其中所述处理器配置成基于所述对象的深度信息及所述第一图像数据产生具有离焦效果的图像输出；以及
深度信息产生器，配置成基于所述第二图像数据及所述第三图像数据中的一者与所述第一图像数据之间的视差信息产生所述深度信息，
其中所述深度信息产生器还配置成经由对所述第二图像数据及所述第三图像数据中的一者与所述第一图像数据进行行对准来校正畸变，且基于经行对准的所述第二图像数据及所述第三图像数据中的一者与所述第一图像数据产生所述视差信息。
9.根据权利要求8所述的应用处理器，其中所述处理器配置成基于所述变焦选择信号对所述第一图像数据、所述第二图像数据及所述第三图像数据中的一者进行比例缩放。
10.一种应用处理器，包括：
第一照相机串行接口，配置成自第一照相机模块接收对象的第一图像数据；
第二照相机串行接口，配置成自第二照相机模块接收所述对象的第二图像数据，其中所述第一图像数据和所述第二图像数据是彩色图像数据；
第三照相机串行接口，配置成自第三照相机模块接收所述对象的第三图像数据；
第一信号处理器，连接所述第一照相机串行接口且配置成对所述第一图像数据执行第一图像信号处理以产生第一经处理图像数据；
第二信号处理器，连接所述第二照相机串行接口且配置成对所述第二图像数据执行第二图像信号处理以产生第二经处理图像数据；
第三信号处理器，连接所述第三照相机串行接口且配置成对所述第三图像数据执行第三图像信号处理以产生第三经处理图像数据；
选择器，配置成接收所述第一经处理图像数据、与所述第二经处理图像数据及所述第三经处理图像数据中的一者，并响应于变焦选择信号输出所述第一经处理图像数据、所述第二经处理图像数据及所述第三经处理图像数据中的一者；
输出图像产生器，配置成处理所述选择器的输出，以产生图像输出，
另一输出图像产生器，配置成基于所述对象的深度信息自所述第一经处理图像数据产生另一图像输出；以及
深度信息产生器，配置成基于所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据之间的视差信息产生所述深度信息，
其中所述深度信息产生器还配置成经由对所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据进行行对准来校正畸变，且基于经行对准的所述第二经处理图像数据及所述第三经处理图像数据中的一者与所述第一经处理图像数据产生所述视差信息。
11.一种应用处理器，包括：
第一照相机串行接口，配置成自第一照相机模块接收对象的第一图像信号；
第二照相机串行接口，配置成自第二照相机模块接收所述对象的第二图像信号，其中所述第一图像信号和所述第二图像信号是彩色图像数据；以及
第三照相机串行接口，配置成自第三照相机模块接收所述对象的第三图像信号，
其中所述应用处理器配置成基于选择信号选择所述第二图像信号及所述第三图像信号中的一者作为所选图像信号，且基于所述第一图像信号和所述所选图像信号产生输出图像，
其中所述选择信号包括变焦选择信号，所述变焦选择信号响应于缩放比来改变，
其中所述第一照相机模块、所述第二照相机模块和所述第三照相机模块的每一者与所述应用处理器间隔开。
12.根据权利要求11所述的应用处理器，其中所述应用处理器还包括
第一信号处理器，配置成接收所述第一图像信号且执行第一图像信号处理以产生第一图像输出信号；以及
第二信号处理器，配置成接收所述所选图像信号且执行第二图像信号处理以产生第二图像输出信号，以及
其中所述应用处理器配置成基于所述第一图像输出信号及所述第二图像输出信号产生所述输出图像。
13.根据权利要求12所述的应用处理器，其中所述应用处理器还包括选择器，所述选择器配置成接收所述第二图像信号及所述第三图像信号且输出所述第二图像信号及所述第三图像信号中的一者作为所述所选图像信号。
14.根据权利要求13所述的应用处理器，其中所述应用处理器配置成产生所述第一图像输出信号或所述第二图像输出信号中的一者作为所述输出图像。
15.根据权利要求13所述的应用处理器，其中所述第一信号处理器还包括格式转换器，所述格式转换器配置成对所述第一图像信号进行去马赛克操作。
16.根据权利要求15所述的应用处理器，其中所述第一信号处理器还包括噪声移除单元，所述噪声移除单元配置成从所述格式转换器的输出移除一个或多个噪声分量。
17.根据权利要求13所述的应用处理器，其中所述第二信号处理器还包括格式转换器，所述格式转换器配置成对所述所选图像信号进行去马赛克操作。
18.根据权利要求17所述的应用处理器，其中所述第二信号处理器还包括噪声移除单元，所述噪声移除单元配置成从所述格式转换器的输出移除一个或多个噪声分量。
19.根据权利要求16所述的应用处理器，其中所述第一信号处理器还包括格式转换器，所述格式转换器配置成将所述噪声移除单元的输出转换成YUV格式。
20.一种应用处理器，包括：
第一照相机串行接口，配置成自第一照相机模块接收对象的第一图像信号；
第二照相机串行接口，配置成自第二照相机模块接收所述对象的第二图像信号，其中所述第一图像信号和所述第二图像信号是彩色图像数据；
第三照相机串行接口，配置成自第三照相机模块接收所述对象的第三图像信号；
第一信号处理器，配置成接收所述第一图像信号且执行第一图像信号处理以产生第一图像输出信号；以及
第二信号处理器，配置成接收所述第二图像信号及所述第三图像信号中的一者且执行第二图像信号处理以产生第二图像输出信号，
其中所述应用处理器配置成基于所述第一图像输出信号及所述第二图像输出信号根据缩放比产生第一输出图像、第二输出图像及第三输出图像中的一者，
其中所述第一照相机模块、所述第二照相机模块和所述第三照相机模块的每一者与所述应用处理器间隔开，以及
其中所述第一信号处理器配置成对所述第一图像信号进行第一去马赛克操作。
21.根据权利要求20所述的应用处理器，其中所述第二信号处理器配置成对所述第二图像信号及所述第三图像信号中的一者进行第二去马赛克操作。
22.根据权利要求21所述的应用处理器，其中所述第一信号处理器配置成基于所述第一图像信号产生第一YUV格式，且所述第二信号处理器配置成基于所述第二图像信号及所述第三图像信号中的一者产生第二YUV格式。
23.根据权利要求21所述的应用处理器，其中述第二信号处理器配置成接收所述第二图像信号及所述第三图像信号中的一者，且对所述第二图像信号及所述第三图像信号中的一者执行所述第二图像信号处理以产生所述第二图像输出信号。
24.一种应用处理器，包括：
第一照相机串行接口，配置成自第一照相机模块接收对象的第一图像信号；
第二照相机串行接口，配置成自第二照相机模块接收所述对象的第二图像信号，其中所述第一图像信号和所述第二图像信号是彩色图像数据；
第三照相机串行接口，配置成自第三照相机模块接收所述对象的第三图像信号；
第一信号处理器，配置成接收所述第一图像信号且执行第一图像信号处理以产生第一图像输出信号；以及
第二信号处理器，配置成基于选择信号接收所述第二图像信号及所述第三图像信号中的一者且对所述第二图像信号及所述第三图像信号中的一者执行第二图像信号处理以产生第二图像输出信号，
其中所述应用处理器配置成基于所述第一图像输出信号及所述第二图像输出信号产生输出图像，
其中所述选择信号包括变焦选择信号，所述变焦选择信号响应于缩放比来改变，
其中所述第一照相机模块、所述第二照相机模块和所述第三照相机模块的每一者与所述应用处理器间隔开，
其中所述第一信号处理器配置成基于所述第一图像信号产生第一YUV格式，且所述第二信号处理器配置成基于所述第二图像信号及所述第三图像信号中的一者产生第二YUV格式。
25.根据权利要求24所述的应用处理器，其中所述第一信号处理器还包括格式转换器，所述格式转换器配置成对所述第一图像信号进行去马赛克操作。
26.根据权利要求25所述的应用处理器，其中所述第一信号处理器还包括噪声移除单元，所述噪声移除单元配置成从所述格式转换器的输出移除一个或多个噪声分量。
CN202010581303.2A 2017-06-02 2018-05-28 应用处理器 Active CN111787220B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR10-2017-0069040 2017-06-02
CN201810523612.7A CN108989655B (zh) 2017-06-02 2018-05-28 图像处理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810523612.7A Division CN108989655B (zh) 2017-06-02 2018-05-28 图像处理装置

Publications (2)

Publication Number Publication Date
CN111787220A CN111787220A (zh) 2020-10-16
CN111787220B true CN111787220B (zh) 2022-03-22

Family

ID=64460847

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201910487816.4A Active CN110149467B (zh) 2017-06-02 2018-05-28 移动电话
CN202010581303.2A Active CN111787220B (zh) 2017-06-02 2018-05-28 应用处理器
CN201910487817.9A Active CN110225232B (zh) 2017-06-02 2018-05-28 图像处理装置
CN201910488440.9A Pending CN110149468A (zh) 2017-06-02 2018-05-28 应用处理器
CN201910488444.7A Pending CN110113519A (zh) 2017-06-02 2018-05-28 照相机模块
CN201810523612.7A Active CN108989655B (zh) 2017-06-02 2018-05-28 图像处理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910487816.4A Active CN110149467B (zh) 2017-06-02 2018-05-28 移动电话

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201910487817.9A Active CN110225232B (zh) 2017-06-02 2018-05-28 图像处理装置
CN201910488440.9A Pending CN110149468A (zh) 2017-06-02 2018-05-28 应用处理器
CN201910488444.7A Pending CN110113519A (zh) 2017-06-02 2018-05-28 照相机模块
CN201810523612.7A Active CN108989655B (zh) 2017-06-02 2018-05-28 图像处理装置

Country Status (4)

Country Link
US (6) US10348978B2 (zh)
KR (1) KR102204596B1 (zh)
CN (6) CN110149467B (zh)
TW (3) TWI811386B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411473B (zh) * 2018-03-20 2023-09-26 华为技术有限公司 一种终端
CN111885294B (zh) 2018-03-26 2022-04-22 华为技术有限公司 一种拍摄方法、装置与设备
US11108995B2 (en) * 2018-09-11 2021-08-31 Draeger Medical Systems, Inc. System and method for gas detection
CN112788201A (zh) * 2019-11-07 2021-05-11 虹软科技股份有限公司 摄像系统
KR20220049871A (ko) * 2020-10-15 2022-04-22 삼성전자주식회사 카메라 모듈 및 이를 포함하는 전자 장치
CN112233037B (zh) * 2020-10-23 2021-06-11 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法
CN113726995B (zh) * 2021-08-12 2022-06-10 荣耀终端有限公司 摄像模组结构及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771797A (zh) * 2008-12-31 2010-07-07 Lg电子株式会社 用于生成压缩文件的方法和装置及包括该装置的终端
CN105100559A (zh) * 2014-05-16 2015-11-25 宏达国际电子股份有限公司 手持式电子装置、图像提取装置及其图像提取方法
CN105991946A (zh) * 2015-03-16 2016-10-05 三星电子株式会社 图像信号处理器和包括该图像信号处理器的装置
CN106067937A (zh) * 2015-04-23 2016-11-02 聚晶半导体股份有限公司 镜头模块阵列、图像感测装置与数字缩放图像融合方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH068869A (ja) 1991-01-29 1994-01-18 Kouta Nezu 車両の操向装置
US5347476A (en) * 1992-11-25 1994-09-13 Mcbean Sr Ronald V Instrumentation system with multiple sensor modules
US7071971B2 (en) * 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
JP2001245266A (ja) 2000-02-25 2001-09-07 Matsushita Electric Ind Co Ltd 携帯型情報通信端末装置
JP2003018445A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP4210189B2 (ja) 2003-09-24 2009-01-14 フジノン株式会社 撮像装置
JP2005099265A (ja) * 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7284921B2 (en) * 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
EP1942660A1 (en) * 2007-01-02 2008-07-09 STMicroelectronics (Research & Development) Limited Improvements in image sensor noise reduction
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
CN101408720A (zh) * 2007-10-11 2009-04-15 鸿富锦精密工业（深圳）有限公司 便携式电子装置
CN102356630B (zh) 2009-03-19 2016-01-27 数字光学公司 双传感器照相机
JP5220666B2 (ja) * 2009-03-24 2013-06-26 オリンパスイメージング株式会社 撮影装置およびライブビュー表示方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
CN102118551A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
WO2011091091A1 (en) * 2010-01-19 2011-07-28 Delacom Detection Systems, Llc A method, device and system for determining the presence of volatile organic compounds (voc) in video
US8736695B2 (en) * 2010-11-12 2014-05-27 Qualcomm Incorporated Parallel image processing using multiple processors
JP5816015B2 (ja) 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US9110332B2 (en) 2012-03-29 2015-08-18 Shenzhen China Star Optoelectronics Technology Co., Ltd. Backlight module and liquid crystal display
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
CN105556944B (zh) * 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
JP6100089B2 (ja) * 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109040552B (zh) 2013-06-13 2021-06-22 核心光电有限公司 双孔径变焦数字摄影机
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
TWM511632U (zh) * 2015-02-03 2015-11-01 Largan Precision Co Ltd 相機模組及電子裝置
KR102359268B1 (ko) * 2015-02-16 2022-02-08 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US10708526B2 (en) * 2015-04-22 2020-07-07 Motorola Mobility Llc Method and apparatus for determining lens shading correction for a multiple camera device with various fields of view
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
CN211825673U (zh) * 2015-12-07 2020-10-30 菲力尔系统公司 成像装置
KR101751140B1 (ko) * 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
CN106454101A (zh) * 2016-10-25 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771797A (zh) * 2008-12-31 2010-07-07 Lg电子株式会社 用于生成压缩文件的方法和装置及包括该装置的终端
CN105100559A (zh) * 2014-05-16 2015-11-25 宏达国际电子股份有限公司 手持式电子装置、图像提取装置及其图像提取方法
CN105991946A (zh) * 2015-03-16 2016-10-05 三星电子株式会社 图像信号处理器和包括该图像信号处理器的装置
CN106067937A (zh) * 2015-04-23 2016-11-02 聚晶半导体股份有限公司 镜头模块阵列、图像感测装置与数字缩放图像融合方法

Also Published As

Publication number Publication date
US20180352169A1 (en) 2018-12-06
CN110149467B (zh) 2021-02-09
US20190281231A1 (en) 2019-09-12
US11153506B2 (en) 2021-10-19
US10798312B2 (en) 2020-10-06
TW201937448A (zh) 2019-09-16
US10805555B2 (en) 2020-10-13
TWI811386B (zh) 2023-08-11
CN108989655B (zh) 2022-03-22
CN110149468A (zh) 2019-08-20
US10348978B2 (en) 2019-07-09
KR20180132299A (ko) 2018-12-12
US10666876B2 (en) 2020-05-26
CN110225232B (zh) 2022-01-04
US20200296299A1 (en) 2020-09-17
CN110225232A (zh) 2019-09-10
CN110113519A (zh) 2019-08-09
CN110149467A (zh) 2019-08-20
CN108989655A (zh) 2018-12-11
TWI720516B (zh) 2021-03-01
TW201937449A (zh) 2019-09-16
US20190281232A1 (en) 2019-09-12
US20190289222A1 (en) 2019-09-19
TW201903707A (zh) 2019-01-16
CN111787220A (zh) 2020-10-16
KR102204596B1 (ko) 2021-01-19
TWI796323B (zh) 2023-03-21
US20190281230A1 (en) 2019-09-12
US10708517B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111787220B (zh) 应用处理器
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10762664B2 (en) Multi-camera processor with feature matching
CN118764726A (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법
US20110279702A1 (en) Method and System for Providing a Programmable and Flexible Image Sensor Pipeline for Multiple Input Patterns
US11501418B2 (en) Multi-level lookup tables for control point processing and histogram collection
US20070177018A1 (en) Image sensor coprocessor
US7619652B2 (en) Frame processing and frame processing method
KR100455159B1 (ko) 휴대 단말기 카메라 센서의 실시간 화질 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant