[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113366527B - 用于处理图像的电子装置和方法 - Google Patents

用于处理图像的电子装置和方法 Download PDF

Info

Publication number
CN113366527B
CN113366527B CN202080012111.8A CN202080012111A CN113366527B CN 113366527 B CN113366527 B CN 113366527B CN 202080012111 A CN202080012111 A CN 202080012111A CN 113366527 B CN113366527 B CN 113366527B
Authority
CN
China
Prior art keywords
sub
image
image signal
signal processor
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080012111.8A
Other languages
English (en)
Other versions
CN113366527A (zh
Inventor
韩春雨
金正勳
尹相烈
Sm·扎希德·伊沙克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113366527A publication Critical patent/CN113366527A/zh
Application granted granted Critical
Publication of CN113366527B publication Critical patent/CN113366527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种用于处理图像的方法以及用于其的电子装置。所述电子装置包括图像传感器、存储器和处理器。处理器被配置为使用图像传感器获得原始图像，使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息，通过使用与相应于所述多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像，通过使用与相应于所述多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像，并且通过使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。

Description

用于处理图像的电子装置和方法
技术领域
本公开涉及一种用于处理图像的方法和包括该方法的电子装置。
背景技术
各种电子装置(诸如智能电话、平板个人计算机(PC)、便携式多媒体播放器(PMP)、个人数字助理(PDA)、膝上型PC和包括腕表和头戴式显示器(HMD)的可穿戴装置)包括相机并且可使用相机捕获图像。
以上信息作为背景信息被呈现仅用于帮助理解本公开。至于以上信息中的任何信息是否可应用为针对本公开的现有技术，尚未做出确定并且尚未进行声明。
发明内容
技术问题
通常，当处理捕获的图像时，电子装置可检测、处理和显示来自捕获的图像的表示场景的单个对象。由于图像是针对表示场景的对象被处理的，因此对其他对象的图像处理是无效的。
为了不仅处理表示场景的对象，而且处理其他对象，可使用将各个对象从图像中分离、进行图像处理并合成的技术。该技术是后图像处理方法，并且涉及多次执行图像处理以便对多个对象应用多个图像处理效果，因此造成处理速度的问题。
本公开的各方面在于至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一方面在于提供一种用于电子装置的设备和方法以及电子装置的图像处理方法。根据各种实施例，所述电子装置可并行地对包括在图像中的各种对象执行图像处理。
另外的方面将在下面的描述中被部分地阐述，并且部分地，将从描述而清楚，或者可通过本实施例的实践来获知。
根据各种实施例的电子装置和电子装置的图像处理方法可按照图像传感器的像素并行地执行图像处理。
技术方案
根据本公开的一方面，提供一种电子装置。所述电子装置包括图像传感器、存储器和至少一个处理器，其中，所述至少一个处理器被配置为：使用图像传感器获得原始图像，使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息，通过使用与相应于所述多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像，通过使用与相应于所述多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像，并且通过使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
根据本公开的另一方面，提供一种包括图像传感器的电子装置的图像处理方法。所述图像处理方法包括：使用图像传感器获得原始图像，使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息，通过使用与相应于所述多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像，通过使用与相应于所述多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像，并且通过使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
根据各种实施例的电子装置和电子装置的图像处理方法可并行地针对包括在图像中的各种对象执行图像处理，从而为用户提供质量提高的图像。
根据各种实施例的电子装置和电子装置的图像处理方法可并行地针对包括在图像中的各种对象执行图像处理，从而为用户提供快速处理的图像。
根据各种实施例的电子装置和电子装置的图像处理方法可按照图像传感器的像素并行地执行图像处理，从而为用户提供质量提高的图像。
根据各种实施例的电子装置和电子装置的图像处理方法可按照图像传感器的像素并行地执行图像处理，从而为用户提供快速处理的图像。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
有益效果
根据各种实施例的电子装置和电子装置的图像处理方法可并行地针对包括在图像中的各种对象执行图像处理，从而为用户提供质量提高的图像。
根据各种实施例的电子装置和电子装置的图像处理方法可并行地针对包括在图像中的各种对象执行图像处理，从而为用户提供快速处理的图像。
根据各种实施例的电子装置和电子装置的图像处理方法可按照图像传感器的像素并行地执行图像处理，从而为用户提供质量提高的图像。
根据各种实施例的电子装置和电子装置的图像处理方法可按照图像传感器的像素并行地执行图像处理，从而为用户提供快速处理的图像。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
根据以下结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
图1是示出根据本公开的实施例的网络环境中的电子装置的框图；
图2是示出根据本公开的实施例的相机模块的框图；
图3示出根据本公开的实施例的电子装置按对象处理图像的方法；
图4是示出根据本公开的各种实施例的图3中公开的电子装置的图像处理方法的框图；
图5示出根据本公开的实施例的电子装置按像素处理图像的方法；
图6示出根据本公开的实施例的图5中公开的电子装置按像素处理图像的方法；
图7示出根据本公开的实施例的电子装置按像素处理图像的方法；以及
图8示出根据本公开的实施例的图7中公开的电子装置按像素处理图像的方法。
在整个附图中，相同的参考标号将被理解为指相同的部件、组件和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些细节仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可进行对本文描述的各种实施例的各种改变和修改。此外，为了清楚和简明，可省略对公知功能和结构的描述。
在以下描述和权利要求书中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是用于限制由所附权利要求及其等同物限定的本公开的目的。
将理解，除非上下文另有明确规定，否则单数形式包括复数指示物。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
图1是示出根据本公开的实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的另一部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置中的一种。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于上述那些。
应理解，本公开的各种实施例和其中使用的术语不旨在将本文阐述的技术特征限于特定实施例，并且包括相应实施例的各种改变、等同物或替换物。关于附图的描述，相似的参考标号可用于指相似或相关的元件。将理解，除非相关上下文另有明确说明，否则与项相应的单数形式名词可包括一个或更多个事物。如本文使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”的这些短语中的每个短语可包括在短语中的相应一个短语中一起列举的项中的任意一个或所有可能的组合。如本文使用的，诸如“第一”和“第二”的术语可用于简单地将相应的组件与另一组件区分开，并且不在其他方面(例如，重要性或顺序)限制组件。将理解，如果元件(例如，第一元件)在有或没有术语“可操作地”或“通信地”的情况下被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着该元件可直接(例如，有线地)、无线地或经由第三元件与所述另一元件耦接。
如本文使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(例如“逻辑”、“逻辑块”、“部件”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或者最小单元或最小单元的一部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将本文阐述的各种实施例实现为包括存储在可由机器(例如，电子装置101)读取的存储介质(例如，内部存储器136或外部存储器138)中的一个或更多个指令的软件(例如，程序140)。例如，机器(例如，电子装置101)的处理器(例如，处理器120)可调用存储在存储介质中的一个或更多个指令中的至少一个指令，并在处理器的控制下使用或不使用一个或更多个其他组件来执行至少一个指令。这允许根据调用的至少一个指令操作机器以执行至少一个功能。一个或更多个指令可包括由编译器生成的代码或可由解释器执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。其中，术语“非暂时性”仅意味着存储介质是有形装置，并且不包括信号(例如，电磁波)，但该术语不在数据被半永久地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者与购买者之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式被发布，或者经由应用商店(例如，Play StoreTM)被在线发布(例如，下载或上传)，或者直接在两个用户装置(例如，智能电话)之间被分发。如果是在线发布的，则计算机程序产品的至少一部分可被临时生成或至少被临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述组件中的一个或更多个组件，或者可添加一个或更多个其他组件。可选地或另外地，可将多个组件(例如，模块或程序)集成为单个组件。在这种情况下，根据各种实施例，集成组件仍然可以以与在集成之前由多个组件中的相应一个组件执行的方式相同或相似的方式执行多个组件中的每个组件的一个或更多个功能。根据各种实施例，由模块、程序或另一组件执行的操作可顺序地、并行地、重复地或以启发式方式被执行，或者操作中的一个或更多个操作可以以不同的顺序被执行或被省略，或者可添加一个或更多个其他操作。
图2是示出根据本公开的实施例的相机模块180的框图200。
参照图2，相机模块180可包括透镜组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。透镜组件210可收集从将被拍摄图像的对象发射或反射的光。透镜组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个透镜组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个透镜组件210中的一些可具有相同的透镜属性(例如，视角、焦距、自动聚焦、f数或光学变焦)，或者至少一个透镜组件可具有与另一透镜组件的透镜属性不同的一个或更多个透镜属性。透镜组件210可包括例如广角透镜或远摄透镜。
闪光灯220可发射用于增强从对象反射的光的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从对象发射或反射并经由透镜组件210透射的光转换为电信号来获得与对象相应的图像。根据实施例，图像传感器230可包括从具有不同属性的图像传感器(诸如RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)中选择的一个图像传感器、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可在特定方向上移动图像传感器230或包括在透镜组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的操作属性(例如，调整读出时序)。这允许补偿由正在捕获的图像的移动引起的负面影响(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这种移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少临时地存储经由图像传感器230获得的图像的至少一部分以用于后续图像处理任务。例如，如果图像捕获由于快门滞后而延迟或者多个图像被快速捕获，则可将获得的原始图像(例如，拜耳图案化图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160预览其相应的复制图像(例如，低分辨率图像)。此后，如果满足指定条件(例如，根据用户的输入或系统命令)，则可例如通过图像信号处理器260获得并处理存储在存储器250中的原始图像的至少一部分。根据实施例，存储器250可被配置为存储器130的至少一部分，或者被配置为独立于存储器130操作的单独存储器。
图像信号处理器260可针对经由图像传感器230获得的图像或存储在存储器250中的图像执行一个或更多个图像处理。一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或软化)。附加地或可选地，图像信号处理器260可针对包括在相机模块180中的组件中的至少一个组件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。由图像信号处理器260处理后的图像可被存储回存储器250中以进行进一步处理，或者可被提供给相机模块180外部的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，图像信号处理器260可被配置为处理器120的至少一部分，或者被配置为独立于处理器120操作的单独处理器。如果图像信号处理器260被配置为与处理器120的单独处理器，则由图像信号处理器260处理的至少一个图像可由处理器120经由显示装置160原样显示或在被进一步处理之后显示。
图像信号处理器260可包括至少一个处理器。图像信号处理器260可包括至少一个图像信号处理器2601、2602、2603或2604。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，多个相机模块180中的至少一个可形成例如广角相机，并且多个相机模块180中的至少另一个可形成远摄相机。类似地，多个相机模块180中的至少一个可形成例如前置相机，并且多个相机模块180中的至少另一个可形成后置相机。
图3示出根据本公开的实施例的电子装置101按对象处理图像的方法。
参照图3，在操作301，电子装置101可在处理器120的控制下使用相机模块180的图像传感器230获得原始图像。原始图像可包括至少一个对象。
在操作303，电子装置101可在处理器120的控制下使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息。
电子装置101可使用识别模块来识别包括在原始图像中的对象。例如，图像可包括各种对象(诸如人、天空、花或文字)，并且电子装置101可使用识别模块识别与包括在图像中的对象相应的区域，并且可对识别信息进行识别。
电子装置101可将识别模块存储在存储器130中作为在处理器120中可执行的逻辑模块。电子装置101可将识别模块嵌入在处理器120中。
识别模块可以是逻辑模块，并且可被配置为外部电子装置中的处理器(例如，处理器120)。识别模块可分析来自图像(例如，原始图像、小原始图像、图像文件等)的各种重要信息(例如，对象识别、速度矢量、面部识别、分割、场景解析等)。为此，识别模块可包括各种算法。识别模块可生成、存储或发送用于图像信号处理器260使用来进行各种类型的图像处理的信息(配方信息，例如，包括片段、层、矢量或场景类别的信息)，作为与图像相关联的分析结果。
电子装置101可使用识别模块对包括在原始图像中的多个对象进行优先级排序，并且可仅对预设优先级内的对象执行校准处理。
例如，预设优先级可与图像信号处理器260的数量相应。电子装置101可包括第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604，并且可对与四个图像信号处理器相应的四个优先级内的对象执行校准处理。
例如，当原始图像包括诸如草坪、人、汽车、文件、自然对象或天空的各种对象时，电子装置101可对多个对象进行优先级排序，并且可对在预设优先级内的对象执行校准处理。
在操作305，电子装置101可在图像信号处理器260或处理器120的控制下，通过使用与相应于多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像。
图像信号处理器260可使用以下项中的至少一项来校准图像：原始颜色映射、细节再生、文本重建、图像修复、基于场景的白平衡(WB)/颜色调整、基于分割的降噪(NR)/锐化或基于分割的细节增强。
多个子区域可与包括在原始图像中的多个对象相应。第一子区域可与包括在原始图像中的多个对象中的一个对象(例如，第一对象)相应。第一识别信息可以是通过经由识别模块识别第一对象而获得的重要信息(例如，通过将第一对象识别为对象或面部而获得的信息)。
第一参数集可包括原始颜色映射参数、细节再生参数、文本重建参数、图像修复参数、基于场景的白平衡(WB)/颜色调整参数、基于分割的降噪(NR)/锐化参数或基于分割的细节增强参数中的至少一个图像处理参数。
根据各种实施例，在操作305，电子装置101可在图像信号处理器260或处理器120的控制下，通过第一图像信号处理器2601使用与相应于多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像。
在操作307，电子装置101可在图像信号处理器260或处理器120的控制下，通过使用与相应于多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像。
第二子区域可与包括在原始图像中的多个对象中的一个对象(例如，第二对象)相应。第二识别信息可以是通过经由识别模块识别第二对象而获得的重要信息(例如，通过将第二对象识别为对象或面部而获得的信息)。
第二参数集可包括原始颜色映射参数、细节再生参数、文本重建参数、图像修复参数、基于场景的白平衡(WB)/颜色调整参数、基于分割的降噪(NR)/锐化参数或基于分割的细节增强参数中的至少一个图像处理参数。
根据各种实施方式，在操作307，电子装置101可在图像信号处理器260或处理器120的控制下，通过第二图像信号处理器2602使用与相应于多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像。
电子装置101可通过使用多个图像信号处理器中的一个图像信号处理器对原始图像执行第一图像校准处理来生成第一图像，并且可通过使用多个图像信号处理器中的另一图像信号处理器对原始图像执行第二图像校准处理来生成第二图像。例如，电子装置101可使用第一图像信号处理器2601和第二图像信号处理器2602同时或并行地生成第一图像和第二图像。
在各种实施例中，电子装置101可使用第一图像信号处理器2601和第二图像信号处理器2602同时或并行地执行操作305和操作307。
在操作309，电子装置101可在图像信号处理器260或处理器120的控制下至少使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
根据各种实施例，当在操作305生成第一图像时，电子装置101可针对识别出的第一对象执行图像校准处理。当在操作307生成第二图像时，电子装置101可针对识别出的第二对象执行图像校准处理。在操作309，电子装置101可从第一图像中提取针对第一对象校准的子区域，可从第二图像中提取针对第二对象校准的子区域，并且可对提取的子区域进行合成，从而生成第三图像。
图4是示出根据本公开的实施例的图3中公开的电子装置101的图像处理方法的框图。
电子装置101可使用相机模块180的图像传感器230获得原始图像。原始图像可包括至少一个对象。
电子装置101可将原始图像从图像传感器230发送到处理器120。处理器120可使用识别模块基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息。处理器120可包括第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604。
电子装置101可使用处理器120的识别模块来识别包括在原始图像中的对象。例如，原始图像可包括各种对象(诸如人、天空、花或文字)，并且电子装置101可使用识别模块识别与包括在图像中的对象相应的区域，并且可对识别信息进行识别。
电子装置101可使用处理器120的识别模块对包括在原始图像中的多个对象进行优先级排序，并且可仅对预设优先级内的对象执行校准处理。
例如，预设优先级可与图像信号处理器260的数量相应。电子装置101可包括第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604，并且可对与四个图像信号处理器相应的四个优先级内的对象执行校准处理。
例如，当原始图像包括诸如草坪、人、汽车、文字、自然对象或天空的各种对象时，电子装置101可对多个对象进行优先级排序，并且可对预设优先级内的对象执行校准处理。
例如，当与第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604相应的包括草坪、人、汽车和文字的四个对象被选择为优先级内的对象时，第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604可分别针对所选择的对象校准图像。具体地，第一图像信号处理器2601可通过生成和校准关于人的图像来生成第一图像。第二图像信号处理器2602可通过生成和校准关于草坪的图像来生成第二图像。第三图像信号处理器2603可通过生成和校准关于汽车的图像来生成第三图像。第四图像信号处理器2604可通过生成和校准关于文字的图像来生成第四图像。
电子装置101可从第一校准图像至第四校准图像中提取子区域，可对子区域进行合成，并且可在显示装置160上显示合成图像。
图5示出根据本公开的实施例的电子装置101按像素处理图像的方法。
电子装置101可使用相机模块180的图像传感器230获得原始图像。原始图像可包括至少一个对象。
电子装置101可将原始图像从图像传感器230发送到处理器120。处理器120可使用识别模块基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息。处理器120可包括第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604。
电子装置101可使用处理器120的识别模块来识别包括在原始图像中的对象。例如，原始图像可包括各种对象(诸如人、天空、花或文字)，并且电子装置101可使用识别模块识别与包括在图像中的对象相应的区域，并且可对识别信息进行识别。
电子装置101可使用处理器120的识别模块对包括在原始图像中的多个对象进行优先级排序，并且可仅对预设优先级内的对象执行校准处理。
在操作501，包括至少两个图像信号处理器的电子装置101可在处理器120的控制下使用图像传感器230获得原始图像。
在操作503，电子装置101在处理器120的控制下，可对与图像传感器230中的像素中的等效位置相应的各个像素的子像素进行分组并且可将像素组分类成与包括在电子装置101中的图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成多个子像素的图像传感器。例如，当与一个通道(例如，一个滤色器R、G或B)相应的像素包括两个子像素时，图像传感器230可被称为2光电二极管(2PD)或双PD；当像素包括四个子像素时，图像传感器230可被称为4PD、四倍传感器或四元传感器(tetra-sensor)。此外，在图像传感器230中，子像素可共享微透镜，或者每个子像素可具有微透镜。
在各种实施例中，图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成两个子像素的图像传感器。
在各种实施例中，图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成四个子像素的图像传感器。
例如，图像传感器230可包括呈各种阵列(例如，拜耳阵列)的滤色器。滤色器可包括多个像素。电子装置101可将与滤色器(或通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与包括在电子装置101中的图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。
例如，包括滤色器的图像传感器230可包括红色滤色器、绿色滤色器和蓝色滤色器。红色滤色器、绿色滤色器和蓝色滤色器中的每一个可包括多个像素。电子装置101可将与滤色器(通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。具体地，当电子装置101包括四个图像信号处理器时，可将像素组分类成四个子组。当电子装置101包括两个图像信号处理器时，可将像素组分类成两个子组。
在操作505，电子装置101可在图像信号处理器260或处理器120的控制下通过校准原始图像的与子组相应的子区域来生成至少两个校准图像。
在操作507，电子装置101可在图像信号处理器260或处理器120的控制下对至少两个校准图像进行合成。
图6示出根据本公开的实施例的图5中公开的电子装置101按像素处理图像的方法。
包括至少两个图像信号处理器的电子装置101可使用图像传感器230获得原始图像。图6中所示的图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成多个子像素的图像传感器。
在图像传感器230中，一个阵列可包括一个红色滤色器601、两个绿色滤色器603和604、一个蓝色滤色器605，并且每个滤色器可包括四个像素(或传感器单元，例如611、612、613和614)。
电子装置101在处理器120的控制下，可将与图像传感器230中的滤色器(或通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与包括在电子装置101中的第一图像信号处理器至四个图像信号处理器2601、2602、2603和2604的数量相应的四个子组。
电子装置101可将获得的原始图像的与第一子组(R1、G11、G21和B1)620相应的图像从图像传感器230发送到第一图像信号处理器2601。第一图像信号处理器2601可处理原始图像的与第一子组(R1、G11、G21和B1)620相应的图像。
电子装置101可将获得的原始图像的与第二子组(R2、G12、G22和B2)621相应的图像从图像传感器230发送到第二图像信号处理器2602。第二图像信号处理器2602可处理原始图像的与第二子组(R2、G12、G22和B2)621相应的图像。
电子装置101可将获得的原始图像的与第三子组(R3、G13、G23和B3)623相应的图像从图像传感器230发送到第三图像信号处理器2603。第三图像信号处理器2603可处理原始图像的与第三子组(R3、G13、G23和B3)623相应的图像。
电子装置101可将获得的原始图像的与第四子组(R4、G14、G24和B4)624相应的图像从图像传感器230发送到第四图像信号处理器2604。第四图像信号处理器2604可处理原始图像的与第四子组(R4、G14、G24和B4)624相应的图像。
电子装置101可在图像信号处理器260或处理器120的控制下对至少两个校准图像进行合成。电子装置101可在显示装置160上显示合成图像。
图7示出根据本公开的实施例的电子装置101按像素处理图像的方法。
参照图7，在操作701，包括至少两个图像信号处理器的电子装置101可在处理器120的控制下使用图像传感器230获得原始图像。
在操作703，电子装置101在处理器120的控制下，可对与图像传感器230中的像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与第一图像信号处理器2601相应的第一子组和与第二图像信号处理器2602相应的第二子组。图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成多个子像素的图像传感器。例如，当与一个通道(例如，一个滤色器R、G或B)相应的像素包括两个子像素时，图像传感器230可被称为2PD或双PD；当像素包括四个子像素时，图像传感器230可被称为4PD、四倍传感器或四元传感器。此外，在图像传感器230中，子像素可共享微透镜，或者每个子像素可具有微透镜。
在各种实施例中，图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成两个子像素的图像传感器。
在各种实施例中，图像传感器230可以是与一个通道(例如，一个滤色器R、G或B)相应的像素被划分成四个子像素的图像传感器。
例如，图像传感器230可包括呈各种阵列(例如，拜耳阵列)的滤色器。滤色器可包括多个像素。电子装置101可将与滤色器(或通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与包括在电子装置101中的图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。
例如，包括滤色器的图像传感器230可包括红色滤色器、绿色滤色器和蓝色滤色器。红色滤色器、绿色滤色器和蓝色滤色器中的每一个可包括多个像素。电子装置101可将与滤色器(通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。具体地，当电子装置101包括四个图像信号处理器时，可将像素组分类成四个子组。当电子装置101包括两个图像信号处理器时，可将像素组分类成两个子组。
在操作705，在电子装置101中，在图像信号处理器260或处理器120的控制下，第一图像信号处理器2601可从图像传感器接收原始图像的与第一子组相应的子区域，并且可通过校准原始图像的与第一子组相应的子区域来生成第一校准图像。
在操作707，在电子装置101中，在图像信号处理器260或处理器120的控制下，第二图像信号处理器2602可从图像传感器接收原始图像的与第二子组相应的子区域，并且可通过在第一图像信号处理器2601从图像传感器接收到原始图像的与第一子组相应的子区域之后，延迟预设时间校准原始图像的与第二子组相应的子区域来生成第二校准图像。
在操作709，电子装置101可在图像信号处理器260或处理器120的控制下，通过以指定时间的间隔分离第一校准图像和第二校准图像并对第一校准图像和第二校准图像进行合成来生成图像。
图8示出根据本公开的实施例的图7中公开的电子装置101按像素处理图像的方法。
包括至少两个图像信号处理器的电子装置101可使用图像传感器230获得原始图像。
电子装置101可对与图像传感器230中的像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与第一图像信号处理器2601相应的第一子组、与第二图像信号处理器2602相应的第二子组、与第三图像信号处理器2603相应的第三子组和与第四图像信号处理器2604相应的第四子组。
例如，图像传感器230可包括呈各种阵列(例如，拜耳阵列或四阵列)的滤色器。滤色器可包括多个像素。电子装置101可将与滤色器(或通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与包括在电子装置101中的图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。
例如，包括滤色器的图像传感器230可包括红色滤色器、绿色滤色器和蓝色滤色器。红色滤色器、绿色滤色器和蓝色滤色器中的每一个可包括多个像素。电子装置101可将与滤色器(通道)中的一个滤色器相应的像素按照与像素中的等效位置相应的各个像素的子像素进行分组，并且可将像素组分类成与图像信号处理器(例如，260、2601、2602、2603和2604)的数量相应的子组。具体地，当电子装置101包括四个图像信号处理器时，可将像素组分类成四个子组。当电子装置101包括两个图像信号处理器时，可将像素组分类成两个子组。
在电子装置101中，第一图像信号处理器2601可从图像传感器230接收原始图像的与第一子组相应的子区域801，并且可通过校准原始图像的与第一子组相应的子区域来生成第一校准图像811。
在电子装置101中，第二图像信号处理器2602可从图像传感器230接收原始图像的与第二子组相应的子区域802，并且可通过在第一图像信号处理器2601从图像传感器230接收到原始图像的与第一子组相应的子区域801之后，延迟预设时间t1校准原始图像的与第二子组相应的子区域802来生成第二校准图像812。
在电子装置101中，第三图像信号处理器2603可从图像传感器230接收原始图像的与第三子组相应的子区域803，并且可通过在第二图像信号处理器2602从图像传感器230接收到原始图像的与第二子组相应的子区域802之后，延迟预设时间t2校准原始图像的与第三子组相应的子区域803来生成第三校准图像813。
在电子装置101中，第四图像信号处理器2604可从图像传感器230接收原始图像的与第四子组相应的子区域804，并且可通过在第三图像信号处理器2603从图像传感器230接收到原始图像的与第三子组相应的子区域803之后，延迟预设时间t3校准原始图像的与第四子组相应的子区域804来生成第四校准图像814。预设时间t1、t2和t3的延迟可以是相同的时间间隔。电子装置101可通过以指定时间的间隔分离第一校准图像811、第二校准图像812、第三校准图像813和第四校准图像814并对它们进行合成来生成图像820。
电子装置101可包括图像传感器230、存储器250和处理器120，其中，处理器120可被配置为进行以下操作：使用图像传感器230获得原始图像；使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息；通过使用与相应于多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像；通过使用与相应于多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像；并且至少使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
电子装置101的处理器120可被配置为将关于多个子区域的对象信息或场景信息识别为识别信息的至少一部分。
电子装置101可被配置为包括多个图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604)，使用多个图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604)中的第一图像信号处理器2601执行第一校准处理，并且使用多个图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604)中的第二图像信号处理器2602执行第二校准处理2602。
电子装置的处理器120可被配置为识别子区域中与满足指定条件的识别信息相应的一个或更多个子区域，并且使用经由第一校准处理或第二校准处理获得的识别出的一个或更多个子区域来生成第三图像。
电子装置101还可包括至少两个或更多个图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604)，其中，处理器120可被配置为：使用图像传感器230获得原始图像；对与图像传感器中的像素中的等效位置相应的各个像素的子像素进行分组；将像素组分类成与图像信号处理器的数量相应的子组；通过校准原始图像的与子组相应的子区域来生成至少两个或更多个校准图像，并且对至少两个或更多个校准图像进行合成。
电子装置101的图像传感器230可包括与一个通道相应的包括四个子像素的像素，至少两个或更多个图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2602、2603和2604)可包括第一图像信号处理器2601、第二图像信号处理器2602、第三图像信号处理器2603和第四图像信号处理器2604，子组可包括第一子组、第二子组、第三子组和第四子组，并且处理器120可被配置为使用第一图像信号处理器2601校准原始图像的与第一子组相应的子区域，使用第二图像信号处理器2602校准原始图像的与第二子组相应的子区域，使用第三图像信号处理器2603校准原始图像的与第三子组相应的子区域，并且使用第四图像信号处理器2604校准原始图像的与第四子组相应的子区域。
电子装置101可对由第一图像信号处理器至第四图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604)校准的图像进行合成。
电子装置101还可包括至少两个或更多个图像信号处理器(第一图像信号处理器至第四图像信号处理器2601、2602、2603和2604)，其中，处理器120可被配置为：使用图像传感器230获得原始图像；对与图像传感器230中的像素中的等效位置相应的各个像素的子像素进行分组；将像素组分类成与第一图像信号处理器2601相应的第一子组和与第二图像信号处理器2602相应的第二子组；使用第一图像信号处理器2601，通过从图像传感器230接收原始图像的与第一子组相应的子区域并且校准原始图像的与第一子组相应的子区域来生成第一校准图像；使用第二图像信号处理器2602，通过从图像传感器230接收原始图像的与第二子组相应的子区域，并且在第一图像信号处理器2601从图像传感器230接收到原始图像的与第一子组相应的子区域之后，延迟预设时间校准原始图像的与第二子组相应的子区域来生成第二校准图像；并且通过以指定时间的间隔分离第一校准图像和第二校准图像并对第一校准图像和第二校准图像进行合成来生成图像。
电子装置101的图像传感器230可包括与一个通道相应的包括四个子像素的像素，至少两个或更多个图像信号处理器还可包括第三图像信号处理器和第四图像信号处理器，子组还可包括第三子组和第四子组，并且处理器120可被配置为：使用第三图像信号处理器，通过在第二图像信号处理器从图像传感器接收到原始图像的与第二子组相应的子区域之后，延迟预设时间校准与原始图像的与第三子组相应的子区域来生成第三校准图像，并且使用第四图像信号处理器，通过在第三图像信号处理器从图像传感器接收到原始图像的与第三子组相应的子区域之后，延迟预设时间校准原始图像的与第四子组相应的子区域来生成第四校准图像。
电子装置101的处理器120可被配置为通过以指定时间的间隔分离第一校准图像至第四校准图像并对第一校准图像至第四校准图像进行合成来生成图像。
包括图像传感器230的电子装置101的图像处理方法可包括：使用图像传感器230获得原始图像；使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息；通过使用与相应于多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像；通过使用与相应于多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像；并且至少使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
包括图像传感器230的电子装置101的图像处理方法还可包括将关于多个子区域的对象信息或场景信息识别为识别信息的至少一部分。
在包括图像传感器230的电子装置101的图像处理方法中，电子装置可包括多个图像信号处理器，并且所述方法可包括使用多个图像信号处理器中的第一图像信号处理器执行第一校准处理，并且使用多个图像信号处理器中的第二图像信号处理器执行第二校准处理。
包括图像传感器230的电子装置101的图像处理方法还可包括：识别子区域中与满足指定条件的识别信息相应的一个或更多个子区域；并且使用经由第一校准处理或第二校准处理获得的识别出的一个或更多个子区域来生成第三图像。
在包括图像传感器230的电子装置101的图像处理方法中，电子装置还可包括至少两个或更多个图像信号处理器，并且所述方法可包括：使用图像传感器获得原始图像，对图像传感器中具有相同滤色器的像素进行分组，将像素组分类成与图像信号处理器的数量相应的子组，通过校准原始图像的与子组相应的子区域并对至少两个或更多个校准图像进行合成来生成至少两个或更多个校准图像。
在包括图像传感器230的电子装置101的图像处理方法中，图像传感器可包括与一个通道相应的包括四个子像素的像素，至少两个或更多个图像信号处理器可包括第一图像信号处理器、第二图像信号处理器、第三图像信号处理器和第四图像信号处理器，子组可包括第一子组、第二子组、第三子组和第四子组，并且所述方法可包括：使用第一图像信号处理器校准原始图像的与第一子组相应的子区域，使用第二图像信号处理器校准原始图像的与第二子组相应的子区域，使用第三图像信号处理器校准原始图像的与第三子组相应的子区域，并且使用第四图像信号处理器校准原始图像的与第四子组相应的子区域。
包括图像传感器230的电子装置101的图像处理方法可包括对由第一图像信号处理器至第四图像信号处理器校准的图像进行合成。
在包括图像传感器230的电子装置101的图像处理方法中，电子装置还可包括至少两个或更多个图像信号处理器，并且所述方法可包括：使用图像传感器获得原始图像；对与图像传感器中的像素中的等效位置相应的各个像素的子像素进行分组；将像素组分类成与第一图像信号处理器相应的第一子组和与第二图像信号处理器相应的第二子组；使用第一图像信号处理器，通过从图像传感器接收原始图像的与第一子组相应的子区域并且校准原始图像的与第一子组相应的子区域来生成第一校准图像；使用第二图像信号处理器，通过从图像传感器收原始图像的与第二子组相应的子区域并且在第一图像信号处理器从图像传感器接收到原始图像的与第一子组相应的子区域之后，延迟预设时间校准原始图像的与第二子组相应的子区域来生成第二校准图像；并且通过以指定时间的间隔分离第一校准图像和第二校准图像并对第一校准图像和第二校准图像进行合成来生成图像。
在包括图像传感器230的电子装置101的图像处理方法中，图像传感器可包括与一个通道相应的包括四个子像素的像素，至少两个或更多个图像信号处理器还可包括第三图像信号处理器和第四图像信号处理器，子组还可包括第三子组和第四子组，并且所述方法还可包括：使用第三图像信号处理器，通过在第二图像信号处理器从图像传感器接收到原始图像的与第二子组相应的子区域之后，延迟预设时间校准原始图像的与第三子组相应的子区域来生成第三校准图像；并且使用第四图像信号处理器，通过在第三图像信号处理器从图像传感器接收到原始图像的与第三子组相应的子区域之后，延迟预设时间校准原始图像的与第四子组相应的子区域来生成第四校准图像。
包括图像传感器230的电子装置101的图像处理方法可包括：通过以指定时间的间隔分离第一校准图像至第四校准图像并对第一校准图像和第二校准图像进行合成来生成图像。
根据本文公开的各种实施例的电子装置可以是各种类型的装置。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据实施例，电子装置不限于上述那些。
应理解，本公开的各种实施例和其中使用的术语不旨在将本文阐述的技术特征限于特定实施例，并且包括相应实施例的各种改变、等同物或替换物。关于附图的描述，相似的参考标号可用于指相似或相关的元件。将理解，除非相关上下文另有明确说明，否则与项相应的单数形式名词可包括一个或更多个事物。如本文使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”的这些短语中的每个短语可包括在短语中的相应一个短语中一起列举的项的所有可能组合。如本文使用的，诸如“第一”和“第二”的术语可用于简单地将相应的组件与另一组件区分开，并且不在其他方面(例如，重要性或顺序)限制组件。将理解，如果元件(例如，第一元件)在有或没有术语“可操作地”或“通信地”的情况下被称为“与……耦接”或“与……连接”，则意味着该元件可直接(例如，有线地)、无线地或经由第三元件与所述另一元件耦接。
如本文使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(例如“逻辑”、“逻辑块”、“部件”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或者最小单元或最小单元的一部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
本文阐述的各种实施例可被实现为包括存储在可由机器(例如，电子装置101)读取的存储介质(例如，内部存储器136或外部存储器138)中的一个或更多个指令的软件(例如，程序140)。例如，机器(例如，电子装置101)的处理器(例如，处理器120)可调用存储在存储介质中的一个或更多个指令中的至少一个指令，并执行至少一个指令。这允许根据调用的至少一个指令操作机器以执行至少一个功能。一个或更多个指令可包括由编译器生成的代码或可由解释器执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。其中，术语“非暂时性”仅意味着存储介质是有形装置，并且不包括信号(例如，电磁波)，但该术语不在数据被半永久地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者与购买者之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式被发布，或者经由应用商店(例如，Play StoreTM)被在线分发(例如，下载或上传)，或者直接在两个用户装置(例如，智能电话)之间被分发。如果是在线发布的，则计算机程序产品的至少一部分可被临时生成或至少被临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述组件中的一个或更多个组件或操作，或者可添加一个或更多个其他组件或操作。可选地或另外地，可将多个组件(例如，模块或程序)集成为单个组件。在这种情况下，根据各种实施例，集成组件仍然可以以与在集成之前由多个组件中的相应组件执行的方式相同或相似的方式执行多个组件中的每个组件的一个或更多个功能。根据各种实施例，由模块、程序或另一组件执行的操作可顺序地、并行地、重复地或以启发式方式被执行，或者操作中的一个或更多个操作可以以不同的顺序被执行或被省略，或者可添加一个或更多个其他操作。
尽管已经参照本公开的各种实施例示出和描述了本公开，但本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (10)

1.一种电子装置，包括：
图像传感器，其中，所述图像传感器包括与一个通道相应的包括多个子像素的像素；
多个图像信号处理器，包括第一图像信号处理器、第二图像信号处理器、第三图像信号处理器和第四图像信号处理器，所述多个图像信号处理器被配置为：
使用图像传感器获得原始图像；
对与图像传感器中的等效像素位置相应的各个像素的子像素进行分组；
将子像素组分类成与所述多个图像信号处理器的数量相应的子组，其中，所述子组包括第一子组、第二子组、第三子组和第四子组；
使用第一图像信号处理器，通过从图像传感器接收原始图像的与第一子组相应的子区域并且校准原始图像的与第一子组相应的子区域来生成第一校准图像；
使用第二图像信号处理器，通过从图像传感器接收原始图像的与第二子组相应的子区域，并且在第一图像信号处理器从图像传感器接收到原始图像的与第一子组相应的子区域之后，延迟预设时间校准原始图像的与第二子组相应的子区域，来生成第二校准图像；
使用第三图像信号处理器，通过在第二图像信号处理器从图像传感器接收到原始图像的与第二子组相应的子区域之后，延迟预设时间校准原始图像的与第三子组相应的子区域，来生成第三校准图像；
使用第四图像信号处理器，通过在第三图像信号处理器从图像传感器接收到原始图像的与第三子组相应的子区域之后，延迟预设时间校准原始图像的与第四子组相应的子区域，来生成第四校准图像；
通过以指定时间的间隔分离第一校准图像至第四校准图像并对第一校准图像至第四校准图像进行合成来生成图像。
2.根据权利要求1所述的电子装置，还包括：
存储器；以及
至少一个处理器，被配置为：
使用图像传感器获得原始图像，
使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息，
通过使用与相应于所述多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像，
通过使用与相应于所述多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像，并且
通过使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
3.如权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为将关于所述多个子区域的对象信息或场景信息识别为所述识别信息的至少一部分。
4.如权利要求2所述的电子装置，其中，第一图像信号处理器被配置为执行第一校准处理；并且
第二图像信号处理器被配置为执行第二校准处理。
5.如权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为：
识别所述多个子区域中与满足指定条件的识别信息相应的一个或更多个子区域；并且
使用经由第一校准处理或第二校准处理获得的识别出的所述一个或更多个子区域来生成第三图像。
6.一种电子装置的图像处理方法，其中，
所述电子装置包括：图像传感器，其中，所述图像传感器包括与一个通道相应的包括多个子像素的像素；以及多个图像信号处理器，其中，所述多个图像信号处理器包括第一图像信号处理器、第二图像信号处理器、第三图像信号处理器和第四图像信号处理器；
所述方法包括：
使用图像传感器获得原始图像；
对与图像传感器中的等效像素位置相应的各个像素的子像素进行分组；
将子像素组分类成与所述多个图像信号处理器的数量相应的子组，其中，所述子组包括第一子组、第二子组、第三子组和第四子组；
使用第一图像信号处理器，通过从图像传感器接收原始图像的与第一子组相应的子区域并且校准原始图像的与第一子组相应的子区域来生成第一校准图像；
使用第二图像信号处理器，通过从图像传感器接收原始图像的与第二子组相应的子区域，并且在第一图像信号处理器从图像传感器接收到原始图像的与第一子组相应的子区域之后，延迟预设时间校准原始图像的与第二子组相应的子区域，来生成第二校准图像；
使用第三图像信号处理器，通过在第二图像信号处理器从图像传感器接收到原始图像的与第二子组相应的子区域之后，延迟预设时间校准原始图像的与第三子组相应的子区域，来生成第三校准图像；
使用第四图像信号处理器，通过在第三图像信号处理器从图像传感器接收到原始图像的与第三子组相应的子区域之后，延迟预设时间校准原始图像的与第四子组相应的子区域，来生成第四校准图像；
通过以指定时间的间隔分离第一校准图像至第四校准图像并对第一校准图像至第四校准图像进行合成来生成图像。
7.根据权利要求6所述的方法，还包括：
使用原始图像基于图像识别来识别关于与包括在原始图像中的多个对象相应的多个子区域的识别信息；
通过使用与相应于所述多个子区域中的第一子区域的第一识别信息相关联的第一参数集对原始图像执行第一校准处理来生成第一图像；
通过使用与相应于所述多个子区域中的第二子区域的第二识别信息相关联的第二参数集对原始图像执行第二校准处理来生成第二图像；并且
通过使用第一图像的与第一子区域相应的区域和第二图像的与第二子区域相应的区域来生成第三图像。
8.如权利要求7所述的方法，还包括：
将关于所述多个子区域的对象信息或场景信息识别为所述识别信息的至少一部分。
9.如权利要求7所述的方法，
其中，所述第一校准处理使用第一图像信号处理器执行；并且
所述第二校准处理使用第二图像信号处理器执行。
10.如权利要求7所述的方法，还包括：
识别所述多个子区域中与满足指定条件的识别信息相应的一个或更多个子区域；并且
使用经由第一校准处理或第二校准处理获得的识别出的所述一个或更多个子区域来生成第三图像。
CN202080012111.8A 2019-01-31 2020-01-22 用于处理图像的电子装置和方法 Active CN113366527B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190012772A KR102663537B1 (ko) 2019-01-31 2019-01-31 전자 장치 및 이미지 처리 방법
KR10-2019-0012772 2019-01-31
PCT/KR2020/001115 WO2020159149A1 (en) 2019-01-31 2020-01-22 Electronic device and method for processing image

Publications (2)

Publication Number Publication Date
CN113366527A CN113366527A (zh) 2021-09-07
CN113366527B true CN113366527B (zh) 2024-10-29

Family

ID=71837040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012111.8A Active CN113366527B (zh) 2019-01-31 2020-01-22 用于处理图像的电子装置和方法

Country Status (5)

Country Link
US (1) US11488284B2 (zh)
EP (1) EP3877942A4 (zh)
KR (1) KR102663537B1 (zh)
CN (1) CN113366527B (zh)
WO (1) WO2020159149A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
US11625574B2 (en) * 2019-10-28 2023-04-11 MakinaRocks Co., Ltd. Method for generating abnormal data
KR102669934B1 (ko) * 2020-09-17 2024-05-28 삼성전자주식회사 이미지 신호 프로세서 및, 이미지 신호 프로세서를 포함하는 전자 장치 및 전자 시스템
CN112822370B (zh) * 2021-01-12 2022-11-15 Oppo广东移动通信有限公司 电子设备、前置图像信号处理器及图像处理方法
KR20220102016A (ko) * 2021-01-12 2022-07-19 삼성전자주식회사 전자 장치 및 그의 이미지 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051367A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20180067781A (ko) * 2016-12-12 2018-06-21 이에이트 주식회사 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법
CN208158780U (zh) * 2017-05-24 2018-11-27 半导体元件工业有限责任公司 图像传感器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208388A1 (en) * 2003-04-21 2004-10-21 Morgan Schramm Processing a facial region of an image differently than the remaining portion of the image
JP2005094452A (ja) * 2003-09-18 2005-04-07 Nec Corp 画像処理方法、画像処理システムおよび画像処理プログラム
KR100693510B1 (ko) 2005-09-06 2007-03-14 엘지전자 주식회사 오브젝트 기반 영상 효과 처리 장치 및 그 방법
CN102057398B (zh) * 2008-06-13 2013-11-06 上海惠普有限公司 处理超分辨率目标图像
US8717459B2 (en) * 2008-12-11 2014-05-06 Texas Instruments Incorporated Method and apparatus for improving automatic white balance with scene information
JP5761946B2 (ja) * 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
US9746927B2 (en) * 2010-09-30 2017-08-29 France Telecom User interface system and method of operation thereof
JP2012124798A (ja) 2010-12-10 2012-06-28 Canon Inc 撮像装置
KR20140043264A (ko) * 2012-09-26 2014-04-09 삼성전자주식회사 다시점 영상 처리 장치 및 방법
JP5716731B2 (ja) * 2012-12-04 2015-05-13 コニカミノルタ株式会社 画像処理装置、及び画像処理装置の制御プログラム
KR20140122952A (ko) 2013-04-11 2014-10-21 삼성전자주식회사 이미지 합성 방법 및 이를 구현하는 전자 장치
JP6193721B2 (ja) * 2013-10-23 2017-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2015103852A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理装置の制御プログラム及び記憶媒体
JP2015142161A (ja) * 2014-01-27 2015-08-03 キヤノン株式会社 画像処理装置及びその制御方法
US10440281B2 (en) * 2014-08-13 2019-10-08 Taiwan Semiconductor Manufacturing Company, Ltd. Image processing apparatus on integrated circuit and method thereof
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
KR102091072B1 (ko) * 2014-12-23 2020-03-19 삼성전자주식회사 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
JP6445899B2 (ja) * 2015-02-26 2018-12-26 キヤノン株式会社 画像形成装置及びその制御方法
TWI539139B (zh) * 2015-04-27 2016-06-21 原相科技股份有限公司 物件距離計算方法以及物件距離計算裝置
KR102362138B1 (ko) * 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
KR102500715B1 (ko) * 2016-07-28 2023-02-17 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
WO2018088794A2 (ko) * 2016-11-08 2018-05-17 삼성전자 주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US20190394438A1 (en) 2016-12-01 2019-12-26 Sharp Kabushiki Kaisha Image processing device, digital camera, and non-transitory computer-readable storage medium
KR102287109B1 (ko) 2017-03-24 2021-08-06 삼성전자주식회사 피부에 해당하는 이미지 처리 영역을 보정하는 방법 및 전자 장치
KR102287043B1 (ko) * 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법
US20180357750A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Demosaicking for multi-cell image sensor
CN108154514B (zh) * 2017-12-06 2021-08-13 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
US10917571B2 (en) * 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051367A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20180067781A (ko) * 2016-12-12 2018-06-21 이에이트 주식회사 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법
CN208158780U (zh) * 2017-05-24 2018-11-27 半导体元件工业有限责任公司 图像传感器

Also Published As

Publication number Publication date
EP3877942A1 (en) 2021-09-15
EP3877942A4 (en) 2022-05-11
US20200250795A1 (en) 2020-08-06
CN113366527A (zh) 2021-09-07
US11488284B2 (en) 2022-11-01
KR102663537B1 (ko) 2024-05-08
WO2020159149A1 (en) 2020-08-06
KR20200095106A (ko) 2020-08-10

Similar Documents

Publication Publication Date Title
US11461910B2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
CN113366527B (zh) 用于处理图像的电子装置和方法
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
US11032459B2 (en) Camera module including reinforcement members for supporting printed circuit board on which plurality of image sensors are disposed and electronic device including the same
US11290641B2 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
US11102409B2 (en) Electronic device and method for obtaining images
CN112840644B (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
US11626447B2 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
US11297266B2 (en) Electronic device and method for obtaining data from second image sensor by means of signal provided from first image sensor
US11206363B2 (en) Electronic device and method for correcting image in camera switching
US11308593B2 (en) Electronic device for generating composite image and method thereof
US11354777B2 (en) Image processing device and method of electronic device
US11494885B2 (en) Method for synthesizing image on reflective object on basis of attribute of reflective object included in different image, and electronic device
US12069382B2 (en) Electronic device and method for generating images by performing auto white balance
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
CN115066882A (zh) 用于执行自动对焦的电子装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant