[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109479102A - 成像控制装置、成像控制方法和成像元件 - Google Patents

成像控制装置、成像控制方法和成像元件 Download PDF

Info

Publication number
CN109479102A
CN109479102A CN201780044572.1A CN201780044572A CN109479102A CN 109479102 A CN109479102 A CN 109479102A CN 201780044572 A CN201780044572 A CN 201780044572A CN 109479102 A CN109479102 A CN 109479102A
Authority
CN
China
Prior art keywords
pixel
read
mode
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780044572.1A
Other languages
English (en)
Inventor
宫腰大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109479102A publication Critical patent/CN109479102A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及使得能够实现无缝稀疏(thinning‑out)读出的成像控制装置、成像控制方法和成像元件。即使在稀疏读出模式下，也像在全像素读出模式中一样，对于每个水平同步时钟，逐行地对待稀疏的行执行像素复位。因此，即使待在稀疏读出模式中读出的行改变，也能够进行适当的读出。本公开可应用于成像装置。

Description

成像控制装置、成像控制方法和成像元件
技术领域
本公开涉及成像控制装置、成像控制方法和成像元件，并且特别涉及即使在读出模式之间切换期间也防止出现无效帧、同时通过逐行跳过实现省电的成像控制装置、成像控制方法和成像元件。
背景技术
由CMOS(互补金属氧化物半导体)图像传感器表示的成像元件在像素数量方面快速增长。在允许实现更高图像质量的同时，CMOS图像传感器的像素数量的增加导致与每个画面(每个图像)的获取相关联的更大功耗。
然而，成像元件经常进入高度便携的装置，并且从便携性的观点来看，驱动成像元件所需的电池在尺寸具有其限制，从而导致成像元件方面的省电需求增加。
在利用成像元件对视频进行成像的情况下，取决于成像条件，可能不一定需要高质量图像，并且已经提出了一种技术，该技术对于在这种条件下捕获的图像，不仅实现快速成像而且还通过降低图像质量实现省电，这是通过在读出像素阵列中的像素期间跳过给定数的行来实现的(参考专利文献1)。
引用列表
专利文献
PTL 1日本专利公开No.2010-183558
发明内容
技术问题
然而，在如在PTL 1中描述的技术中逐行跳过读出来自像素阵列的像素信号期间通过滚动快门控制的成像元件中，由于在将成像元件切换到用于逐行跳过要读出的像素信号的模式时或者在以不同的跳过行间隔在模式之间切换期间要读出的行的改变而可能出现无效帧，从而如果正在模式切换发生时观看图像而引起不适感。
本公开已经鉴于前述内容进行了设计，并且抑制了在切换到逐行跳过模式期间出现无效帧，同时保持了通过逐行跳过实现的省电优势，特别是在使用滚动快门对由CMOS图像传感器表示的成像元件进行成像的情况下。
问题的解决方案
本公开的一个方面的成像控制装置包括控制部，该控制部控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素读出像素信号。对于像素的所有行，控制部以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
还可以包括水平同步时钟信号生成部，该水平同步时钟信号生成部生成用于水平地限定一列的量的处理的水平同步时钟信号，并且可以使控制部对于每个水平同步时钟信号，与水平同步时钟信号同步地一次一行地顺序地执行像素的逐行复位。
可以使控制部基于与包括由像素捕获的像素信号的图像的图像质量模式对应的模式切换信号，以给定数的行为单位跳过像素来控制像素读出。
还可以包括确定部、设置部、水平同步时钟信号生成部、计数器和比较部。确定部确定像素的操作状态。设置部基于确定部的确定结果设置模式切换信号，所述模式切换信号包含关于与给定数相对应的值的信息。水平同步时钟信号生成部生成水平同步时钟信号。计数器基于水平同步时钟信号进行计数。比较部将由设置部设置的模式切换信号中包含的值与计数器的值进行比较，并在两个值匹配时生成读出脉冲。可以使控制部基于读出脉冲逐行读出已经复位的像素，并且当由设置部设置的模式切换信号中包含的值和计数器的值匹配时，可以将计数器复位。
还可以包括帧存储器，该帧存储器按时间顺序存储包含由像素捕获的像素信号的图像，并且可以使确定部基于图像中存在或不存在移动被摄体，通过比较存储在帧存储器中的时间顺序的图像来确定像素的操作状态。
在确定部确定图像中存在移动被摄体作为像素的操作状态的情况下，可以使控制部基于与给定图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及在确定部确定图像中不存在移动被摄体作为像素的操作状态的情况下，可以使控制部基于与质量低于给定图像质量的图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
在确定部确定图像中存在移动被摄体作为像素的操作状态的情况下，设置部将包含关于第一值的信息的模式切换信号设置为与给定数对应的值；以及可以使控制部以适合于与给定图像质量模式对应的模式切换信号中包含的第一值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及在确定部确定图像中不存在移动被摄体作为像素的操作状态的情况下，可以使设置部将包含关于大于第一值的第二值的信息的模式切换信号设置为与给定数对应的值；以及可以使控制部以适合于与质量低于给定图像质量的图像质量模式对应的模式切换信号中包含的第二值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
可以进一步包括驱动电池，并且可以使确定部基于电池的电平确定像素的操作状态。
在确定部基于电池的电平确定电池的电平高于给定值并且作为像素的操作状态的情况下，可以使控制部基于与给定图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像跳过像素来控制像素读出，以及在确定部基于电池的电平确定电池的电平低于给定值并且作为像素的操作状态的情况下，可以使控制部基于与质量低于给定图像质量的图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
在确定部基于电池的电平确定电池的电平高于给定值并且作为像素的操作状态的情况下，可以使设置部将包含关于第一值的信息的模式切换信号设置为与给定数对应的值；以及可以使控制部以适合于包含在模式切换信号中的第一值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及在确定部基于电池的电平确定电池的电平低于给定值并且作为像素的操作状态的情况下，可以使设置部将包含关于比第一值大的第二值的信息的模式切换信号设置为与给定数对应的值；以及可以使控制部以适合于与质量低于给定图像质量的图像质量模式对应的模式切换信号中包含的第二值的行为单位从包含由像素捕获的像素信号的图像跳过像素来控制像素读出。
还可以包括水平同步时钟信号生成部，该水平同步时钟信号生成部生成用于水平地限定一列的量的处理的水平同步时钟信号，以及当通过逐行跳过以便每m行读出一行像素的方式执行像素读出时，以水平同步时钟信号的m倍的时间间隔执行像素读出。
可以使控制部通过滚动快门方案逐行地复位或读出多个像素。
CMOS图像传感器可以用作多个像素。
本公开的一个方面的成像控制方法包括控制步骤以及控制步骤控制的处理，其中所述控制步骤控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，以及所述控制步骤控制的处理对于像素的所有行，以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
本公开的一个方面的成像元件包括控制部，该控制部控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素读出像素信号。对于像素的所有行，控制部以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
在本公开的一个方面，控制从多个像素的像素信号的像素读出。像素以阵列形式排列，并且累积与入射光量成比例的电荷作为像素信号。对于所有像素行，以针对每行恒定的间隔控制所述多个像素的逐行复位，并且以给定数的行为单位跳过的像素来控制像素读出。
有益效果
根据本公开的一个方面，能够抑制在切换到逐行跳过模式时以及在以不同的跳过行间隔的模式之间切换期间出现无效帧，同时保持通过跳过实现的省电优势。
附图说明
图1是描述传统跳过读出的图。
图2是描述应用本公开的跳过读出的图。
图3是描述本公开的成像装置的配置示例的图。
图4是描述图3中所示的图像传感器的配置示例的图。
图5是描述像素电路的配置示例的图。
图6是描述读出脉冲生成部的配置示例的图。
图7是描述读出脉冲生成部的操作的定时图。
图8是描述由图3所示的成像装置执行的操作控制处理的流程图。
图9是描述读出/复位指令处理的流程图。
图10是描述读出/复位指令处理的图。
图11是描述读出/复位指令处理的图。
图12是描述当因子n被设置为4时的全像素读出模式的定时图。
图13是描述当因子n被设置为4时的1/3行读出模式的定时图。
图14是描述当因子n被设置为4时的1/5行读出模式的定时图。
图15是描述由图3中所示的成像装置执行的其他操作控制处理的流程图。
图16是描述应用了本发明的成像装置的其他配置示例的图。
具体实施方式
下面将参考附图给出本公开的优选实施例的详细描述。应当注意，在本说明书和附图中，具有基本相同的功能配置的配置元件由相同的附图标记表示，以省略多余的描述。
<<1.本公开的成像装置的概述>>
<滚动快门中的一般跳过>
在描述应用本公开的成像装置的概述时，首先将描述滚动快门中的一般跳过。
图1是描述用于读出以像素阵列排列的像素信号的定时的图。图1中顶部示出的是向右按时间顺序出现的水平同步时钟(H SYNC)的第一、第二、第三和随后的时钟。还示出了要处理的像素的行号，并且从图1中的顶部开始顺序地给出第零、第一、第二和随后的行。
另外，针对水平同步时钟(H SYNC)的第一到第十时钟，图1描述了1/3行读出模式(即，要读出的行减少到1/3的模式)中的像素复位定时(图1中的关闭(Shut))和像素读出定时(图1中的读取(Read))。此外，对于水平同步时钟的第11至第16时钟，图1描述了1/5行读出模式(即，要读出的行减少到1/5的模式)中的像素复位定时(图1中的关闭)和像素读出定时(图1中的读取)。
也就是说，如图1所示，在1/3行读出模式中，第零行中的像素在水平同步时钟的第零时钟被读出。
然后，在水平同步时钟的第一时钟，即下一定时，第零行中的像素被复位(关闭)，同时，第三行中的像素(即在前的三行中的像素)被读出(读取)。
此外，在水平同步时钟的第二时钟，即下一定时，第三行中的像素被复位(关闭)，同时，第六行中的像素(即在前的三行中的像素)被读出(读取)。
另外，在水平同步时钟的第四时钟，即下一定时，第九行中的像素被复位，同时，第12行中的像素(即在前的三行中的像素)被读出。
从此开始，随着水平同步时钟进行，发生连续重复，并且以三行的移位重复像素复位和像素读出。当重复到达最下面的行时，对于新帧，从最上面的行重复类似的过程。
应注意，图1示出了直到第21行的处理。
这里，例如，当水平同步时钟的第十时钟完成时，如图1所示，将1/3行读出模式切换到1/5行读出模式，从而使第零行中的像素被在水平同步时钟的第11时钟读出。
然后，在水平同步时钟的第12时钟，即下一定时，第零行中的像素被复位，同时，第五行中的像素(即在前的五行中的像素)被读出。
此外，在水平同步时钟的第13时钟，即下一定时，第五行中的像素被复位，同时，第十行中的像素(即在前的五行中的像素)被读出。
此外，在水平同步时钟的第14时钟，即下一定时，第10行中的像素被复位，同时，第15行中的像素(即在前的五行中的像素)被读出。
此外，在水平同步时钟的第15时钟，即下一定时，第15行中的像素被复位，同时，第20行中的像素(即在前的5行中的像素)被读出。
也就是说，随着水平同步定时进行，发生连续重复，并且以五行的移位重复像素复位和像素读出。当重复到达最下面的行时，进程从最上面的行重新开始。
然而，尽管在切换到1/5行读出模式后，第零行中的像素在水平同步时钟的第11时钟读出，但分别在水平同步时钟的第12至第15时钟读出的第五行、第十行、第15行和第20行的像素信号不经过如十字所示的1/3行读出模式中的像素复位。
此外，即使我们假设像素复位是在图1中由十字示出的定时执行的，分别在水平同步时钟的第12到第15时钟读出的第五行、第十行、第15行和第20行的像素信号的曝光时间分别在从水平同步时钟的第二时钟到第11时钟、从第四时钟到第13时钟、从第六时钟到第14时钟以及从第七时钟到第15时钟紧接着在模式改变之后的帧表面上，从而导致累积时间(曝光时间)的变化并使这些像素信号不适合使用。
也就是说，如图1所示，在跳过行中不执行像素复位。因此，在1/3行读出模式和1/5行读出模式中的读出定时处，表示要读出的行号的变化的斜率与水平同步时钟的变化不一致。
这使得紧接着模式切换之后的帧图像不适合使用，从而导致浪费的帧(无效帧)并且可能引起不适感。
为此，在本公开中，还在与要读出的行的像素复位的定时相似的定时跳过行中执行像素复位。这确保了累积时间(曝光时间)对于所有行是相同的。结果，即使要读出的行随着模式的改变而改变，也在任何行中正确地读出像素，从而使得能够抑制废弃的帧(无效帧)的出现。
更详细的说明，在水平同步时钟的第11时钟、没有跳过的全像素读出模式切换到1/3行读出模式的情况下，如图2所示，尽管在切换到1/3行读出模式之后，分别在水平同步时钟的第11、第14和第17时钟以三行的间隔读出(读取)第零行、第三行、第六行中的像素，但是在每个水平同步时钟的所有行中像素被复位(关闭)，如虚线圈所示。
因此，即使模式改变，在第零、第三、第六的像素读出时的像素信号也具有相同的曝光时间。这里，假设像素复位是前帘并且像素读出是焦平面快门中的后帘，则使快门速度(帘幕速度)恒定。而且，即使对于包含跳过行的所有行，一次以每水平同步时钟一行的顺序移位执行像素复位，也不会在跳过行中读出像素。因此，不会发生AD转换，从而使得能够实现迄今为止所做的省电。而且，这在前帘和后帘之间提供了恒定的间隙。因此，即使在发生焦平面失真的情况下，也可以通过相同的措施始终校正失真，从而抑制实施的工作量。
<<2.应用本公开的成像装置的配置示例>>
接下来，将参考图3所示的框图给出应用本公开的成像装置的配置示例的描述。
图3所示的成像装置11包括光学块20、图像传感器21、信号处理部22、显示部23和操作部24。
光学块20包括多个透镜，并通过收集来自被摄体的入射光在图像传感器21的成像表面上形成被摄体图像。
图像传感器21包括例如CMOS(互补金属氧化物半导体)图像传感器，通过滚动快门方案逐行顺序地传送像素信号生成图像，并将图像提供给信号处理部22。当使得实时取景图像或其他图像被显示时，图像传感器21通过跳过AD转换中涉及的行来确保省电，同时通过从信号处理部22获取指示操作模式的上述改变的信息和以给定数的行为单位跳过像素执行像素阵列的读出来实现快速成像。
信号处理部22包括例如LSI(大规模集成电路)，并且通过对图像信号执行给定的处理使从图像传感器21提供的图像信号显示在包括LCD(液晶显示器)的显示部23上。此外，信号处理部22基于当操作包括操作按钮的操作部24时提供的操作信号接受关于图像传感器21的操作模式的信息，并且根据所提供的图像的状态等将用于在操作模式之间切换的模式切换信号提供给图像传感器21。
更详细地说，信号处理部22包括帧存储器31、状态确定部32、成像元件控制部33、相机信号处理部34和显示控制部35。
帧存储器31存储从图像传感器21提供的至少两帧或更多帧图像，并将图像提供给状态确定部32。
状态确定部32确定是否已经通过操纵操作部24设置了移动被摄体高图像质量模式，并且在已经设置了移动被摄体高图像质量模式的情况下，状态确定部32顺序地读出存储在帧存储器31中的图像并且通过执行例如运动检测来确定是否存在移动被摄体。然后，当确定存在移动被摄体时，状态确定部32向成像元件控制部33提供指示需要切换到高图像质量模式的信息。另一方面，当已经设置了移动被摄体高图像质量模式或者不存在移动被摄体时，状态确定部32向成像元件控制部33提供指示需要切换到非高图像质量模式(例如低图像质量模式)的信息。
成像元件控制部33向图像传感器21提供模式切换信号，该模式切换信号指定要跳过的行数以匹配从状态确定部32提供的图像质量模式。更具体地，例如，在在1/5行读出的情况下，成像元件控制部33提供模式切换信号Rmax(R最大)＝4作为用于对要跳过的行数进行计数的最大值。类似地，在1/3行读出的情况下，成像元件控制部33提供模式切换信号Rmax＝2。此外，在全像素读出的情况下，成像元件控制部33提供模式切换信号Rmax＝0。应该注意，将在后面参考图6和7详细描述模式切换信号Rmax。
<图像传感器的配置示例>
接下来将参考图4所示的框图给出图3中所示的图像传感器21的配置示例的描述。
图像传感器21包括例如像素阵列51、垂直传送控制部52、H同步时钟(水平同步时钟)生成部53、水平传送控制部54和图像处理部55。
像素阵列51具有以阵列形式排列的像素91，并且像素91生成与入射光量成比例的像素信号。基于从垂直传送控制部52提供的控制信号逐行控制像素91的操作，并且将产生的像素信号顺序地提供给水平传送控制部54。
垂直传送控制部52生成用于控制在包括在像素阵列51中的像素91上逐行执行的像素复位和像素读出的控制信号。更详细地说，垂直传送控制部52包括读出脉冲产生部71和复位脉冲生成部72。
读出脉冲生成部71基于从H同步时钟生成部53提供的H同步时钟(水平同步信号)生成用于控制逐行执行像素阵列51的像素91中的给定行中的像素的读出的定时的脉冲信号。
复位脉冲生成部72基于从H同步时钟生成部53提供的H同步时钟(水平同步信号)生成用于控制执行像素阵列51的像素91中的给定行中的像素(光电二极管)的复位的定时的脉冲信号。
H同步时钟生成部53生成H同步时钟(水平同步信号)并将时钟提供给垂直传送控制部52和水平传送控制部54。
水平传送控制部54基于从H同步时钟生成部53提供的H同步时钟(水平同步信号)顺序地执行从像素阵列51逐行顺序提供的像素信号的A/D(模拟/数字)转换，并逐行地将像素信号提供给图像处理部55。
图像处理部55例如顺序地累积从水平传送控制部54提供的像素信号，当形成一帧图像时执行诸如去马赛克处理和合成的一般显影处理，然后输出图像。
<像素电路的配置示例>
接下来将参照图5描述像素阵列51的像素91的像素电路的配置。像素91中包括的像素电路具有例如光电二极管(PD)101作为光电转换元件。此外，包括在像素91中的像素电路除了具有用于累积电荷的浮动扩散(FD)103和光电二极管101之外还具有例如传送晶体管(TG：传输门)102、复位晶体管(RST)104、放大晶体管105和选择晶体管(SEL)106。
包括在像素91中的该像素电路适当地提供有传送信号TG、复位信号RST和选择信号SEL、用于从垂直传输控制部52驱动像素电路的驱动信号(控制信号)。也就是说，传送信号TG、复位信号RST和选择信号SEL分别施加到传送晶体管101的栅极、复位晶体管104的栅极和选择晶体管106的栅极。
光电二极管101将其阳极电极连接到低电位侧电源(例如，地)，从而将接收的光(入射光)转换成与接收的光的电荷量成比例的光电荷(这里是光电子)并累积该光电荷。光电二极管101将其阴极电极电连接到放大晶体管105的栅极电极。通过传送晶体管102与放大晶体管105的栅极电连接的节点是浮动扩散(FD)部103。
传送晶体管102连接在光电二极管101的阴极和FD部103之间。从垂直传送控制部52向传送晶体管102的栅极提供在高电平(例如，VDD电平)有效(下文表示为“高有效”)的传送信号TG。传送晶体管102响应于该传送信号TG而导通，从而将由光电二极管101从光转换的光电荷传送到FD部103。
复位晶体管104分别将其漏极电极连接到像素电源VDD，以及将其源极电极连接到FD部103。从垂直传输控制部52向复位晶体管104的栅极提供高有效复位信号RST。复位晶体管104响应于该复位信号RST而导通，从而丢弃FD部103到像素电源VDD的电荷并使FD部103复位。
放大晶体管105分别将其栅极电极连接到FD部103，并且将其漏极电极连接到像素电源VDD。然后，放大晶体管105输出通过复位晶体管104复位之后、FD部103的电位作为复位信号(复位电平)V复位(Vreset)。放大晶体管105还输出通过传送晶体管102传送信号电荷之后、FD部103的电位作为光学累积信号(信号电平)V信号(Vsig)。
选择晶体管106例如将其漏极电极连接到放大晶体管105的源极电极，并且将其源极电极连接到垂直信号线。从垂直传送控制部52向选择晶体管106的栅极电极提供高有效选择信号SEL。选择晶体管106响应于该选择信号SEL而导通，从而将像素91置于选择的状态并使从放大晶体管105输出的信号被读出到垂直信号线VSL上。
从以上描述显而易见，FD部103的电位被顺序地从包括在像素91中的像素电路读出到垂直信号线VSL上，从复位后电位作为复位电平V复位开始，随后是在信号电荷转移之后FD部103的电位作为信号电平V信号。顺便提及，信号电平V信号包括复位电平V复位的分量。
应当注意，尽管在这里描述的电路配置中，选择晶体管106连接在放大晶体管105的源极电极和垂直信号线VSL之间，但是可以使用其中选择晶体管106连接在像素电源VDD和放大晶体管105的漏极电极之间的电路配置。
此外，像素91中包括的像素电路不限于具有上述四个晶体管的像素配置。例如，像素电路可以具有包括三个晶体管的像素配置，其中放大晶体管105使选择晶体管106的功能加倍，或者其中在多个光电转换元件(像素)之间共享FD部103之外的晶体管的像素配置，并且使用何种像素电路配置无关紧要。
<读出脉冲生成部的配置示例>
接下来将参考图6所示的框图给出读出脉冲生成部71的配置示例的描述。
读出脉冲生成部71包括读出计数器121和比较器122。
读出计数器121与从H同步时钟生成部53提供的水平同步时钟(水平同步信号)同步地将其计数器递增1，并将计数器值提供给比较器122的非反相输入端子。此外，读出计数器121被提供有比较器122的输出作为复位信号，并且当复位信号是Hi信号时被复位。
比较器122将作为模式切换信号从信号处理部22提供到其反相输入端子并且设置为计数器的最大值的值(Rmax)与输入到非反相输入端子并从读出计数器121提供的值进行比较。在从非反相输入端子提供的值较大的情况下，比较器122输出Hi信号，否则比较器122输出低信号。
响应于从信号处理部22提供的模式切换信号，读出脉冲生成部71如图7所示操作。
这里，图7从顶部示出了水平同步时钟(H SYNC)的波形、表示读出计数器121的(最大值-1)的Rmax(最大计数值)的波形、模式切换信号、读出计数器121的计数器R的波形和读出脉冲的波形。
也就是说，当在水平同步时钟的第一时钟，作为模式切换信号，表示读出计数器121的最大值-1的Rmax＝2例如被提供以指定1/3行读出模式时，读出计数器121将读出计数器R的0输出到比较器122的非反相输入端子。此时，Rmax＝2被输入到比较器122的反相输入端子，并且0被输入到比较器122的非反相端子。结果，比较器122输出低信号作为读出脉冲。
接下来，在水平同步时钟的第二时钟，模式切换信号Rmax保持为2，并且读出计数器121将为0的读出计数器值递增1并将1输出到比较器122的非反相输入端子。此时，Rmax＝2被输入到比较器122的非反相输入端子，并且1被输入到比较器122的反相输入端子。结果，比较器122输出低信号作为读出脉冲。
此外，在水平同步时钟的第三时钟，模式切换信号Rmax保持为2，并且读出计数器121将为1的读出计数器值递增1并将2输出到比较器的非反相输入端子。此时，Rmax＝2被输入到比较器122的非反相输入端子，并且2被输入到比较器122的反相输入端子。结果，比较器122输出Hi信号作为读出脉冲。这允许将Hi信号提供给读出计数器121，从而将读出计数器值复位为0。
也就是说，在水平同步时钟的第三时钟处发生读出脉冲，并且当发生读出脉冲时，使垂直传送控制部52执行像素读出操作。
从此开始重复类似的操作。
也就是说，输出读出脉冲，使得每三个水平同步时钟仅执行一次读出操作。也就是说，通过产生该读出脉冲来实现1/3行读出模式中的操作。
应当注意，尽管未示出，但对于每个水平同步时钟，复位脉冲生成部72总是输出Hi信号复位脉冲。垂直传送控制部52在复位脉冲的生成期间执行像素复位操作。也就是说，垂直传送控制部52使所有行中的像素与水平同步时钟同步地复位。
<操作控制处理>
接下来将参考图8所示的流程图描述由信号处理部22执行的操作控制处理。
在步骤S1中，状态确定部32确定是否已经设置了移动被摄体高图像质量模式。在作为操作部24的操纵的结果已经设置了移动被摄体高图像质量模式的情况下，例如，状态确定部32假设已经设置了移动被摄体高图像质量模式，并且该处理进入步骤S2。
在步骤S2中，状态确定部32确定是否已经过了给定时间段并重复类似处理直到过了给定时间段。然后，在步骤S2中假设已经过了给定时间段的情况下，处理进入步骤S3。
在步骤S3中，状态确定部32确定视角内是否存在移动被摄体。更详细地说，状态确定部32比较存储在帧存储器31中的多个最近帧图像，并基于像素之间的绝对差之和等于或大于给定值并根据视角内是否发生大的变化来确定是否存在移动被摄体。或者，状态确定部32具有运动检测功能，并且基于是否已经检测到运动来确定是否存在移动被摄体。
在步骤S3中未检测到移动被摄体的情况下，处理进入步骤S4。
在步骤S4中，因为没有检测到移动被摄体或者没有设置移动被摄体高图像质量模式，因此状态确定部32指示成像元件控制部33以低质量捕获图像，即，跳过多个像素。基于该指令，成像元件控制部33向图像传感器21提供指示Rmax＝4的信息，即读出计数器121的最大值，作为模式切换信号Rmax。
另一方面，在步骤S3中检测到移动被摄体的情况下，处理进入步骤S5。
在步骤S5中，因为已经检测到移动被摄体，所以状态确定部32指示成像元件控制部33以高质量捕获图像，即，跳过少量像素。基于该指令，成像元件控制部33向图像传感器21提供指示Rmax＝2的信息，即读出计数器121的最大值，作为模式切换信号。
此外，在步骤S1中没有设置移动被摄体高图像质量模式的情况下，处理进入步骤S4。
在步骤S6中，状态确定部32确定是否已例如通过操纵操作部24发出指令以终止成像。在没有发出指令以终止成像的情况下，处理返回到步骤S1。也就是说，重复从步骤S1到步骤S6的处理，直到发出指令以终止成像。然后，在步骤S6中发出指令以终止成像的情况下，终止处理。
也就是说，在没有检测到移动被摄体的情况下，或者在没有设置移动被摄体高图像质量模式的情况下，Rmax被设置为4作为模式切换信号，并且在已经设置了移动被摄体高图像质量模式的情况下，并且在检测到移动被摄体的情况下，Rmax被设置为2。
因此，在未选择移动被摄体高图像质量模式的情况下，或者在已经设置了移动被摄体模式的情况下，并且在没有检测到移动被摄体的情况下，选择1/5行读出模式。在已经设置了移动被摄体模式的情况下，并且在已经检测到移动被摄体的情况下，选择1/3行读出模式。
结果，在已经设置了移动被摄体高图像质量模式的情况下并且在已经检测到移动被摄体的情况下，可以在跳过较少像素的情况下执行像素读出，因此，与没有设置移动被摄体高图像质量模式的情况下，或者在已经设置了移动被摄体高图像质量模式的情况下并且在没有检测到移动被摄体的情况下相比，可以以更高质量捕获图像。
这使得能够在移动被摄体高图像质量模式中未检测到移动被摄体的情况下、通过在跳过多个像素的情况下在非高图像质量模式下(即，在低图像质量模式下)捕获图像来实现省电，并且可以减少捕获图像的数据量，从而减少用于累积图像的存储容量。此外，在已经设置了移动被摄体高图像质量模式的情况下并且在已经检测到移动被摄体的情况下，可以在跳过少量像素的情况下在高图像质量模式下捕获图像。
<通过图像传感器执行的读出/复位处理>
接下来将参考图9所示的流程图描述由图像传感器21执行的读出/复位控制处理。
在步骤S11中，读出脉冲生成部71将未示出的行计数器L复位为0。
在步骤S12中，读出脉冲生成部71将读出计数器121的读出计数器R复位为0。
在步骤S13中，读出脉冲生成部71确定水平同步时钟是否已经计数。也就是说，读出脉冲生成部71确定是否已经从H同步时钟生成部53生成和提供了一个方波水平同步时钟，并且在已经提供了方波的情况下，该处理进入步骤S14。
在步骤S14中，读出脉冲生成部71确定读出计数器R是否小于最大值Rmax。这里的术语“最大值Rmax”指的是作为上述操作控制处理的结果而输出的模式切换信号Rmax。
在步骤S14中，例如，在读出计数器R小于模式切换信号Rmax的情况下，跳过步骤S15和S16中的处理，并且处理进入步骤S17。
在步骤S17中，复位脉冲生成部72生成复位脉冲，该复位脉冲指示通过从行计数器L指示的第L行中减去n行而获得的第(L-n)行中的像素的复位。这里，在相同的水平同步时钟中，因子n表示经过像素复位的行与经过像素读出的行之间的差值。也就是说，在像素读出之后执行下一像素复位的定时由曝光时间和读出间隔确定，并且等于水平同步时钟的整数倍，并且水平同步时钟的数量和作为差值的行数是相同的。因此，该因子n用于进行调整。
例如，在1/3行读出模式的情况下，如图2所示的水平同步时钟的第15时钟所示、当执行像素读出(读取)时，在紧接水平同步时钟的第14时钟之后的水平同步时钟处发生第三行的像素复位(关闭)，并且两者之间的差值n是一个水平同步时钟。结果，有一行的变化。应注意，在描述图9中所示的流程图时，我们假设n＝1。
在步骤S18中，读出脉冲生成部71确定行计数器L是否小于最大行计数Lmax，即垂直行数，并且在行计数器L较小的情况下，处理进入步骤S20。
在步骤S20中，读出脉冲生成部71确定是否已发出指令以终止操作，并且在没有发出指令以终止操作的情况下，处理进入步骤S21。
在步骤S21中，读出脉冲生成部71将行计数器L递增1，并且处理进入步骤S22。
在步骤S22中，读出脉冲生成部71将读出计数器R递增1，并且处理返回到步骤S13。
此外，在步骤S18中，当行计数器L不小于最大值Lmax时，即，当行计数器L等于最大值Lmax时，处理进入步骤S19。
在步骤S19中，读出脉冲生成部71将行计数器L复位为0，并且处理返回到步骤S22。
也就是说，重复从步骤S13到步骤S22的处理，直到读出计数器R达到最大值Rmax。在该时间段期间，当水平同步时钟经过一个单位时，处理前进一行，并且在每行中生成复位脉冲。在生成复位脉冲的该水平同步定时，垂直传送控制部52生成像素复位所需的控制脉冲，从而使得在行计数器L中执行像素复位。此外，在每个行中都生成复位脉冲。因此，当水平同步时钟前进一个单位时，处理前进一行，从而使得总是在每一行中执行像素复位。
然后，在步骤S14中，在读出计数器R<Rmax不为真的情况下，即，在读出计数器R达到最大值Rmax的情况下，处理进入步骤S15。
在步骤S15中，读出脉冲生成部71生成指示要在行计数器L中执行的像素读出的读出脉冲。
在步骤S16中，读出脉冲生成部71将读出计数器R复位为0。
也就是说，在由读出脉冲生成部71生成像素读出脉冲时的水平同步时钟定时，垂直传送控制部52生成像素读出所需的控制脉冲，从而使得在行计数器L中执行像素读出。此外，以由模式切换信号Rmax定义的行间隔生成读出脉冲。为此，例如，在模式切换信号Rmax为2的情况下，如图7所示选择每三个水平同步时钟执行一次读出的模式，即1/3行读出模式，从而使得每三行生成一次读出脉冲，并且每三行一行地执行像素读出。
由于上述处理，即使在已跳过到该时间点的行中，也在每行中生成一个水平同步时钟的复位脉冲，从而使得执行像素复位。结果，就像素读出而言，即使设置了跳过行，也可以在任何行中读出具有相同曝光时间的像素信号。
也就是说，在排列包括两个像素乘两个像素的六行拜耳图案(Bayer pattern)的情况下，如图10中左侧所示、从顶部指定的行作为第零、第一、第二行等，在1/3行读出模式中，第零行和第三行被设置为读出行，并且其他行被设置为跳过行。
此时，在使用传统读出控制方法的情况下，在从时间t0到时间t1(即如图10中的顶部中心所示的水平同步时钟的第一时钟)的读出行中执行像素读出。即，从时间t0到时间t1，选择脉冲SET是Hi信号。同时，在时间t0生成复位脉冲RST，从而接通复位晶体管104并使复位后的FD部103的电位被读出为复位电平V复位。此后，在时间t11，生成传送信号TG，从而接通传送晶体管102并使信号电荷传送后的FD部103的电位连续读出到垂直信号线VSL上作为信号电平V信号。此后，执行信号电平V信号和复位电平V复位的AD(模拟/数字)转换，之后执行CDS(相关双采样)以找到差值，并且输出差值作为像素信号。
此外，在紧接着生成水平同步时钟的第二时钟之后的时刻t1，生成复位脉冲RST，从而接通复位晶体管104，并生成传送信号TG，从而接通传送晶体管102并使得像素复位被执行。
对于跳过行，不生成用于控制像素91的像素电路的控制信号，如图10中的底部中心所示。
相反，在本公开的成像装置中，对于读出行，读出脉冲生成部71按如上所述生成读出脉冲。结果，如图10右上所示，垂直传送控制部52生成类似于图10中顶部中心所示的控制信号的控制信号。
此时，读出脉冲生成部71对于跳过行不生成读出脉冲，并且复位脉冲生成部72仅生成复位脉冲。因此，如图10右下方所示，在水平同步时钟的第二时钟，复位脉冲生成部72生成复位脉冲。结果，在时间t2，如圆圈所示生成复位脉冲RST，从而接通复位晶体管104，并且生成传送信号TG，从而接通传送晶体管102并使像素复位被执行。
然而，应该注意，在本公开的成像装置中，也不在跳过的行中执行像素读出。结果，不进行AD转换，从而使得能够实现省电。
此外，例如，在1/3行读出模式的情况下，当如图11中左侧所示、在第零行(即从时间t0到时间t1的读出行)中执行像素读出时，通常在紧接着的时间t1到时间t2在第零行中执行像素复位，并且同时，在第三行(即下一读出行)中执行像素读出。
也就是说，在通常情况下，当跳过间隔被设置为m行时，经过像素读出的帧中、经过像素读出的行从读出开始时间的定时等于经过像素读出的行(行号)/m倍与水平同步时钟的脉冲宽度对应的时间。
相反，在本公开的成像装置中，当如图11中的右侧所示、在第零行(即从时间t0到时间t1的读出行)中执行像素读出时，在此后紧接的时间t1到时间t2，在第零行中仅执行像素复位。
此外，此后，在第一行(即跳过行)中不执行像素读出，并且在时间t2(即其下一定时)仅执行像素复位。此外，在第二行(即跳过行)中也不执行像素读出，并且在时间t3(即其下一定时)仅执行像素复位。
然后，在第三行(下一读出行)中，当从时间t3到时间t4执行像素读出时，在紧接其后的时间t4在第三行中执行像素复位。
应当注意，在图11中，由虚线示出的波形是在全像素读出模式的情况下执行像素读出时的波形。
如图11右侧所示，在本公开的成像装置中，设置经过像素读出的行之间的间隔和像素读出之间的时间间隔，而不管是否执行跳过。也就是说，在1/3行读出模式的情况下，当读出第零行时，要读出的下一行是第三行。但是，经过像素读出的行之间的时间间隔是水平同步时钟的三倍。此外，在1/5行读出模式的情况下，当读出第零行时，要读出的下一行是第六行。因此，像素读出之间的时间间隔是水平同步时钟的五倍。也就是说，在1/m行读出模式的情况下，经过像素读出的行之间的时间间隔是水平同步时钟的m倍。
也就是说，当跳过间隔被设置为m行时，经过像素读出的行之间的时间间隔是水平同步时钟的m倍，并且实际读出待读出行的定时变为恒定，从待读出帧中的读出开始时间起持续到行数乘以水平同步时钟，而不管跳过的行数，即，不管是否执行跳过。
为此，即使作为执行以例如从1/3行读出模式切换到1/5行读出模式或者到全像素读出模式的操作的结果，不同于直到目前为止选择的行被设置为读出行，也能够将读出作为适当的像素信号来执行。这消除了由于出现无效帧而在紧接着模式切换之后浪费帧的可能性，从而使得能够实现视频的再现而不会引起任何不适感。此外，在设置跳过行的情况下，不执行像素读出。结果，不会发生AD转换，从而可以降低功耗。
此外，在本公开的成像装置中，每个像素产生具有与其他像素信号相同的曝光时间的像素信号，并且在所有行中以恒定的时间间隔执行像素复位和像素读出，而不管是否执行跳过而且不管跳过间隔。至于对闪烁的补救，如果应用相同的过程就足够了，从而使得能够减少工作量。
<因子n>
上面已经给出了在图9所示的流程图的步骤S17的处理中在因子n设置为1的情况下在像素读出结束之后立即执行像素复位的示例的描述。如上所述，在由该因子n设置的像素复位和像素读出之间的间隔可以随意设置为水平同步时钟的倍数。
也就是说，例如，在两列拜耳图案像素(即，总共四列像素图案)从上到下排列(其中右边起的第二列是图12中左边所示的感兴趣列)的情况下，像素读出定时落在水平同步时钟的第零时钟定时上。当在水平同步时钟的第五个时钟的定时四个周期之后设置像素复位时，因子n是4。然而，应当注意，因子n被设置为行计数。因此，在目标行号到达第五行之前，我们假设该处理被忽略，因为获得了0或更小的数字。
(全像素读出模式的情况)
在全像素读出模式的情况下，读出计数器R总是0，并且连续生成读出脉冲，如图12所示。
例如，在行计数器L为5的第五行的处理中，在水平同步时钟(H SYNC)的第五时钟的定时执行像素读出，并且在通过减去因子n＝4获得的第一行中执行像素复位。
然后，随着水平同步时钟的进行，重复该操作，其中经过像素读出的行号和经过像素复位的行号顺序地递增1。
(1/3行读出模式)
另外，例如，在1/3行读出模式的情况下，读出计数器R取值为0、1或2，如图13所示，其中，当读出计数器R为2时，生成读出脉冲。
因此，在这种情况下，在图13中的水平同步时钟的第零、第三，第六时钟等处，在第零、第三、第六行等中执行像素读出。例如，在行计数器L为6的第六行的处理中，在水平同步时钟(H SYNC)的第六时钟的定时执行像素读出，并且在通过减去因子n＝4获得的第二行中执行像素复位。
然后，随着水平同步时钟的进行，重复该操作，其中每三个水平同步时钟执行一次像素读出，即，每三个行号一个行号经过像素读出，并且在每个行中执行像素复位。
(1/5行读出模式)
此外，例如，在1/5行读出模式的情况下，读出计数器R取值为0、1、2、3或4，如图14所示，其中，当读出计数器R为4时，生成读出脉冲。
因此，在这种情况下，在图14中的水平同步时钟的第零、第五、第10时钟等处，在第零、第五、第十行等中执行像素读出。例如，行计数器L为5的第五行的处理中，在水平同步时钟(H SYNC)的第五时钟的定时执行像素读出，并且在通过减去因子n＝4获得的第一行中执行像素复位。
然后，随着水平同步时钟的进行，重复该操作，其中每五个水平同步时钟执行一次像素读出，即，每五个行号一个行号经过像素读出，并且在每行中执行像素复位。
由于上述处理，即使用因子n调整像素读出和像素复位之间的间隔，实际读出待读出行的定时也变得恒定，从待读出帧中的读出开始时间持续到行数乘以水平同步时钟，而不管跳过的行的数量，即，不管是否执行跳过。
因此，即使当切换读出模式时，也可以在所有行中以一致的曝光时间执行像素读出，从而防止出现经过无效读出的帧，从而抑制无效帧的出现。
应当注意，上面已经给出了其中全像素读出模式、1/3行读出模式和1/5行读出模式从一个切换到另一个的示例的描述，可以以其他跳过间隔(跳过率)设置读出模式。此时，例如，在预先指定仅使用两个读出模式(即，1/3行读出模式和1/6行读出模式)的情况下，仅编号为3的倍数的行被大量使用。
为此，在这种情况下，第零行在像素读出之后经历像素复位，并且第三行经历像素读出。然后，在第三行中完成读出之后第三行经历像素复位，并且第六行经历像素复位。因此，在编号为3的倍数的行中重复像素读出和像素复位，并且在其他行中停止像素读出和像素复位。
结果，能够实现比全像素读出模式更快的成像。另外，即使当1/3行读出模式和1/6行读出模式从一个切换到另一个时，也可以实现无缝读出，从而即使在切换期间也能够抑制无效帧的出现并实现省电。
<<3.第一修改示例>>
上面已经给出了根据在仅在操作控制处理中已经对移动被摄体成像的情况下选择高图像质量模式的移动被摄体高图像质量模式中是否存在移动被摄体来选择1/3行读出模式或1/5行读出模式的示例的描述。然而，例如，当检测到的驱动电池电平低于给定电平时，可以选择1/5行读出模式，否则，可以选择1/3行读出模式，并且读出模式可以根据剩余电池电量切换到省电模式。
为此，下面将参考图15所示的流程图描述省电模式下的操作控制处理。
在步骤S51中，状态确定部32确定是否选择了省电模式。在通过操纵操作部24设置了省电模式的情况下，状态确定部32假设选择了省电模式，并且处理进入步骤S52。
在步骤S52中，状态确定部32确定是否已经过了给定时间段并重复类似处理直到过了给定时间段。然后，在步骤S52中假设已经过了给定时间段的情况下，处理进入步骤S53。
在步骤S53中，状态确定部32检测未示出的成像装置11的电池电平，并确定检测到的电池电平是否低于给定电平。
在步骤S53中电池电平不低于给定电平的情况下，处理进入步骤S55。
在步骤S55中，因为电池电平不低于给定电平，即电池电平足够，所以状态确定部32指示成像元件控制部33以高质量(即，在跳过少量的像素的情况下)捕获图像。基于该指令，成像元件控制部33向图像传感器21提供指示Rmax＝2的信息，即读出计数器121的最大值，作为模式切换信号Rmax。
另一方面，在步骤S53中电池电平低于给定电平的情况下，处理进入步骤S54。
在步骤S54中，因为电池电平低于给定电平，所以状态确定部32指示成像元件控制部33以低质量(即，在跳过多个像素的情况下)捕获图像。基于该指令，成像元件控制部33向图像传感器21提供指示Rmax＝4的信息，即读出计数器121的最大值，作为模式切换信号。
此外，在步骤S51中未选择省电模式的情况下，处理进入步骤S55。
在步骤S56中，状态确定部32确定是否已例如通过操纵操作部24发出指令以终止成像。在没有发出指令以终止成像的情况下，处理返回到步骤S51。也就是说，重复从步骤S51到步骤S56的处理，直到发出指令以终止成像。然后，在步骤S56中发出指令以终止成像的情况下，终止处理。
也就是说，在电池电平不低于给定电平的情况下，或者在未选择省电模式的情况下，Rmax被设置为4作为模式切换信号信息，并且在电池电量低于给定电平的情况下选择省电模式的情况下，Rmax被设置为2。
为此，在电池电平低于给定电平的情况下选择省电模式的情况下，选择1/5行读出模式，并且在未选择省电模式的情况下，或者在电池电平不低于给定电平的情况下选择省电模式的情况下，选择1/3行读出模式。
结果，与在未选择省电模式的情况下或者在电池电平不低于给定水平的情况下选择省电模式的情况下相比，在电池电平低于给定电平的情况下选择省电模式的情况下以跳过更多的像素来执行读出，从而允许省电更多并延长可能的成像时间。
<<4.第二修改示例>>
上面已经给出了图像传感器21和信号处理部22分离的配置示例的描述。然而，例如，图像传感器21和信号处理部22可以具有两者组合成一体的配置。
也就是说，图16示出了其中图像传感器21和信号处理部22的组件设置在同一芯片上的成像装置11的配置示例。在图16所示的成像装置11中，具有与图3中所示的成像装置11的功能相同的功能的组件由相同的名称和相同的附图标记表示，并且将适当地省略其描述。
也就是说，图16所示的成像装置11与图3所示的成像装置11的不同之处在于：图16所示的成像装置11包括图像传感器141，其是信号处理部22和图像传感器21的组件为一体的组合。
图像传感器141例如被配置为使得像素阵列51至图像处理部55(即图像传感器21的组件)，以及帧存储器31至显示控制部35(即图1中所示的信号处理部22的组件)被组合成一体。
更详细地说，图像传感器141具有例如设置在同一芯片上的像素阵列51至图像处理部55(即图像传感器21的组件)，以及帧存储器31至显示控制部35(即图1中的信号处理部22的组件)。
或者，图像传感器141具有如下配置，其中具有像素阵列51(即图像传感器21的组件)的上芯片和具有帧存储器31至显示控制部35(即图1所示的信号处理部22的组件)的下芯片与垂直传送控制部52至图像处理部55一个堆叠在另一个之上。
这样的配置使得即使在读出模式改变的情况下也能够抑制无效帧的出现，从而允许成像装置11的配置的小型化和轻量化。
如上所述，根据本公开的成像装置，当切换读出模式时，在切换之后不会立即出现浪费帧(无效帧)，从而使得即使在读出模式之间无缝切换期间也能够捕获不会引起不适感的图像。
此外，在需要诸如高帧率成像的快速成像或初步调光的情况下，例如，可以选择图1所示的模式，其中如通常所做的那样重复跳过行中的顺序读出，随后是像素复位。
此外，尽管已经描述了根据移动被摄体的存在或不存在或电池电平来切换读出模式的示例，但是本公开的成像装置可以例如用作监控相机。也就是说，在将本公开的成像装置用作将监控相机的情况下，可以仅在监视区域中检测到入侵者时选择全像素模式，否则，选择1/3行读出模式，或者可以选择1/5行读出模式。
此外，本公开的成像装置可以用作车载相机。也就是说，在使用本公开的成像装置例如用作车载相机的情况下，成像装置可以与用于检测冲击的冲击检测装置或其他装置一起操作，从而使得当确定由于检测到强烈撞击而发生事故或其他事件时，选择全像素读出模式，否则，选择1/3行读出模式或1/5行读出模式。而且，除非车辆正在巡航，否则可以使成像装置用作上述监控相机。
此外，在成像装置具有例如取景器的情况下，可以检测用户是否已经扫视取景器，从而使得仅当检测到扫视取景器时才选择全像素模式，否则，可以选择1/3行读出模式或1/5行读出模式。
应该注意，本公开还可以具有以下配置：
(1)一种成像控制装置，包括：
控制部，适于控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，其中
对于像素的所有行，控制部以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
(2)根据(1)所述的成像控制装置，还包括：
水平同步时钟信号生成部，适于生成水平同步时钟信号，用于水平地限定一列的量的处理，其中
对于每个水平同步时钟信号，控制部与水平同步时钟信号同步地一次一行地顺序地执行像素的逐行复位。
(3)根据(1)或(2)所述的成像控制装置，其中
控制部基于与包含由像素捕获的像素信号的图像的图像质量模式对应的模式切换信号，以给定数的行为单位跳过像素来控制像素读出。
(4)根据(3)所述的成像控制装置，还包括：
确定部，适于确定像素的操作状态；
设置部，适于基于确定部的确定结果设置模式切换信号，所述模式切换信号包含关于与给定数相对应的值的信息；
水平同步时钟信号生成部，适于生成水平同步时钟信号；
计数器，适于基于水平同步时钟信号进行计数；以及
比较部，适于将由设置部设置的模式切换信号中包含的值与计数器的值进行比较，并在两个值匹配时生成读出脉冲，其中
使控制部基于读出脉冲逐行读出已经复位的像素，以及
当由设置部设置的模式切换信号中包含的值和计数器的值匹配时，计数器被复位。
(5)根据(4)所述的成像控制装置，还包括：
帧存储器，适于按时间顺序存储包含由像素捕获的像素信号的图像，其中
确定部基于图像中存在或不存在移动被摄体，通过比较存储在帧存储器中的时间顺序的图像来确定像素的操作状态。
(6)根据(5)所述的成像控制装置，其中
在确定部确定图像中存在移动被摄体作为像素的操作状态的情况下，控制部基于与给定图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及
在确定部确定图像中不存在移动被摄体作为像素的操作状态的情况下，控制部基于与质量低于给定图像质量的图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
(7)根据(6)所述的成像控制装置，其中
在确定部确定图像中存在移动被摄体作为像素的操作状态的情况下，设置部将包含关于第一值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于与给定图像质量模式对应的模式切换信号中包含的第一值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及
在确定部确定图像中不存在移动被摄体作为像素的操作状态的情况下，设置部将包含关于大于第一值的第二值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于与质量低于给定图像质量的图像质量模式对应的模式切换信号中包含的第二值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
(8)根据(4)所述的成像控制装置，还包括：
驱动电池，其中
确定部基于电池的电平确定像素的操作状态。
(9)根据(8)所述的成像控制装置，其中
在确定部基于电池的电平确定电池的电平高于给定值并且作为像素的操作状态的情况下，使控制部基于与给定图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像跳过像素来控制像素读出，以及
在确定部基于电池的电平确定电池的电平低于给定值并且作为像素的操作状态的情况下，使控制部基于与质量低于给定图像质量的图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
(10)根据(9)所述的成像控制装置，其中
在确定部基于电池的电平确定电池的电平高于给定值并且作为像素的操作状态的情况下，设置部将包含关于第一值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于包含在模式切换信号中的第一值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及
在确定部基于电池的电平确定电池的电平低于给定值并且作为像素的操作状态的情况下，设置部将包含关于比第一值大的第二值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于与质量低于给定图像质量的图像质量模式对应的模式切换信号中包含的第二值的行为单位从包含由像素捕获的像素信号的图像跳过像素来控制像素读出。
(11)根据(1)至(10)中任一项所述的成像控制装置，还包括：
水平同步时钟信号生成部，适于生成水平同步时钟信号，用于水平地限定一列的量的处理，其中
当通过逐行跳过以便每m行读出一行像素的方式执行像素读出时，以水平同步时钟信号的m倍的时间间隔执行像素读出。
(12)根据(1)至(11)中任一项所述的成像控制装置，其中
使控制部通过滚动快门方案逐行地复位或读出多个像素。
(13)根据(1)至(12)中任一项所述的成像控制装置，其中
CMOS图像传感器被用作所述多个像素。
(14)一种成像控制方法，包括：
控制步骤，控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，其中
控制步骤的处理对于像素的所有行，以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
(15)一种成像元件，包括：
控制部，适于控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，其中
对于像素的所有行，控制部以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
附图标记列表
11成像装置，20光模块，21图像传感器，22信号处理部，23显示部，31帧存储器，32状态确定部，33成像元件控制部，34相机信号处理部，35显示控制部，51像素阵列，52垂直传送控制部，53 H同步时钟生成部，54水平传送控制部，55图像处理部，101光电二极管，102传送晶体管，103浮动扩散(FD)，104复位晶体管，105放大晶体管，106选择晶体管，121读出计数器，122比较器，141图像传感器。

Claims (15)

1.一种成像控制装置，包括：
控制部，适于控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，其中
对于像素的所有行，控制部以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
2.根据权利要求1所述的成像控制装置，还包括：
水平同步时钟信号生成部，适于生成水平同步时钟信号，用于水平地限定一列的量的处理，其中
对于每个水平同步时钟信号，控制部与水平同步时钟信号同步地一次一行地顺序地执行像素的逐行复位。
3.根据权利要求1所述的成像控制装置，其中
控制部基于与包含由像素捕获的像素信号的图像的图像质量模式对应的模式切换信号，以给定数的行为单位跳过像素来控制像素读出。
4.根据权利要求3所述的成像控制装置，还包括：
确定部，适于确定像素的操作状态；
设置部，适于基于确定部的确定结果设置模式切换信号，所述模式切换信号包含关于与给定数相对应的值的信息；
水平同步时钟信号生成部，适于生成水平同步时钟信号；
计数器，适于基于水平同步时钟信号进行计数；以及
比较部，适于将由设置部设置的模式切换信号中包含的值与计数器的值进行比较，并在两个值匹配时生成读出脉冲，其中
使控制部基于读出脉冲逐行读出已经复位的像素，以及
当由设置部设置的模式切换信号中包含的值和计数器的值匹配时，计数器被复位。
5.根据权利要求4所述的成像控制装置，还包括：
帧存储器，适于按时间顺序存储包含由像素捕获的像素信号的图像，其中
确定部基于图像中存在或不存在移动被摄体，通过比较存储在帧存储器中的时间顺序的图像来确定像素的操作状态。
6.根据权利要求5所述的成像控制装置，其中
在确定部确定图像中存在移动被摄体作为像素的操作状态的情况下，控制部基于与给定图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及
在确定部确定图像中不存在移动被摄体作为像素的操作状态的情况下，控制部基于与质量低于给定图像质量的图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
7.根据权利要求6所述的成像控制装置，其中
在确定部确定图像中存在移动被摄体作为像素的操作状态的情况下，设置部将包含关于第一值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于与给定图像质量模式对应的模式切换信号中包含的第一值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及
在确定部确定图像中不存在移动被摄体作为像素的操作状态的情况下，设置部将包含关于大于第一值的第二值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于与质量低于给定图像质量的图像质量模式对应的模式切换信号中包含的第二值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
8.根据权利要求4所述的成像控制装置，还包括：
驱动电池，其中
确定部基于电池的电平确定像素的操作状态。
9.根据权利要求8所述的成像控制装置，其中
在确定部基于电池的电平确定电池的电平高于给定值并且作为像素的操作状态的情况下，使控制部基于与给定图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像跳过像素来控制像素读出，以及
在确定部基于电池的电平确定电池的电平低于给定值并且作为像素的操作状态的情况下，使控制部基于与质量低于给定图像质量的图像质量模式对应的模式切换信号，以给定数的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出。
10.根据权利要求9所述的成像控制装置，其中
在确定部基于电池的电平确定电池的电平高于给定值并且作为像素的操作状态的情况下，设置部将包含关于第一值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于包含在模式切换信号中的第一值的行为单位从包含由像素捕获的像素信号的图像中跳过像素来控制像素读出，以及
在确定部基于电池的电平确定电池的电平低于给定值并且作为像素的操作状态的情况下，设置部将包含关于比第一值大的第二值的信息的模式切换信号设置为与给定数对应的值；以及
使控制部以适合于与质量低于给定图像质量的图像质量模式对应的模式切换信号中包含的第二值的行为单位从包含由像素捕获的像素信号的图像跳过像素来控制像素读出。
11.根据权利要求1所述的成像控制装置，还包括：
水平同步时钟信号生成部，适于生成水平同步时钟信号，用于水平地限定一列的量的处理，其中
当通过逐行跳过以便每m行读出一行像素的方式执行像素读出时，以水平同步时钟信号的m倍的时间间隔执行像素读出。
12.根据权利要求1所述的成像控制装置，其中
使控制部通过滚动快门方案逐行地复位或读出多个像素。
13.根据权利要求1所述的成像控制装置，其中
CMOS图像传感器被用作所述多个像素。
14.一种成像控制方法，包括：
控制步骤，控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，其中
控制步骤的处理对于像素的所有行，以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
15.一种成像元件，包括：
控制部，适于控制从以阵列形式排列的用于累积与入射光量成比例的电荷作为像素信号的多个像素中读出像素信号，其中
对于像素的所有行，控制部以针对每行恒定的间隔控制所述多个像素的逐行复位，并以给定数的行为单位跳过像素来控制像素读出。
CN201780044572.1A 2016-07-26 2017-07-12 成像控制装置、成像控制方法和成像元件 Pending CN109479102A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-145904 2016-07-26
JP2016145904 2016-07-26
PCT/JP2017/025461 WO2018021034A1 (ja) 2016-07-26 2017-07-12 撮像制御装置および撮像制御方法、並びに撮像素子

Publications (1)

Publication Number Publication Date
CN109479102A true CN109479102A (zh) 2019-03-15

Family

ID=61015989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780044572.1A Pending CN109479102A (zh) 2016-07-26 2017-07-12 成像控制装置、成像控制方法和成像元件

Country Status (5)

Country Link
EP (1) EP3493529A4 (zh)
JP (1) JP6992753B2 (zh)
KR (1) KR20190029606A (zh)
CN (1) CN109479102A (zh)
WO (1) WO2018021034A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052022B2 (ja) * 2018-05-01 2022-04-11 オリンパス株式会社 内視鏡装置、内視鏡およびプロセッサならびに内視鏡装置の作動方法
WO2023281724A1 (ja) * 2021-07-08 2023-01-12 キヤノン株式会社 撮像素子、撮像装置、監視装置、および撮像素子の制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338979A (ja) * 2002-05-20 2003-11-28 Fuji Photo Film Co Ltd 撮像装置
CN101385334A (zh) * 2006-12-18 2009-03-11 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101483712A (zh) * 2008-01-10 2009-07-15 佳能株式会社 固态成像装置、成像系统和固态成像装置的驱动方法
CN101529890A (zh) * 2006-10-24 2009-09-09 索尼株式会社 图像摄取设备和再现控制设备
JP2010004175A (ja) * 2008-06-18 2010-01-07 Canon Inc 撮像装置
CN103838371A (zh) * 2012-11-21 2014-06-04 英飞凌科技股份有限公司 成像功率的动态节省

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614591B2 (ja) * 2001-07-17 2011-01-19 Ｎｔｎ株式会社 研削スラッジの固形化物製造装置
JP4401858B2 (ja) 2004-04-28 2010-01-20 キヤノン株式会社 撮像装置
JP4983265B2 (ja) 2007-01-12 2012-07-25 ソニー株式会社 固体撮像装置、撮像装置
JP5101946B2 (ja) 2007-08-03 2012-12-19 キヤノン株式会社 撮像装置及び撮像システム
JP2009089087A (ja) 2007-09-28 2009-04-23 Sony Corp 固体撮像装置及び撮像装置
JP4868021B2 (ja) 2009-01-07 2012-02-01 ソニー株式会社 固体撮像素子および駆動制御方法
JP5476736B2 (ja) 2009-02-23 2014-04-23 株式会社ニコン 撮像装置
JP2011151669A (ja) 2010-01-22 2011-08-04 Olympus Corp 固体撮像装置
JP2012063664A (ja) 2010-09-17 2012-03-29 Nikon Corp 測光装置及び電子カメラ
KR102205702B1 (ko) * 2014-07-30 2021-01-21 삼성전자주식회사 이미지 센서 및 이미지 센서를 구동하는 방법, 그리고 이를 이용한 영상 촬영 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338979A (ja) * 2002-05-20 2003-11-28 Fuji Photo Film Co Ltd 撮像装置
CN101529890A (zh) * 2006-10-24 2009-09-09 索尼株式会社 图像摄取设备和再现控制设备
CN101385334A (zh) * 2006-12-18 2009-03-11 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101483712A (zh) * 2008-01-10 2009-07-15 佳能株式会社 固态成像装置、成像系统和固态成像装置的驱动方法
JP2010004175A (ja) * 2008-06-18 2010-01-07 Canon Inc 撮像装置
CN103838371A (zh) * 2012-11-21 2014-06-04 英飞凌科技股份有限公司 成像功率的动态节省

Also Published As

Publication number Publication date
JP6992753B2 (ja) 2022-01-13
JPWO2018021034A1 (ja) 2019-05-16
EP3493529A4 (en) 2019-07-31
EP3493529A1 (en) 2019-06-05
WO2018021034A1 (ja) 2018-02-01
KR20190029606A (ko) 2019-03-20

Similar Documents

Publication Publication Date Title
US9979874B2 (en) Image capturing apparatus and pixel scanning method for image generation
KR101435964B1 (ko) 촬상장치 및 고체 촬상소자의 구동방법
CN105359505B (zh) 固态摄像装置及其驱动方法、以及电子设备
US8031259B2 (en) Solid-state imaging device and electronic camera
EP2285098A2 (en) Solid-state image pickup device and driving mehtod thereof, and electronic apparatus
US8405761B2 (en) Image sensing apparatus having pupil-divided pixels and plural readout modes
US8878117B2 (en) Image sensor and image capture apparatus
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
CN101981918A (zh) 用于固态成像装置的驱动方法以及成像系统
CN102970494A (zh) 摄像器件、摄像方法和电子设备
JP6872956B2 (ja) 撮像システム及び撮像システムの制御方法
JP2010062638A (ja) 撮像装置
JPWO2011043045A1 (ja) 撮像装置、固体撮像素子、画像生成方法、およびプログラム
JP2009089087A (ja) 固体撮像装置及び撮像装置
CN109479102A (zh) 成像控制装置、成像控制方法和成像元件
JP4540650B2 (ja) 撮影装置
KR20180031288A (ko) 이미지 센서 및 이를 포함하는 촬상 장치
JP2008187614A (ja) 撮影装置
JP7457473B2 (ja) 撮像装置及びその制御方法
JP7325211B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US7782381B2 (en) Generating an instant review image using fractional readouts
JP2009302693A (ja) 撮像装置及び撮像方法
JP4999958B2 (ja) 撮影装置
JP6167473B2 (ja) 撮像装置
JP7020463B2 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190315

WD01 Invention patent application deemed withdrawn after publication