CN109196855A - 摄像装置、图像处理装置及电子设备 - Google Patents
摄像装置、图像处理装置及电子设备 Download PDFInfo
- Publication number
- CN109196855A CN109196855A CN201780033560.9A CN201780033560A CN109196855A CN 109196855 A CN109196855 A CN 109196855A CN 201780033560 A CN201780033560 A CN 201780033560A CN 109196855 A CN109196855 A CN 109196855A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- imaging
- imaging conditions
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 1008
- 238000003384 imaging method Methods 0.000 claims abstract description 1082
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 238000003860 storage Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 description 349
- 230000008569 process Effects 0.000 description 342
- 238000001514 detection method Methods 0.000 description 201
- 230000000875 corresponding effect Effects 0.000 description 196
- 238000012937 correction Methods 0.000 description 155
- 241000276489 Merlangius merlangus Species 0.000 description 132
- 239000004615 ingredient Substances 0.000 description 68
- 230000003287 optical effect Effects 0.000 description 44
- 238000004364 calculation method Methods 0.000 description 36
- 238000002203 pretreatment Methods 0.000 description 29
- 230000035945 sensitivity Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 20
- 241001269238 Data Species 0.000 description 19
- 241000208340 Araliaceae Species 0.000 description 14
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 14
- 235000003140 Panax quinquefolius Nutrition 0.000 description 14
- 235000008434 ginseng Nutrition 0.000 description 14
- 238000005375 photometry Methods 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000008439 repair process Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 230000000149 penetrating effect Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000002087 whitening effect Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- 238000002161 passivation Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- TWDJIKFUVRYBJF-UHFFFAOYSA-N Cyanthoate Chemical compound CCOP(=O)(OCC)SCC(=O)NC(C)(C)C#N TWDJIKFUVRYBJF-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/097—Digital circuits for control of both exposure time and aperture
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/142—Energy conversion devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Computer Hardware Design (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Optics & Photonics (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
摄像装置具备：摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以上述第2摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像。
Description
技术领域
本发明涉及摄像装置、图像处理装置及电子设备。
背景技术
已知一种搭载有根据来自摄像元件的信号生成图像的图像处理技术的摄像装置(参照专利文献1)。
一直以来要求图像的画质提高。
现有技术文献
专利文献
专利文献1：日本特开2006-197192号公报
发明内容
根据第1方案，摄像装置具备：摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以上述第2摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像。
根据第2方案，摄像装置具备：摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以上述第2摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像数据。
根据第3方案，摄像装置具备：摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以与上述第1摄像条件不同的摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像。
根据第4方案，图像处理装置具备：输入部，其输入来自摄像部的图像数据，其中该摄像部具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以上述第2摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像。
根据第5方案，图像处理装置具备：输入部，其输入来自摄像部的图像数据，其中该摄像部具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以上述第2摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像数据。
根据第6方案，图像处理装置具备：输入部，其输入来自摄像部的图像数据，其中该摄像部具有以第1摄像条件进行拍摄的第1摄像区域、和以与上述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及生成部，其根据基于以与上述第1摄像条件不同的摄像条件拍摄到的光得到的图像数据，生成在上述第1摄像区域拍摄到的被摄体的图像。
根据第7方案，电子设备具备：第1摄像元件，其具有拍摄被摄体的多个摄像区域；第2摄像元件，其拍摄被摄体；设定部，其将上述第1摄像元件的多个上述摄像区域中的第1摄像区域设定成与第2摄像区域不同的摄像条件；以及生成部，其将上述多个摄像区域中的以第1摄像条件进行了拍摄的第1摄像区域的被摄体的图像信号的一部分，根据由上述第2摄像元件拍摄到的被摄体的图像信号，修正为利用第2摄像条件进行拍摄，从而生成图像。
根据第8方案，电子设备具备：第1摄像元件，其配置有多个像素且具有拍摄被摄体的第1摄像区域及第2摄像区域；第2摄像元件，其配置有多个像素且拍摄被摄体；设定部，其将上述第1摄像区域设定成与上述第2摄像区域的摄像条件不同的摄像条件；以及生成部，其根据配置于上述第1摄像元件的上述第1摄像区域的上述像素和配置于上述第2摄像元件的上述像素中的、使用来自配置于上述第1摄像区域的上述像素的信号而选择出的像素发出的信号，生成在上述第1摄像区域拍摄到的被摄体的图像。
根据第9方案，电子设备具备：摄像元件，其具有拍摄被摄体的多个摄像区域；设定部，其将上述摄像元件的多个上述摄像区域中的第1摄像区域设定成与第2摄像区域不同的摄像条件；以及生成部，其将上述多个摄像区域中的以第1摄像条件进行了拍摄的上述第1摄像区域的被摄体的图像信号的一部分，根据以第2摄像条件进行了拍摄的上述第1摄像区域的被摄体的图像信号，修正为利用第2摄像条件进行拍摄，从而生成图像。
根据第10方案，电子设备具备：摄像元件，其配置有多个像素且具有拍摄被摄体的第1摄像区域及第2摄像区域；设定部，其能够将上述第1摄像区域设定成与上述第2摄像区域的摄像条件不同的摄像条件；以及生成部，其根据由上述设定部设定成第1摄像条件的上述第1摄像区域上配置的上述像素和由上述设定部设定成第2摄像条件的上述第1摄像区域上配置的上述像素中、使用来自由上述设定部设定成上述第1摄像条件的上述第1摄像区域上配置的上述像素的信号而选择出的像素发出的信号，生成在上述第1摄像区域拍摄到的被摄体的图像
附图说明
图1是例示第1实施方式的相机的构成的框图。
图2是层叠型的摄像元件的剖视图。
图3是说明摄像芯片的像素排列和单位区域的图。
图4是说明单位区域中的电路的图。
图5是示意地表示被相机的摄像元件成像的被摄体的像的图。
图6是例示摄像条件的设定画面的图。
图7中，图7的(a)是例示实时取景图像中的规定范围的图，图7的(b)是规定范围的放大图。
图8中，图8的(a)是例示与图7的(b)对应的正式图像数据的图。图8的(b)是例示与图7的(b)对应的处理用图像数据的图。
图9中，图9的(a)是例示实时取景图像中的关注区域的图，图9的(b)是关注像素及参照像素Pr的放大图。
图10中，图10的(a)是例示从像素输出的光电转换信号的排列的图，图10的(b)是说明G色成分的图像数据的插补的图，图10的(c)是例示插补后的G色成分的图像数据的图。
图11中，图11的(a)是说明从图10的(a)提取出R色成分的图像数据的图，图11的(b)是说明色差成分Cr的插补的图，图11的(c)是说明色差成分Cr的图像数据的插补的图。
图12中，图12的(a)是从图10的(a)提取出B色成分的图像数据的图，图12的(b)是说明色差成分Cb的插补的图，图12的(c)是说明色差成分Cb的图像数据的插补的图。
图13是例示拍摄面中的焦点检测用像素的位置的图。
图14是将焦点检测像素行的一部分的区域放大的图。
图15是将聚焦点(focus point)放大的图。
图16中，图16的(a)是例示表示想要检测的对象物的模板(template)图像的图，图16的(b)是例示实时取景图像及搜索范围的图。
图17是例示用于实时取景图像的拍摄定时与处理用图像数据的拍摄定时之间的关系的图，图17的(a)是例示交替地拍摄实时取景图像和处理用图像数据的情况的图，图17的(b)是例示在开始实时取景图像的显示时拍摄处理用图像数据的情况的图，图17的(c)是例示在实时取景图像的显示结束时拍摄处理用图像数据的情况的图。
图18是说明按每个区域设定摄像条件来进行拍摄的处理流程的流程图。
图19中，图19的(a)～图19的(c)是例示摄像元件的拍摄面中的第1摄像区域及第2摄像区域的配置的图。
图20是例示变形例11的摄像系统的构成的框图。
图21是说明向移动设备提供程序的图。
图22是例示第2实施方式的相机的构成的框图。
图23是示意地表示第2实施方式中的各区块与多个修正部之间的对应关系的图。
图24是层叠型摄像元件的剖视图。
图25是示意地表示图像处理所涉及的对第1图像数据和第2图像数据的处理的图。
图26是示意地表示焦点检测处理所涉及的对第1图像数据和第2图像数据的处理的图。
图27是示意地表示被摄体检测处理所涉及的对第1图像数据和第2图像数据的处理的图。
图28是示意地表示曝光运算处理等摄像条件的设定所涉及的对第1图像数据和第2图像数据的处理的图。
图29是示意地表示变形例13的对第1图像数据和第2图像数据的处理的图。
具体实施方式
---第1实施方式---
作为搭载第1实施方式的图像处理装置的电子设备的一例，列举数码相机为例进行说明。相机1(图1)构成为能够在摄像元件32a中的拍摄面的每个区域以不同条件进行拍摄。图像处理部33在摄像条件不同的区域中分别进行恰当的处理。参照附图说明这样的相机1的详情。
＜相机的说明＞
图1是例示第1实施方式的相机1的构成的框图。在图1中，相机1具有摄像光学系统31、摄像部32、图像处理部33、控制部34、显示部35、操作部件36和记录部37。
摄像光学系统31将来自被摄场景的光束向摄像部32引导。摄像部32包含摄像元件32a及驱动部32b，对通过摄像光学系统31而成像出的被摄体的像进行光电转换。摄像部32能够在摄像元件32a中的拍摄面的整个区域中以相同条件进行拍摄，以及在摄像元件32a中的拍摄面的每个区域以不同条件进行拍摄。关于摄像部32的详情将在后叙述。驱动部32b生成为了使摄像元件32a进行蓄存控制而需要的驱动信号。针对摄像部32的电荷蓄存时间等拍摄指示由控制部34向驱动部32b发送。
图像处理部33包含输入部33a、修正部33b和生成部33c。在输入部33a中输入有由摄像部32获取的图像数据。修正部33b进行对上述输入的图像数据实施修正的前处理。关于前处理的详情将在后叙述。生成部33c对上述输入的图像数据和前处理后的图像数据进行图像处理，生成图像。在图像处理中，包含例如颜色插补处理、像素缺陷修正处理、轮廓强调处理、减噪(Noise reduction)处理、白平衡调整处理、伽马修正处理、显示亮度调整处理、彩度调整处理等。而且，生成部33c生成由显示部35显示的图像。
控制部34由例如CPU构成，控制相机1的整体动作。例如，控制部34基于由摄像部32获取的光电转换信号进行规定的曝光运算，决定恰当曝光所需要的摄像元件32a的电荷蓄存时间(曝光时间)、摄像光学系统31的光圈值、ISO感光度等曝光条件并向驱动部32b发出指示。另外，根据对相机1设定的摄像场景模式、检测出的被摄体要素的种类，决定调整彩度、对比度、锐度等的图像处理条件并向图像处理部33发出指示。关于被摄体要素的检测将在后叙述。
在控制部34中包含物体检测部34a、设定部34b、摄像控制部34c和透镜移动控制部34d。它们通过由控制部34执行未图示的非易失性存储器中保存的程序而以软件形式实现，但它们也可以由ASIC(Application Specific Integrated Circuit：专用集成电路)等构成。
物体检测部34a通过进行公知的物体识别处理，从由摄像部32获取的图像检测出人物(人物的面部)、狗、猫等动物(动物的面部)、植物、自行车、汽车、电车等交通工具、建筑物、静物、山、云等风景、预先确定的特定物体等被摄体要素。设定部34b将基于摄像部32的摄像画面划分到包含上述那样检测出的被摄体要素的多个区域。
设定部34b进一步对多个区域设定摄像条件。摄像条件包含上述曝光条件(电荷蓄存时间、增益、ISO感光度、帧频等)、上述图像处理条件(例如，白平衡调整用参数，伽马修正曲线、显示亮度调整参数、彩度调整参数等)。此外，摄像条件既能够在多个区域的全部区域中设定相同的摄像条件，也能够在多个区域间设定不同的摄像条件。
摄像控制部34c适用由设定部34b按每个区域设定的摄像条件来控制摄像部32(摄像元件32a)、图像处理部33。由此，能够使摄像部32以按多个区域的每个区域而不同的曝光条件进行拍摄，能够使图像处理部33以按多个区域的每个区域而不同的图像处理条件进行图像处理。构成区域的像素的数量是任意的，例如可以是1000像素，也可以是1像素。另外，在区域之间像素的数量也可以不同。
透镜移动控制部34d在摄像画面的规定位置(称为聚焦点)，控制使焦点匹配于对应的被摄体的自动调焦(自动对焦：AF)动作。当焦点匹配后，被摄体的像的锐度变高。即，通过使摄像光学系统31的聚焦透镜沿光轴方向移动，调节基于摄像光学系统31得到的像。透镜移动控制部34d基于运算结果，将用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号、例如用于以摄像光学系统31的聚焦透镜调节被摄体的像的信号向摄像光学系统31的镜头移动机构31m发送。像这样，透镜移动控制部34d作为基于运算结果使摄像光学系统31的聚焦透镜沿光轴方向移动的移动部而发挥功能。透镜移动控制部34d为了实现AF动作而进行的处理也被称为焦点检测处理。关于焦点检测处理的详情将在后叙述。
显示部35对由图像处理部33生成的图像、经图像处理后的图像、由记录部37读出的图像等进行再现显示。显示部35也进行操作菜单画面、用于设定摄像条件的设定画面等的显示。
操作部件36由释放按钮、菜单按钮等各种操作部件构成。操作部件36将与各操作对应的操作信号向控制部34发送。在操作部件36中还包含设于显示部35的显示面上的触摸操作部件。
记录部37根据来自控制部34的指示，在未图示的由存储卡等构成的记录介质中记录图像数据等。另外，记录部37根据来自控制部34的指示，读出记录于记录介质的图像数据。测光传感器38输出与被摄体像的明亮度相应的测光用的图像信号。测光传感器38由例如CMOS图像传感器等构成。
＜层叠型的摄像元件的说明＞
作为上述摄像元件32a的一例对层叠型的摄像元件100进行说明。图2是摄像元件100的剖视图。摄像元件100具备摄像芯片111、信号处理芯片112和存储芯片113。摄像芯片111层叠在信号处理芯片112上。信号处理芯片112层叠在存储芯片113上。摄像芯片111及信号处理芯片112、信号处理芯片112及存储芯片113分别通过连接部109而电连接。连接部109是例如凸块或电极。摄像芯片111对来自被摄体的光像进行拍摄而生成图像数据。摄像芯片111将图像数据从摄像芯片111向信号处理芯片112输出。信号处理芯片112对从摄像芯片111输出的图像数据实施信号处理。存储芯片113具有多个存储器，存储图像数据。此外，摄像元件100也可以由摄像芯片及信号处理芯片构成。在摄像元件100由摄像芯片及信号处理芯片构成的情况下，用于存储图像数据的存储部既可以设于信号处理芯片，也可以相对于摄像元件100而另行设置。
如图2所示，入射光主要朝向空心箭头所示的Z轴正向入射。另外，如坐标轴所示，将与Z轴正交的纸面左方设为X轴正向，将与Z轴及X轴正交的纸面近前方向设为Y轴正向。在以后的若干图中，以图2的坐标轴为基准来显示坐标轴，以明确各图的朝向。
摄像芯片111是例如CMOS图像传感器。摄像芯片111具体是背面照射型的CMOS图像传感器。摄像芯片111具有微透镜层101、彩色滤光片层102、钝化层103、半导体层106及布线层108。摄像芯片111朝向Z轴正向以微透镜层101、彩色滤光片层102、钝化层103、半导体层106及布线层108的顺序配置。
微透镜层101具有多个微透镜L。微透镜L将入射的光汇聚到后述的光电转换部104。一个像素或一个滤光片与一个微透镜L对应。彩色滤光片层102具有多个彩色滤光片F。彩色滤光片层102具有分光特性不同的多种彩色滤光片F。彩色滤光片层102具体地说具有主要使红色成分的光透过的分光特性的第1滤光片(R)、主要使绿色成分的光透过的分光特性的第2滤光片(Gb、Gr)、和主要使蓝色成分的光透过的分光特性的第3滤光片(B)。彩色滤光片层102例如以拜耳阵列配置有第1滤光片、第2滤光片及第3滤光片。钝化层103由氮化膜或氧化膜构成，保护半导体层106。
半导体层106具有光电转换部104及读出电路105。半导体层106在作为光的入射面的第1面106a与第1面106a的相反侧的第2面106b之间具有多个光电转换部104。半导体层106沿X轴方向及Y轴方向排列有多个光电转换部104。光电转换部104具有将光转换成电荷的光电转换功能。另外，光电转换部104蓄存基于光电转换信号得到的电荷。光电转换部104是例如光电二极管。半导体层106在比光电转换部104靠第2面106b侧的位置具有读出电路105。半导体层106沿X轴方向及Y轴方向排列有多个读出电路105。读出电路105由多个晶体管构成，读出通过由光电转换部104进行光电转换得到的电荷而生成的图像数据并向布线层108输出。
布线层108具有多个金属层。金属层是例如Al布线、Cu布线等。布线层108被输出由读出电路105读出的图像数据。图像数据从布线层108经由连接部109向信号处理芯片112输出。
此外，连接部109可以按每个光电转换部104而设置。另外，连接部109也可以按每多个光电转换部104而设置。在连接部109按每多个光电转换部104而设置的情况下，连接部109的间距可以大于光电转换部104的间距。另外，连接部109还可以设于配置有光电转换部104的区域的周边区域。
信号处理芯片112具有多个信号处理电路。信号处理电路对从摄像芯片111输出的图像数据进行信号处理。信号处理电路是例如将图像数据的信号值放大的放大器电路、进行图像数据的减噪处理的相关双采样电路及将模拟信号转换成数字信号的模/数(A/D)转换电路等。信号处理电路可以按每个光电转换部104而设置。
另外，信号处理电路也可以按每多个光电转换部104而设置。信号处理芯片112具有多个贯穿电极110。贯穿电极110是例如硅贯穿电极。贯穿电极110将设于信号处理芯片112的电路相互连接。贯穿电极110也可以设于摄像芯片111的周边区域、存储芯片113。此外，也可以将构成信号处理电路的一部分元件设于摄像芯片111。例如，在模/数转换电路的情况下，可以将进行输入电压和基准电压的比较的比较器设于摄像芯片111，将计数器电路、锁存电路等电路设于信号处理芯片112。
存储芯片113具有多个存储部。存储部存储被信号处理芯片112实施了信号处理得到的图像数据。存储部是例如DRAM等易失性存储器。存储部可以按每个光电转换部104而设置。另外，存储部也可以按每多个光电转换部104而设置。存储于存储部的图像数据输出到后级的图像处理部。
图3是说明摄像芯片111的像素排列和单位区域131的图。尤其示出摄像芯片111的从背面(拍摄面)侧观察到的状况。在像素区域中以矩阵状排列有例如2000万个以上的像素。在图3的例子中，相邻的2像素×2像素这4像素形成一个单位区域131。图中的网格线示出相邻的像素被分组而形成单位区域131的概念。形成单位区域131的像素的数量不限于此，也可以是1000个左右，例如32像素×32像素，还可以是其以上或其以下，或者还可以是1像素。
如像素区域的局部放大图所示，图3的单位区域131内置由绿色像素Gb、Gr、蓝色像素B及红色像素R这4个像素构成的所谓拜耳阵列。绿色像素Gb、Gr是具有绿色滤光片作为彩色滤光片F的像素，接收入射光中的绿色波段的光。同样地，蓝色像素B是具有蓝色滤光片作为彩色滤光片F的像素，接收蓝色波段的光，红色像素R是具有红色滤光片作为彩色滤光片F的像素，接收红色波段的光。
在本实施方式中，以针对1区块而至少包含一个单位区域131的方式定义多个区块。即，1区块的最小单位为一个单位区域131。如上所述，作为形成一个单位区域131的像素的数量而可取的值中的最小的像素的数量为1像素。因此，在以像素单位定义1区块的情况下，可定义1区块的像素的数量中的最小的像素数量为1像素。各区块能够以各自不同的控制参数控制各区块中包含的像素。各区块以相同摄像条件控制该区块内的全部单位区域131、即该区块内的全部像素。也就是说，能够在某个区块中包含的像素组和在其他区块中包含的像素组中获取摄像条件不同的光电转换信号。控制参数的例子为帧频、增益、间除率、将光电转换信号相加的相加行数或相加列数、电荷的蓄存时间或蓄存次数、数字化的比特位数(字长)等。摄像元件100不仅能够自由地进行行方向(摄像芯片111的X轴方向)上的间除，也能够自由地进行列方向(摄像芯片111的Y轴方向)上的间除。而且，控制参数也可以是图像处理中的参数。
图4是说明单位区域131中的电路的图。在图4的例子中，由相邻的2像素×2像素这4个像素形成一个单位区域131。此外，如上所述，单位区域131所包含的像素的数量不限于此，也可以是1000像素以上，还可以是最小1像素。通过附图标记A～D表示单位区域131的二维位置。
单位区域131所包含的像素的重置晶体管(RST)构成为能够按每个像素单独地进行ON/OFF。在图4中，设有将像素A的重置晶体管ON/OFF的重置布线300，将像素B的重置晶体管ON/OFF的重置布线310与上述重置布线300分开设置。同样地，将像素C的重置晶体管ON/OFF的重置布线320与上述重置布线300、310分开设置。对于其他像素D，也设有用于将重置晶体管ON/OFF的专用的重置布线330。
关于单位区域131所包含的像素的传输晶体管(TX)，也构成为能够按每个像素单独地进行ON/OFF。在图4中，分开地设有将像素A的传输晶体管ON/OFF的传输布线302、将像素B的传输晶体管ON/OFF的传输布线312、将像素C的传输晶体管ON/OFF的传输布线322。对于其他像素D，也设有用于将传输晶体管ON/OFF的专用的传输布线332。
而且，关于单位区域131所包含的像素的选择晶体管(SEL)，也构成为能够按每个像素单独地进行ON/OFF。在图4中，分开地设有将像素A的选择晶体管ON/OFF的选择布线306、将像素B的选择晶体管ON/OFF的选择布线316、将像素C的选择晶体管ON/OFF的选择布线326。对于其他像素D，也设有用于将选择晶体管ON/OFF的专用的选择布线336。
此外，电源布线304在单位区域131所包含的像素A到像素D中共通地连接。同样地，输出布线308在单位区域131所包含的像素A到像素D中共通地连接。另外，电源布线304在多个单位区域间共通地连接，但输出布线308按每个单位区域131单独设置。负载电流源309向输出布线308供给电流。负载电流源309既可以设在摄像芯片111侧，也可以设在信号处理芯片112侧。
通过将单位区域131的重置晶体管及传输晶体管单独地ON/OFF，对于单位区域131所包含的像素A到像素D，能够控制包含电荷的蓄存开始时间、蓄存结束时间、传输定时在内的电荷蓄存。另外，通过将单位区域131的选择晶体管单独地ON/OFF，能够将各像素A到像素D的光电转换信号经由共通的输出布线308输出。
在此，关于单位区域131所包含的像素A到像素D，公知能够对行及列以有规则的顺序控制电荷蓄存的、所谓卷帘快门方式。若根据卷帘快门方式按每行选择像素之后再指定列，则在图4的例子中，以“ABCD”的顺序输出光电转换信号。
通过像这样以单位区域131为基准构成电路，能够按每个单位区域131控制电荷蓄存时间。换言之，能够分别输出基于单位区域131间不同的帧频得到的光电转换信号。另外，在摄像芯片111中，通过在一部分区块所包含的单位区域131进行电荷蓄存(拍摄)的期间使其他区块所包含的单位区域131休停，而能够仅在摄像芯片111的规定区块进行拍摄，并输出其光电转换信号。而且，也能够在帧间切换进行电荷蓄存(拍摄)的区块(蓄存控制的对象区块)，以摄像芯片111的不同区块逐次进行拍摄，并输出光电转换信号。
如上所述，与单位区域131各自对应地设有输出布线308。由于摄像元件100将摄像芯片111、信号处理芯片112及存储芯片113层叠在一起，所以通过对这些输出布线308使用利用了连接部109的芯片间的电连接，能够不将各芯片在面方向上增大地排布布线。
＜摄像元件的区块控制＞
在本实施方式中，构成为能够按摄像元件32a中的多个区块的每个区块设定摄像条件。控制部34的摄像控制部34c使上述多个区域与上述区块对应，并使每个区域以设定的摄像条件进行拍摄。
图5是示意地表示被相机1的摄像元件32a成像的被摄体的像的图。相机1在进行拍摄指示之前，对被摄体像进行光电转换而获取实时取景图像。实时取景图像是以规定帧频(例如60fps)反复拍摄的显示用图像。
控制部34在通过设定部34b将区域划分前，对摄像芯片111的整个区域(即摄像画面整体)设定相同摄像条件。相同摄像条件是指对摄像画面整体设定共通的摄像条件，例如即使以APEX值存在小于0.3级左右的偏差也视为相同。在摄像芯片111的整个区域设定成相同的摄像条件基于与被摄体亮度的测光值相应的曝光条件、或由用户手动设定的曝光条件而决定。
在图5中，在摄像芯片111的拍摄面上，成像出包含人物61a、汽车62a、包63a、山64a和云65a、66a的像。人物61a以双手捧着包63a。汽车62a停在人物61a的右后方。
＜区域的划分＞
控制部34基于实时取景图像，以如下方式将实时取景图像的画面划分成多个区域。首先，通过物体检测部34a从实时取景图像检测被摄体要素。被摄体要素的检测利用公知的被摄体识别技术。在图5的例子中，物体检测部34a作为被摄体要素而检测出人物61a、汽车62a、包63a、山64a、云65a、云66a。
接着，通过设定部34b将实时取景图像的画面划分成包含上述被摄体要素的区域。在本实施方式中，将包含人物61a的区域设为第1区域61、将包含汽车62a的区域设为第2区域62、将包含包63a的区域设为第3区域63、将包含山64a的区域设为第4区域64、将包含云65a的区域设为第5区域65、将包含云66a的区域设为第6区域66来进行说明。
＜对每个区块的摄像条件的设定＞
当通过设定部34b将画面划分成多个区域后，控制部34在显示部35上显示图6例示那样的设定画面。在图6中，显示有实时取景图像60a，在实时取景图像60a的右侧显示有摄像条件的设定画面70。
在设定画面70中，作为摄像条件的设定项目的一例，从上起依次列举帧频、快门速度(TV)、增益(ISO)。帧频是1秒间获取的实时取景图像或由相机1录像的动态画面的帧数。增益是ISO感光度。摄像条件的设定项目除了图6所例示的项目以外可以适当追加。在无法将全部设定项目收于设定画面70中的情况下，可以通过使设定项目沿上下滚动来显示其他设定项目。
在本实施方式中，控制部34将通过设定部34b划分出的区域中的、由用户选择的区域设为摄像条件的设定(变更)对象。例如，在能够进行触摸操作的相机1中，用户在显示有实时取景图像60a的显示部35的显示面上，对想要设定(变更)摄像条件的主要被摄体的显示位置进行点击操作。例如在人物61a的显示位置被点击操作了的情况下，控制部34在实时取景图像60a中将包含人物61a的第1区域61设为摄像条件的设定(变更)对象区域，并将第1区域61的轮廓强调显示。
在图6中，强调显示轮廓(粗显示、亮显示、改变颜色显示、以虚线显示、闪烁显示等)的第1区域61示出成为摄像条件的设定(变更)对象的区域。在图6的例子中，设为显示有强调第1区域61的轮廓的实时取景图像60a。该情况下，第1区域61为摄像条件的设定(变更)对象。例如，在能够进行触摸操作的相机1中，当由用户对快门速度(TV)的显示71进行了点击操作后，控制部34在画面内显示针对正在强调显示的区域(第1区域61)的快门速度的当前设定值(附图标记68)。
在以后的说明中，以触摸操作为前提进行相机1的说明，但也可以通过对构成操作部件36的按钮等的操作来进行摄像条件的设定(变更)。
当由用户对快门速度(TV)的上图标71a或下图标71b进行了点击操作后，设定部34b使快门速度的显示68从当前设定值与上述点击操作相应地增减，并且向摄像部32(图1)发送指示，以使得与上述点击操作相应地变更与正在强调显示的区域(第1区域61)对应的摄像元件32a的单位区域131(图3)的摄像条件。决定图标72是用于确定所设定的摄像条件的操作图标。关于帧频、增益(ISO)的设定(变更)，设定部34b也与快门速度(TV)的设定(变更)的情况同样地进行。
此外，说明了设定部34b基于用户的操作来设定摄像条件，但不限定于此。也可以是，设定部34b不基于用户的操作，而是根据控制部34的判断来设定摄像条件。
关于没有强调显示的区域(第1区域61以外的其他区域)，维持已设定的摄像条件。
控制部34也可以取代将成为摄像条件的设定(变更)对象的区域的轮廓强调显示，而使对象区域整体明亮显示、或将对象区域整体的对比度提高而显示、或使对象区域整体闪烁显示。另外，还可以用框包围对象区域。将对象区域包围的框的显示可以是双重框或单重框，包围的框的线型、颜色、明亮度等显示样态可以适当变更。另外，控制部34还可以在对象区域附近进行箭头等指示成为摄像条件的设定对象的区域的显示。控制部34还可以将成为摄像条件的设定(变更)对象的对象区域以外的区域变暗显示，或降低对象区域以外的区域的对比度而显示。
如以上说明那样，在设定了每个区域的摄像条件后，当构成操作部件36的未图示的释放按钮或指示拍摄开始的显示(释放图标)被操作时，控制部34控制摄像部32，由此使上述划分出的区域以各自被设定的摄像条件进行拍摄(正式拍摄)。然后，图像处理部33对由摄像部32获取的图像数据进行图像处理。该图像数据是记录到记录部37中的图像数据，以后称为正式图像数据。
此外，摄像部32在获取正式图像数据时，在与正式图像数据不同的定时或取与正式图像数据不同的处理用图像数据。处理用图像数据是在对正式图像数据进行修正处理、对正式图像数据进行图像处理、进行正式图像数据的拍摄用的各种检测处理或设定处理的情况下使用的图像数据。
在基于上述图像处理部33进行的针对正式图像数据的图像处理之后，从控制部34接到指示的记录部37将图像处理后的正式图像数据记录到未图示的由存储卡等构成的记录介质中。由此，结束一系列的拍摄处理。
＜处理用图像数据＞
控制部34以如下方式获取上述处理用图像数据。即，至少在由设定部34b划分出的区域(在上述例子中为第1区域～第6区域)的边界部，将与拍摄正式图像数据时设定的摄像条件不同的摄像条件设定为处理用图像数据的摄像条件。例如，在第1区域61与第4区域64的边界部，在拍摄正式图像数据时设定第1摄像条件的情况下，在第1区域61与第4区域64的边界部，在拍摄处理用图像数据时设定第4摄像条件。
此外，不限于第1区域61与第4区域64的边界部，设定部34b也可以将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域。该情况下，分别获取设定了第1摄像条件至第6摄像条件的处理用图像数据。
此外，关于获取各处理用图像数据的定时的说明将在后叙述。
＜使用处理用图像数据的处理＞
以下，分为将处理用图像数据用于修正处理的情况、将处理用图像数据用于图像处理的情况、将处理用图像数据用于焦点检测处理的情况、将处理用图像数据用于被摄体检测处理的情况、和将处理用图像数据用于曝光条件设定处理的情况，来说明各处理。
＜第1修正处理＞
图像处理部33的修正部33b作为在图像处理、焦点检测处理、被摄体检测(检测被摄体要素)处理及设定摄像条件的处理之前进行的前处理之一，根据需要进行第1修正处理。
如上所述，在本实施方式中，构成为能够在通过设定部34b将摄像画面的区域划分后，对由用户选择的区域或控制部34所判断出的区域设定(变更)摄像条件。
例如，将划分后的区域分别设为第1区域61～第6区域66(参照图7的(a))，对第1区域61～第6区域66分别设定第1摄像条件～第6摄像条件。在这样的情况下，存在包含第1区域61～第6区域66的边界的区块。如上所述，区块是在摄像元件32a中能够分别设定摄像条件的最小单位。
图7的(a)是例示实时取景图像60a中的包含第1区域61与第4区域64的边界的规定范围80的图。图7的(b)是将图7的(a)的规定范围80放大的图。在图7的(b)中，在规定范围80包含多个区块81～89。在本例中，设为对人物进行拍摄的区块81及84包含于第1区域61，并且对人物及山进行拍摄的区块82、85及87也包含于第1区域61。因此，对区块81、82、84、85及87设定第1摄像条件。另一方面，设为对山进行拍摄的区块83、86、88及89包含于第4区域64。因此，对区块83、86、88及89设定第4摄像条件。
图7的(b)的白底部示出与人物对应的部分。另外，图7的(b)的斜线部示出与山对应的部分。在区块82、区块85及区块87中包含第1区域61与第4区域64的边界B1。图7的(b)的网格部示出与山对应的部分。
在本实施方式中，由于区块是摄像条件的设定的最小单位，所以在一个区块内设定相同的摄像条件。由于如上所述对包含第1区域61与第4区域64的边界B1的区块82、85及87设定第1摄像条件，所以对这些区块82、区块85及区块87的斜线部、即与山对应的部分也设定第1摄像条件。也就是说，在区块82、区块85及区块87内的斜线部，设定了与在对山进行拍摄的区块83、86、88及89设定的第4摄像条件不同的摄像条件。
该情况下，在区块82、区块85及区块87的斜线部与区块83、86、88及89的网格部之间，会存在图像的明暗、对比度、色调等不同的情况。在极端的例子中，预想也会在相当于上述斜线部的正式图像数据中产生泛白或发黑。例如在区块85中，没有对区块85的斜线部(即山部分)适用对于人物合适的第1摄像条件，存在在相当于斜线部的正式图像数据中产生泛白或发黑的情况。泛白是指由于过度曝光而导致图像的高亮度部分的数据的灰度丧失。另外，发黑是指由于曝光不足而导致图像的低亮度部分的数据的灰度丧失。
图8的(a)是例示与图7的(b)对应的正式图像数据的图。另外，图8的(b)是例示与图7的(b)对应的处理用图像数据的图。处理用图像数据以包含第1区域61与第4区域64的边界部的全部区块81～89适于山的第4摄像条件获取。在图8的(a)中，设为正式图像数据的区块81～89分别由2像素×2像素这4个像素构成。设为其中在位于图8的(a)中央的区块85中的像素85b及像素85d中产生发黑。在图8的(b)中，处理用图像数据的区块81～89分别由2像素×2像素这4个像素构成，这一点与正式图像数据相同。设为在图8的(b)的处理用图像数据中没有产生发黑。本实施方式的修正部33b通过进行将在正式图像数据的区块中产生了泛白或发黑的正式图像数据置换成处理用图像数据的置换处理，来修正图像。将该修正称为第1修正处理。
修正部33b在如上述区块85那样包含基于多个被摄体要素的区域的边界且在基于该区块85的正式图像数据中存在泛白或发黑的情况下，对存在泛白或发黑的全部区块进行第1修正处理。
此外，在正式图像数据中没有发生泛白或发黑的情况下无需第1修正处理。
(第1修正处理的例示)
修正部33b将包含发生了泛白或发黑的正式图像数据的区块设为关注区块，对正式图像的关注区块进行第1修正处理。在此，将关注区块设为包含产生了泛白或发黑的图像数据的区域，但可以不是完全泛白或发黑。例如，也可以将像素值为第1阈值以上的区域或第2阈值以下的区域设为关注区块。在图7的(b)及图8的(a)的例子中，将包含于以正式图像数据的规定的关注区块85为中心的规定范围80(例如3×3区块)的、关注区块85周围的8个区块设为参照区块。即，规定的关注区块85周围的区块81～84及区块86～89是参照区块。
另外，修正部33b针对图8的(b)的处理用图像数据，将与正式图像数据的关注区块对应的位置处的区块设为关注区块，将与正式图像数据的参照区块对应的位置处的区块设为参照区块。
此外，构成规定范围80的区块数量不限于上述3×3区块，可以适当变更。
1.对产生了泛白或发黑的区域整体进行相同的修正。
(1-1)修正部33b作为第1修正处理，使用在处理用图像数据中的一个区块(关注区块或参照区块)获取的处理用图像数据，对正式图像数据的关注区块内的一部分的区域进行修正。具体地说，修正部33b使用在处理用图像数据中的一个区块(关注区块或参照区块)获取的图像数据，将产生了泛白或发黑的正式图像数据全部置换掉。此时，处理用图像数据中的一个区块(关注区块或参照区块)和正式图像数据的关注区块的位置相同。处理(1-1)的方式使用例如下述(i)～(iv)中的某一个方式。
(i)修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域的最近位置对应的、处理用图像数据的一个区块(关注区块或参照区块)获取的处理用图像数据置换掉。即使在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，也将该泛白或发黑的多个像素的正式图像数据利用在与上述最近位置对应的处理用图像数据的一个区块(关注区块或参照区块)获取的相同的处理用图像数据置换掉。
(i-1)在例如如图8的(b)那样在处理用图像数据的关注区块中没有产生泛白或发黑的情况下，修正部33b以如下方式进行置换。即，修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与正式图像数据的关注区块对应的位置处的处理用图像数据的关注区块获取的处理用图像数据置换掉。例如，基于与处理用图像数据的关注区块85所包含的像素85a～85d对应的处理用图像数据，将在正式图像数据的关注区块85与发黑像素85b对应的正式图像数据、和与发黑像素85d对应的正式图像数据，利用相同的处理用图像数据(例如处理用图像数据的与像素85d对应的处理用图像数据)置换掉。
(i-2)另外，在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部33b以如下方式进行置换。即，修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在处理用图像数据中的关注区块周围的参照区块获取的处理用图像数据置换掉。例如，基于处理用图像数据的关注区块85周围的参照区块81～84、86～89中的、与发黑像素(正式图像数据的像素85b、85d)所对应的处理用图像数据的关注区块85最近的位置处的处理用图像数据的参照区块86所包含的像素86a～86d所对应的处理用图像数据，将与发黑像素(正式图像数据的像素85b、85d)对应的正式图像数据利用相同的处理用图像数据(例如处理用图像数据的与像素86c对应的处理用图像数据)置换掉。
修正部33b在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的一个参照区块获取的、相同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。例如，基于在处理用图像数据的关注区块85周围的参照区块81～84、86～89的范围内从设定了第4摄像条件的参照区块选择出的一个参照区块、例如参照区块88所包含的像素88a～88d所对应的处理用图像数据，将正式图像数据的与发黑像素85b对应的正式图像数据、和正式图像数据的与发黑像素85d对应的正式图像数据，利用相同的处理用图像数据(例如处理用图像数据的与像素88b对应的处理用图像数据)置换掉。像这样，修正部33b也可以将发黑像素85d以处理用图像数据的参照区块的一部分的像素置换掉。
(iii)修正部33b也可以选择在通过上述(i-2)或(ii)选择出的处理用图像数据的一个参照区块获取的4个像素所对应的处理用图像数据中的、与在处理用图像数据中产生了泛白或发黑的关注区块内的像素之间的间隔短的像素。具体地说，在正式图像数据的发黑像素85b与处理用图像数据的像素86a之间的间隔和正式图像数据的发黑像素85b与处理用图像数据的像素86b之间的间隔中，修正部33b利用与正式图像数据的发黑像素85b之间的间隔短的处理用图像数据的像素86a将正式图像数据的发黑像素85b置换掉。在此，在以正式图像数据的发黑像素85b和处理用图像数据的像素86a为例的情况下，间隔是指正式图像数据的发黑像素85b与处理用图像数据的像素86a的中心间的间隔。另外，间隔也可以是正式图像数据的发黑像素85b与处理用图像数据的像素86a的重心间的间隔。而且，在发黑像素连续这样的情况(正式图像数据的发黑像素85b和处理用图像数据的发黑像素86a)下，可以是两个发黑像素的块中心或重心。关于参照区块内的86a等也是同样的。另外，修正部33b也可以使用相邻的像素所对应的处理用图像数据将产生了泛白或发黑的正式图像数据置换掉。修正部33b在例如选择了参照区块86的情况下，将正式图像数据的与发黑像素85b对应的正式图像数据、和正式图像数据的与发黑像素85d对应的正式图像数据，利用相同的处理用图像数据(处理用图像数据的与像素86a或像素86c对应的处理用图像数据)置换掉。
(iv)修正部33b也可以使用基于在通过上述(i-2)或(ii)选择出的处理用图像数据的一个参照区块获取的4个像素所对应的处理用图像数据而生成的图像数据，将产生了泛白或发黑的正式图像数据置换掉。修正部33b在例如选择了参照区块88的情况下，将正式图像数据的与发黑像素85b对应的正式图像数据、和正式图像数据的与发黑像素85d对应的正式图像数据，利用相同的图像数据(例如与处理用图像数据的参照区块88所包含的像素88a～88d对应的处理用图像数据的平均值)置换掉。
此外，在计算处理用图像数据的平均值，也可以取代单纯取平均而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换。例如，由于像素88b比像素88d更接近发黑像素85d，所以赋予使像素88b所对应的处理用图像数据的贡献率比像素88d所对应的处理用图像数据的贡献率高的权重。
另外，还可以取代计算参照区块88所包含的像素88a～88d所对应的处理用图像数据的平均值，而计算像素88a～88d所对应的处理用图像数据的中间值，并利用该中间值将发黑像素85b及像素85d所对应的正式图像数据置换掉。
(1-2)修正部33b作为第1修正处理，使用在处理用图像数据中的多个区块获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据的全部置换掉。在此，提取多个用于置换正式图像数据的发黑像素(85b、85d)的处理用图像数据的参照区块的候选。最终用于置换的像素为一个区块内的像素。处理(1-2)的方式使用例如下述(i)～(iv)的某一方式。
(i)修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域周边的位置对应的、处理用图像数据的多个参照区块获取的处理用图像数据置换掉。即使在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，也将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的多个参照区块获取的相同的处理用图像数据置换掉。
例如，基于处理用图像数据的关注区块85周围的参照区块81～84、86～89中的、与发黑像素(正式图像数据的像素85b、85d)所对应的处理用图像数据的关注区块85相邻的处理用图像数据的两个参照区块86及88所包含的像素86a～86d及88a～88d所对应的处理用图像数据，以如下方式进行置换。即，将与发黑像素85b对应的正式图像数据、和与发黑像素85d对应的正式图像数据，利用相同的处理用图像数据(例如处理用图像数据的与像素88b对应的处理用图像数据)置换掉。此时，以处理用图像数据的像素88b置换的、正式图像数据的发黑像素85b和发黑像素85d的面积小于处理用图像数据的像素88的面积。
此外，在例如如图8的(b)那样在处理用图像数据的关注区块85中没有产生泛白或发黑的情况下，修正部33b也可以使用在包含处理用图像数据的关注区块85和位于该关注区块85的周围的参照区块81～84、86～89在内的多个区块获取的处理用图像数据，将正式图像数据的关注区块85的与泛白或发黑像素对应的正式图像数据置换掉。
(ii)在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部33b利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的多个参照区块获取的、相同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。例如，基于在处理用图像数据的关注区块85周围的参照区块81～84、86～89的范围内从设定了第4摄像条件的参照区块选择出的两个参照区块、例如参照区块86及88所包含的像素86a～86d、及88a～88d所对应的处理用图像数据，将正式图像数据的与发黑像素85b对应的正式图像数据、和正式图像数据的与发黑像素85d对应的正式图像数据，利用相同的处理用图像数据(例如与像素86c对应的处理用图像数据)置换掉。
此外，在例如如图8的(b)那样在处理用图像数据的关注区块85中没有产生泛白或发黑的情况下，修正部33b使用在包含处理用图像数据的关注区块85和位于该关注区块85周围的参照区块81～84、86～89在内的多个区块获取的处理用图像数据，将正式图像数据的关注区块85的与泛白或发黑像素对应的正式图像数据置换掉。
(iii)修正部33b也可以使用在通过上述(i)或(ii)选择出的处理用图像数据的多个参照区块获取的多个像素所对应的处理用图像数据中的、与在处理用图像数据中产生了泛白或发黑的关注区块内的像素相邻的像素所对应的处理用图像数据，将产生了泛白或发黑的正式图像数据置换掉。修正部33b在例如选择了参照区块86及88的情况下，将正式图像数据的与发黑像素85b对应的正式图像数据、和正式图像数据的与发黑像素85d对应的正式图像数据，利用相同的处理用图像数据(处理用图像数据的与参照区块86的像素86a或像素86c对应的处理用图像数据、或者处理用图像数据的与参照区块88的像素86c或像素88a对应的处理用图像数据)置换掉。
(iv)修正部33b还可以使用基于在通过上述(i)或(ii)选择出的处理用图像数据的多个参照区块获取的多个像素所对应的处理用图像数据而生成的图像数据，将关注区块内的产生了泛白或发黑的正式图像数据置换掉。修正部33b在例如选择了参照区块86及88的情况下，将正式图像数据的与发黑像素85b对应的正式图像数据、和正式图像数据的与发黑像素85d对应的正式图像数据，利用相同的图像数据(与处理用图像数据的参照区块86所包含的像素86a～86d对应的处理用图像数据、及与处理用图像数据的参照区块88所包含的像素88a～88d对应的处理用图像数据的平均值)置换掉。此时，用于置换的像素的面积大于正式图像数据的发黑像素85b与85d的面积。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换。例如，由于像素86a比像素86b更接近发黑像素85b，所以赋予使像素86a所对应的处理用图像数据的贡献率比像素86b所对应的处理用图像数据的贡献率高的权重。
另外，还可以取代计算参照区块86及88所包含的像素86a～86d及像素88a～88d所对应的处理用图像数据的平均值，而计算像素86a～86d及像素88a～88d所对应的处理用图像数据的中间值，并利用该中间值将发黑像素85b及像素85d所对应的正式图像数据置换掉。
2.对产生了泛白或发黑的区域整体进行多个修正。
(2-1)修正部33b作为第1修正处理，使用在处理用图像数据中的一个区块获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据全部置换掉。处理(2-1)的方式使用例如下述(i)～(iii)的某一方式。
(i)修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域的最近位置对应的、处理用图像数据的一个区块(关注区块或参照区块)获取的处理用图像数据置换掉。在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，将该泛白或发黑的多个像素的正式图像数据利用在与上述最近位置对应的处理用图像数据的一个区块获取的不同的处理用图像数据分别置换掉。
(i-1)在例如如图8的(b)那样在处理用图像数据的关注区块中没有产生泛白或发黑的情况下，修正部33b以如下方式进行置换。即，修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与正式图像数据的关注区块对应的位置处的的处理用图像数据的关注区块获取的不同的图像数据置换掉。例如，基于与处理用图像数据的关注区块85所包含的像素85a～85d对应的处理用图像数据，将在正式图像数据的关注区块85与发黑像素85b对应的正式图像数据，利用对应的处理用图像数据的关注区块85的像素85b所对应的处理用图像数据置换掉，将在正式图像数据的关注区块85与发黑像素85d对应的正式图像数据，利用对应的处理用图像数据的关注区块85的像素85d所对应的处理用图像数据置换掉。
(i-2)另外，在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部33b以如下方式进行置换。即，修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在处理用图像数据中的关注区块周围的参照区块获取的不同的图像数据置换掉。例如，基于处理用图像数据的关注区块85周围的参照区块81～84、86～89中的、与发黑像素(正式图像数据的像素85b、85d)所对应的处理用图像数据的关注区块85相邻的位置处的处理用图像数据的参照区块86所包含的像素86a～86d所对应的处理用图像数据，如以下那样进行置换。即，将发黑正式图像数据的像素85b所对应的正式图像数据，利用处理用图像数据的参照区块86的像素86a所对应的处理用图像数据置换掉，将发黑正式图像数据的像素85d所对应的正式图像数据，利用处理用图像数据的参照区块86的像素86c所对应的处理用图像数据置换掉。
(ii)在处理用图像数据的关注区块中与正式图像数据的关注区块同样地产生了泛白或发黑的情况下，修正部33b利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例为第4摄像条件)的参照区块选择出的一个参照区块获取的、不同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。例如，使用在处理用图像数据的关注区块85周围的参照区块81～84、86～89的范围内从设定了第4摄像条件的参照区块选择出的一个参照区块、例如参照区块86所包含的像素86a～86d所对应的处理用图像数据，以如下方式进行置换。即，将正式图像数据的与发黑像素85b对应的正式图像数据，利用处理用图像数据的参照区块86的像素86b所对应的处理用图像数据置换掉，将正式图像数据的与发黑像素85d对应的正式图像数据，利用处理用图像数据的参照区块86的像素86d所对应的处理用图像数据置换掉。
(iii)修正部33b也可以使用基于在通过上述(i-2)或(ii)选择出的处理用图像数据的一个参照区块获取的4个像素所对应的处理用图像数据而生成的图像数据，将泛白或发黑正式图像数据置换掉。修正部33b在例如选择了参照区块86的情况下，将正式图像数据的与发黑像素85b对应的正式图像数据，利用与处理用图像数据的参照区块86所包含的像素86a及86b对应的处理用图像数据的平均值置换掉。另外，将正式图像数据的与发黑像素85d对应的正式图像数据，利用与处理用图像数据的参照区块86所包含的像素86c及86d对应的处理用图像数据的平均值置换掉。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换。例如，由于像素86a比像素86b更接近发黑像素85b，所以赋予使像素86a所对应的处理用图像数据的贡献率比像素86b所对应的处理用图像数据的贡献率高的权重。
(2-2)修正部33b作为第1修正处理，使用在处理用图像数据中的多个区块获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据的全部置换掉。处理(2-2)的方式使用例如下述(i)～(iii)的某一方式。
(i)修正部33b将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域周边的位置对应的、处理用图像数据的多个参照区块获取的处理用图像数据置换掉。在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，将该泛白或发黑的多个像素的正式图像数据利用在上述多个区块获取的不同的处理用图像数据分别置换掉。
例如，基于处理用图像数据的关注区块85周围的参照区块81～84、86～89中的、与发黑像素(正式图像数据的像素85b、85d)所对应的处理用图像数据的关注区块85相邻的处理用图像数据的两个参照区块86及88所包含的像素86a～86d及88a～88d所对应的处理用图像数据，以如下方式进行置换。例如，将与发黑像素85b对应的正式图像数据利用处理用图像数据的参照区块86的像素86a所对应的处理用图像数据置换掉，将与发黑像素85d对应的正式图像数据利用处理用图像数据的参照区块88的像素88b所对应的处理用图像数据置换掉。
此外，在如例如图8的(b)那样在处理用图像数据的关注区块85中没有产生泛白或发黑的情况下，修正部33b也可以使用在包含处理用图像数据的关注区块85和位于该关注区块85周围的参照区块81～84、86～89在内的多个区块获取的处理用图像数据，将正式图像数据的关注区块85的与泛白或发黑像素对应的正式图像数据置换掉。
(ii)在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部33b利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的多个参照区块获取的、不同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在处理用图像数据中的关注区块周围的参照区块中设定最多的摄像条件的参照区块中的多个参照区块获取的不同的图像数据置换掉。例如，基于在处理用图像数据的关注区块85周围的参照区块81～84、86～89的范围内从设定了第4摄像条件的参照区块选择出的两个参照区块、例如参照区块86及88所包含的像素86a～86d及88a～88d所对应的处理用图像数据，以如下方式进行置换。即，将正式图像数据的与发黑像素85b对应的正式图像数据利用处理用图像数据的参照区块86的像素86a所对应的处理用图像数据置换掉，将正式图像数据的与发黑像素85d对应的正式图像数据利用处理用图像数据的参照区块88的像素88b所对应的处理用图像数据置换掉。
此外，在如例如图8的(b)那样在处理用图像数据的关注区块85中没有产生泛白或发黑的情况下，修正部33b也可以使用在包含处理用图像数据的关注区块85和位于该关注区块85周围的参照区块81～84、86～89在内的多个区块获取的处理用图像数据，将正式图像数据的关注区块85的与泛白或发黑像素对应的正式图像数据置换掉。
(iii)修正部33b也可以使用基于在通过上述(i)或(ii)选择出的处理用图像数据的多个参照区块据获取的多个像素所对应的处理用图像数据而生成的图像数据，将关注区块内的产生了泛白或发黑的正式图像数据置换掉。修正部33b在例如选择了参照区块86及88的情况下，将正式图像数据的与发黑像素85b及发黑像素85d对应的正式图像数据以如下方式置换掉。即，将正式图像数据的与发黑像素85b对应的正式图像数据利用与处理用图像数据的参照区块86所包含的像素86a～86d对应的处理用图像数据的平均值置换掉。另外，将正式图像数据的与发黑像素85d对应的正式图像数据利用与处理用图像数据的参照区块88所包含的像素88a～88d对应的处理用图像数据的平均值置换掉。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换。例如，由于像素86a比像素86b更接近发黑像素85b，所以赋予使像素86a所对应的处理用图像数据的贡献率比像素86b所对应的处理用图像数据的贡献率高的权重。
另外，还可以取代计算参照区块86及88所包含的像素86a～86d及像素88a～88d所对应的处理用图像数据的平均值，而计算像素86a～86d及像素88a～88d所对应的处理用图像数据的中间值，并利用该中间值将发黑像素85b及像素85d所对应的正式图像数据置换掉。
在以上说明中，说明了基于各种方式的第1修正处理。关于进行这些方式中的哪一方式的第1修正处理，控制部34基于例如操作部件36的设定(包含操作菜单设定)状态来决定。
此外，也可以根据对相机1设定的拍摄场景模式、检测出的被摄体要素的种类来决定控制部34进行哪一方式的第1修正处理。
此外，在以上说明中，通过摄像部32来获取处理用图像数据，但也可以通过摄像部32以外的摄像部来获取处理用图像数据。例如，可以在相机1设有摄像部32以外的摄像部、并通过摄像部32以外的摄像部来获取处理用图像数据。另外，还可以通过相机1以外的相机的摄像部来获取处理用图像数据。另外，还可以通过测光传感器那样的摄像元件以外的传感器来获取处理用图像数据。在这些情况下，优选在处理用图像数据的获取中拍摄的被摄场景的范围与在正式图像数据的获取中拍摄的被摄场景的范围相同，但只要在处理用图像数据的获取中拍摄的被摄场景的范围与在正式图像数据的获取中拍摄的被摄场景的范围有至少一部分重复，就能够进行第1修正处理。此外，在通过相机1以外的相机的摄像部来获取处理用图像数据的情况下，也能够与正式图像数据大致同时地获取处理用图像数据，能够消除拍摄移动中的被摄体时的处理用图像数据与正式图像数据的在被摄体的错位。
另外，也可以将处理用图像数据预先记录到记录部37，并通过从记录部37读出而获取，来进行第1修正处理。处理用图像数据向记录部记录的定时可以在正式图像数据的获取不久之前、或刚刚获取之后，也可以与正式图像数据的获取相比在前预先记录。
＜第2修正处理＞
图像处理部33的修正部33b在进行针对正式图像的图像处理、正式图像数据的拍摄用的焦点检测处理、正式图像数据的拍摄用的被摄体检测(检测被摄体要素)处理、及设定正式图像的拍摄用的摄像条件的处理之前，还根据需要进行以下的第2修正处理。此外，修正部33b在如上所述将产生了泛白或发黑的像素置换掉之后进行第2修正处理。
此外，关于利用其他像素置换掉的发黑像素85b(或85d)的位置的图像数据，只要作为在对进行置换的像素(例如86a)进行拍摄的摄像条件下摄影的图像数据，进行下述的第2修正处理即可。另外，在使用摄像条件不同的多个区块的像素将发黑像素85b置换掉的情况下，可以作为各区块的摄像条件间的值(平均值、中间值)的摄影条件进行处理。例如，在利用以ISO感光度100进行摄影的像素86c和以ISO感光度1600进行摄影的像素88b来修正发黑像素85d的情况下，可以作为以ISO感光度100与ISO感光度1600之间的ISO感光度800摄影得到的数据进行处理。
1.进行图像处理的情况
图像处理部33的修正部33b在针对在划分出的区域间适用不同的摄像条件而获取到的正式图像数据进行的图像处理为规定的图像处理的情况下，针对位于区域的边界部的正式图像数据，作为图像处理的前处理而进行第2修正处理。规定的图像处理是在图像中参照关注位置周围的多个参照位置的正式图像数据来计算成为处理对象的关注位置的正式图像数据的处理，例如，像素缺陷修正处理、颜色插补处理、轮廓强调处理、减噪处理等与之相符。
为了缓解因摄像条件在划分出的区域间不同导致在图像处理后的图像中产生的不连续性，而进行第2修正处理。通常，在关注位置位于划分出的区域的边界部的情况下，存在在关注位置周围的多个参照位置混合有适用了与关注位置的正式图像数据相同的摄像条件得到的正式图像数据、和适用了与关注位置的正式图像数据不同的摄像条件得到的正式图像数据的情况。在本实施方式中，相较于直接参照适用了不同摄像条件的参照位置的正式图像数据来计算关注位置的正式图像数据，更优选为了抑制因摄像条件的不同导致的正式图像数据间的差异而参照实施了第2修正处理后的参照位置的正式图像数据来计算出关注位置的正式图像数据，基于该想法，以如下方式进行第2修正处理。
图9的(a)是将图7的(a)的实时取景图像60a中的第1区域61与第4区域64的边界部的关注区域90放大的图。以白底示出了来自摄像元件32a上的设定了第1摄像条件的第1区域61所对应的像素的图像数据，以网格示出了来自摄像元件32a上的设定了第4摄像条件的第4区域64所对应的像素的图像数据。在图9的(a)中，来自关注像素P的图像数据位于第1区域61上、且位于第1区域61与第4区域64的边界91的附近部分、即边界部。将以关注像素P为中心的关注区域90(例如3×3像素)所包含的关注像素P周围的像素(在本例中为8个像素)设为参照像素Pr。图9的(b)是关注像素P及参照像素Pr1～Pr8的放大图。关注像素P的位置为关注位置，包围关注像素P的参照像素Pr1～Pr8的位置为参照位置。对与第1区域61对应的参照像素Pr1～Pr6及关注像素P设定了第1摄像条件，对与第4区域64对应的参照像素Pr7及Pr8设定了第4摄像条件。
此外，在以下说明中，在对参照像素Pr1～Pr8进行总称的情况下标注附图标记Pr。
图像处理部33的生成部33c通常不进行第2修正处理而直接参照参照像素Pr的正式图像数据来进行图像处理。然而，在关注像素P中所适用的摄像条件(设为第1摄像条件)与在关注像素P周围的参照像素Pr中所适用的摄像条件(设为第4摄像条件)不同的情况下，修正部33b对正式图像数据的参照像素Pr的正式图像数据中的第4摄像条件的正式图像数据如以下的(例1)～(例3)那样进行第2修正处理。然后，生成部33c进行参照第2修正处理后的参照像素Pr的正式图像数据来计算出关注像素P的正式图像数据的图像处理。
(例1)
例如，在第1摄像条件与第4摄像条件之间仅ISO感光度不同、第1摄像条件的ISO感光度为100而第4摄像条件的ISO感光度为800的情况下，图像处理部33的修正部33b针对参照像素Pr的正式图像数据中的第4摄像条件的参照像素Pr7、Pr8的正式图像数据，作为第2修正处理而乘以100/800。由此，减小因摄像条件的不同而导致的正式图像数据间的差异。
此外，在向关注像素P的入射光量和向参照像素Pr的入射光量相同的情况下正式图像数据的差异小，但在向关注像素P的入射光量和向参照像素Pr的入射光量本来就不同的情况等下，也存在正式图像数据的差异不会变小的情况。后述的例子也是同样的。
(例2)
例如，在第1摄像条件与第4摄像条件之间仅快门速度不同、第1摄像条件的快门速度为1/1000秒而第4摄像条件的快门速度为1/100秒的情况下，图像处理部33的修正部33b针对参照像素Pr的正式图像数据中的第4摄像条件的参照像素Pr7、Pr8的正式图像数据，作为第2修正处理而乘以(1/1000)/(1/100)＝1/10。由此，减小因摄像条件的不同而导致的正式图像数据间的差异。
(例3)
例如，在第1摄像条件与第4摄像条件之间仅帧频不同(电荷蓄存时间相同)、第1摄像条件的帧频为30fps而第4摄像条件的帧频为60fps的情况下，针对参照像素Pr的正式图像数据中的第4摄像条件(60fps)的正式图像数据，图像处理部33的修正部33b将采用获取开始定时与以第1摄像条件(30fps)获取到的帧图像近的帧图像的正式图像数据这一内容作为第2修正处理。由此，减小因摄像条件的不同而导致的正式图像数据间的差异。
此外，也可以将基于以第4摄像条件(60fps)获取的前后的多个帧图像而对获取开始定时与以第1摄像条件(30fps)获取的帧图像近的帧图像的正式图像数据进行插补计算这一内容作为第2修正处理。
另一方面，在关注像素P中所适用的摄像条件(设为第1摄像条件)与在关注像素P周围的全部参照像素Pr中所适用的摄像条件(设为第4摄像条件)相同的情况下，图像处理部33的修正部33b不进行针对参照像素Pr的正式图像数据的第2修正处理。也就是说，生成部33c进行直接对参照像素Pr的正式图像数据进行参照来计算出关注像素P的正式图像数据的图像处理。
此外，如上所述，即使摄像条件中稍有差异也视为相同摄像条件。
＜图像处理的例示＞
对伴随第2修正处理的图像处理进行例示。
(1)像素缺陷修正处理
在本实施方式中，像素缺陷修正处理是在拍摄时进行的图像处理之一。通常，作为固态摄像元件的摄像元件32a存在在制造过程中或制造后产生像素缺陷、而输出电平异常的图像数据的情况。因此，图像处理部33的生成部33c通过对从产生了像素缺陷的像素输出的正式图像数据进行修正，来使产生了像素缺陷的像素位置处的正式图像数据变得不显著。
说明像素缺陷修正处理的一例。图像处理部33的生成部33c例如在1帧的图像中将预先记录于未图示的非易失性存储器的像素缺陷的位置的像素设为关注像素P(处理对象像素)，将以关注像素P为中心的关注区域90(例如3×3像素)所包含的关注像素P周围的像素(在本例中为8像素)设为参照像素Pr。
图像处理部33的生成部33c计算出参照像素Pr中的正式图像数据的最大值、最小值，在从关注像素P输出的正式图像数据超过这些最大值或小于最小值时，进行将从关注像素P输出的正式图像数据利用上述最大值或最小值置换掉的Max，Min滤波处理。对位置信息被记录于未图示的非易失性存储器的全部像素缺陷进行这样的处理。
在本实施方式中，在上述参照像素Pr中包含适用了与对关注像素P适用的第1摄像条件不同的第4摄像条件的像素的情况下，图像处理部33的修正部33b对适用了第4摄像条件得到的正式图像数据进行第2修正处理。然后，图像处理部33的生成部33c进行上述的Max，Min滤波处理。
(2)颜色插补处理
在本实施方式中，颜色插补处理是拍摄时进行的图像处理之一。如图3例示那样，摄像元件100的摄像芯片111以拜耳阵列排列有绿色像素Gb、Gr、蓝色像素B及红色像素R。由于在各像素位置中颜色成分与所配置的彩色滤光片F的颜色成分不同的正式图像数据不足，所以图像处理部33的生成部33c参照周边的像素位置的正式图像数据来进行生成不足的颜色成分的正式图像数据的颜色插补处理。
说明颜色插补处理的一例。图10的(a)是例示从摄像元件32a输出的正式图像数据的排列的图。与各像素位置对应地，遵照拜耳阵列规则具有R、G、B中的某一颜色成分。
＜G色插补＞
首先，说明普通的G色插补。进行G色插补的图像处理部33的生成部33c将R色成分及B色成分的位置顺次设为关注位置，对关注位置周围的参照位置的4个G色成分的正式图像数据进行参照来生成关注位置处的G色成分的正式图像数据。例如，在图10的(b)的粗框(从左上位置起数第2行第2列。以后也是同样的，从左上位置起数来表示关注位置)所示的关注位置中生成G色成分的正式图像数据的情况下，对位于关注位置(第2行第2列)附近的4个G色成分的正式图像数据G1～G4进行参照。图像处理部33的生成部33c将例如(aG1+bG2+cG3+dG4)/4设为关注位置(第2行第2列)处的G色成分的正式图像数据。此外，a～d是根据参照位置与关注位置之间的距离、图像构造而设置的加权系数。
接着，说明本实施方式的G色插补。在图10的(a)～图10的(c)中，设为对相对于粗线的左及上的区域适用了第1摄像条件，对相对于粗线的右及下的区域适用了第4摄像条件。此外，在图10的(a)～图10的(c)中，第1摄像条件与第4摄像条件不同。另外，图10的(b)中的G色成分的正式图像数据G1～G4是用于对关注位置(第2行第2列)的像素进行图像处理的参照位置。在图10的(b)中，对关注位置(第2行第2列)适用了第1摄像条件。对参照位置中的正式图像数据G1～G3适用了第1摄像条件。另外，对参照位置中的正式图像数据G4适用了第4摄像条件。因此，图像处理部33的修正部33b对正式图像数据G4进行第2修正处理。然后，图像处理部33的生成部33c计算出关注位置(第2行第2列)处的G色成分的正式图像数据。
图像处理部33的生成部33c通过在图10的(a)中的B色成分的位置及R色成分的位置分别生成G色成分的正式图像数据，而如图10的(c)所示，能够在各像素位置得到G色成分的正式图像数据。
＜R色插补＞
图11的(a)是从图10的(a)提取出R色成分的正式图像数据的图。图像处理部33的生成部33c基于图10的(c)所示的G色成分的正式图像数据和图11的(a)所示的R色成分的正式图像数据，计算出图11的(b)所示的色差成分Cr的正式图像数据。
首先，说明普通的色差成分Cr的插补。图像处理部33的生成部33c在例如图11的(b)的粗框(第2行第2列)所示的关注位置生成色差成分Cr的正式图像数据的情况下，对位于关注位置(第2行第2列)附近的4个色差成分的正式图像数据Cr1～Cr4进行参照。图像处理部33的生成部33c将例如(eCr1+fCr2+gCr3+hCr4)/4设为关注位置(第2行第2列)处的色差成分Cr的正式图像数据。此外，e～h是根据参照位置与关注位置之间的距离、图像构造而设置的加权系数。
同样地，图像处理部33的生成部33c在例如图11的(c)的粗框(第2行第3列)所示的关注位置生成色差成分Cr的正式图像数据的情况下，对位于关注位置(第2行第3列)附近的4个色差成分的正式图像数据Cr2、Cr4～Cr6进行参照。图像处理部33的生成部33c将例如(qCr2+rCr4+sCr5+tCr6)/4设为关注位置(第2行第3列)处的色差成分Cr的正式图像数据。此外，q～t是根据参照位置与关注位置之间的距离、图像构造而设置的加权系数。这样，关于各像素位置生成了色差成分Cr的正式图像数据。
接着，说明本实施方式的色差成分Cr的插补。在图11的(a)～图11的(c)中，例如，设为对相对于粗线的左及上的区域适用了第1摄像条件，对相对于粗线的右及下的区域适用了第4摄像条件。此外，在图11的(a)～图11的(c)中，第1摄像条件与第4摄像条件不同。在图11的(b)中，粗框(第2行第2列)所示的位置是色差成分Cr的关注位置。另外，图11的(b)中的色差成分的正式图像数据Cr1～Cr4是用于对关注位置(第2行第2列)的像素进行图像处理的参照位置。在图11的(b)中，对关注位置(第2行第2列)适用了第1摄像条件。对参照位置中的正式图像数据Cr1、Cr3、Cr4适用了第1摄像条件。另外，对参照位置中的正式图像数据Cr2适用了第4摄像条件。因此，图像处理部33的修正部33b对正式图像数据Cr2进行第2修正处理。然后，图像处理部33的生成部33c计算出关注位置(第2行第2列)处的色差成分Cr的正式图像数据。
另外，在图11的(c)中，粗框(第2行第3列)所示的位置是色差成分Cr的关注位置。另外，图11的(c)中的色差成分的正式图像数据Cr2、Cr4、Cr、Cr6是用于对关注位置(第2行第3列)的像素进行图像处理的参照位置。在图11的(c)中，对关注位置(第2行第3列)适用了第4摄像条件。对参照位置中的正式图像数据Cr4、Cr5适用了第1摄像条件。另外，对参照位置中的正式图像数据Cr2、Cr6适用了第4摄像条件。因此，图像处理部33的修正部33b对正式图像数据Cr4及Cr5分别进行第2修正处理。然后，图像处理部33的生成部33c计算出关注位置(第2行第3列)处的色差成分Cr的正式图像数据。
图像处理部33的生成部33c在各像素位置得到色差成分Cr的正式图像数据后，与各像素位置对应地将图10的(c)所示的G色成分的正式图像数据相加，由此能够在各像素位置得到R色成分的正式图像数据。
＜B色插补＞
图12的(a)是从图10的(a)将B色成分的正式图像数据提取出的图。图像处理部33的生成部33c基于图10的(c)所示的G色成分的正式图像数据和图12的(a)所示的B色成分的正式图像数据，计算出图12的(b)所示的色差成分Cb的正式图像数据。
首先，说明普通的色差成分Cb的插补。图像处理部33的生成部33c在例如图12的(b)的粗框(第3行第3列)所示的关注位置生成色差成分Cb的正式图像数据的情况下，对位于关注位置(第3行第3列)附近的4个色差成分的正式图像数据Cb1～Cb4进行参照。图像处理部33的生成部33c将例如(uCb1+vCb2+wCb3+xCb4)/4设为关注位置(第3行第3列)处的色差成分Cb的正式图像数据。此外，u～x是根据参照位置与关注位置之间的距离、图像构造而设置的加权系数。
同样地，图像处理部33的生成部33c在例如图12的(c)的粗框(第3行第4列)所示的关注位置生成色差成分Cb的正式图像数据的情况下，对位于关注位置(第3行第4列)附近的4个色差成分的正式图像数据Cb2、Cb4～Cb6进行参照。图像处理部33的生成部33c将例如(yCb2+zCb4+αCb5+βCb6)/4设为关注位置(第3行第4列)处的色差成分Cb的正式图像数据。此外，y、z、α、β是根据参照位置与关注位置之间的距离、图像构造而设置的加权系数。这样，关于各像素位置生成了色差成分Cb的正式图像数据。
接着，说明本实施方式的色差成分Cb的插补。在图12的(a)～图12的(c)中，例如，设为对相对于粗线的左及上的区域适用了第1摄像条件，对相对于粗线的右及下的区域适用了第4摄像条件。此外，在图12的(a)～图12的(c)中，第1摄像条件与第4摄像条件不同。在图12的(b)中，粗框(第3行第3列)所示的位置是色差成分Cb的关注位置。另外，图12的(b)中的色差成分的正式图像数据Cb1～Cb4是用于对关注位置(第3行第3列)的像素进行图像处理的参照位置。在图12的(b)中，对关注位置(第3行第3列)适用了第4摄像条件。对参照位置中的正式图像数据Cb1、Cb3适用了第1摄像条件。另外，对参照位置中的正式图像数据Cb2、Cb4适用了第4摄像条件。因此，图像处理部33的修正部33b对数据Cb1及Cb3分别进行第2修正处理。然后，图像处理部33的生成部33c计算出关注位置(第3行第3列)处的色差成分Cb的正式图像数据。
另外，在图12的(c)中，粗框(第3行第4列)所示的位置是色差成分Cb的关注位置。另外，图12的(c)中的色差成分的正式图像数据Cb2、Cb4～Cb6是用于对关注位置(第3行第4列)的像素进行图像处理的参照位置。在图12的(c)中，对关注位置(第3行第4列)适用了第4摄像条件。另外，对全部参照位置的正式图像数据Cb2、Cb4～Cb6适用了第4摄像条件。因此，图像处理部33的生成部33c参照不通过图像处理部33的修正部33b进行第2修正处理的参照位置的正式图像数据Cb2、Cb4～Cb6，计算出关注位置(第3行第4列)处的色差成分Cb的正式图像数据。
图像处理部33的生成部33c在各像素位置得到色差成分Cb的正式图像数据后，与各像素位置对应地将图10的(c)所示的G色成分的正式图像数据相加，由此能够在各像素位置得到B色成分的正式图像数据。
此外，在上述“G色插补”中，例如，设为在图10的(b)的粗框(第2行第2列)所示的关注位置生成G色成分的正式图像数据的情况下，对位于关注位置附近的4个G色成分的正式图像数据G1～G4进行参照，但也可以根据图像构造而变更要参照的G色成分的正式图像数据的数量。例如，在关注位置附近的图像沿纵向具有类似性(例如，纵条纹的图案)的情况下，仅使用关注位置的上下的正式图像数据(图10的(b)的G1和G2)进行插补处理。另外，例如，在关注位置附近的图像沿横向具有类似性(例如，横条纹的图案)的情况下，仅使用关注位置的左右的正式图像数据(图10的(b)的G3和G4)进行插补处理。这些情况下，存在使用通过修正部33b进行修正的正式图像数据G4的情况和不使用该正式图像数据G4的情况。像这样，通过修正部33b进行第1修正处理、第2修正处理及插补处理，即使在产生了发黑像素85b、85d的情况下，也能够修正发黑并生成图像。
(3)轮廓强调处理
说明轮廓强调处理的一例。图像处理部33的生成部33c例如在1帧的图像中，进行使用了以关注像素P(处理对象像素)为中心的规定大小的卷积核(kernel)的、公知的线性滤波(Linear filter)运算。在作为线性滤波器的一例的锐化滤波器的卷积核大小为N×N像素的情况下，关注像素P的位置是关注位置，包围关注像素P的(N2-1)个参照像素Pr的位置是参照位置。
此外，卷积核大小也可以是N×M像素。
图像处理部33的生成部33c例如从帧图像的上部的水平行朝向下部的水平行，在各水平行上一边从左向右错开关注像素一边进行将关注像素P处的正式图像数据用线性滤波运算结果置换的滤波处理。
在本实施方式中，在上述参照像素Pr中包含适用了与对关注像素P适用的第1摄像条件不同的第4摄像条件的像素的情况下，图像处理部33的修正部33b对适用了第4摄像条件得到的正式图像数据进行第2修正处理。然后，图像处理部33的生成部33c进行上述线性滤波处理。
(4)减噪处理
说明减噪处理的一例。图像处理部33的生成部33c例如在1帧的图像中进行使用了以关注像素P(处理对象像素)为中心的规定大小的卷积核的、公知的线性滤波(Linearfilter)运算。在作为线性滤波器的一例的平滑化滤波器的卷积核大小为N×N像素的情况下，关注像素P的位置是关注位置，包围关注像素P的(N2-1)个参照像素Pr的位置是参照位置。
此外，卷积核大小也可以是N×M像素。
图像处理部33的生成部33c例如从帧图像的上部的水平行朝向下部的水平行，在各水平行上一边从左向右错开关注像素一边进行将关注像素P中的正式图像数据用线性滤波运算结果置换掉的滤波处理。
在本实施方式中，在上述参照像素Pr中包含适用了与对关注像素P适用的第1摄像条件不同的第4摄像条件的像素的情况下，图像处理部33的修正部33b对适用了第4摄像条件得到的正式图像数据进行第2修正处理。然后，图像处理部33的生成部33c进行上述线性滤波处理。
此外，设定部34b既可以将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域，也可以将摄像元件32a的拍摄面的一部分的区域设定为处理用摄像区域。在将拍摄面的一部分的区域设定为处理用摄像区域的情况下，设定部34b至少对夹着第1区域61～第6区域66的边界的规定区块数的区域设定与在拍摄正式图像数据时设定的摄像条件不同的摄像条件。
另外，设定部34b也可以从将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域进行拍摄得到的处理用图像数据至少提取出与夹着第1区域61～第6区域66的边界的规定区块数的区域相关的图像数据，来作为处理用图像数据。例如，设定部34b从设定了第4摄像条件并使用摄像元件32a的拍摄面的整个区域拍摄得到的处理用图像数据提取出与正式图像数据的夹着第1区域61与第4区域61的边界的规定区块数的区域相关的图像数据，来作为处理用图像数据而生成。
而且，上述处理用摄像区域不限定于与对正式图像数据设定的各区域(在上述例子中为第1区域～第6区域)对应地设定的区域。例如，可以在摄像元件32a的拍摄面的一部分的区域预先设定处理用摄像区域。例如，在摄像元件32a的拍摄面的中央部附近设定了处理用摄像区域的情况下，在像肖像画(portrait)那样使人物位于画面中央来进行拍摄时，能够在主要被摄体所在的可能性高的区域生成处理用图像数据。该情况下，处理用摄像区域的大小既可以基于用户的操作而能够变更，也可以恒定为预先设定的大小。
2.进行焦点检测处理的情况
在上述例子中，作为第1修正处理，将泛白或发黑等的像素以处理用图像数据置换掉，但在仅以焦点调节为目的的情况下，只要将基于产生了泛白或发黑的焦点检测用的像素得到的信号以基于其他焦点检测用的像素得到的信号置换掉即可。关于以其他焦点检测用的信号进行置换的方法，与将泛白或发黑的像素的图像数据置换的方法相同，因此省略详情。在基于图像的对比度进行的焦点调节的情况下，只要使用通过上述第1修正处理进行了置换的图像数据即可。控制部34的透镜移动控制部34d使用与摄像画面的规定位置(聚焦点)对应的信号数据(图像数据)来进行焦点检测处理。控制部34的透镜移动控制部34d在划分出的区域间设定了不同的摄像条件、且AF动作的聚焦点位于划分出的区域的边界部分的情况下，至少针对一个区域的焦点检测用的信号数据进行第2修正处理来作为焦点检测处理的前处理。
第2修正处理是为了抑制因在设定部34b划分出的摄像画面的区域间摄像条件不同导致焦点检测处理的精度降低而进行的。例如，在图像中检测像偏移量(相位差)的聚焦点的焦点检测用的信号数据位于划分出的区域的边界部的情况下，存在在焦点检测用的信号数据中混合有适用了不同的摄像条件得到的信号数据的情况。在本实施方式中，与将适用了不同的摄像条件得到的信号数据直接使用来进行像偏移量(相位差)的检测相比，更优选使用实施了第2修正处理得到的信号数据来进行像偏移量(相位差)的检测以抑制因摄像条件的不同导致的信号数据间的差异，基于该想法，以如下方式进行第2修正处理。
＜焦点检测处理的例示＞
对伴随第2修正处理的焦点检测处理进行例示。本实施方式的AF动作例如使焦点匹配于与由用户从摄像画面的多个聚焦点中选择的聚焦点对应的被摄体。控制部34的透镜移动控制部34d(生成部)检测基于从摄像光学系统31的不同光瞳区域通过的光束产生的多个被摄体像的像偏移量(相位差)，由此计算出摄像光学系统31的离焦量。控制部34的透镜移动控制部34d使摄像光学系统31的聚焦透镜向离焦量成为零(容许值以下)的位置、即对焦位置移动，调节摄像光学系统31的焦点。
图13是例示摄像元件32a的拍摄面中的焦点检测用像素的位置的图。在本实施方式中，沿着摄像芯片111的X轴方向(水平方向)离散地排列设有焦点检测用像素。在图13的例子中，以规定间隔设有15条焦点检测像素行160。构成焦点检测像素行160的焦点检测用像素输出焦点检测用的光电转换信号。在摄像芯片111中在焦点检测像素行160以外的像素位置设有普通的摄像用像素。摄像用像素输出实时取景图像、记录用的光电转换信号。
图14是将与图13所示的聚焦点80A对应的上述焦点检测像素行160的一部分区域放大的图。在图14中，例示了红色像素R、绿色像素G(Gb、Gr)及蓝色像素B、焦点检测用像素S1及焦点检测用像素S2。红色像素R、绿色像素G(Gb、Gr)及蓝色像素B遵照上述拜耳阵列的规则配置。
针对红色像素R、绿色像素G(Gb、Gr)及蓝色像素B例示的正方形状的区域表示摄像用像素的受光区域。各摄像用像素接收从摄像光学系统31(图1)的射出光瞳通过的光束。即，红色像素R、绿色像素G(Gb、Gr)及蓝色像素B分别具有正方形状的掩模开口部，从这些掩模开口部通过了的光到达摄像用像素的受光部。
此外，红色像素R、绿色像素G(Gb、Gr)及蓝色像素B的受光区域(掩模开口部)的形状不限定于四边形，也可以是例如圆形。
针对焦点检测用像素S1及焦点检测用像素S2例示的半圆形状的区域表示焦点检测用像素的受光区域。即，焦点检测用像素S1在图14中，在像素位置的左侧具有半圆形状的掩模开口部，从该掩模开口部通过了的光到达焦点检测用像素S1的受光部。另一方面，焦点检测用像素S2在图14中，在像素位置的右侧具有半圆形状的掩模开口部，从该掩模开口部通过了的光到达焦点检测用像素S2的受光部。像这样，焦点检测用像素S1及焦点检测用像素S2分别接收从摄像光学系统31(图1)的射出光瞳的不同区域通过的一对光束。
此外，摄像芯片111中的焦点检测像素行160的位置不限定于图13所例示的位置。另外，关于焦点检测像素行160的数量，也不限定于图13的例子。而且，焦点检测用像素S1及焦点检测用像素S2中的掩模开口部的形状不限定于半圆形，也可以是例如将摄像用像素R、摄像用像素G、摄像用像素B中的四边形状受光区域(掩模开口部)沿横向划分出的长方形状。
另外，摄像芯片111中的焦点检测像素行160也可以将焦点检测用像素沿着摄像芯片111的Y轴方向(铅垂方向)排列设置。如图14那样将摄像用像素和焦点检测用像素排列成二维状的摄像元件是公知的，省略这些像素的详细图示及说明。
此外，在图14的例子中，说明了焦点检测用像素S1、S2分别接收焦点检测用的一对光束中的一方的结构、即所谓1PD构造。但也可以取而代之，而为焦点检测用像素分别接收焦点检测用的一对光束双方的结构，即所谓2PD构造。通过成为2PD构造，能够将在焦点检测用像素得到的光电转换信号用作记录用的光电转换信号。
控制部34的透镜移动控制部34d基于从焦点检测用像素S1及焦点检测用像素S2输出的焦点检测用的光电转换信号，对由从摄像光学系统31(图1)的不同区域通过的一对光束产生的一对像的像偏移量(相位差)进行检测。然后，基于像偏移量(相位差)运算离焦量。这样的基于光瞳划分相位差方式的离焦量运算在相机领域中是公知的，因此省略详细说明。
设为聚焦点80A(图13)在图7的(a)所例示的实时取景图像60a中，在例如与第1区域61及第4区域64的边界部的关注区域90对应的位置由用户选取。图15是将聚焦点80A放大的图。白底的像素表示设定了第1摄像条件，网格的像素表示设定了第4摄像条件。在图15中框170所包围的位置与焦点检测像素行160(图13)对应。
控制部34的透镜移动控制部34d通常不进行第2修正处理而直接使用基于框170所示的焦点检测用像素得到的信号数据来进行焦点检测处理。然而，在框170所包围的信号数据中混合有被适用了第1摄像条件得到的信号数据和被适用了第4摄像条件得到的信号数据的情况下，控制部34的透镜移动控制部34d针对框170所包围的信号数据中的第4摄像条件的信号数据，如以下的(例1)～(例3)那样进行第2修正处理。然后，控制部34的透镜移动控制部34d使用第2修正处理后的信号数据进行焦点检测处理。
(例1)
在例如第1摄像条件与第4摄像条件之间仅ISO感光度不同、第1摄像条件的ISO感光度为100而第4摄像条件的ISO感光度为800的情况下，控制部34的透镜移动控制部34d针对第4摄像条件的信号数据，作为第2修正处理而乘以100/800。由此，减小因摄像条件的不同导致的信号数据间的差异。
此外，在向适用了第1摄像条件的像素的入射光量与向适用了第4摄像条件的像素的入射光量相同的情况下信号数据的差异小，但在向适用了第1摄像条件的像素的入射光量与向适用了第4摄像条件的像素的入射光量本来就不同的情况等下，也存在信号数据的差异不会变小的情况。后述的例子也是同样的。
(例2)
在例如第1摄像条件与第4摄像条件之间仅快门速度不同、第1摄像条件的快门速度为1/1000秒而第4摄像条件的快门速度为1/100秒的情况下，控制部34的透镜移动控制部34d针对第4摄像条件的信号数据，作为第2修正处理而乘以1/1000/1/100＝1/10。由此，减小因摄像条件的不同导致的信号数据间的差异。
(例3)
在例如第1摄像条件与第4摄像条件之间仅帧频不同(电荷蓄存时间相同)、第1摄像条件的帧频为30fps而第4摄像条件的帧频为60fps的情况下，控制部34的透镜移动控制部34d针对第4摄像条件(60fps)的信号数据，将采用获取开始定时与以第1摄像条件(30fps)获取的帧图像近的帧图像的信号数据这一内容作为第2修正处理。由此，减小因摄像条件的不同导致的信号数据间的差异。
此外，也可以将基于以第4摄像条件(60fps)获取的前后的多个帧图像，对获取开始定时与以第1摄像条件(30fps)获取到的帧图像近的帧图像的信号数据进行插补计算这一内容作为第2修正处理。
另一方面，控制部34的透镜移动控制部34d在框170所包围的信号数据中适用的摄像条件相同的情况下不进行上述第2修正处理。也就是说，控制部34的透镜移动控制部34d直接使用基于框170所示的焦点检测用像素得到的信号数据来进行焦点检测处理。
此外，如上所述，即使摄像条件中稍有差异也视为相同摄像条件。
另外，在上述例子中，说明了针对信号数据中的第4摄像条件的信号数据而利用第1摄像条件进行第2修正处理的例子，但也可以针对信号数据中的第1摄像条件的信号数据而利用第4摄像条件进行第2修正处理。
控制部34的透镜移动控制部34d可以基于例如ISO感光度来决定对第1摄像条件的信号数据进行第2修正处理，还是对第4摄像条件的信号数据进行第2修正处理。在第1摄像条件和第4摄像条件中ISO感光度不同的情况下，期望若在ISO感光度较高的摄像条件下得到的信号数据没有饱和，则对在ISO感光度较低的摄像条件下得到的信号数据进行第2修正处理。即，在第1摄像条件和第4摄像条件中ISO感光度不同的情况，期望对较暗的信号数据进行第2修正处理，以减小与较亮的信号数据之差。
而且，也可以通过对信号数据中的第1摄像条件的信号数据及第4摄像条件的信号数据分别进行第2修正处理，来减小第2修正处理后的双方的信号数据间的差。
在以上说明中，例示了使用光瞳划分相位差方式的焦点检测处理，但在基于被摄体像的对比度的大小来使摄像光学系统31的聚焦透镜向对焦位置移动的对比度检测方式的情况下也能够同样地进行。
在使用对比度检测方式的情况下，控制部34一边使摄像光学系统31的聚焦透镜移动，一边在聚焦透镜的各个位置基于从与聚焦点对应的摄像元件32a的摄像用像素输出的信号数据进行公知的焦点评估值运算。然后，将焦点评估值为最大的聚焦透镜的位置求出为对焦位置。
控制部34通常不进行第2修正处理而直接使用从与聚焦点对应的摄像用像素输出的信号数据来进行焦点评估值运算。然而，在与聚焦点对应的信号数据中混合有适用了第1摄像条件得到的信号数据和适用了第4摄像条件得到的信号数据的情况下，控制部34对与聚焦点对应的信号数据中的第4摄像条件的信号数据，进行上述那样的第2修正处理。然后，控制部34使用第2修正处理后的信号数据来进行焦点评估值运算。像这样，通过修正部33b进行第1修正处理、第2修正处理及插补处理，即使在产生了发黑像素85b、85d的情况下，也能够修正发黑并进行焦点调节。因此，即使具有发黑像素85b或85d，也能够根据透镜的移动来调节焦点。
在上述例子中，在进行第2修正处理之后进行焦点调节处理，但也可以不进行第2修正处理而利用由第1修正处理得到的图像数据来进行焦点调节。
此外，如上所述，设定部34b既可以将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域，也可以将摄像元件32a的拍摄面的一部分的区域设定为处理用摄像区域。在将拍摄面的一部分的区域设定为处理用摄像区域的情况下，设定部34b至少将包含框170的范围、与包含聚焦点的范围对应的区域、摄像元件32a的拍摄面的中央部附近设定为处理用摄像区域。
另外，设定部34b也可以从将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域进行拍摄得到的处理用图像数据提取出包含框170的范围、与包含聚焦点的范围对应的区域，并生成各处理用图像数据。
3.进行被摄体检测处理的情况
图16的(a)是对表示要检测的对象物的模板图像进行例示的图，图16的(b)是对实时取景图像60a及搜索范围190进行例示的图。控制部34的物体检测部34a从实时取景图像检测对象物(例如，图5的作为被摄体要素之一的包63a)。控制部34的物体检测部34a可以将检测对象物的范围设为实时取景图像60a的整个范围，也可以为了减轻检测处理而将实时取景图像60a的一部分设为搜索范围190。
在划分出的区域间设定了不同的摄像条件、且搜索范围190包含划分出的区域的边界的情况下，控制部34的物体检测部34a针对搜索范围190内的至少一个区域的正式图像数据，作为被摄体检测处理的前处理而进行第2修正处理。
第2修正处理是为了抑制因在设定部34b所划分出的摄像画面的区域间摄像条件不同导致被摄体要素的检测处理的精度降低而进行的。通常，在用于检测被摄体要素的搜索范围190中包含划分出的区域的边界的情况下，存在搜索范围190的图像数据中混合有适用了不同的摄像条件得到的正式图像数据的情况。在本实施方式中，相较于将适用了不同的摄像条件得到的正式图像数据直接使用来进行被摄体要素的检测，更优选使用实施了第2修正处理得到的正式图像数据来进行被摄体要素的检测以抑制因摄像条件的不同导致的正式图像数据间的差异，基于该想法，以如下方式进行第2修正处理。
说明在图6所例示的实时取景图像60a中，对作为人物61a的所持物的包63a进行检测的情况。控制部34的物体检测部34a在包含人物61a的区域附近设定搜索范围190。此外，也可以将包含人物61a的区域61设定为搜索范围。
控制部34的物体检测部34a在搜索范围190没有被摄像条件不同的两个区域分割的情况下，不进行第2修正处理而直接使用构成搜索范围190的正式图像数据来进行被摄体检测处理。然而，假设在搜索范围190的图像数据中混合有适用了第1摄像条件得到的正式图像数据和适用了第4摄像条件得到的正式图像数据的情况下，控制部34的物体检测部34a针对搜索范围190的正式图像数据中的第4摄像条件的正式图像数据，作为进行焦点检测处理的情况，而如上述的(例1)～(例3)那样进行第2修正处理。然后，控制部34的物体检测部34a使用第2修正处理后的正式图像数据来进行被摄体检测处理。
此外，如上所述，即使摄像条件中稍有差异也视为相同的摄像条件。
另外，在上述例子中，说明了针对正式图像数据中的第4摄像条件的正式图像数据而利用第1摄像条件进行第2修正处理的例子，但也可以针对正式图像数据中的第1摄像条件的正式图像数据而利用第4摄像条件进行第2修正处理。
上述的针对搜索范围190的正式图像数据进行的第2修正处理，也可以对为了检测人物面部这样的特定被摄体而使用的搜索范围、摄像场景的判定中使用的区域适用。
另外，上述的针对搜索范围190的正式图像数据进行的第2修正处理不限于使用模板图像的模式匹配(pattern matching)法中使用的搜索范围，也可以在检测基于图像颜色和/或边缘等的特征量时的搜索范围中同样地适用。
另外，也可以适用于移动体的追踪处理，即通过使用获取时刻不同的多帧的正式图像数据来实施公知的模板匹配处理，从在后获取的帧图像检索与在先获取的帧图像中的追踪对象物类似的区域。在该情况下，控制部34在对在后获取的帧图像设定的搜索范围中混合有适用了第1摄像条件得到的正式图像数据和适用了第4摄像条件得到的正式图像数据的情况下，针对搜索范围的正式图像数据中的第4摄像条件的正式图像数据，如上述的(例1)～(例3)那样进行第2修正处理。然后，控制部34使用第2修正处理后的正式图像数据来进行追踪处理。
而且，在使用获取时刻不同的多帧的正式图像数据来检测公知的移动矢量的情况下也是同样的。控制部34在用于检测移动矢量的检测区域中混合有适用了第1摄像条件得到的正式图像数据和适用了第4摄像条件得到的正式图像数据的情况下，针对用于检测移动矢量的检测区域的正式图像数据中的第4摄像条件的正式图像数据，如上述的(例1)～(例3)那样进行第2修正处理。然后，控制部34使用第2修正处理后的正式图像数据来检测移动矢量。像这样，通过修正部33b进行第1修正处理、第2修正处理及插补处理，即使在产生了发黑像素85b、85d的情况下，也能够修正发黑并进行上述的被摄体检测等。因此，即使具有发黑像素85b或85d，也能够进行被摄体件检测。
在上述例子中，在进行了第2修正处理之后进行被摄体检测处理，但也可以不进行第2修正处理而利用由第1修正处理得到的图像数据来进行被摄体检测。
此外，如上所述，设定部34b既可以将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域，也可以将摄像元件32a的拍摄面的一部分的区域设定为处理用摄像区域。在将拍摄面的一部分的区域设定为处理用摄像区域的情况下，设定部34b至少将包含搜索范围190的范围、与包含用于检测移动矢量的检测范围的范围对应的区域、摄像元件32a的拍摄面的中央部附近设定为处理用摄像区域。
另外，设定部34b也可以从将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域进行拍摄得到的处理用图像数据提取出包含搜索范围190的范围、包含用于检测移动矢量的检测范围的范围，并生成各处理用图像数据。
4.设定摄像条件的情况
控制部34的设定部34b划分摄像画面的区域，并在以划分出的区域间设定了不同的摄像条件的状态重新测光来决定曝光条件的情况下，针对至少一个区域的正式图像数据，作为设定曝光条件的前处理而进行第2修正处理。
第2修正处理是为了抑制因在设定部34b所划分出的摄像画面的区域间摄像条件不同导致决定曝光条件的处理的精度降低而进行的。例如，在对摄像画面的中央部设定的测光范围中包含划分出的区域的边界的情况下，存在在测光范围的正式图像数据中混合有适用了不同的摄像条件得到的正式图像数据的情况。在本实施方式中，相较于将适用了不同的摄像条件得到的正式图像数据直接使用来进行曝光运算处理，更优选使用实施了第2修正处理得到的正式图像数据来进行曝光运算处理以抑制因摄像条件的不同导致的正式图像数据间的差异，基于该想法，以如下方式进行第2修正处理。
控制部34的设定部34b在测光范围没有被摄像条件不同的多个区域分割的情况下，不进行第2修正处理而直接使用构成测光范围的正式图像数据来进行曝光运算处理。然而，假设在测光范围的正式图像数据中混合有适用了第1摄像条件得到的正式图像数据和适用了第4摄像条件得到的正式图像数据的情况下，控制部34的设定部34b针对测光范围的正式图像数据中的第4摄像条件的图像数据，作为进行焦点检测处理、被摄体检测处理的情况，如上述的(例1)～(例3)那样进行第2修正处理。然后，控制部34的设定部34b使用第2修正处理后的正式图像数据来进行曝光运算处理。
此外，如上所述，即使摄像条件中稍有差异也视为相同的摄像条件。
另外，在上述例子中，说明了针对正式图像数据中的第4摄像条件的正式图像数据而利用第1摄像条件进行第2修正处理的例子，但也可以针对正式图像数据中的第1摄像条件的正式图像数据而利用第4摄像条件进行第2修正处理。
不限于上述的进行曝光运算处理时的测光范围，在决定白平衡调整值时进行的测光(测色)范围、在决定是否需要基于发出摄影辅助光的光源发出摄影辅助光时进行的测光范围、以及在决定基于上述光源发出的摄影辅助光的发光量时进行的测光范围中也是同样的。
另外，在将摄像画面划分出的区域间中使光电转换信号的读出析像度不同的情况下，也能够针对在决定每个区域的读出析像度时进行的、摄影场景的判定中使用的区域同样地进行处理。像这样，通过修正部33b进行第1修正处理、第2修正处理及插补处理，即使在产生了发黑像素85b、85d的情况下，也能够修正发黑并进行摄影条件的设定。因此，即使具有发黑像素85b或85d，也能够设定摄影条件。在上述例子中，在进行了第2修正处理之后进行摄影条件的设定，但也可以不进行第2修正处理而利用由第1修正处理得到的图像数据来进行摄影条件的设定。
此外，如上所述，设定部34b既可以将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域，也可以将摄像元件32a的拍摄面的一部分的区域设定为处理用摄像区域。在将拍摄面的一部分的区域设定为处理用摄像区域的情况下，设定部34b至少将与包含测光范围的范围对应的区域、摄像元件32a的拍摄面的中央部附近设定为处理用摄像区域。
另外，设定部34b也可以从将摄像元件32a的拍摄面的整个区域设定为处理用摄像区域进行拍摄得到的处理用图像数据，提取出包含测光范围的范围，并生成处理用图像数据。
说明生成在上述第1修正处理时使用的处理用图像数据的定时。以下，分为生成图像处理中使用的处理用图像数据的定时、和生成焦点检测处理、被摄体检测处理及摄像条件设定处理(以下称为检测·设定处理)中使用的处理用图像数据的定时来进行说明。
＜图像处理中使用的处理用图像数据的生成＞
摄像控制部34c在与拍摄正式图像数据的定时不同的定时，使摄像部32拍摄处理用图像数据。在本实施方式中，摄像控制部34c在实时取景图像的显示时或操作部件36的操作时使摄像部32拍摄处理用图像数据。而且，摄像控制部34c在对摄像部32指示处理用图像数据的拍摄时，输出通过设定部34b对处理用图像数据设定的摄像条件所相关的信息。以下，分为实时取景图像的显示时的处理用图像数据的拍摄和操作部件36的操作时的处理用图像数据的拍摄来进行说明。
(1)实时取景图像的显示时
摄像控制部34c在进行了由用户指示开始显示实时取景图像的操作后，使摄像部32进行处理用图像数据的拍摄。该情况下，摄像控制部34c在实时取景图像的显示中，按每个规定周期，使摄像部32拍摄处理用图像数据。例如，摄像控制部34c在实时取景图像的帧频中的、例如拍摄偶数帧的定时、拍摄10帧的实时取景图像后的下一定时，取代指示实时取景图像的拍摄，而向摄像部32输出指示处理用图像数据的拍摄的信号。此时，摄像控制部34c使摄像部32以由设定部34b设定的摄像条件拍摄处理用图像数据。
参照图17，例示用于实时取景图像的图像数据的拍摄定时与处理用图像数据的拍摄的定时之间的关系。图17的(a)表示每隔1帧交替地进行实时取景图像的拍摄和处理用图像数据的拍摄的情况。
此外，设为通过用户的操作对第1区域61～第3区域63(图7的(a))分别设定了第1摄像条件～第3摄像条件。此时，由于在针对正式图像数据的第1区域61～第3区域63各自的处理中使用，所以拍摄被设定了第1摄像条件的第1处理用图像数据D1、被设定了第2摄像条件的第2处理用图像数据D2、和被设定了第3摄像条件的第3处理用图像数据D3。
摄像控制部34c对摄像部32指示第N帧的实时取景图像LV1的拍摄，控制部34使通过拍摄得到的实时取景图像LV1显示在显示部35上。在第(N+1)帧的拍摄的定时，摄像控制部34c对摄像部32指示适用了第1摄像条件的第1处理用图像数据D1的拍摄。摄像控制部34c例如通过记录部37将拍摄得到的第1处理用图像数据D1记录到规定的记录介质(未图示)。该情况下，控制部34作为第(N+1)帧的实时取景图像而使在第N帧的拍摄的定时拍摄到的实时取景图像LV1显示在显示部35上。即，继续前帧的实时取景图像LV1的显示。
在第(N+2)帧的实时取景图像LV2的拍摄的定时，摄像控制部34c对摄像部32指示第(N+2)帧的实时取景图像LV2的拍摄。控制部34从显示部35的实时取景图像LV1的显示切换到通过第(N+2)帧的拍摄得到的实时取景图像LV2的显示。在第(N+3)帧的拍摄的定时，摄像控制部34c使摄像部32拍摄适用了第2摄像条件的第2处理用图像数据D2，并记录拍摄得到的第2处理用图像数据D2。该情况下，控制部34也是作为第(N+3)帧的实时取景图像而继续以第(N+2)帧的拍摄的定时拍摄到的实时取景图像LV2在显示部35上的显示。
在第(N+4)帧，与第N帧、第(N+2)帧的情况同样地，摄像控制部34c使摄像部32拍摄实时取景图像LV3，控制部34使拍摄到的实时取景图像LV3显示在显示部35上。在第(N+5)帧，摄像控制部34c使摄像部32进行适用了第3摄像条件的第3处理用图像数据D3的拍摄。此时控制部34与上述同样地，在显示部35上继续第(N+4)帧下的实时取景图像LV3的显示。在以后的帧中，控制部34反复进行第N帧～第(N+5)帧下的处理。
在设定部34b基于物体检测部34a的检测结果、透镜移动控制部34d的运算结果来变更摄像条件的情况下，摄像控制部34c只要适用在拍摄处理用图像数据的定时(图17的(a)的第(N+1)、(N+3)、(N+5)帧)重新设定的摄像条件并使摄像部32进行拍摄即可。
此外，摄像控制部34c也可以使摄像部32在实时取景图像开始显示之前拍摄处理用图像数据。例如，在由用户对相机1进行了电源接通操作的定时、进行了指示实时取景图像的开始显示的操作的情况下，向摄像部32输出指示处理用图像数据的拍摄的信号。当第1处理用图像数据～第3处理用图像数据的拍摄结束后，摄像控制部34c对摄像部32指示实时取景图像的拍摄。
例如，如图17的(b)所示，摄像控制部34c在拍摄第1帧～第3帧的定时，分别拍摄第1摄像条件的第1处理用图像数据D1、第2摄像条件的第2处理用图像数据D2、第3摄像条件的第3处理用图像数据D3。在第4帧以后，摄像控制部34c拍摄实时取景图像LV1、LV2、LV3、…，控制部34使实时取景图像LV1、LV2、LV3、…依次显示在显示部35上。
另外，摄像控制部34c也可以在实时取景图像的显示中在由用户进行了结束实时取景图像的显示的操作的定时，使摄像部32拍摄处理用图像数据。即，当从操作部件36输入与指示实时取景图像的显示结束的操作对应的操作信号后，摄像控制部34c向摄像部32输出指示实时取景图像的拍摄结束的信号。当摄像部32结束实时取景图像的拍摄后，摄像控制部32c对摄像部32输出指示处理用图像数据的拍摄的信号。
例如，如图17的(c)所示，在第N帧进行了将实时取景图像的显示结束的操作的情况下，摄像控制部34c在第(N+1)帧～第(N+3)帧分别拍摄第1摄像条件的第1处理用图像数据D1、第2摄像条件的第2处理用图像数据D2、第3摄像条件的第3处理用图像数据D3。该情况下，控制部34在第(N+1)～第(N+3)帧的期间中，既可以使在第N帧拍摄到的实时取景图像LV1显示于显示部35，也可以不进行实时取景图像的显示。
另外，摄像控制部34c也可以针对实时取景图像的全部帧拍摄处理用图像数据。该情况下，设定部34b对摄像元件32a的拍摄面的整个区域设定按各帧而不同的摄像条件。控制部34将生成的处理用图像数据作为实时取景图像而显示在显示部35上。
而且，摄像控制部34c也可以在显示实时取景图像的过程中，在拍摄中的图像的构图发生了变化的情况下，拍摄处理用图像数据。例如，在控制部34的设定部34b基于实时取景图像检测出的被摄体要素的位置与在前帧检测出的被摄体要素的位置相比错开规定距离以上的情况下，摄像控制部34c只要指示处理用图像数据的拍摄即可。
(2)操作部件36的操作
作为用于拍摄处理用图像数据的操作部件36的操作，列举例如基于用户对释放按钮的半按即指示拍摄准备的操作、释放按钮的全按操作即指示正式拍摄的操作等。
(2-1)释放按钮的半按
当进行了基于用户对释放按钮的半按操作即指示拍摄准备的操作后，从操作部件36输出半按操作信号。该半按操作信号在由用户对释放按钮进行半按操作的期间中，从操作部件36输出。控制部34的摄像控制部34c当从操作部件36输入与指示拍摄准备的操作的开始对应的上述半按操作信号后，向摄像部32输出指示处理用图像数据的拍摄的信号。即，与基于用户指示拍摄准备的操作的开始相应地，摄像部32拍摄处理用图像数据。
此外，摄像控制部34c也可以在基于用户对释放按钮的半按操作结束的定时、例如根据从半按操作向全按操作的转移而结束的定时，使摄像部32拍摄处理用图像数据。即，可以在不再从操作部件36输入与指示拍摄准备的操作对应的操作信号的定时，摄像控制部34c向摄像部32输出指示拍摄的信号。
另外，摄像控制部34c也可以在由用户进行释放按钮的半按操作的期间，使摄像部32拍摄处理用图像数据。该情况下，摄像控制部34c能够按每个规定周期向摄像部32输出指示拍摄的信号。由此，在由用户进行释放按钮的半按操作的期间，能够拍摄处理用图像数据。或者，摄像控制部34c还可以与拍摄实时取景图像的定时匹配地向摄像部32输出指示拍摄的信号。该情况下，摄像控制部34c只要在实时取景图像的帧频中的例如拍摄偶数帧的定时、拍摄了10帧的实时取景图像后的下一定时，向摄像部32输出指示处理用图像数据的拍摄的信号即可。
此外，在实时取景图像的显示中拍摄处理用图像数据的情况下，也可以不进行基于释放按钮的半按操作实现的处理用图像数据的拍摄。
(2-2)释放按钮的全按操作
当由用户进行释放按钮的全按操作、即指示正式拍摄的操作后，从操作部件36输出全按操作信号。控制部34的摄像控制部34c当从操作部件36输入与指示正式拍摄的操作对应的全按操作信号后，向摄像部32输出指示正式拍摄的信号。在通过正式拍摄进行了正式图像数据的拍摄后，摄像控制部34c输出指示处理用图像数据的拍摄的信号。即，在由用户进行了指示拍摄的全按操作后，摄像部32在进行基于正式拍摄的正式图像数据的拍摄之后，拍摄处理用图像数据。
此外，摄像控制部34c也可以使摄像部32在拍摄正式图像数据之前拍摄处理用图像数据。摄像控制部34c通过例如记录部37将在拍摄正式图像数据之前获取的处理用图像数据记录到记录介质(未图示)。由此，在拍摄了正式图像数据后，能够将事先记录的处理用图像数据用于正式图像数据的生成。
另外，在实时取景图像的显示中拍摄处理用图像数据的情况下，也可以不进行基于释放按钮的半按操作实现的处理用图像数据的拍摄。
此外，用于拍摄处理用图像数据的操作部件36的操作不限定于释放按钮的半按操作和全按操作。例如，也可以是，在由用户进行了释放按钮的操作以外的与拍摄相关的操作的情况下，摄像控制部34c指示处理用图像数据的拍摄。作为与拍摄相关的操作，存在例如变更拍摄倍率的操作、变更光圈的操作、与焦点调节有关的操作(例如聚焦点的选择)等。当变更操作结束而基于变更操作的新设定确定时，摄像控制部34c使摄像部32拍摄处理用图像数据。由此，即使在新设定下进行正式拍摄的情况下，也能够生成以与正式拍摄相同的条件拍摄得到的处理用图像数据。
此外，摄像控制部34c也可以在菜单画面上进行了菜单操作的情况下，拍摄处理用图像数据。这是因为，在从菜单画面进行了与拍摄相关的操作的情况下，为了正式拍摄而进行了新设定的可能性高。该情况下，在菜单画面打开的期间中，摄像部32进行处理用图像数据的拍摄。处理用图像数据的拍摄既可以按每个规定周期进行，也可以以拍摄实时取景图像时的帧频进行拍摄。
在进行了与拍摄没有关联的操作、例如用于使图像再现显示的操作、再现显示中的操作、用于对时的操作的情况下，摄像控制部34c不输出指示处理用图像数据的拍摄的信号。即，摄像控制部34c不使摄像部32进行处理用图像数据的拍摄。由此，在进行用于正式拍摄的新设定的可能性低或进行正式拍摄的可能性低的情况下，能够不拍摄处理用图像数据。
另外，在操作部件36具有用于指示处理用图像数据的拍摄的专用按钮的情况下，当由用户操作了专用按钮后，摄像控制部34c对摄像部32指示处理用图像数据的拍摄。在具有操作部件36在由用户操作了专用按钮的期间持续输出操作信号的结构的情况下，摄像控制部34c既可以在进行专用按钮的操作的期间中，按每个规定周期使摄像部32拍摄处理用图像数据，也可以在专用按钮的操作结束的时间点拍摄处理用图像数据。由此，能够在用户所希望的定时拍摄处理用图像数据。
另外，也可以在对相机1进行了电源接通操作的情况下，摄像控制部34c对摄像部32指示处理用图像数据的拍摄。
在本实施方式的相机1中，既可以使用所例示的各方式的全部方式来拍摄处理用图像数据，也可以至少适用一个方式来拍摄处理用图像数据，还可以适用各方式中的由用户选择的方式来拍摄处理用图像数据。用户的选择可以例如通过显示于显示部35的菜单画面上的菜单操作而进行。
＜在检测·设定处理中使用的处理用图像数据的生成＞
摄像控制部34c在与生成上述的图像处理中使用的处理用图像数据的定时相同的各种定时，拍摄在检测·设定处理中使用的处理用图像数据。即，能够将相同的处理用图像数据用作检测·设定处理中使用的处理用图像数据，而且，能够用作图像处理中使用的处理用图像数据。以下，说明在与生成图像处理中使用的处理用图像数据的定时不同的定时生成在检测·设定处理中使用的处理用图像数据的情况。
在由用户进行了释放按钮的全按操作的情况下，摄像控制部34c在使摄像部32进行正式图像数据的拍摄之前，进行处理用图像数据的拍摄。该情况下，能够将使用在正式拍摄不久之前拍摄得到的最新的处理用图像数据进行检测的结果、使用在正式拍摄不久之前拍摄得到的最新的处理用图像数据进行设定的结果反映于正式拍摄。
摄像控制部34c即使在进行与拍摄不相关的操作、例如用于使图像再现显示的操作、再现显示中的操作、用于对时的操作的情况下，也会拍摄处理用图像数据。该情况下，摄像控制部34c既可以生成1帧的处理用图像数据，也可以生成多帧的处理用图像数据。
此外，在以上说明中，列举将处理用图像数据用于图像处理、焦点检测处理、被摄体检测处理及曝光等的摄像条件设定处理的情况为例，但并不限定在全部处理中使用处理用图像数据的情况。即，在图像处理、焦点检测处理、被摄体检测处理及摄像条件设定处理中的至少一个处理中使用的方式包含于本实施方式。关于将处理用图像数据用于何种处理，只要构成为能够由用户从显示于显示部35的菜单画面进行选择、决定即可。
另外，也可以基于来自相对于摄像元件32a另行设置的测光传感器38的输出信号，来生成上述的处理用图像数据。
＜流程图的说明＞
图18是说明按每个区域设定摄像条件来进行拍摄的处理流程的流程图。当相机1的主开关被ON操作后，控制部34使执行图18所示的处理的程序启动。在步骤S10中，控制部34在显示部35上开始实时取景显示，之后进入步骤S20。
具体地说，控制部34向摄像部32指示开始获取实时取景图像，将获取到的实时取景图像依次显示于显示部35。如上所述，在该时间点，在摄像芯片111的整个区域、即画面整体设定了相同的摄像条件。
此外，在实时取景显示中实施了进行AF动作的设定的情况下，控制部34的透镜移动控制部34d进行焦点检测处理，由此控制将焦点匹配于与规定的聚焦点对应的被摄体要素的AF动作。透镜移动控制部34d根据需要，在进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理之后进行焦点检测处理。
另外，在实时取景显示中没有实施进行AF动作的设定的情况下，控制部34的透镜移动控制部34d在随后被指示AF动作的时间点进行AF动作。
在步骤S20中，控制部34的物体检测部34a从实时取景图像检测被摄体要素，之后进入步骤S30。物体检测部34a根据需要，在进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理之后进行被摄体检测处理。在步骤S30中，控制部34的设定部34b将实时取景图像的画面划分成包含被摄体要素的区域，之后进入步骤S40。
在步骤S40中，控制部34在显示部35上进行区域的显示。控制部34如图6中例示那样，对划分出的区域中的成为摄像条件的设定(变更)对象的区域进行强调显示。另外，控制部34使摄像条件的设定画面70显示于显示部35，之后进入步骤S50。
此外，在显示画面上的其他主要被摄体的显示位置被用户的手指点击操作了的情况下，控制部34将包含该主要被摄体的区域变更为成为摄像条件的设定(变更)对象的区域并进行强调显示。
在步骤S50中，控制部34判定是否需要AF动作。控制部34在例如因被摄体移动而导致焦点调节状态变化了的情况下、通过用户操作变更了聚焦点的位置的情况下、或通过用户操作指示了AF动作的执行的情况下，对步骤S50进行肯定判定并进入步骤S70。控制部34在焦点调节状态没有变化、没有通过用户操作变更聚焦点的位置、也没有通过用户操作指示AF动作的执行的情况下，对步骤S50进行否定判定并进入步骤60。
在步骤S70中，控制部34进行AF动作之后返回到步骤S40。透镜移动控制部34d根据需要，在进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理之后进行作为AF动作的焦点检测处理。返回到步骤S40的控制部34基于在AF动作后获取的实时取景图像，重复进行与上述处理相同的处理。
在步骤S60中，控制部34的设定部34b根据用户操作，设定针对正在强调显示的区域的摄像条件，之后进入步骤S80。此外，关于步骤S60中的、与用户操作相应的显示部35的显示变化和摄像条件的设定，如上所述。控制部34的设定部34b根据需要，在进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理之后进行曝光运算处理。
在步骤S80中，控制部34判定是否在实时取景图像的显示中获取处理用图像数据。控制部34在实施了在实时取景图像的显示中进行处理用图像数据的拍摄的设定的情况下，对步骤S80进行肯定判定并进入步骤S90。控制部34在没有实施在实时取景图像的显示中进行处理用图像数据的拍摄的设定的情况下，对步骤S80进行否定判定并进入后述的步骤S100。
在步骤S90中，控制部34的摄像控制部34c对摄像部32指示在实时取景图像的拍摄中，按每个规定周期以所设定的每个摄像条件进行处理用图像数据的拍摄，之后进入步骤S100。此外，此时拍摄得到的处理用图像数据例如通过记录部37而存储到存储介质(未图示)。由此，能够在后使用已记录的处理用图像数据。在步骤S100中，控制部34判定有无释放操作。在构成操作部件36的释放按钮或指示拍摄的显示图标被操作了的情况下，控制部34对步骤S100进行肯定判定并进入步骤S110。在没有进行释放操作的情况下，控制部34对步骤S100进行否定判定并返回步骤S60。
在步骤S110中，控制部34进行处理用图像数据和正式图像数据的拍摄处理。即，摄像控制部34c以在步骤S60中设定的每个不同摄像条件来拍摄处理用图像数据，并且以利用在步骤S60中对上述每个区域设定的摄像条件来进行正式拍摄的方式控制摄像元件32a并获取正式图像数据，之后进入步骤S120。此外，在对检测·设定处理中使用的处理用图像数据进行拍摄的情况下，在正式图像数据的拍摄之前进行处理用图像数据的拍摄。另外，在步骤S90中拍摄了处理用图像数据的情况下，也可以不在步骤S110中进行处理用图像数据的拍摄。
在步骤S120中，控制部34的摄像控制部34c向图像处理部33发送指示，对通过上述拍摄得到的正式图像数据，使用在步骤S90或步骤S110中获取的处理用图像数据，进行规定的图像处理，之后进入步骤S130。图像处理包含上述像素缺陷修正处理、颜色插补处理、轮廓强调处理、减噪处理。
此外，图像处理部33的修正部33b根据需要，针对位于区域的边界部的正式图像数据，在进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理之后进行图像处理。
在步骤S130中，控制部34向记录部37发送指示，将图像处理后的图像数据记录到未图示的记录介质，之后进入步骤S140。
在步骤S140中，控制部34判断是否进行了结束操作。控制部34在进行了结束操作的情况下，对步骤S140进行肯定判定并结束图18的处理。控制部34在没有进行结束操作的情况下，对步骤S140进行否定判定，并返回到步骤S20。在返回到步骤S20的情况下，控制部34重复进行上述处理。
此外，上述例子是以在步骤S60中设定的摄像条件进行正式拍摄、并针对正式图像数据使用在步骤S90或S110中获取的处理用图像数据进行处理的例子。但是，在实时取景图像的拍摄时对各区域设定不同的摄像条件的情况下，关于焦点检测处理、被摄体检测处理、摄像条件设定处理，可以基于在步骤S90中在实时取景图像的显示中得到的处理用图像数据来进行处理。
在以上说明中，作为摄像元件32a而例示了层叠型的摄像元件100，但只要能够按摄像元件(摄像芯片111)中的多个区块的每个区块设定摄像条件，则不必一定构成为层叠型的摄像元件。
根据以上说明的第1实施方式，得到以下的作用效果。
(1)在由第1区域61拍摄得到的正式图像数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的正式图像数据的情况下，能够使用利用与第1区域61的摄像条件不同的第4摄像条件拍摄得到的处理用图像数据，来恰当地生成正式图像数据。具体地说，能够生成对图7的(b)的区块82、区块85及区块87的斜线部与区块83、86、88及89的网格部之间的图像的明暗、对比度、色调等的不同等、图像的不连续性和不协调感进行抑制的正式图像数据。
(2)在由第1区域61拍摄得到的正式图像数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的正式图像数据的情况下，能够使用利用与第1区域61的摄像条件不同的第4摄像条件拍摄得到的处理用图像数据，来恰当地生成正式图像数据。具体地说，能够生成对图7的(b)的区块82、区块85及区块87的斜线部与区块83、86、88及89的网格部之间的图像的明暗、对比度、色调等的不同等、图像的不连续性和不协调感进行抑制的正式图像数据。
(3)在由第1区域61拍摄得到的正式图像数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的正式图像数据的情况下，能够使用与正式图像数据不同的处理用图像数据来恰当地生成正式图像数据。
(4)能够通过使用与正式图像的关注区块对应的位置、即处理用图像的关注区块的处理用图像数据，来恰当地生成正式图像数据。
(5)通过在正式拍摄之后获取处理用图像数据，能够不错过快门机会地获取正式图像数据。并且，能够利用在正式拍摄之后获取的处理用图像数据来恰当地生成正式图像数据。
(6)通过使用与摄像部32不同的测光传感器38，能够一边利用摄像部32获取正式图像数据，一边利用测光传感器38获取处理用图像数据。
(7)通过事先存储处理用图像数据，能够将拍摄正式图像数据之前获取的处理用图像数据用于之后获取的正式图像数据的生成。
(8)由于基于在面积比第1区域61大的第4区域64拍摄到的被摄体的图像数据来生成在第1区域61拍摄到的被摄体的图像数据，因此能够恰当地生成图像数据。
(9)在将在正式图像的关注区块中获取的图像数据利用在处理用图像的一部分即区块(关注区块或参照区块)中获取的图像数据置换掉时，例如通过将与正式图像的关注区块所包含的多个像素对应的多个图像数据使用同数或其数量以下的图像数据置换掉，而能够抑制置换处理中的运算负荷。
(10)在将在正式图像的关注区块中获取的图像数据使用处理用图像的图像数据置换掉时，使用来自与关注区块所包含的成为置换对象的像素更近的像素的图像数据进行置换。由此，能够恰当地生成图像数据。
(11)能够在摄像条件不同的区域中分别恰当地进行处理。即，能够恰当地生成基于在各区域分别生成的图像数据得到的图像。
(12)信号处理芯片112配置在摄像芯片111与存储芯片113之间。由此，由于与摄像元件100中数据流动对应地层叠各芯片，所以能够有效地将芯片彼此电连接。
(13)在由正式图像的第1区域61拍摄到的像的信号数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的信号数据的情况下，能够使用利用与第1区域61的摄像条件不同的第4摄像条件拍摄到的处理用图像的信号数据，来恰当地进行对焦。具体地说，能够生成对图7的(b)的区块82、区块85、及区块87的斜线部与区块83、86、88、及89的网格部之间的像的明暗、对比度等的不同等、像的不连续性进行了抑制的正式图像的信号数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致焦点检测精度降低，因此能够实现恰当的对焦。
(14)在由正式图像的第1区域61拍摄到的像的信号数据中产生了因对第1区域61设定的第1摄像条件导致的不恰当的信号数据的情况下，能够使用利用与第1区域61的摄像条件不同的第4摄像条件拍摄到的处理用图像的信号数据，来恰当地生成正式图像的信号数据。具体地说，能够生成对图7的(b)的区块82、区块85、及区块87的斜线部与区块83、86、88、及89的网格部之间的像的明暗、对比度等的不同等、像的不连续性进行了抑制的正式图像的信号数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致焦点检测精度降低，因此能够实现恰当的对焦。
(15)在由正式图像的第1区域61拍摄到的像的信号数据中产生了因对第1区域61设定的第1摄像条件导致的不恰当的信号数据的情况下，能够使用在与正式图像不同的定时拍摄到的处理用图像的信号数据，来恰当地进行对焦。
(16)在由正式图像的第1区域61拍摄到的像的信号数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的信号数据的情况下，能够使用在与正式图像不同的定时拍摄到的处理用图像的信号数据，来恰当地生成正式图像的信号数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致焦点检测精度降低，因此能够实现恰当的对焦。
(17)通过在正式拍摄之前获取处理用图像的信号数据，在正式图像数据的拍摄时，能够参照处理用图像的信号数据实现恰当的对焦。
(18)通过使用与摄像部32不同的测光传感器38，能够一边利用摄像部32获取正式图像数据一边利用测光传感器38获取处理用图像，因此能够恰当地进行对焦。
(19)通过事先存储处理用图像的信号数据，能够将在拍摄正式图像数据之前获取的处理用图像的信号数据用于拍摄正式图像数据时的焦点调节。
(20)能够基于在面积比第1区域61大的第4区域64拍摄到的像的信号数据，来恰当地生成信号数据。因此，能够实现恰当的对焦。
(21)在生成恰当的信号数据时，通过例如将关注区块所包含的多个像素所对应的多个像的信号数据使用同数或其以下数量的像的信号数据置换掉，能够抑制置换处理中的运算负荷。
(22)在由第1区域61拍摄得到的正式图像数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的正式图像数据的情况下，能够使用利用与第1区域61的摄像条件不同的摄像条件拍摄得到的处理用图像数据，来恰当地生成正式图像数据。具体地说，能够生成对图7的(b)的区块82、区块85、及区块87的斜线部与区块83、86、88及89的网格部之间的图像的明暗、对比度、色调等的不同等、像的不连续性进行了抑制的正式图像数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致被摄体要素的检测精度降低。
(23)通过在正式拍摄之前事先获取处理用图像数据，能够在正式图像数据的拍摄时，通过参照处理用图像数据来抑制被摄体要素的检测精度降低。
(24)通过在正式拍摄之后获取处理用图像数据，能够不会错过快门机会地获取正式图像数据。并且，能够利用在正式拍摄之后获取的处理用图像数据来恰当地检测被摄体要素。
(25)通过使用与摄像部32不同的测光传感器38，能够一边利用摄像部32获取正式图像数据一边利用测光传感器38获取处理用图像，因此能够恰当地检测被摄体要素。
(26)通过参照从与摄像部32不同的测光传感器38得到的处理用图像的信号数据，能够抑制被摄体要素的检测精度降低。
(27)通过事先存储处理用图像数据，能够将在拍摄正式图像数据之前获取的处理用图像数据用于拍摄正式图像数据时的被摄体要素的检测。
(28)在由第1区域61拍摄得到的正式图像数据的一部分(区块)中产生了不恰当的正式图像数据的情况下，能够使用在第1区域61或第4区域64拍摄得到的处理用图像数据，来恰当地生成正式图像数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致被摄体要素的检测精度降低。
(29)能够基于在面积比第1区域61大的第4区域64中拍摄得到的处理用图像数据，来恰当地生成正式图像数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致被摄体要素的检测精度降低。
(30)在将在正式图像的关注区块中获取的图像数据使用在处理用图像的一部分即区块(关注区块或参照区块)中获取的图像数据置换掉时，例如通过将与正式图像的关注区块所包含的多个像素对应的多个图像数据使用同数或其数量以下的图像数据置换掉，而能够抑制置换处理中的运算负荷。
(31)在由第1区域61拍摄得到的正式图像数据的一部分(区块)中产生了不恰当的正式图像数据的情况下，能够使用在第1区域61或第4区域64拍摄得到的处理用图像数据的一部分(区块)，来恰当地生成正式图像数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致被摄体要素的检测精度降低。
(32)在由第1区域61拍摄得到的正式图像数据中产生了因对第1区域61设定的第1摄像条件而导致的不恰当的正式图像数据的情况下，能够使用利用与第1区域61的摄像条件不同的摄像条件拍摄得到的处理用图像数据，来恰当地生成正式图像数据。具体地说，能够生成对图7的(b)的区块82、区块85、及区块87的斜线部与区块83、86、88及89的网格部之间的图像的明暗、对比度、色调等的不同等、像的不连续性进行了抑制的正式图像数据。其结果为，能够抑制因每个区块的摄像条件的不同而导致曝光条件的设定精度降低。
(33)通过在正式拍摄之前获取处理用图像数据，在正式图像数据的拍摄时，能够通过参照处理用图像数据来抑制曝光条件的设定精度降低。
(34)通过使用与摄像部32不同的测光传感器38，能够在利用摄像部32获取正式图像数据时利用测光传感器38获取处理用图像，因此能够恰当地设定曝光条件。
(35)通过事先存储处理用图像数据，能够将在拍摄正式图像数据之前获取的处理用图像数据用于拍摄正式图像数据时的曝光条件的设定。
也可以构成为能够切换将上述第2修正处理作为前处理进行的模式1、和不将第2修正处理作为前处理进行的模式2。在选择了模式1的情况下，控制部34在进行上述前处理的基础上进行图像处理等处理。另一方面，在选择了模式2的情况下，控制部34不进行上述前处理而进行图像处理等处理。例如，在作为被摄体要素检测出的面部的一部分中存在阴影的情况下，若为了使面部的阴影部分的明亮度成为与面部阴影以外的部分的明亮度相同程度，使包含面部的阴影部分的区域的摄像条件和包含面部的阴影以外的部分的区域的摄像条件成为不同的设定，并进行拍摄而生成图像，对该图像进行第2修正处理之后进行颜色插补处理，则存在因所设定的摄像条件的不同而对阴影部分进行了非意图的颜色插补的情况。若构成为能够切换模式1和模式2，则能够不进行第2修正处理而直接使用图像数据进行颜色插补处理，由此能够避免非意图的颜色插补。
---第1实施方式的变形例---
以下那样的变形也在本发明的范围内，也能够将一个或多个变形例与上述实施方式组合。
(变形例1)
图19的(a)～图19的(c)是例示摄像元件32a的拍摄面中的第1摄像区域及第2摄像区域的配置的图。根据图19的(a)的例子，第1摄像区域由偶数列构成，第2摄像区域由奇数列构成。即，拍摄面被划分为偶数列和奇数列。
根据图19的(b)的例子，第1摄像区域由奇数行构成，第2摄像区域由偶数行构成。即，拍摄面被划分为奇数行和偶数行。
根据图19的(c)的例子，第1摄像区域由奇数列上的偶数行的区块和偶数列上的奇数行的区块构成。另外，第2摄像区域由偶数列上的偶数行的区块和奇数列上的奇数行的区块构成。即，拍摄面被划分成方格花纹状。
在图19的(a)～图19的(c)中的任一情况下，也是根据从进行了1帧拍摄的摄像元件32a读出的光电转换信号，分别生成基于从第1摄像区域读出的光电转换信号得到的第1图像及基于从第2摄像区域读出的光电转换信号得到的第2图像。根据变形例1，第1图像及第2图像被以相同的视场角拍摄，包含共同的被摄体像。
在变形例1中，控制部34将第1图像用于显示，并且将第2图像用作处理用图像数据。具体地说，控制部34使第1图像作为实时取景图像而显示在显示部35上。另外，控制部34将第2图像用作处理用图像数据。即，通过处理部33b使用第2图像来进行图像处理，通过物体检测部34a使用第2图像进行被摄体检测处理，通过透镜移动控制部34d使用第2图像进行焦点检测处理，通过设定部34b使用第2图像进行曝光运算处理。
此外，也可以按每帧变更获取第1图像的区域和获取第2图像的区域。例如可以是，在第N帧中将来自第1摄像区域的第1图像设为实时取景图像、将来自第2摄像区域的第2图像设为处理用图像数据而进行拍摄，在第(N+1)帧中，将第1图像设为处理用图像数据、将第2图像设为实时取景图像而进行拍摄，在以后的帧中反复进行该动作。
1.作为一例，控制部34以第1摄像条件对实时取景图像进行拍摄，并将该第1摄像条件设定为适于显示部35的显示的条件。第1摄像条件在摄像画面整体中相同。另一方面，控制部34以第2摄像条件对处理用图像数据进行拍摄，并将该第2摄像条件设定为适于焦点检测处理、被摄体检测处理及曝光运算处理的条件。第2摄像条件也在摄像画面整体中相同。
此外，在适于焦点检测处理、被摄体检测处理及曝光运算处理的条件分别不同的情况下，控制部34也可以使对第2摄像区域设定的第2摄像条件按每帧而不同。例如，将第1帧的第2摄像条件设为适于焦点检测处理的条件，将第2帧的第2摄像条件设为适于被摄体检测处理的条件，将第3帧的第2摄像条件设为适于曝光运算处理的条件。在这些情况下，各帧中的第2摄像条件在摄像画面整体中相同。
2.作为其他一例，控制部34也可以使第1摄像条件在摄像画面中不同。控制部34的设定部34b对设定部34b所划分出的包含被摄体要素的每个区域设定不同的第1摄像条件。另一方面，控制部34使第2摄像条件在摄像画面整体中相同。控制部34将第2摄像条件设定为适于焦点检测处理、被摄体检测处理及曝光运算处理的条件，但在适于焦点检测处理、被摄体检测处理及曝光运算处理的条件各自不同的情况下，也可以使对第2摄像区域设定的摄像条件按每帧而不同。
3.另外，作为其他一例，控制部34也可以使第1摄像条件在摄像画面整体中相同，另一方面，使第2摄像条件在摄像画面中不同。例如，对设定部34b所划分出的包含被摄体要素的每个区域设定不同的第2摄像条件。该情况下，在适于焦点检测处理、被摄体检测处理及曝光运算处理的条件各自不同的情况下，也可以使对第2摄像区域设定的摄像条件按每帧而不同。
4.而且，作为其他一例，控制部34使第1摄像条件在摄像画面中不同，并且使第2摄像条件在摄像画面中不同。例如，对设定部34b所划分出的包含被摄体要素的每个区域设定不同的第1摄像条件，同时对设定部34b所划分出的包含被摄体要素的每个区域设定不同的第2摄像条件。
在图19的(a)～图19的(c)中，也可以使第1摄像区域与第2摄像区域的面积比不同。控制部34例如基于用户的操作或控制部34的判断，将第1摄像区域的比率设定得比第2摄像区域高，或将第1摄像区域与第2摄像区域的比率如图19的(a)～图19的(c)所例示那样设定为同等，或将第1摄像区域的比率设定得比第2摄像区域低。通过在第1摄像区域和第2摄像区域中使面积比不同，而能够使第1图像比第2图像高精细，或使第1图像及第2图像的析像度同等，或使第2图像比第1图像高精细。
例如，在图19的(c)的粗线包围的区域X中，通过将来自第2摄像区域的区块的图像信号进行算术平均，与第2图像相比使第1图像变得高精细。由此，能够得到与伴随摄像条件的变化而使处理用摄像区域扩大或缩小的情况同等的图像数据。
(变形例2)
在上述实施方式中，关于进行图像处理的情况下的第2修正处理，在关注位置适用的摄像条件(设为第1摄像条件)和在关注位置周围的参照位置适用的摄像条件(设为第4摄像条件)不同的情况下，图像处理部33的修正部33b基于第1摄像条件来修正第4摄像条件的正式图像数据(参照位置的图像数据中的第4摄像条件的图像数据)。即，通过对参照位置的第4摄像条件的正式图像数据进行第2修正处理，来缓解基于第1摄像条件与第4摄像条件的差异导致的图像的不连续性。
取而代之，在变形例2中也可以是，图像处理部33的修正部33b基于第4摄像条件来修正第1摄像条件的正式图像数据(关注位置的正式图像数据和参照位置的正式图像数据中的第1摄像条件的正式图像数据)。该情况下，也能够缓解基于第1摄像条件与第4摄像条件的差异导致的图像的不连续性。
或者，也可以是，图像处理部33的修正部33b对第1摄像条件的正式图像数据及第4摄像条件的正式图像数据双方进行修正。即，也可以是，通过对第1摄像条件的关注位置的正式图像数据、参照位置的正式图像数据中的第1摄像条件的正式图像数据、以及参照位置的正式图像数据中的第4摄像条件的正式图像数据分别实施第2修正处理，来缓解基于第1摄像条件与第4摄像条件的差异导致的图像的不连续性。
例如，在上述(例1)中，针对第1摄像条件(ISO感光度为100)的参照像素Pr的正式图像数据，作为第2修正处理而乘以400/100，针对第4摄像条件(ISO感光度为800)的参照像素Pr的正式图像数据，作为第2修正处理而乘以400/800。由此，减小因摄像条件的不同导致的正式图像数据间的差异。此外，关注像素的正式像素数据在颜色插补处理后进行乘以100/400的第2修正处理。能够将通过该第2修正处理进行颜色插补处理后的关注像素的正式像素数据变更为与以第1摄像条件进行了拍摄的情况相同的值。而且，在上述(例1)中，也可以根据距第1区域与第4区域的边界的距离来改变第2修正处理的程度。并且能够与上述(例1)的情况相比减少通过第2修正处理而正式图像数据增加或减少的比例，能够减少因第2修正处理产生的噪声。以上，说明了上述(例1)，但对于上述(例2)也能够同样地适用。
根据变形例2，与上述实施方式同样地，能够针对摄像条件不同的区域各自生成的正式图像数据恰当地进行图像处理。
(变形例3)
在上述实施方式中，在对正式图像数据进行第2修正处理时，基于第1摄像条件与第4摄像条件的差异进行运算，由此求出修正后的正式图像数据。但也可以代替运算，而通过参照修正用表来求出修正后的正式图像数据。例如，通过作为自变量输入第1摄像条件及第4摄像条件，来读出修正后的正式图像数据。或者，也可以构成为，通过作为自变量而输入第1摄像条件及第4摄像条件，来读出修正系数。
(变形例4)
在上述实施方式的第2修正处理中，也可以设定修正后的正式图像数据的上限和下限。通过设置上限值、下限值，能够限制进行必要以上的修正。上限值、下限值可以预先设定，也可以在相对于摄像元件32a而另行具备测光用传感器的情况下，基于来自测光用传感器的输出信号来决定。
(变形例5)
在上述实施方式中，说明了控制部34的设定部34b基于实时取景图像来检测被摄体要素、并将实时取景图像的画面划分为包含被摄体要素的区域的例子。在变形例5中也可以是，在相对于摄像元件32a而另行具备测光用传感器的情况下，控制部34基于来自测光用传感器的输出信号来划分区域。
控制部34基于来自测光用传感器的输出信号而划分为前景和背景。具体地说，将由摄像元件32b获取的实时取景图像划分为与根据来自测光用传感器的输出信号而判断成前景的区域对应的前景区域、和与根据来自测光用传感器的输出信号而判断成背景的区域对应的背景区域。
控制部34还针对摄像元件32a的拍摄面的与前景区域对应的位置，如图19的(a)～图19的(c)所例示那样，配置第1摄像区域及第2摄像区域。另一方面，控制部34针对摄像元件32a的拍摄面的与背景区域对应的位置，在摄像元件32a的拍摄面上仅配置第1摄像区域。控制部34将第1图像用于显示，并且将第2图像用作处理用图像数据。
根据变形例5，能够通过使用来自测光用传感器的输出信号，进行由摄像元件32b获取的实时取景图像的区域划分。另外，对于前景区域，能够得到显示用的第1图像和作为处理用图像数据的第2图像，对于背景区域，仅能够得到显示用的第1图像。即使在实时取景图像的显示中被摄体的拍摄环境发生了变化的情况下，通过使用来自测光用传感器的输出进行区域划分，也能够重新设定前景区域和背景区域。
(变形例6)
在变形例6中，图像处理部33的生成部33c作为第2修正处理的一例进行对比度调整处理。即，生成部33c使灰度曲线(伽马曲线)变更，由此缓解基于第1摄像条件与第4摄像条件之间的差异导致的图像的不连续性。
例如，设想在第1摄像条件与第4摄像条件之间仅ISO感光度不同、第1摄像条件的ISO感光度为100而第4摄像条件的ISO感光度为800的情况。生成部33c通过使灰度曲线放平，而将参照位置的正式图像数据中的第4摄像条件的正式图像数据的值压缩为1/8。
或者，生成部33c也可以通过使灰度曲线立起，而将关注位置的正式图像数据及参照位置的正式图像数据中的第1摄像条件的正式图像数据的值扩展为8倍。
根据变形例6，与上述实施方式同样地，能够对在摄像条件不同的区域中分别生成的正式图像数据恰当地进行图像处理。例如，能够抑制因区域的边界处的摄像条件的不同而导致在图像处理后的图像中显现的不连续性、不协调感。
(变形例7)
在变形例7中，图像处理部33在上述的图像处理(例如，减噪处理)中，不会损害被摄体要素的轮廓。通常，在进行减噪的情况下采用平滑化滤波处理。在使用平滑化滤波器的情况下，存在具有减噪效果但被摄体要素的边界变得模糊的情况。
因此，图像处理部33的生成部33c例如除了减噪处理以外，或者在减噪处理的同时，进行对比度调整处理，由此对上述被摄体要素的边界的模糊进行修补。在变形例7中，图像处理部33的生成部33c作为浓度转换(灰度转换)曲线，而设定描绘S字那样的曲线(所谓S字转换)。图像处理部33的生成部33c通过进行使用S字转换的对比度调整，将较亮的正式图像数据和较暗的正式图像数据的灰度部分分别放大而分别增加较亮的正式图像数据(及较暗的数据)的灰度数，并且将中间灰度的正式图像数据压缩而减少灰度数。由此，图像的明亮度为中等程度的正式图像数据的数量减少，被分类为较亮/较暗中的某一种的正式图像数据增加，其结果为，能够修补被摄体要素的边界模糊。
根据变形例7，通过使图像的明暗鲜明，能够修补被摄体要素的边界的模糊。
(变形例8)
在变形例8中，图像处理部33的生成部33c变更白平衡调整增益，以缓解基于第1摄像条件与第4摄像条件的差异导致的图像的不连续性。
例如，在关注位置拍摄时适用的摄像条件(设为第1摄像条件)和在关注位置周围的参照位置拍摄时适用的摄像条件(设为第4摄像条件)不同的情况下，图像处理部33的生成部33c以使参照位置的正式图像数据中的第4摄像条件的正式图像数据的白平衡接近以第1摄像条件获取到的正式图像数据的白平衡的方式，变更白平衡调整增益。
此外，也可以是，图像处理部33的生成部33c以使参照位置的正式图像数据中的第1摄像条件的正式图像数据和关注位置的正式图像数据的白平衡接近以第4摄像条件获取到的正式图像数据的白平衡的方式，变更白平衡调整增益。
根据变形例8，针对在摄像条件不同的区域中分别生成的正式图像数据，通过使白平衡调整增益与摄像条件不同的区域中的某一个区域的调整增益一致，而能够缓解基于第1摄像条件与第4摄像条件的差异导致的图像的不连续性。
(变形例9)
也可以具有多个图像处理部33，并对图像处理进行并行处理。例如，在针对由摄像部32的区域A拍摄到的正式图像数据进行图像处理的同时，针对由摄像部32的区域B拍摄到的正式图像数据进行图像处理。多个图像处理部33可以进行相同的图像处理，也可以进行不同的图像处理。即，能够针对区域A及区域B的正式图像数据适用相同的参数等并进行相同的图像处理，或针对区域A及区域B的正式图像数据适用不同的参数等并进行不同的图像处理。
在具备多个图像处理部33的情况下，也可以针对适用了第1摄像条件得到的正式图像数据而通过一个图像处理部进行图像处理，针对适用了第4摄像条件得到的正式图像数据而通过其他图像处理部进行图像处理。图像处理部的数量不限于上述两个，例如，也可以设为与能够设定的摄像条件的数量相等。即，各个图像处理部按适用了不同摄像条件的每个区域，负责图像处理。根据变形例9，能够并行进行在按每个区域而不同的摄像条件下实施的拍摄、和针对按上述每个区域得到的正式图像的图像数据实施的图像处理。
(变形例10)
在上述说明中，以相机1为例进行了说明，但也可以由像智能手机那样具备相机功能的多功能移动电话机250(图21)、平板终端等移动设备构成。
(变形例11)
在上述实施方式中，以将摄像部32和控制部34构成为单一电子设备的相机1为例进行了说明。也可以取而代之，例如，构成将摄像部32和控制部34分开设置、并从控制部34借助通信来控制摄像部32的摄像系统1B。
以下，参照图20，说明从具备控制部34的显示装置1002来控制具备摄像部32的摄像装置1001的例子。
图20是例示变形例11的摄像系统1B的结构的框图。在图20中，摄像系统1B由摄像装置1001和显示装置1002构成。摄像装置1001除了上述实施方式中说明的摄像光学系统31和摄像部32以外，还具备第1通信部1003。另外，显示装置1002除了上述实施方式中说明的图像处理部33、控制部34、显示部35、操作部件36及记录部37以外，还具备第2通信部1004。
第1通信部1003及第2通信部1004能够通过例如周知的无线通信技术或光通信技术等，进行双向的图像数据通信。
此外，也可以构成为将摄像装置1001和显示装置1002通过有线线缆进行有线连接，使得第1通信部1003及第2通信部1004进行双向的图像数据通信。
摄像系统1B通过控制部34经由第2通信部1004及第1通信部1003进行数据通信，而进行对摄像部32的控制。例如，通过在摄像装置1001与显示装置1002之间收发规定的控制数据，显示装置1002如上所述基于图像，将画面划分成多个区域，对划分出的每个区域设定不同的摄像条件，读出在各个区域中经光电转换得到的光电转换信号。
根据变形例11，在摄像装置1001侧获取并向显示装置1002发送的实时取景图像显示于显示装置1002的显示部35上，因此，用户能够从处于远离摄像装置1001的位置的显示装置1002进行远程操作。
显示装置1002能够由例如智能手机那样的多功能移动电话机250构成。另外，摄像装置1001能够由具备上述层叠型的摄像元件100的电子设备构成。
此外，说明了在显示装置1002的控制部34设置物体检测部34a、设定部34b、摄像控制部34c和透镜移动控制部34d的例子，但关于物体检测部34a、设定部34b、摄像控制部34c及透镜移动控制部34d中的一部分，也可以设于摄像装置1001。
(变形例12)
关于向上述的相机1、多功能移动电话机250或平板终端等移动设备提供程序，如例如图21所例示那样，能够从保存有程序的个人计算机205通过红外线通信或近距离无线通信向移动设备发送。
关于针对个人计算机205的程序提供，可以将保存有程序的CD-ROM等记录介质204设置到个人计算机205来进行，也可以利用经由网络等通信回线201的方法向个人计算机205载入。在经由通信回线201的情况下，预先在与该通信回线连接的服务器202的存储装置203等中保存程序。
另外，也能够经由与通信回线201连接的无线LAN的接入点(access point)(未图示)直接向移动设备发送程序。而且，还可以将保存有程序的存储卡等记录介质204B设置到移动设备。像这样，程序能够为经过记录介质、通信回线的提供等、作为各种形态的计算机程序产品而提供。
---第2实施方式---
参照图22～28，作为搭载第2实施方式的图像处理装置的电子设备的一例，列举数字相机为例进行说明。在以下说明中，对与第1实施方式相同的结构要素标注相同的附图标记，并主要说明不同点。关于没有特别说明的点，与第1实施方式相同。在本实施方式中，与第1实施方式的不同点主要在于，代替设置第1实施方式的图像处理部33，而摄像部32A还包含具有与第1实施方式的图像处理部33相同功能的图像处理部32c。
图22是例示第2实施方式的相机1C的结构的框图。在图22中，相机1C具有摄像光学系统31、摄像部32A、控制部34、显示部35、操作部件36和记录部37。摄像部32A还包含具有与第1实施方式的图像处理部33相同功能的图像处理部32c。
图像处理部32c包含输入部321、修正部322和生成部323。在输入部321中输入有来自摄像元件32a的图像数据。修正部322进行对上述输入的图像数据实施修正的前处理。修正部322进行的前处理与第1实施方式中的修正部33b进行的前处理相同。生成部323针对上述输入的图像数据和前处理后的图像数据进行图像处理，生成图像。生成部323进行的图像处理与第1实施方式中的生成部33c进行的图像处理相同。
图23是示意地表示本实施方式中的各区块与多个修正部322之间的对应关系的图。在图23中，以矩形示出的摄像芯片111的一个块(mass)表示一个区块111a。同样地，以矩形示出的后述的图像处理芯片114的一个块表示一个修正部322。
在本实施方式中，修正部322与每个区块111a对应地设置。换言之，修正部322针对拍摄面中的每个能够变更摄像条件的区域的最小单位即区块而分别设置。例如，在图23中施加了阴影线的区块111a与施加了阴影线的修正部322处于对应关系。在图23中施加了阴影线的修正部322对来自施加了阴影线的区块111a所包含的像素的图像数据进行前处理。各修正部322分别对来自对应的区块111a所包含的像素的图像数据进行前处理。
由此，由于能够通过多个修正部322对图像数据的前处理进行并行处理，所以能够减轻修正部322的处理负担，能够根据在摄像条件不同的区域中分别生成的图像数据在短时间内生成恰当的图像。
此外，在以下说明中，在说明某个区块111a与该区块111a所包含的像素之间的关系时，存在将该区块111a称为该像素所属的区块111a的情况。另外，存在将区块111a称为单位分区的情况，存在将集合多个区块111a、即集合多个单位分区的情况称为复合分区的情况。
图24是层叠型摄像元件100A的剖视图。层叠型摄像元件100A除了背面照射型摄像芯片111、信号处理芯片112和存储芯片113以外，还具备进行上述的前处理及图像处理的图像处理芯片114。即，上述的图像处理部32c设于图像处理芯片114。
这些摄像芯片111、信号处理芯片112、存储芯片113及图像处理芯片114层叠在一起，通过Cu等具有导电性的凸块109而相互电连接。
在存储芯片113及图像处理芯片114的彼此相对的面上，配置有多个凸块109。这些凸块109彼此对位，通过对存储芯片113和图像处理芯片114进行加压等，对位后的凸块109彼此接合而电连接。
＜第1修正处理＞
与第1实施方式同样地，在第2实施方式中构成为，在通过设定部34b将摄像画面的区域划分后，能够对由用户选择的区域或控制部34所判断出的区域设定(变更)摄像条件。在划分出的区域中设定了不同的摄像条件的情况下，控制部34根据需要使图像处理部32c的修正部322进行第1修正处理。
即，控制部34在摄像条件的设定的最小单位即区块中包含基于多个被摄体要素产生的区域的边界、且在基于该区块的图像数据中存在泛白或发黑的情况下，作为在进行图像处理、焦点检测处理、被摄体检测处理及设定摄像条件的处理之前进行的前处理之一，使修正部322进行以下的第1修正处理。
1.对发生了泛白或发黑的区域整体进行相同的修正。
(1-1)修正部322与第1实施方式同样地，作为第1修正处理根据下述(i)～(iv)的中的某一方式，使用在处理用图像数据中的一个区块(关注区块或参照区块)获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据的全部置换掉。
(i)修正部322将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域的最近位置对应的、处理用图像数据的一个区块(关注区块或参照区块)获取的处理用图像数据置换掉。即使在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，也将该泛白或发黑的多个像素的正式图像数据利用在与上述最近位置对应的处理用图像数据的一个区块(关注区块或参照区块)获取的相同的处理用图像数据置换掉。
(ii)在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部322利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的一个参照区块获取的、相同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。即使在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，也将该泛白或发黑的多个像素的正式图像数据利用在一个参照区块获取的相同的处理用图像数据置换掉。
(iii)修正部322也可以使用在通过上述(i)或(ii)选择出的处理用图像数据的一个区块获取的多个像素(在图8的(b)的例子中为4像素)所对应的处理用图像数据中的、在处理用图像数据中与产生了泛白或发黑的关注区块内的像素相邻的像素所对应的处理用图像数据，将产生了泛白或发黑的正式图像数据置换掉。
(iv)修正部322还可以使用基于在通过上述(i)或(ii)选择出的处理用图像数据的一个参照区块获取的多个像素(在图8的例子中为4像素)所对应的处理用图像数据而生成的图像数据，将产生了泛白或发黑的正式图像数据置换掉。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均，而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换，关于这一点与第1实施方式相同。
另外，还可以取代计算与处理用图像数据的参照区块所包含的多个像素对应的处理用图像数据的平均值，而计算与多个像素对应的处理用图像数据的中间值，并利用该中间值将与泛白或发黑像素对应的正式图像数据置换掉，这一点也与第1实施方式相同。
(1-2)修正部322与第1实施方式同样地，作为第1修正处理而根据下述(i)～(iv)的某一方式，使用在处理用图像数据中的多个区块获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据的全部置换掉。
(i)修正部322将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域周边的位置对应的、处理用图像数据的多个参照区块获取的处理用图像数据置换掉。即使在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，也将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的多个参照区块获取的相同的处理用图像数据置换掉。
(ii)在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部322利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的多个参照区块获取的、相同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。即使在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，也将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的多个参照区块获取的相同的处理用图像数据置换掉。
(iii)修正部322也可以使用在通过上述(i)或(ii)选择出的多个参照区块获取的多个像素所对应的处理用图像数据的、在处理用图像数据中与产生了泛白或发黑的关注区块内的像素相邻的像素所对应的处理用图像数据，将产生了泛白或发黑的正式图像数据置换掉。
(iv)修正部322还可以使用基于在通过上述(i)或(ii)选择出的多个参照区块获取的多个像素所对应的处理用图像数据而生成的图像数据，将关注区块内的产生了泛白或发黑的正式图像数据置换掉。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均，而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换，这一点与第1实施方式相同。
另外，还可以取代计算与处理用图像数据的多个参照区块所包含的多个像素对应的处理用图像数据的平均值，而计算与多个像素对应的处理用图像数据的中间值，并利用该中间值将与泛白或发黑像素对应的正式图像数据置换掉，这一点也与第1实施方式相同。
2.对产生了泛白或发黑的区域整体进行多个修正。
(2-1)修正部322与第1实施方式同样地，作为第1修正处理而根据下述(i)～(iii)的某一方式，使用在处理用图像数据中的一个区块获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据的全部置换掉。
(i)修正部322将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域周边的位置对应的、处理用图像数据的多个参照区块中的一个参照区块获取的处理用图像数据置换掉。在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的一个参照区块获取的不同的处理用图像数据分别置换掉。
(ii)在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部322利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的一个参照区块获取的、不同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的一个参照区块获取的不同的处理用图像数据分别置换掉。
(iii)修正部322也可以使用基于在通过上述(i)或(ii)选择的一个参照区块获取的多个像素所对应的处理用图像数据而生成的图像数据，将关注区块内的产生了泛白或发黑的正式图像数据置换掉。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均，而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换，这一点与第1实施方式相同。
另外，还可以取代计算与处理用图像数据的多个参照区块所包含的多个像素对应的处理用图像数据的平均值，而计算与多个像素对应的处理用图像数据的中间值，并利用该中间值将与发黑像素对应的正式图像数据置换掉，这一点也与第1实施方式相同。
(2-2)修正部322与第1实施方式同样地，作为第1修正处理而根据下述(i)～(iv)的某一方式，利用在处理用图像数据中的多个区块获取的处理用图像数据，将正式图像数据的关注区块内的产生了泛白或发黑的正式图像数据的全部置换掉。
(i)修正部322将在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据，利用在与上述产生了泛白或发黑的区域周边的位置对应的、处理用图像数据的多个参照区块获取的处理用图像数据置换掉。在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的多个参照区块获取的不同的处理用图像数据分别置换掉。
(ii)在处理用图像数据的关注区块中也产生了泛白或发黑的情况下，修正部322利用在从对与产生了泛白或发黑的被摄体要素(例如山)相同的被摄体要素(山)设定最多的摄像条件(在本例中为第4摄像条件)的参照区块选择出的多个参照区块获取的、不同的处理用图像数据，将在正式图像数据中产生了泛白或发黑的关注区块的多个正式图像数据置换掉。在正式图像数据的关注区块内存在多个泛白或发黑的像素的情况下，将该泛白或发黑的多个像素的正式图像数据利用在上述的处理用图像数据的多个参照区块获取的不同的处理用图像数据分别置换掉。
(iii)修正部322也可以使用基于在通过上述(i)或(ii)选择出的多个参照区块获取的多个像素所对应的处理用图像数据而生成的图像数据，将关注区块内的产生了泛白或发黑的正式图像数据置换掉。
此外，在计算处理用图像数据的平均值时，也可以取代单纯取平均，而利用根据距泛白或发黑像素的距离而加权的加权平均值来进行置换，这一点与第1实施方式相同。
另外，也可以取代计算与处理用图像数据的多个参照区块所包含的多个像素对应的处理用图像数据的平均值，而计算与多个像素对应的处理用图像数据的中间值，并利用该中间值将与发黑像素对应的正式图像数据置换掉，这一点也与第1实施方式相同。
关于进行以上说明的第1修正处理的基于各种方式的修正中的哪一方式的修正，控制部34基于例如操作部件36的设定(包含操作菜单设定)状态来决定。
此外，也可以根据对相机1设定的摄像场景模式、检测出的被摄体要素的种类来决定控制部34进行哪一方式的修正。
＜第2修正处理＞
控制部34在进行图像处理、焦点检测处理、被摄体检测(检测被摄体要素)处理、及设定摄像条件的处理之前，根据需要还使修正部322进行以下的第2修正处理。
1.进行图像处理的情况
1-1.关注像素P的摄像条件与关注像素P周围的多个参照像素Pr的摄像条件相同的情况
该情况下，在图像处理部32c中，修正部322不进行第2修正处理，生成部323利用没有进行第2修正处理的多个参照像素Pr的正式图像数据来进行图像处理。
1-2.关注像素P的摄像条件与关注像素P周围的多个参照像素Pr中的至少一个参照像素Pr的摄像条件不同的情况
将在关注像素P中适用的摄像条件设为第1摄像条件，在多个参照像素Pr的一部分中适用的摄像条件为第1摄像条件，将在剩余的参照像素Pr中适用的摄像条件设为第2摄像条件。
该情况下，与适用了第2摄像条件的参照像素Pr所属的区块111a对应的修正部322对适用了该第2摄像条件的参照像素Pr的正式图像数据如以下的(例1)～(例3)那样进行第2修正处理。然后，生成部323参照适用了第1摄像条件的参照像素Pr的正式图像数据、和第2修正处理后的参照像素Pr的正式图像数据，进行计算出关注像素P的正式图像数据的图像处理。
(例1)
例如在第1摄像条件与第2摄像条件之间仅ISO感光度不同、第1摄像条件的ISO感光度为100而第2摄像条件的ISO感光度为800的情况下，与适用了第2摄像条件的参照像素Pr所属的区块111a对应的修正部322针对该参照像素Pr的正式图像数据，作为第2修正处理而乘以100/800。由此，减小因摄像条件的不同导致的正式图像数据间的差异。
(例2)
例如在第1摄像条件与第2摄像条件之间仅快门速度不同、第1摄像条件的快门速度为1/1000秒而第2摄像条件的快门速度为1/100秒的情况下，与适用了第2摄像条件的参照像素Pr所属的区块111a对应的修正部322针对该参照像素Pr的正式图像数据，作为第2修正处理而乘以1/1000/1/100＝1/10。由此，减小因摄像条件的不同导致的正式图像数据间的差异。
(例3)
例如在第1摄像条件与第2摄像条件之间仅帧频不同(电荷蓄存时间相同)、第1摄像条件的帧频为30fps而第2摄像条件的帧频为60fps的情况下，与适用了第2摄像条件的参照像素Pr所属的区块111a对应的修正部322针对该参照像素Pr的正式图像数据、即第2摄像条件(60fps)的正式图像数据，将采用获取开始定时与以第1摄像条件(30fps)获取到的帧图像近的帧图像的正式图像数据这一内容作为第2修正处理。由此，减小因摄像条件的不同导致的正式图像数据间的差异。
此外，也可以将基于以第2摄像条件(60fps)获取到的前后的多个帧图像，对获取开始定时与以第1摄像条件(30fps)获取到的帧图像近的帧图像的正式图像数据进行插补计算这一内容作为第2修正处理。
此外，在将关注像素P中适用的摄像条件设为第2摄像条件、将关注像素P周围的参照像素Pr中适用的摄像条件设为第1摄像条件的情况下也是同样的。即，在该情况下，与适用了第1摄像条件的参照像素Pr所属的区块111a对应的修正部322针对该参照像素Pr的正式图像数据如上述的(例1)～(例3)那样进行第2修正处理。
此外，如上所述，即使摄像条件中稍有差异也视为相同的摄像条件。
生成部323基于适用了与关注像素P的摄像条件相同的摄像条件的参照像素Pr的正式图像数据和由修正部322进行了第2修正处理后的参照像素Pr的正式图像数据，与第1实施方式中的图像处理部33的生成部33c同样地，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理及减噪处理等图像处理。
图25是示意性地表示来自适用了第1摄像条件的拍摄面的一部分区域(以下称为第1摄像区域141)所包含的各像素的正式图像数据(以下称为第1图像数据)、和来自适用了第2摄像条件的拍摄面的一部分区域(以下称为第2摄像区域142)所包含的各像素的正式图像数据(以下称为第2图像数据)的处理的图。
从第1摄像区域141所包含的各像素分别输出以第1摄像条件拍摄得到的第1图像数据，从第2摄像区域142所包含的各像素分别输出以第2摄像条件拍摄得到的第2图像数据。第1图像数据被输出到设于处理芯片114的修正部322中的、与生成了第1图像数据的像素所属的区块111a对应的修正部322。在以下说明中，将与生成了各个第1图像数据的像素所属的多个区块111a分别对应的多个修正部322称为第1处理部151。
第1处理部151根据需要，针对第1图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
同样地，第2图像数据被输出到设于处理芯片114的修正部322中的、与生成了第2图像数据的像素所属的区块111a对应的修正部322。在以下说明中，将与生成了各个第2图像数据的各像素所属的多个区块111a分别对应的多个修正部322称为第2处理部152。
第2处理部152根据需要，针对第2图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
在上述第1修正处理中，例如，在正式图像数据的关注区块包含于第1摄像区域141的情况下，如图25所示通过第1处理部151进行上述第1修正处理、即置换处理。由此，将正式图像数据的关注区块内的产生了泛白或发黑的图像数据利用来自处理用图像数据的第2摄像区域142所包含的参照区块的第2图像数据置换掉。为此，第1处理部151作为来自例如第2处理部152的信息182，而接收来自处理用图像数据的参照区块的第2图像数据。
在上述第2修正处理中，例如，在关注像素P包含于第1摄像区域141的情况下，来自包含于第2摄像区域142的参照像素Pr的第2图像数据如图25所示，通过第2处理部152而进行上述的第2修正处理。此外，第2处理部152例如从第1处理部151接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第1摄像条件所相关的信息181。
同样地，例如，在关注像素P包含于第2摄像区域142的情况下，来自包含于第1摄像区域141的参照像素Pr的第1图像数据通过第1处理部151进行上述的第2修正处理。此外，第1处理部151从第2处理部152接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第2摄像条件所相关的信息。
此外，在关注像素P和参照像素Pr包含于第1摄像区域141的情况下，第1处理部151不对来自该参照像素Pr的第1图像数据进行第2修正处理。同样地，在关注像素P和参照像素Pr包含于第2摄像区域142的情况下，第2处理部152不对来自该参照像素Pr的第2图像数据进行第2修正处理。
或者，也可以通过第1处理部151和第2处理部152分别对第1摄像条件的图像数据及第2摄像条件的图像数据双方进行修正。即，可以对第1摄像条件的关注位置的图像数据、参照位置的图像数据中的第1摄像条件的图像数据、及参照位置的图像数据中的第2摄像条件的图像数据分别实施第2修正处理，由此缓解基于第1摄像条件与第2摄像条件的差异导致的图像的不连续性。
例如，在上述(例1)中，针对第1摄像条件(ISO感光度为100)的参照像素Pr的图像数据，作为第2修正处理而乘以400/100，针对第2摄像条件(ISO感光度为800)的参照像素Pr的图像数据，作为第2修正处理而乘以400/800。由此，减小因摄像条件的不同导致的图像数据间的差异。此外，关注像素的像素数据在颜色插补处理后进行乘以100/400的第2修正处理。通过该第2修正处理，能够将颜色插补处理后的关注像素的像素数据变更为与以第1摄像条件进行了拍摄的情况相同的值。而且，在上述(例1)中，也可以根据距第1区域与第2区域的边界的距离来改变第2修正处理的程度。并且与上述(例1)的情况相比能够减少通过第2修正处理而图像数据增加或减少的比例，能够减少因第2修正处理产生的噪声。以上说明了上述(例1)，但也能够同样地适用于上述(例2)。
生成部323基于来自第1处理部151及第2处理部152的图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理及减噪处理等图像处理，并输出图像处理后的图像数据。
此外，在关注像素P位于第2摄像区域142的情况下，第1处理部151可以对来自第1摄像区域141所包含的全部像素的第1图像数据进行第2修正处理，也可以仅对来自第1摄像区域141所包含的像素中的、可能用于第2摄像区域142的关注像素P的插补的像素的第1图像数据进行第2修正处理。同样地，在关注像素P位于第1摄像区域141的情况下，第2处理部152可以对来自第2摄像区域142所包含的全部像素的第2图像数据进行第2修正处理，也可以仅对来自第2摄像区域142所包含的像素中的、可能用于第1摄像区域141的关注像素P的插补的像素的第2图像数据进行第2修正处理。
2.进行焦点检测处理的情况
与第1实施方式同样地，控制部34的透镜移动控制部34d使用与摄像画面的规定位置(聚焦点)对应的信号数据(图像数据)来进行焦点检测处理。此外，在划分出的区域间设定了不同的摄像条件、且AF动作的聚焦点位于划分出的区域的边界部分的情况下、即聚焦点被第1区域和第2区域分成两部分的情况下，在本实施方式中，如以下的2-2.说明那样，控制部34的透镜移动控制部34d使修正部322针对至少一个区域的焦点检测用的信号数据进行第2修正处理。
2-1.在来自图15中的框170内的像素的信号数据中没有混合适用了第1摄像条件得到的信号数据和适用了第2摄像条件得到的信号数据的情况
该情况下，修正部322不进行第2修正处理，控制部34的透镜移动控制部34d将基于框170所示的焦点检测用像素得到的信号数据直接使用来进行焦点检测处理。
2-2.在来自图15中的框170内的像素的信号数据中混合有适用了第1摄像条件得到的信号数据和适用了第2摄像条件得到的信号数据的情况
该情况下，控制部34的透镜移动控制部34d使框170内的像素中的、适用了第2摄像条件的像素所属的区块111a所对应的修正部322，如以下的(例1)～(例3)那样进行第2修正处理。然后，控制部34的透镜移动控制部34d使用适用了第1摄像条件的像素的信号数据和第2修正处理后的信号数据来进行焦点检测处理。
(例1)
例如在第1摄像条件与第2摄像条件之间仅ISO感光度不同、第1摄像条件的ISO感光度为100而第2摄像条件的ISO感光度为800的情况下，与适用了第2摄像条件的像素所属的区块111a对应的修正部322针对第2摄像条件的信号数据，作为第2修正处理而乘以100/800。由此，减小因摄像条件的不同导致的信号数据间的差异。
(例2)
例如在第1摄像条件与第2摄像条件之间仅快门速度不同、第1摄像条件的快门速度为1/1000秒而第2摄像条件的快门速度为1/100秒的情况下，与适用了第2摄像条件的像素所属的区块111a对应的修正部322针对第2摄像条件的信号数据，作为第2修正处理而乘以1/1000/1/100＝1/10。由此，减小因摄像条件的不同导致的信号数据间的差异。
(例3)
例如在第1摄像条件与第2摄像条件之间仅帧频不同(电荷蓄存时间相同)、第1摄像条件的帧频为30fps而第2摄像条件的帧频为60fps的情况下，与适用了第2摄像条件的像素所属的区块111a对应的修正部322针对第2摄像条件(60fps)的信号数据，将采用获取开始定时与以第1摄像条件(30fps)获取到的帧图像近的帧图像的信号数据这一内容作为第2修正处理。由此，减小因摄像条件的不同导致的信号数据间的差异。
此外，也可以将基于以第2摄像条件(60fps)获取到的前后的多个帧图像，对获取开始定时与以第1摄像条件(30fps)获取到的帧图像近的帧图像的信号数据进行插补计算这一内容作为第2修正处理。
此外，如上所述，即使摄像条件中稍有差异也视为相同的摄像条件。
另外，在上述例子中，说明了针对信号数据中的第2摄像条件的信号数据进行第2修正处理的例子，但也可以针对信号数据中的第1摄像条件的信号数据进行第2修正处理。
而且，还可以对信号数据中的第1摄像条件的信号数据及第2摄像条件的数据分别进行第2修正处理，由此减小第2修正处理后的双方的信号数据间的差。
图26是示意地表示焦点检测处理所涉及的、第1信号数据和第2信号数据的处理的图。
从包含于第1摄像区域141的各像素输出以第1摄像条件拍摄得到的第1信号数据，从包含于第2摄像区域142的各像素输出以第2摄像条件拍摄得到的第2信号数据。来自第1摄像区域141的第1信号数据被输出到第1处理部151。同样地，来自第2摄像区域142的第2信号数据被输出到第2处理部152。
第1处理部151根据需要，针对正式图像数据的第1信号数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。第2处理部152根据需要，针对正式图像数据的第2信号数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
在上述第1修正处理中，在例如正式图像数据的关注区块包含于第1摄像区域141的情况下，如图26所示通过第1处理部151进行上述第1修正处理、即置换处理。由此，将正式图像数据的关注区块内的产生了泛白或发黑的第1信号数据利用来自处理用图像数据的第2摄像区域142所包含的参照区块的第2信号数据置换掉。因此，第1处理部151作为例如来自第2处理部152的信息182，接收来自处理用图像数据的参照区块的第2信号数据。
在上述第2修正处理中，在通过针对信号数据中的第2摄像条件的信号数据进行第2修正处理来减小第2修正处理后的信号数据与第1摄像条件的信号数据之差的情况下，第2处理部152进行处理。对于来自第2摄像区域142所包含的像素的第2信号数据，第2处理部152进行上述第2修正处理。此外，第2处理部152从例如第1处理部151接收为了减小因摄像条件的不同导致的信号数据间的差异而需要的第1摄像条件所相关的信息181。
此外，在通过针对信号数据中的第2摄像条件的信号数据进行第2修正处理来减小第2修正处理后的信号数据与第1摄像条件的信号数据之差的情况下，第1处理部151不对第1信号数据进行第2修正处理。
另外，在通过针对信号数据中的第1摄像条件的信号数据进行第2修正处理来减小第2修正处理后的信号数据与第1摄像条件的信号数据之差的情况下，第1处理部151进行处理。对于来自第1摄像区域141所包含的像素的第1信号数据，第1处理部151进行上述第2修正处理。此外，第1处理部151从第2处理部152接收为了减小因摄像条件的不同导致的信号数据间的差异而需要的第2摄像条件所相关的信息。
此外，在通过针对信号数据中的第1摄像条件的信号数据进行第2修正处理来减小第2修正处理后的信号数据与第1摄像条件的信号数据之差的情况下，第2处理部152不对第2信号数据进行第2修正处理。
而且，在通过对信号数据中的第1摄像条件的信号数据及第2摄像条件的数据分别进行第2修正处理来减小第2修正处理后的双方的信号数据间之差的情况下，第1处理部151和第2处理部152进行处理。第1处理部151对来自第1摄像区域141所包含的像素的第1信号数据进行上述第2修正处理，第2处理部152对来自第2摄像区域142所包含的像素的第2信号数据进行上述第2修正处理。
透镜移动控制部34d基于来自第1处理部151及第2处理部152的信号数据进行焦点检测处理，基于该运算结果，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
3.进行被摄体检测处理的情况
在划分出的区域间设定了不同的摄像条件、且搜索范围190包含划分出的区域的边界的情况下，在本实施方式中，如以下的3-2.中说明那样，控制部34的物体检测部34a使修正部322对搜索范围190内的至少一个区域的图像数据进行第2修正处理。
3-1.在图16中的搜索范围190的图像数据中没有混合适用了第1摄像条件得到的图像数据和适用了第2摄像条件得到的图像数据的情况
该情况下，修正部322不进行第2修正处理，控制部34的物体检测部34a将构成搜索范围190的图像数据直接使用来进行被摄体检测处理。
3-2.在图16中的搜索范围190的图像数据中混合有适用了第1摄像条件得到的图像数据和适用了第2摄像条件得到的图像数据的情况
该情况下，控制部34的物体检测部34a使与搜索范围190的图像中的适用了第2摄像条件的像素所属的区块111a对应的修正部322，作为进行焦点检测处理的情况而如上述的(例1)～(例3)那样进行第2修正处理。然后，控制部34的物体检测部34a使用适用了第1条件的像素的图像数据和第2修正处理后的图像数据来进行被摄体检测处理。
图27是示意地表示被摄体检测处理所涉及的、第1图像数据和第2图像数据的处理的图。
第1处理部151根据需要，针对正式图像数据的第1图像数据，进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理。第2处理部152根据需要，针对正式图像数据的第2图像数据，进行上述第1修正处理及上述第2修正处理，或者进行上述第1修正处理或上述第2修正处理。
在上述第1修正处理中，例如，在正式图像数据的关注区块包含于第1摄像区域141的情况下，如图27所示通过第1处理部151进行上述第1修正处理、即置换处理。由此，将正式图像数据的关注区块内的产生了泛白或发黑的第1图像数据利用来自处理用图像数据的第2摄像区域142所包含的参照区块的第2图像数据置换掉。因此，第1处理部151作为来自例如第2处理部152的信息182，而接收来自处理用图像数据的参照区块的第2图像数据。
在第2修正处理中，由第1处理部151或/及第2处理部152进行的第2修正处理，作为进行焦点检测处理的情况，与关于上述图26的第2修正处理相同。
物体检测部34a进行基于来自第1处理部151及第2处理部152的图像数据来检测被摄体要素的处理，并输出检测结果。
4.设定摄像条件的情况
说明在将摄像画面的区域划分并在划分出的区域间设定了不同的摄像条件的状态下，重新进行测光来决定曝光条件的情况。
4-1.在测光范围的图像数据中没有混合适用了第1摄像条件得到的图像数据和适用了第2摄像条件得到的图像数据的情况
该情况下，修正部322不进行第2修正处理，控制部34的设定部34b将构成测光范围的图像数据直接使用来进行曝光运算处理。
4-2.在测光范围的图像数据中混合有适用了第1摄像条件得到的图像数据和适用了第2摄像条件得到的图像数据的情况
该情况下，控制部34的设定部34b使与测光范围的图像数据中的适用了第2摄像条件的像素所属的区块111a对应的修正部322，作为进行焦点检测处理的情况而如上述(例1)～(例3)那样进行第2修正处理。然后，控制部34的设定部34b使用第2修正处理后的图像数据来进行曝光运算处理。
图28是示意地表示曝光运算处理等的摄像条件的设定所涉及的、第1图像数据和第2图像数据的处理的图。
在上述第1修正处理中，例如，在正式图像数据的关注区块包含于第1摄像区域141的情况下，如图28所示通过第1处理部151进行上述第1修正处理、即置换处理。由此，将正式图像数据的关注区块内的产生了泛白或发黑的第1图像数据利用来自处理用图像数据的第2摄像区域142所包含的参照区块的第2图像数据置换掉。因此，第1处理部151例如作为来自第2处理部152的信息182，而接收来自处理用图像数据的参照区块的第2图像数据。
在第2修正处理中，由第1处理部151或/及第2处理部152进行的第2修正处理，作为进行焦点检测处理的情况，与关于上述图26的第2修正处理相同。
设定部34b基于来自第1处理部151及第2处理部152的图像数据来进行曝光运算处理等的摄像条件的计算处理，并基于该运算结果，将基于摄像部32得到的摄像画面划分成包含所检测到的被摄体要素的多个区域，并且针对多个区域重新设定摄像条件。
根据以上说明的第2实施方式，得到以下的作用效果。
(1)能够通过多个修正部322对图像数据的前处理(第1修正处理、第2修正处理)进行并行处理，因此能减轻修正部322中的处理负担。
(2)由于能够通过多个修正部322对图像数据的前处理进行并行处理，所以能够减轻修正部322中的处理负担，并且，由于能够通过并行处理在短时间内进行多个修正部322的前处理，所以能够缩短直至透镜移动控制部34d下的焦点检测处理开始为止的时间，有助于焦点检测处理的高速化。
(3)由于能够通过多个修正部322对处理图像数据的前处理进行并行处理，所以能够减轻修正部322中的处理负担，并且，由于能够通过并行处理在短时间内进行多个修正部322的前处理，所以能够缩短直至物体检测部34a下的被摄体检测处理开始为止的时间，有助于被摄体检测处理的高速化。
(4)由于能够通过多个修正部322对图像数据的前处理进行并行处理，所以能够减轻修正部322中的处理负担，并且，由于通过并行处理在短时间进行多个修正部322的前处理，所以能够缩短直至设定部34b下的摄像条件的设定处理开始为止的时间，有助于摄像条件的设定处理的高速化。
---第2实施方式的变形例---
以下那样的变形也在本发明的范围内，也能够将一个或多个变形例与上述实施方式组合。
(变形例13)
如第1实施方式的变形例1中的图19的(a)～图19的(c)所示，说明在摄像元件32a的拍摄面上配置第1摄像区域及第2摄像区域的情况下的第1图像数据和第2图像数据的处理。
在本变形例中，也与变形例1同样地，在图19的(a)～图19的(c)中的任一情况下，也是根据从进行了1帧拍摄的摄像元件32a读出的像素信号，分别生成基于从第1摄像区域读出的图像信号得到的第1图像及基于从第2摄像区域读出的图像信号得到的第2图像。在本变形例中，也与变形例1同样地，控制部34将第1图像用于显示，并且将第2图像用于检测。
设为将对拍摄第1图像的第1摄像区域设定的摄像条件称为第1摄像条件，将对拍摄第2图像的第2摄像区域设定的摄像条件称为第2摄像条件。控制部34可以使第1摄像条件与第2摄像条件不同。
1.作为一例，参照图29说明对第1摄像区域设定的第1摄像条件在摄像画面的第1摄像区域整体中相同、对第2摄像区域设定的第2摄像条件在摄像画面的第2摄像区域整体中相同的情况。图29是示意地表示第1图像数据和第2图像数据的处理的图。
从第1摄像区域141所包含的各像素输出以第1摄像条件拍摄得到的第1图像数据，从第2摄像区域142所包含的各像素输出以第2摄像条件拍摄得到的第2图像数据。来自第1摄像区域141的第1图像数据被输出到第1处理部151。同样地，来自第2摄像区域142的第2图像数据被输出到第2处理部152。
第1处理部151根据需要，针对第1图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
第2处理部152根据需要，针对第2图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
在本例中，由于第1摄像条件在摄像画面的第1摄像区域整体中相同，所以第1处理部151不对来自第1摄像区域所包含的参照像素Pr的第1图像数据进行第2修正处理。另外，由于第2摄像条件在摄像画面的第2摄像区域整体中相同，所以第2处理部152不对用于焦点检测处理、被摄体检测处理及曝光运算处理的第2图像数据进行第2修正处理。但是，第2处理部152针对用于第1图像数据的插补的第2图像数据，进行减小因第1摄像条件与第2摄像条件的不同而导致的图像数据间的差异的第2修正处理。第2处理部152将第2修正处理后的第2图像数据如箭头182所示那样输出到第1处理部151。此外，第2处理部152也可以将第2修正处理后的第2图像数据如虚线的箭头183所述那样输出到生成部323。
第2处理部152例如从第1处理部151接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第1摄像条件所相关的信息181。
生成部323基于来自第1处理部151的第1图像数据、及由第2处理部152进行第2修正处理后的第2图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理及减噪处理等图像处理，并输出图像处理后的图像数据。
物体检测部34a进行基于来自第2处理部152的第2图像数据来检测被摄体要素的处理，并输出检测结果。
设定部34b基于来自第2处理部152的第2图像数据来进行曝光运算处理等摄像条件的计算处理，并基于该运算结果，将基于摄像部32的摄像画面划分成包含检测出的被摄体要素的多个区域，并且对多个区域重新设定摄像条件。
透镜移动控制部34d基于来自第2处理部152的第2信号数据来进行焦点检测处理，并基于该运算结果，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
2.作为其他一例，参照图29说明对第1摄像区域设定的第1摄像条件根据摄像画面的区域而不同、对第2摄像区域设定的第2摄像条件在摄像画面的第2摄像区域整体中相同的情况。
从第1摄像区域141所包含的各像素输出以根据摄像画面的区域而不同的第1摄像条件拍摄得到的第1图像数据，从第2摄像区域142所包含的各像素输出以在摄像画面的第2摄像区域整体中相同的第2摄像条件拍摄得到的第2图像数据。来自第1摄像区域141的第1图像数据被输出到第1处理部151。同样地，来自第2摄像区域142的第2图像数据被输出到第2处理部152。
第1处理部151根据需要，针对第1图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
第2处理部152根据需要，针对第2图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
如上所述在本例中，对第1摄像区域141设定的第1摄像条件根据摄像画面的区域而不同。即，第1摄像条件根据第1摄像区域141内的部分区域而不同。在均位于第1摄像区域141内的关注像素P和参照像素Pr中设定了不同的第1摄像条件的情况下，第1处理部151针对来自该参照像素Pr的第1图像数据，进行与上述的1-2.中叙述的第2修正处理相同的第2修正处理。此外，在关注像素P和参照像素Pr中设定了相同的第1摄像条件的情况下，第1处理部151不对来自该参照像素Pr的第1图像数据进行第2修正处理。
在本例中，由于对第2摄像区域142设定的第2摄像条件在摄像画面的第2摄像区域整体中相同，所以第2处理部152不对用于焦点检测处理、被摄体检测处理及曝光运算处理的第2图像数据进行第2修正处理。关于用于第1图像数据的插补的第2图像数据，第2处理部152进行第2修正处理，以减小因第1摄像区域141所包含的关注像素P所涉及的摄像条件与第2摄像条件的不同而导致的图像数据间的差异。第2处理部152将第2修正处理后的第2图像数据输出到第1处理部151(箭头182)。此外，第2处理部152也可以将第2修正处理后的第2图像数据输出到生成部323(箭头183)。
第2处理部152例如从第1处理部151接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第1摄像区域141所包含的对关注像素P的摄像条件所相关的信息181。
生成部323基于来自第1处理部151的第1图像数据、及由第2处理部152进行第2修正处理后的第2图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理及减噪处理等图像处理，并输出图像处理后的图像数据。
物体检测部34a基于来自第2处理部152的第2图像数据来进行检测被摄体要素的处理，并输出检测结果。
设定部34b基于来自第2处理部152的第2图像数据来进行曝光运算处理等摄像条件的计算处理，并基于该运算结果，将基于摄像部32的摄像画面划分成包含检测出的被摄体要素的多个区域，并且对多个区域重新设定摄像条件。
透镜移动控制部34d基于来自第2处理部152的第2信号数据来进行焦点检测处理，并基于该运算结果，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
3.另外，作为其他一例，参照图29说明对第1摄像区域141设定的第1摄像条件在摄像画面的第1摄像区域141整体中相同、对第2摄像区域142设定的第2摄像条件根据摄像画面的区域而不同的情况。
从第1摄像区域141所包含的各像素输出以在摄像画面的第1摄像区域141整体中相同的第1摄像条件拍摄得到的第1图像数据，从第2摄像区域142所包含的各像素输出以根据摄像画面的区域而不同的第4摄像条件拍摄得到的第2图像数据。来自第1摄像区域141的第1图像数据被输出到第1处理部151。同样地，来自第2摄像区域142的第2图像数据被输出到第2处理部152。
第1处理部151根据需要，针对第1图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
第2处理部152根据需要，针对第2图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
在本例中，由于对第1摄像区域141设定的第1摄像条件在摄像画面的第1摄像区域141整体中相同，所以第1处理部151不对来自第1摄像区域141所包含的参照像素Pr的第1图像数据进行第2修正处理。
另外，在本例中，由于对第2摄像区域142设定的第2摄像条件根据摄像画面的区域而不同，所以第2处理部152对第2图像数据如以下那样进行第2修正处理。第2处理部152例如对第2图像数据中的以某个摄像条件拍摄得到的第2图像数据进行第2修正处理，由此减小第2修正处理后的第2图像数据与以上述某个摄像条件不同的其他摄像条件拍摄得到的第2图像数据之差。
在本例中，关于用于第1图像数据的插补的第2图像数据，第2处理部152进行第2修正处理，以减小因第1摄像区域141所包含的关注像素P所相关的摄像条件与第2摄像条件的不同而导致的图像数据间的差异。第2处理部152将第2修正处理后的第2图像数据输出到第1处理部151(箭头182)。此外，第2处理部152也可以将第2修正处理后的第2图像数据输出到生成部323(箭头183)。
第2处理部152例如从第1处理部151接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第1区域所包含的对关注像素P的摄像条件所相关的信息181。
生成部323基于来自第1处理部151的第1图像数据、及由第2处理部152进行第2修正处理后的第2图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理及减噪处理等图像处理，并输出图像处理后的图像数据。
物体检测部34a进行基于由第2处理部152进行第2修正处理后的以某个摄像条件拍摄得到的第2图像数据、和以其他摄像条件拍摄得到的第2图像数据来检测被摄体要素的处理，并输出检测结果。
设定部34b基于由第2处理部152进行第2修正处理后的以某个摄像条件拍摄得到的第2图像数据、和以其他摄像条件拍摄得到的第2图像数据，来进行曝光运算处理等摄像条件的计算处理。设定部34b基于该运算结果，将基于摄像部32的摄像画面划分成包含检测出的被摄体要素的多个区域，并且对多个区域重新设定摄像条件。
透镜移动控制部34d基于由第2处理部152进行第2修正处理后的以某个摄像条件拍摄得到的第2信号数据、和以其他摄像条件拍摄得到的第2信号数据来进行焦点检测处理，透镜移动控制部34d基于该运算结果，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
4.而且，作为其他一例，参照图29说明对第1摄像区域141设定的第1摄像条件根据摄像画面的区域而不同、对第2摄像区域142设定的第2摄像条件根据摄像画面的区域而不同的情况。
从第1摄像区域141所包含的各像素输出以根据摄像画面的区域而不同的第1摄像条件拍摄得到的第1图像数据，从第2摄像区域142所包含的各像素输出以根据摄像画面的区域而不同的第2摄像条件拍摄得到的第2图像数据。来自第1摄像区域141的第1图像数据被输出到第1处理部151。同样地，来自第2摄像区域142的第2图像数据被输出到第2处理部152。
第1处理部151根据需要，针对第1图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
第2处理部152根据需要，针对第2图像数据，进行上述第1修正处理及上述第2修正处理，或者，进行上述第1修正处理或上述第2修正处理。
如上所述在本例中，对第1摄像区域141设定的第1摄像条件根据摄像画面的区域而不同。即，第1摄像条件根据第1摄像区域141内的部分区域而不同。在均位于第1摄像区域141内的关注像素P和参照像素Pr中设定了不同的第1摄像条件的情况下，第1处理部151针对来自该参照像素Pr的第1图像数据，进行与在上述的1-2.中叙述的第2修正处理相同的第2修正处理。此外，在关注像素P和参照像素Pr中设定了相同的第1摄像条件的情况下，第1处理部151不对来自该参照像素Pr的第1图像数据进行第2修正处理。
另外，在本例中，由于对第2摄像区域142设定的第2摄像条件根据摄像画面的区域而不同，所以第2处理部152针对第2图像数据如上述的3.的一例那样进行第2修正处理。
生成部323基于来自第1处理部151的第1图像数据、及由第2处理部152进行第2修正处理后的第2图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理及减噪处理等图像处理，并输出图像处理后的图像数据。
物体检测部34a进行基于由第2处理部152进行第2修正处理后的以某个摄像条件拍摄得到的第2图像数据、和以其他摄像条件拍摄得到的第2图像数据来检测被摄体要素的处理，并输出检测结果。
设定部34b基于由第2处理部152进行第2修正处理后的以某个摄像条件拍摄得到的第2图像数据、和以其他摄像条件拍摄得到的第2图像数据，进行曝光运算处理等摄像条件的计算处理。设定部34b基于该运算结果，将基于摄像部32的摄像画面划分成包含检测出的被摄体要素的多个区域，并且对多个区域重新设定摄像条件。
透镜移动控制部34d基于由第2处理部152进行第2修正处理后的以某个摄像条件拍摄得到的第2信号数据、和以其他摄像条件拍摄得到的第2信号数据来进行焦点检测处理，透镜移动控制部34d基于该运算结果，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
(变形例14)
在上述第2实施方式中，一个修正部322与一个区块111a(单位分区)对应。但是，也可以是一个修正部322与具有多个区块111a(单位分区)的一个复合区块(复合分区)对应。该情况下，修正部322能够依次对来自属于该复合区块所包含的多个区块111a的像素的图像数据进行修正。即使多个修正部322与具有多个区块111a的每个复合区块对应地设置，也能够由多个修正部322对图像数据的第2修正处理进行并行处理，因此能够减轻修正部322中的处理负担，能够根据在摄像条件不同的区域分别生成的图像数据在短时间内生成恰当的图像。
(变形例15)
在上述第2实施方式中，生成部323设于摄像部32A的内部。但是，也可以将生成部323设于摄像部32A的外部。即使将生成部323设于摄像部32A的外部也会起到与上述作用效果相同的作用效果。
(变形例16)
在上述第2实施方式中，层叠型摄像元件100A除了背面照射型摄像芯片111、信号处理芯片112和存储芯片113以外，还具有进行上述的前处理及图像处理的图像处理芯片114。但是，也可以不在层叠型摄像元件100A设置图像处理芯片114，而在信号处理芯片112设置图像处理部32c。
(变形例17)
在上述第2实施方式中，第2处理部152从第1处理部151接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第1摄像条件所相关的信息。另外，第1处理部151从第2处理部152接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第2摄像条件所相关的信息。但是，第2处理部152也可以从驱动部32b和/或控制部34接收为了抑制因摄像条件的不同导致的图像数据间的差异而需要的第1摄像条件所相关的信息。同样地，第1处理部151也可以从驱动部32b和/或控制部34接收为了减小因摄像条件的不同导致的图像数据间的差异而需要的第2摄像条件所相关的信息。
此外，也可以将上述各实施方式及变形例分别组合。
以上说明的摄像光学系统31也可以包含变焦透镜和/或移轴透镜。透镜移动控制部34d通过使变焦透镜沿光轴方向移动，调节基于摄像光学系统31的视场角。即，通过变焦透镜的移动，能够调节基于摄像光学系统31得到的像，如得到大范围的被摄体的像，对于远的被摄体得到大的像等。
另外，透镜移动控制部34d通过使移轴透镜沿与光轴正交的方向移动，能够调节基于摄像光学系统31得到的像的歪斜。
并且，也可以为了调节基于摄像光学系统31得到的像的状态(例如视场角的状态或像的歪斜的状态)，而优选使用上述那样的前处理后的图像数据，并基于该想法，进行上述前处理。
上述中，说明了各种实施方式及变形例，但本发明不限定于其内容。在本发明的技术思想的范围内想到的其他方式也包含在本发明的范围内。
在上述第1实施方式和第2实施方式中，修正部33b基于处理用图像数据对在正式图像数据中产生了泛白或发黑的关注区块的正式图像数据进行修正。但是，修正部33b也可以将在正式图像数据中没有产生泛白或发黑的区块设为关注区块。例如，在第1实施方式的图8中，可以针对像素85b、85d的输出没有泛白或发黑的正式图像数据也进行第1修正处理。在上述第1实施方式和第2实施方式中，第1修正处理使用处理用图像数据将正式图像数据的一部分置换掉，但在像素85b、85d的输出没有泛白或发黑的情况下，也可以作为第1修正处理，使用拍摄处理用图像数据的摄像条件，对输出了正式图像数据的像素85b、85d的输出进行修正。而且，在像素85b、85d的输出没有泛白或发黑的情况下，还可以作为第1修正处理，使用处理用图像数据的信号值(像素值)对输出了正式图像数据的像素85b、85d的输出进行修正。关于修正，只要在正式图像数据的拍摄中，通过对设定了第1摄像条件的区块85的各像素85b、85d的信号值进行修正，而修正后的信号值与设定了第4摄像条件的区块的像素的信号值之差变得小于修正前的信号值与设定了第4摄像条件的区块的像素的信号值之差(平滑化)即可。
如在上述第1实施方式和第2实施方式中说明那样，控制部34根据输出了正式图像数据的区块85的图像数据(像素的信号值)，来判断是否使用处理用图像数据的像素的值对区块85的图像数据进行修正(置换)。即，在输出了正式图像数据的区块85的图像数据中产生了泛白或发黑的情况下，控制部34选择输出了处理用图像数据的像素的像素，并用所选择的像素的图像数据(像素的信号值)将产生了泛白或发黑的图像数据置换掉。此外，作为使用处理用图像数据的像素的值的条件，可以是输出了正式图像数据的区块85的图像数据(像素的信号值)为第1阈值以上或第2阈值以下。另外，在区块85的图像数据中没有产生泛白或发黑的情况下，控制部34使用区块85的图像数据(像素的像素值)。在该情况下，如上所述作为第1修正处理，可以使用对处理用图像数据进行拍摄的摄像条件来进行修正，或使用处理用图像数据的信号值(像素值)对输出了正式图像数据的像素85b、85d的输出进行修正。另外，即使在输出了正式图像数据的区块85的图像数据中没有产生泛白或发黑的情况下，控制部34也可以选择输出了处理用图像数据的像素，并用所选择的像素的图像数据(像素的信号值)将产生了泛白或发黑的图像数据置换掉。另外，控制部34可以进行被摄体识别，基于识别结果来进行第1修正处理。例如，可以是，在正式摄影前，设定部34b设定与第1摄像条件不同的摄像条件，物体检测部34a进行被摄体识别。然后，以第1摄像条件进行拍摄，使用对与进行修正的区域(例如，像素85b、85d)相同的被摄体进行了拍摄的像素的信号值。像这样，如在第1实施方式和第2实施方式中说明那样，设定了第1摄像条件而拍摄的被摄体通过第1修正处理被修正为设定了第4摄像条件而进行拍摄。
下面的优先权基础申请的公开内容作为引用文而组入于此。
日本国专利申请2016年第71974号(2016年3月31日提出申请)
附图标记说明
1、1C…相机
1B…摄像系统
31…摄像光学系统
32…摄像部
32a、100…摄像元件
33…图像处理部
33a、321…输入部
33b、322…修正部
33c、323…生成部
34…控制部
34a…物体检测部
34b…设定部
34c…摄像控制部
34d…透镜移动控制部
35…显示部
38…测光传感器
80…规定范围
90…关注区域
1001…摄像装置
1002…显示装置
P…关注像素。
Claims (59)
1.一种摄像装置，具备：
摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与所述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及
生成部，其根据基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
2.一种摄像装置，具备：
摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与所述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及
生成部，其根据基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像数据。
3.根据权利要求1或2所述的摄像装置，其中，
所述生成部根据基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像，
基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，与供所述生成部生成在所述第1摄像区域拍摄到的被摄体的图像的图像数据不同。
4.根据权利要求3所述的摄像装置，其中，
所述生成部根据基于由所述摄像部以所述第2摄像条件拍摄到的、入射到所述第1摄像区域的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
5.根据权利要求3所述的摄像装置，其中，
所述生成部根据基于由所述摄像部以所述第2摄像条件拍摄到的、入射到所述第2摄像区域的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
6.根据权利要求3～5中任一项所述的摄像装置，其中，
基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，在供所述生成部生成在所述第1摄像区域拍摄到的被摄体的图像的图像数据之前，被所述摄像部拍摄得到。
7.根据权利要求3～5中任一项所述的摄像装置，其中，
基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，在供所述生成部生成在所述第1摄像区域拍摄到的被摄体的图像的图像数据之后，被所述摄像部拍摄得到。
8.根据权利要求1或2所述的摄像装置，其中，
所述生成部根据基于由与所述摄像部不同的摄像部以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
9.根据权利要求1或2所述的摄像装置，其中，
具备存储部，其存储基于以所述第2摄像条件拍摄到的光得到的图像数据，
所述生成部根据所述存储部中存储的、基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
10.根据权利要求1或2所述的摄像装置，其中，
所述生成部根据基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的一部分的图像。
11.根据权利要求1或2所述的摄像装置，其中，
所述生成部根据基于以所述第2摄像条件拍摄到的所述被摄体的光得到的图像数据，生成在所述第1摄像区域拍摄到的所述被摄体的图像。
12.根据权利要求1或2所述的摄像装置，其中，
所述生成部根据基于以所述第2摄像条件拍摄到的所述被摄体的光得到的图像数据，生成在所述第1摄像区域拍摄到的、应以所述第2摄像条件拍摄的所述被摄体的图像。
13.根据权利要求5所述的摄像装置，其中，
所述第2摄像区域的面积大于所述第1摄像区域的面积。
14.根据权利要求5所述的摄像装置，其中，
所述第2摄像区域的面积为所述第1摄像区域的面积以下。
15.根据权利要求14所述的摄像装置，其中，
所述第2摄像区域的面积小于所述第1摄像区域的面积。
16.根据权利要求5所述的摄像装置，其中，
所述生成部根据在所述第2摄像区域的一部分的区域拍摄到的被摄体的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
17.根据权利要求5所述的摄像装置，其中，
所述第2摄像区域具有包含将光转换成电荷的光电转换部的第1区域、和包含将光转换成电荷的光电转换部的不同于所述第1区域的第2区域，
所述生成部根据在所述第1区域及所述第2区域中的某一区域拍摄到的被摄体的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
18.根据权利要求17所述的摄像装置，其中，
所述生成部在所述第1摄像区域及所述第1区域的间隔比所述第1摄像区域及所述第2区域的间隔短的情况下，根据在所述第1区域及所述第2区域中的所述第1区域拍摄到的被摄体的光，生成在所述第1摄像区域拍摄到的被摄体的图像。
19.根据权利要求5所述的摄像装置，其中，
所述生成部根据从在所述第2摄像区域拍摄到的被摄体的图像数据计算出的数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
20.根据权利要求19所述的摄像装置，其中，
所述生成部根据将在所述第2摄像区域拍摄到的被摄体的图像数据取平均而计算出的数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
21.根据权利要求5所述的摄像装置，其中，
所述生成部具有进行入射到所述第1摄像区域的被摄体的图像的生成的第1生成部、和进行入射到所述第2摄像区域的被摄体的图像的生成的第2生成部，
所述第1生成部根据入射到所述第2摄像区域的被摄体的光，生成在所述第1摄像区域拍摄到的被摄体的图像。
22.一种摄像装置，具备：
摄像部，其具有以第1摄像条件进行拍摄的第1摄像区域、和以与所述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及
生成部，其根据基于以与所述第1摄像条件不同的摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
23.根据权利要求1～22中任一项所述的摄像装置，其中，
所述摄像部具有：摄像芯片，其包含所述第1摄像区域及所述第2摄像区域；和处理芯片，其与所述摄像芯片连接，具有将从所述摄像芯片输出的图像数据转换成数字数据的转换部。
24.根据权利要求23所述的摄像装置，其中，
所述摄像部具有存储芯片，该存储芯片与所述处理芯片连接，具有存储由所述处理芯片转换成数字数据的图像数据的存储部，
所述处理芯片配置在所述摄像芯片与所述存储芯片之间。
25.一种图像处理装置，具备：
输入部，其输入来自摄像部的图像数据，其中该摄像部具有以第1摄像条件进行拍摄的第1摄像区域、和以与所述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及
生成部，其根据基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
26.一种图像处理装置，具备：
输入部，其输入来自摄像部的图像数据，其中该摄像部具有以第1摄像条件进行拍摄的第1摄像区域、和以与所述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及
生成部，其根据基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像数据。
27.根据权利要求25或26所述的图像处理装置，其中，
所述生成部根据基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像，
基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，与供所述生成部生成在所述第1摄像区域拍摄到的被摄体的图像的图像数据不同。
28.根据权利要求27所述的图像处理装置，其中，
所述生成部根据基于由所述摄像部以所述第2摄像条件拍摄到的、入射到所述第1摄像区域的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
29.根据权利要求27所述的图像处理装置，其中，
所述生成部根据基于由所述摄像部以所述第2摄像条件拍摄到的、入射到所述第2摄像区域的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
30.根据权利要求27～29中任一项所述的图像处理装置，其中，
基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，在供所述生成部生成在所述第1摄像区域拍摄到的被摄体的图像的图像数据之前，被所述摄像部拍摄得到。
31.根据权利要求27～29中任一项所述的图像处理装置，其中，
基于由所述摄像部以所述第2摄像条件拍摄到的光得到的图像数据，在供所述生成部生成在所述第1摄像区域拍摄到的被摄体的图像的图像数据之后，被所述摄像部拍摄得到。
32.根据权利要求25或26所述的图像处理装置，其中，
所述生成部根据基于由与所述摄像部不同的摄像部以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
33.根据权利要求25或26所述的图像处理装置，其中，
具备存储部，其存储基于以所述第2摄像条件拍摄到的光得到的图像数据，
所述生成部根据所述存储部中存储的、基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
34.根据权利要求25或26所述的图像处理装置，其中，
所述生成部根据基于以所述第2摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的一部分的图像。
35.根据权利要求25或26所述的图像处理装置，其中，
所述生成部根据基于以所述第2摄像条件拍摄到的所述被摄体的光得到的图像数据，生成在所述第1摄像区域拍摄到的所述被摄体的图像。
36.根据权利要求25或26所述的图像处理装置，其中，
所述生成部根据基于以所述第2摄像条件拍摄到的所述被摄体的光得到的图像数据，生成在所述第1摄像区域拍摄到的、应以所述第2摄像条件拍摄的所述被摄体的图像。
37.根据权利要求29所述的图像处理装置，其中，
所述第2摄像区域的面积大于所述第1摄像区域的面积。
38.根据权利要求29所述的图像处理装置，其中，
所述第2摄像区域的面积为所述第1摄像区域的面积以下。
39.根据权利要求38所述的图像处理装置，其中，
所述第2摄像区域的面积小于所述第1摄像区域的面积。
40.根据权利要求29所述的图像处理装置，其中，
所述生成部根据在所述第2摄像区域的一部分的区域拍摄到的被摄体的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
41.根据权利要求29所述的图像处理装置，其中，
所述第2摄像区域具有包含将光转换成电荷的光电转换部的第1区域、和包含将光转换成电荷的光电转换部的不同于所述第1区域的第2区域，
所述生成部根据在所述第1区域及所述第2区域中的某一区域拍摄到的被摄体的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
42.根据权利要求41所述的图像处理装置，其中，
所述生成部在所述第1摄像区域及所述第1区域的间隔比所述第1摄像区域及所述第2区域的间隔短的情况下，根据在所述第1区域及所述第2区域中的所述第1区域拍摄到的被摄体的光，生成在所述第1摄像区域拍摄到的被摄体的图像。
43.根据权利要求29所述的图像处理装置，其中，
所述生成部根据从在所述第2摄像区域拍摄到的被摄体的图像数据计算出的数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
44.根据权利要求43所述的图像处理装置，其中，
所述生成部根据将在所述第2摄像区域拍摄到的被摄体的图像数据取平均而计算出的数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
45.根据权利要求29所述的图像处理装置，其中，
所述生成部具有进行入射到所述第1摄像区域的被摄体的图像的生成的第1生成部、和入射到所述第2摄像区域的被摄体的图像的生成的第2生成部，
所述第1生成部根据入射到所述第2摄像区域的被摄体的光，生成在所述第1摄像区域拍摄到的被摄体的图像。
46.一种图像处理装置，具备：
输入部，其输入来自摄像部的图像数据，其中该摄像部具有以第1摄像条件进行拍摄的第1摄像区域、和以与所述第1摄像条件不同的第2摄像条件进行拍摄的第2摄像区域；以及
生成部，其根据基于以与所述第1摄像条件不同的摄像条件拍摄到的光得到的图像数据，生成在所述第1摄像区域拍摄到的被摄体的图像。
47.一种电子设备，具备：
第1摄像元件，其具有拍摄被摄体的多个摄像区域；
第2摄像元件，其拍摄被摄体；
设定部，其将所述第1摄像元件的多个所述摄像区域中的第1摄像区域设定成与第2摄像区域不同的摄像条件；以及
生成部，其根据由所述第2摄像元件拍摄到的被摄体的图像信号，将所述多个摄像区域中的以第1摄像条件进行了拍摄的第1摄像区域的被摄体的图像信号的一部分，修正为利用第2摄像条件进行拍摄，从而生成图像。
48.一种电子设备，具备：
第1摄像元件，其配置有多个像素且具有拍摄被摄体的第1摄像区域及第2摄像区域；
第2摄像元件，其配置有多个像素且拍摄被摄体；
设定部，其将所述第1摄像区域设定成与所述第2摄像区域的摄像条件不同的摄像条件；以及
生成部，其根据来自所选择的像素的信号，生成在所述第1摄像区域拍摄到的被摄体的图像，其中，所述所选择的像素是使用来自配置于所述第1摄像区域的所述像素的信号而从配置于所述第1摄像元件的所述第1摄像区域的所述像素和配置于所述第2摄像元件的所述像素中选择出的像素。
49.根据权利要求48所述的电子设备，其中，
所述生成部根据来自配置于所述第2摄像元件的所述像素的信号，生成在所述第1摄像区域拍摄到的被摄体的图像。
50.根据权利要求49所述的电子设备，其中，
所述生成部根据来自配置于拍摄了所选择的图像的所述第2摄像元件的所述像素的信号，生成在所述第1摄像区域拍摄到的被摄体的图像，其中，所述所选择的图像是使用来自配置于所述第1摄像区域的所述像素的信号而从由所述第2摄像元件以不同的摄像条件拍摄而生成的多个图像中选择出的图像。
51.根据权利要求47～49中任一项所述的电子设备，其中，
所述第1摄像元件的摄像范围的至少一部分与所述第2摄像元件的摄像范围的至少一部分相同。
52.根据权利要求47～51中任一项所述的电子设备，其中，
基于所述第1摄像元件进行的被摄体的拍摄和基于所述第2摄像元件进行的被摄体的拍摄大致同时进行。
53.一种电子设备，具备：
摄像元件，其具有拍摄被摄体的多个摄像区域；
设定部，其将所述摄像元件的多个所述摄像区域中的第1摄像区域设定成与第2摄像区域不同的摄像条件；以及
生成部，其根据以第2摄像条件进行了拍摄的所述第1摄像区域的被摄体的图像信号，将所述多个摄像区域中的以第1摄像条件进行了拍摄的所述第1摄像区域的被摄体的图像信号的一部分，修正为利用第2摄像条件进行拍摄，从而生成图像。
54.一种电子设备，具备：
摄像元件，其配置有多个像素且具有拍摄被摄体的第1摄像区域及第2摄像区域；
设定部，其能够将所述第1摄像区域设定成与所述第2摄像区域的摄像条件不同的摄像条件；以及
生成部，其根据来自所选择的像素的信号，生成在所述第1摄像区域拍摄到的被摄体的图像，其中，所述所选择的像素是使用来自由所述设定部设定成所述第1摄像条件的所述第1摄像区域上配置的所述像素的信号，而从由所述设定部设定成第1摄像条件的所述第1摄像区域上配置的所述像素和由所述设定部设定成第2摄像条件的所述第1摄像区域上配置的所述像素中选择出的像素。
55.根据权利要求54所述的电子设备，其中，
所述生成部根据来自由所述设定部设定成所述第2摄像条件的所述第1摄像区域上配置的所述像素的信号，生成在所述第1摄像区域拍摄到的被摄体的图像。
56.根据权利要求54所述的电子设备，其中，
所述生成部根据来自由所述设定部设定成所述第2摄像条件的所述第1摄像区域上配置的所述像素的信号，生成在所述第1摄像区域的至少一部分拍摄到的被摄体的图像。
57.根据权利要求53～56中任一项所述的电子设备，其中，
在设定成所述第1摄像条件的所述第1摄像区域拍摄到的第1图像与在设定成所述第2摄像条件的所述第1摄像区域拍摄到的第2图像不同。
58.根据权利要求57所述的电子设备，其中，
所述第2图像在所述第1图像之前被拍摄。
59.根据权利要求57所述的电子设备，其中，
所述第2图像在所述第1图像之后被拍摄。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016071974 | 2016-03-31 | ||
| JP2016-071974 | 2016-03-31 | ||
| PCT/JP2017/012957 WO2017170716A1 (ja) | 2016-03-31 | 2017-03-29 | 撮像装置、画像処理装置、および電子機器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109196855A true CN109196855A (zh) | 2019-01-11 |
Family
ID=59965688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780033560.9A Pending CN109196855A (zh) | 2016-03-31 | 2017-03-29 | 摄像装置、图像处理装置及电子设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20190182419A1 (zh) |
| EP (1) | EP3439282A4 (zh) |
| JP (1) | JPWO2017170716A1 (zh) |
| CN (1) | CN109196855A (zh) |
| WO (1) | WO2017170716A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112714252B (zh) * | 2015-09-30 | 2023-04-07 | 株式会社尼康 | 摄像装置 |
| US10284800B2 (en) * | 2016-10-21 | 2019-05-07 | Canon Kabushiki Kaisha | Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus |
| WO2019102296A1 (ja) * | 2017-11-23 | 2019-05-31 | 株式会社半導体エネルギー研究所 | 撮像装置、および電子機器 |
| JP7297406B2 (ja) | 2017-12-18 | 2023-06-26 | キヤノン株式会社 | 制御装置、撮像装置、制御方法およびプログラム |
| JP7156367B2 (ja) * | 2018-03-30 | 2022-10-19 | 株式会社ニコン | 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム |
| WO2020137602A1 (ja) * | 2018-12-28 | 2020-07-02 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
| JP2023165433A (ja) * | 2022-05-06 | 2023-11-16 | コニカミノルタ株式会社 | 処理システム、処理装置、処理方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355650A (ja) * | 1998-06-09 | 1999-12-24 | Nikon Corp | 画像取り込み装置 |
| CN101350890A (zh) * | 2007-08-31 | 2009-01-21 | 豪威科技有限公司 | 在向下采样模式中具有高动态范围的图像传感器 |
| WO2015001646A1 (ja) * | 2013-07-04 | 2015-01-08 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
| WO2015022900A1 (ja) * | 2013-08-12 | 2015-02-19 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
| JP2015092660A (ja) * | 2013-10-01 | 2015-05-14 | 株式会社ニコン | 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8059174B2 (en) * | 2006-05-31 | 2011-11-15 | Ess Technology, Inc. | CMOS imager system with interleaved readout for providing an image with increased dynamic range |
| KR101563882B1 (ko) * | 2011-09-21 | 2015-11-09 | 한국전자통신연구원 | 센서신호 처리 장치 및 이를 포함하는 센서신호 분산처리 시스템 |
-
2017
- 2017-03-29 JP JP2018509351A patent/JPWO2017170716A1/ja active Pending
- 2017-03-29 CN CN201780033560.9A patent/CN109196855A/zh active Pending
- 2017-03-29 WO PCT/JP2017/012957 patent/WO2017170716A1/ja active Application Filing
- 2017-03-29 EP EP17775250.8A patent/EP3439282A4/en not_active Withdrawn
- 2017-03-29 US US16/082,906 patent/US20190182419A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355650A (ja) * | 1998-06-09 | 1999-12-24 | Nikon Corp | 画像取り込み装置 |
| CN101350890A (zh) * | 2007-08-31 | 2009-01-21 | 豪威科技有限公司 | 在向下采样模式中具有高动态范围的图像传感器 |
| WO2015001646A1 (ja) * | 2013-07-04 | 2015-01-08 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
| WO2015022900A1 (ja) * | 2013-08-12 | 2015-02-19 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
| JP2015092660A (ja) * | 2013-10-01 | 2015-05-14 | 株式会社ニコン | 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3439282A4 (en) | 2019-11-13 |
| EP3439282A1 (en) | 2019-02-06 |
| US20190182419A1 (en) | 2019-06-13 |
| WO2017170716A1 (ja) | 2017-10-05 |
| JPWO2017170716A1 (ja) | 2019-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109196854A (zh) | 摄像装置、图像处理装置及电子设备 | |
| CN109196855A (zh) | 摄像装置、图像处理装置及电子设备 | |
| JP7052850B2 (ja) | 撮像装置 | |
| CN108141531A (zh) | 摄像装置、图像处理装置及显示装置 | |
| JP6516014B2 (ja) | 撮像装置および画像処理装置 | |
| JP2022115944A (ja) | 撮像装置 | |
| WO2017170717A1 (ja) | 撮像装置、焦点調節装置、および電子機器 | |
| JP6516016B2 (ja) | 撮像装置および画像処理装置 | |
| WO2017170726A1 (ja) | 撮像装置および電子機器 | |
| JP6589988B2 (ja) | 撮像装置 | |
| JP6551533B2 (ja) | 撮像装置および画像処理装置 | |
| JP6516015B2 (ja) | 撮像装置および画像処理装置 | |
| JP6589989B2 (ja) | 撮像装置 | |
| JP6604385B2 (ja) | 撮像装置 | |
| WO2017170718A1 (ja) | 撮像装置、被写体検出装置、および電子機器 | |
| WO2017170719A1 (ja) | 撮像装置、および電子機器 | |
| WO2017170724A1 (ja) | 撮像装置、レンズ調節装置、および電子機器 | |
| WO2017170725A1 (ja) | 撮像装置、被写体検出装置、および電子機器 | |
| JPWO2017057267A1 (ja) | 撮像装置、および焦点検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190111 |
|
| WD01 | Invention patent application deemed withdrawn after publication |