[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019035245A1 - 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム Download PDF

Info

Publication number
WO2019035245A1
WO2019035245A1 PCT/JP2018/015343 JP2018015343W WO2019035245A1 WO 2019035245 A1 WO2019035245 A1 WO 2019035245A1 JP 2018015343 W JP2018015343 W JP 2018015343W WO 2019035245 A1 WO2019035245 A1 WO 2019035245A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
exposure amount
exposure
image
control
Prior art date
Application number
PCT/JP2018/015343
Other languages
English (en)
French (fr)
Inventor
哲也 藤川
基格 大鶴
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880047147.2A priority Critical patent/CN110892708B/zh
Priority to JP2019536422A priority patent/JP6840247B2/ja
Publication of WO2019035245A1 publication Critical patent/WO2019035245A1/ja
Priority to US16/729,502 priority patent/US11233949B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection

Definitions

  • the technology of the present disclosure relates to an imaging device, a control method of the imaging device, and a control program of the imaging device.
  • patent documents 1 to 3 use a so-called digital ND (Neutral Density) filter Technology is disclosed. According to the digital ND filter, it is possible to obtain the same effect as the physical ND filter provided in the imaging optical system.
  • digital ND Neutral Density
  • Patent Documents 1 to 3 disclose techniques for controlling the exposure time.
  • the subject you want to shoot the trajectory of the movement, etc. and the subject you do not want to shoot the trajectory of the movement, that is, you do not want to cause blurring are mixed in one captured image, long exposure is performed In some cases, the subject that the user does not want to shake may be blurred, and the user may not be able to realize the desired expression.
  • the present disclosure has been made in consideration of the above circumstances, and it is an object of the present invention to provide an imaging device capable of realizing a user's desired expression, a control method of the imaging device, and a control program of the imaging device. Do.
  • an imaging device includes an imaging device in which a plurality of pixels are arranged in a two-dimensional manner, and is obtained by imaging an object by the imaging device through an imaging optical system.
  • An imaging unit that outputs a captured image signal, an image generation unit that generates a captured image according to the image signal, a light amount control unit that controls the amount of light per unit time incident on the imaging device,
  • the first control unit that controls the exposure amount of the pixel by controlling the exposure time of the pixel for each divided region, and the light amount control unit controls the plurality of divided regions whose exposure amount is controlled by the first control unit
  • a display unit for displaying a captured image obtained by the exposure amount controlled by the second control unit.
  • the second control unit may perform control such that the difference in exposure amount for each of the plurality of divided areas is within a predetermined range.
  • the imaging device of the third aspect is the imaging device of the second aspect, wherein a determination unit that determines the exposure amount of the entire imaging device, and an exposure amount of each of the plurality of divided regions whose exposure amounts are controlled by the second control portion And a third control unit that performs control to adjust the exposure amount determined by the determination unit, and the display unit displays the captured image obtained by the exposure amount controlled by the third control unit. Good.
  • the imaging device of the fourth aspect further includes a determination unit that determines the exposure amount of the entire imaging device in the imaging device of the first aspect, and the second control unit determines the exposure amount of each of the plurality of divided areas By setting the exposure amount determined to be, the difference between the exposure amounts of the plurality of divided areas may be adjusted.
  • An imaging device is the imaging device according to any one of the first aspect through the fourth aspect, wherein the second control unit is configured to perform the first control on divided areas satisfying a predetermined condition in the plurality of divided areas. Control may be performed to adjust the difference in exposure amount for each of a plurality of divided areas based on the exposure amount of one control unit.
  • the second control unit may set the shortest exposure time as a predetermined condition.
  • An imaging device is the imaging device according to any one of the first aspect to the sixth aspect, wherein the first control unit is configured to use the boundary line derived from the captured image based on the analysis result of the captured image. Based on the captured image may be divided into a plurality of divided areas.
  • the imaging device is the imaging device according to the seventh aspect, wherein the first control unit may adjust the position of the boundary based on a change in the captured image when the captured image changes.
  • An imaging device is the imaging device according to any one of the first aspect through the eighth aspect, further comprising a receiving unit for receiving an exposure time for each of the plurality of divided areas, and the first control unit The control may be performed based on the exposure time received by the receiving unit.
  • An imaging device is any one of the imaging device according to any one of the first aspect through the sixth aspect, wherein an area of a captured image, a subject included in the captured image, and a pixel corresponding to the captured image Each time, the type of the corresponding object is specified based on the recognition result obtained by recognizing the captured image, and a division unit that divides the captured image into a plurality of divided areas based on the specification result, and the type of object and exposure time in advance. And an exposure time determination unit that determines the exposure time of each of the plurality of divided areas based on the determined correspondence, and the first control unit performs control according to the exposure time determined by the exposure time determination unit. Good.
  • An imaging device is the imaging device according to any one of the first aspect to the tenth aspect, wherein the first control unit controls an exposure time of the pixel for each row of the plurality of pixels. You may
  • a control method of an imaging apparatus includes an imaging element in which a plurality of pixels are two-dimensionally arrayed, and an imaged image corresponding to an image signal obtained by imaging an object by the imaging element through an imaging optical system
  • the first control is performed to control the exposure amount of the pixel by controlling the exposure time of the pixel for each of a plurality of divided areas into which the captured image is divided, and to control the light amount per unit time incident on the imaging device
  • the second control is performed to control the light amount control unit to adjust the difference in exposure amount for each of the plurality of divided areas whose exposure amount is controlled by the first control, and the exposure amount controlled by the second control
  • a process of displaying the obtained captured image is included.
  • the control program of the imaging device includes, in a computer, an imaging device in which a plurality of pixels are arranged in a two-dimensional array, and an image signal obtained by imaging an object with the imaging device through an imaging optical system
  • the first control for controlling the exposure amount of the pixel by controlling the exposure time of the pixel is performed for each of a plurality of divided areas where the captured image is divided, and the light amount per unit time incident on the imaging device
  • the second control is performed to control the light amount control unit that controls the light amount control to adjust the difference in exposure amount for each of the plurality of divided areas whose exposure amount is controlled by the first control, and controlled by the second control It is that of an imaging apparatus for executing a process to display a captured image obtained by an exposure amount.
  • a user-desired expression can be realized.
  • FIG. 1 It is a figure for demonstrating an example of the boundary line and division area which were derived
  • FIG. 18 is a diagram showing an example of a specification result of specifying the type of object included in the live view image shown in FIG. 17; It is a figure which shows an example of the information showing the correspondence of the kind of object, and exposure time. It is a flow chart which shows an example of the flow of exposure amount control processing of a 5th embodiment.
  • FIG. 1 It is a figure which shows an example of a live view image. It is a figure for demonstrating the exposure time with respect to the live view image of FIG. It is a conceptual diagram which shows an example of the aspect by which an exposure amount control processing program is installed in an imaging device main body from the storage medium with which the exposure amount control processing program of embodiment was memorize
  • the imaging device 10 of the present embodiment is a lens-interchangeable digital camera, and includes an imaging device main body 12 and an imaging lens 14.
  • the imaging lens 14 is exchangeably mounted on the imaging device body 12.
  • the lens barrel of the imaging lens 14 is provided with a focus ring 16 used in the manual focus mode.
  • the imaging lens 14 includes a lens unit 18.
  • the lens unit 18 of the present embodiment is an example of the imaging optical system of the present disclosure.
  • the lens unit 18 is a combination lens in which a plurality of lenses including the focus lens 20 are combined.
  • the focus lens 20 moves in the direction of the optical axis L1 in accordance with the manual rotation operation of the focus ring 16 and moves the subject on the light receiving surface 22A (see FIG. 3) of the image sensor 22 described later.
  • Subject light which is reflected light indicating.
  • a dial 24 and a release button 26 are provided on the top surface of the imaging device body 12.
  • the dial 24 is operated at the time of various settings such as switching between the imaging mode and the reproduction mode. Therefore, in the imaging device 10, when the dial 24 is operated by the user, the imaging mode and the reproduction mode are selectively set as the operation mode.
  • the imaging device 10 has a still image capturing mode and a moving image capturing mode as operation modes of the imaging system.
  • the still image capturing mode is an operation mode for recording a still image obtained by capturing an object by the imaging device 10
  • the moving image capturing mode is to record a moving image obtained by capturing an object by the imaging device 10. It is an operation mode.
  • still images and moving images are simply referred to as “captured images” when they are collectively referred to without distinction.
  • the release button 26 is configured to be capable of detecting a two-step pressing operation of an imaging preparation instruction state and an imaging instruction state.
  • the imaging preparation instruction state refers to, for example, a state in which the standby position is depressed to the intermediate position (half pressed position), and the imaging instruction state is a state in which the final depressed position (full pressed position) beyond the intermediate position is depressed.
  • Point to In the following "a state in which the standby position is pressed to a half-pressed position” is referred to as "a half-pressed state”, and "a state in which a standby position to a fully pressed position is pressed” and "a half pressed position to a fully pressed position The state to be pressed is referred to as "full press state".
  • the imaging condition is adjusted by half-pressing the release button 26. Thereafter, when full-pressing continues, the main exposure is performed.
  • the release button 26 is half-pressed and the AE (Auto Exposure) function is activated to set the exposure state, then the AF (Auto Focus) function is activated and the focusing is controlled.
  • the AF Auto Focus
  • a display 28, a cross key 30, a MENU / OK key 32, a BACK / DISP button 34, a finder 36, and a touch panel 38 are provided on the back of the imaging device body 12.
  • the display 28 is, for example, an LCD (Liquid Crystal Display), and displays an image, characters, and the like obtained by the imaging device 10 capturing an object.
  • the display 28 of the present embodiment is an example of the display unit of the present disclosure.
  • the display 28 of the present embodiment is configured as a touch panel display 29 together with the touch panel 38.
  • the display 28 is used to display a live view image in the imaging mode.
  • the live view image is also referred to as a through image, and is a continuous frame image obtained by imaging an object in continuous frames by the imaging element 22 of the imaging device 10.
  • the term "captured image" also includes a live view image.
  • the display 28 is also used to display a still image captured and obtained by a single frame when instructed to capture a still image. Furthermore, the display 28 is also used to display a reproduced image in the reproduction mode and to display a menu screen or the like.
  • a transmissive touch panel 38 is superimposed on the surface of the display area of the display 28.
  • the touch panel 38 detects a touch by an indicator such as a finger or a stylus pen, for example.
  • the touch panel 38 outputs detection result information indicating a detection result such as presence or absence of a touch on the touch panel 38 at a predetermined cycle (for example, 100 milliseconds) as a predetermined output destination (for example, a central processing unit (CPU) described later). 74, see FIG. 3).
  • the detection result information includes two-dimensional coordinates (hereinafter referred to as "coordinates") that can specify the contact position by the indicator on the touch panel 38 when the touch panel 38 detects a touch by the indicator, and the touch panel 38 If no contact is detected, coordinates are not included.
  • the cross key 30 functions as a multi-function key that outputs an instruction content signal according to selection of one or more menus and various instructions such as zoom or frame advance.
  • the MENU / OK key 32 has a function as a menu (MENU) button for instructing one or more menus to be displayed on the screen of the display 28, and permission to instruct confirmation and execution of selected contents (OK ) Is an operation key having a function as a button.
  • the BACK / DISP button 34 is used to delete a desired object such as a selection item or cancel a designated content, or return to the previous operation state.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the imaging device 10 according to the first embodiment.
  • the imaging device main body 12 of the present embodiment includes the mount 13 (see also FIG. 1), and the imaging lens 14 includes the mount 15.
  • the imaging lens 14 is exchangeably mounted on the imaging device main body 12 by the mount 15 being coupled to the mount 13.
  • the imaging lens 14 includes the lens unit 18, the diaphragm 19, and the control device 40 described above.
  • the control device 40 is electrically connected to the CPU 74 through the external I / F (Interface) 72 of the imaging device main body 12 by connecting the mount 15 to the mount 13, and according to the instruction of the CPU 74, Control the whole.
  • the aperture 19 is provided closer to the imaging device main body 12 than the lens unit 18.
  • a diaphragm drive unit and a diaphragm drive motor (not shown) are connected to the diaphragm 19.
  • the diaphragm drive unit operates the diaphragm drive motor under the control of the control device 40 in accordance with an instruction received by the reception device 62 described later, thereby adjusting the size of the aperture of the diaphragm 19.
  • the light amount of the subject light transmitted through the lens unit 18 is adjusted, and the subject light is guided into the imaging device main body 12.
  • the imaging device main body 12 of this embodiment includes an imaging device 22, a first mirror 42, a second mirror 44, a control unit 46, a mirror driving unit 48, an imaging device driver 50, an image signal processing circuit 52, It includes an image memory 54, an image processing unit 56, a display control unit 58, an ND (Neutral Density) filter 80, and an ND filter driving unit 82.
  • the imaging apparatus main body 12 also includes a reception I / F 60, a reception device 62, a media I / F 64, and an external I / F 72.
  • the control unit 46 is an example of a computer according to the technology of the present disclosure, and includes a CPU 74, a primary storage unit 76, and a secondary storage unit 78.
  • the CPU 74 controls the entire imaging device 10.
  • the primary storage unit 76 is a volatile memory used as a work area or the like in the execution of various programs.
  • An example of the primary storage unit 76 may be a RAM (Random Access Memory).
  • the secondary storage unit 78 of the present embodiment is a non-volatile memory in which various programs including an exposure amount control processing program 79 which will be described in detail later, various parameters, and the like are stored in advance. Examples of the secondary storage unit 78 include an EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and the like.
  • the exposure amount control processing program 79 of the present embodiment is an example of a control program of the present disclosure.
  • the CPU 74, the primary storage unit 76, and the secondary storage unit 78 are connected to the bus line 81. Further, the mirror driving unit 48, the imaging device driver 50, the image signal processing circuit 52, and the ND filter driving unit 82 are also connected to the bus line 81. Further, the image memory 54, the image processing unit 56, the display control unit 58, the reception I / F 60, the media I / F 64, and the external I / F 72 are also connected to the bus line 81.
  • the first mirror 42 is interposed between the light receiving surface 22A of the imaging element 22 and the lens unit 18, and is a movable mirror movable to the light receiving surface covering position ⁇ and the light receiving surface open position ⁇ .
  • the first mirror 42 is connected to the mirror driving unit 48, and the mirror driving unit 48 drives the first mirror 42 under the control of the CPU 74 to open the light receiving surface covering position ⁇ and the light receiving surface of the first mirror 42.
  • the first mirror 42 is disposed at the light reception surface covering position ⁇ by the mirror driving unit 48 when the light reception surface 22A does not receive the object light, and the mirror drive is performed when the light reception surface 22A receives the object light.
  • the portion 48 is disposed at the light receiving surface open position ⁇ .
  • the first mirror 42 covers the light receiving surface 22 A, and reflects the subject light sent from the lens unit 18 to guide it to the second mirror 44.
  • the second mirror 44 reflects the subject light guided from the first mirror 42 to guide it to the finder 36 via an optical system (not shown).
  • the finder 36 transmits subject light guided by the second mirror 44.
  • the state in which the light receiving surface 22A is covered by the first mirror 42 is released, and the subject light is received by the light receiving surface 22A without being reflected by the first mirror 42.
  • the ND filter 80 of the present embodiment is an ND filter having a plurality of stepwise transmittances.
  • the ND filter 80 may have a plurality of continuous transmittances.
  • the ND filter 80 of the present embodiment is disposed on the optical axis L1 between the first mirror 42 and the imaging device 22 at the light receiving surface covering position ⁇ .
  • the ND filter 80 is connected to the ND filter driver 82.
  • the CPU 74 controls the transmittance of the ND filter 80 in accordance with the predetermined resolution by changing the voltage applied to the ND filter 80 by the ND filter driver 82.
  • the CPU 74 controls the transmittance of the ND filter 80 in this manner to control the exposure amount of the image sensor 22, more specifically, the amount of light per unit time incident on the image sensor 22.
  • ND filter process the process of controlling the exposure amount of the image sensor 22 by the CPU 74 controlling the transmittance of the ND filter 80 is referred to as “ND filter process”.
  • the ND filter 80 and the ND filter drive unit 82 of the present embodiment are an example of the light amount control unit of the present disclosure.
  • the ND filter 80 when a voltage is applied, the molecule undergoes an oxidation-reduction reaction or changes to a radical state by applying an electrochromic element whose transmittance changes reversibly, or when a voltage is applied.
  • permeability changes reversibly, etc. are mentioned by changing the direction of a molecule
  • the image sensor driver 50 is connected to the image sensor 22.
  • a CCD (Charge Coupled Device) image sensor is used as the imaging device 22, but the technology of the present disclosure is not limited to this, and, for example, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor etc. Other image sensors may be used.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • a plurality of pixels 90 are two-dimensionally arranged.
  • the number of pixels 90, the number of rows in the array, and the number of columns are not particularly limited.
  • Each pixel 90 is driven based on the vertical synchronization signal output from the CPU 74 to the imaging device driver 50 and the horizontal synchronization signal output to the image signal processing circuit 52, and the exposure of the imaging device 22 is controlled.
  • the exposure time of the image sensor 22 is controlled by the interval of the scanning period of the horizontal synchronization signal (hereinafter referred to as "HD length"). Therefore, as shown in FIG. 5, when the horizontal synchronization signal includes the HD length X, the row of the pixels 90 corresponding to pulses before and after the HD length X, and in the case shown in FIG. The exposure time is changed by changing the charge accumulation time in the pixel 90, and the exposure time is shortened in the n + 1th and subsequent rows as compared to the rows up to the nth row.
  • the CPU 74 of the present embodiment controls the exposure time of the pixel 90 for each divided area, which will be described in detail later, by changing the HD length of the horizontal synchronization signal output to the image signal processing circuit 52. Control.
  • the CPU 74 may control the exposure time of the pixels for each row of the array of pixels.
  • the image signal processing circuit 52 reads an image signal for one frame from the imaging device 22 for each pixel according to the horizontal synchronization signal.
  • the image signal processing circuit 52 performs various processing such as correlated double sampling processing, automatic gain adjustment, and A / D (Analog / Digital) conversion on the read image signal.
  • the image signal processing circuit 52 carries out various processes on the image signal, and digitizes the image signal at a specific frame rate (for example, several tens of frames per second) defined by a clock signal supplied from the CPU 74. It is outputted to the image memory 54 every one frame.
  • the imaging device 22 and the imaging device driver 50 of the present embodiment are an example of an imaging unit of the present disclosure.
  • the image memory 54 temporarily holds the image signal input from the image signal processing circuit 52.
  • the image processing unit 56 acquires an image signal for each frame at a specific frame rate from the image memory 54, and performs various processing such as gamma correction, luminance conversion, color difference conversion, and compression processing on the acquired image signal. Do. Further, the image processing unit 56 outputs an image signal obtained by performing various processes to the display control unit 58 for each frame at a specific frame rate. Further, the image processing unit 56 outputs an image signal obtained by performing various processes to the CPU 74 in response to a request from the CPU 74.
  • the image processing unit 56 of the present embodiment is an example of the image generation unit of the present disclosure.
  • the display control unit 58 is connected to the display 28 of the touch panel display 29 and controls the display 28 under the control of the CPU 74.
  • the display control unit 58 also outputs the image signal input from the image processing unit 56 to the display 28 at a specific frame rate for each frame.
  • the display 28 displays an image indicated by the image signal input from the display control unit 58 at a specific frame rate as a live view image.
  • the display 28 also displays a still image which is a single frame image obtained by imaging in a single frame.
  • the display 28 displays a reproduced image, a menu screen, and the like.
  • the receiving device 62 has a dial 24, a release button 26, a cross key 30, a MENU / OK key 32, a BACK / DISP button 34, and the like, and receives various instructions from the user.
  • the reception device 62 of the present embodiment is an example of a reception unit of the present disclosure.
  • the touch panel 38 and the reception device 62 of the touch panel display 29 are connected to the reception I / F 60 and output an instruction content signal indicating the content of the received instruction to the reception I / F 60.
  • the reception I / F 60 outputs the input instruction content signal to the CPU 74.
  • the CPU 74 executes processing in accordance with the instruction content signal input from the reception I / F 60.
  • a memory card 66 is detachably connected to the media I / F 64.
  • the media I / F 64 performs recording and reading of an image file on the memory card 66 under the control of the CPU 74.
  • the image file read out from the memory card 66 by the media I / F 64 is decompressed by the image processor 56 under the control of the CPU 74 and displayed on the display 28 as a reproduced image.
  • the operation mode is switched according to the instruction received by the reception device 62.
  • the still image imaging mode and the moving image imaging mode are selectively set in accordance with the instruction accepted by the accepting device 62.
  • a still image file can be recorded on the memory card 66
  • a moving image file can be recorded on the memory card 66.
  • the CPU 74 controls the imaging device driver 50 to cause the imaging device 22 to perform main exposure for one frame.
  • the image processing unit 56 acquires an image signal obtained by performing exposure for one frame under the control of the CPU 74, performs compression processing on the acquired image signal, and generates a specific still image format. Generate a still image file.
  • the specific still image format may be, for example, a format of JPEG (Joint Photographic Experts Group) format.
  • the still image file is recorded on the memory card 66 via the media I / F 64 by the image processing unit 56 under the control of the CPU 74.
  • the image processing unit 56 When an instruction to capture a moving image is accepted by the release button 26 under the moving image capturing mode, the image processing unit 56 performs compression processing on the image signal for live view image, and the moving image of a specific moving image format Generate an image file.
  • the specific moving picture format may be, for example, a format of the Moving Picture Experts Group (MPEG).
  • MPEG Moving Picture Experts Group
  • the moving image file is recorded on the memory card 66 via the media I / F 64 by the image processing unit 56 under the control of the CPU 74.
  • the live view image is displayed on the touch panel display 29 in the imaging mode. And in the imaging device 10 of this embodiment, the exposure amount control processing which controls the exposure amount of the live view image displayed on the touch panel display 29 is performed.
  • the CPU 74 of the imaging device 10 after transitioning to the photographing mode, when the reception device 62 receives an instruction to perform long-time exposure or an instruction to perform short-time exposure, the CPU 74 of the imaging device 10 according to the present embodiment
  • the exposure amount control processing program 79 is read out from the next storage unit 78, expanded in the primary storage unit 76, and executed to execute the exposure amount control processing, an example of which is shown in FIG.
  • the CPU 74 functions as an example of the first control unit and the second control unit of the present disclosure by executing the exposure amount control processing program 79.
  • the exposure amount is controlled for each of a plurality of divided areas set by dividing the live view image 100 by the boundary line.
  • the CPU 74 of the present embodiment controls the exposure amount for each divided area obtained by dividing the live view image 100 by the boundary line.
  • step S100 of FIG. 6 the CPU 74 analyzes the live view image 100 and determines the position of the boundary for setting the region for controlling the exposure amount.
  • FIG. 8 illustrates an example of the border 120 determined for the live view image 100.
  • the method for the CPU 74 to determine the position of the boundary 120 is not particularly limited.
  • the coordinates of the position of the boundary 120 designated by the user are acquired by tracing the live view image 100 displayed on the touch panel display 29 with a fingertip or the like, and the boundary 120 is determined based on the acquired coordinates. It is also good.
  • the CPU 74 may automatically determine the boundary based on the live view image 100. For example, the CPU 74 may determine the position of the boundary based on a histogram (luminance distribution) obtained by image analysis of the live view image 100.
  • FIG. 9 shows a histogram 200 of the live view image 100.
  • the histogram 200 shown in FIG. 9 shows the luminance distribution of the live view image 100 in which the horizontal axis is a luminance value (brightness) and the vertical axis is the number of pixels (frequency).
  • “brightness value” may be simply referred to as “brightness”.
  • the CPU 74 detects a range 206 which is a valley between the peak 202 of the brightness value and the peak 204 from the histogram 200, and one specific brightness value 208 based on a predetermined reference from the detected range 206. Decide.
  • the predetermined reference in this case, for example, it may be an intermediate value of the range 206 or a luminance value to be the minimum number of pixels. Then, based on the determined position of the pixel corresponding to the determined luminance value 208, for example, in the live view image 100, a straight line including the largest number of pixels whose luminance value is the luminance value 208 is set as the boundary line 120. Thus, the position of the boundary 120 in the live view image 100 may be determined.
  • the histogram 200 shown in FIG. 9 shows the case where there are two peaks (peaks 202 and 204) of the luminance value, but there are three or more peaks that are the luminance values.
  • the position of the boundary 120 can be determined from the histogram even if there are two or more valleys 206. In this case, for example, among the luminance values determined from each of the plurality of valleys 206, a luminance value satisfying a predetermined reference such as a minimum value is determined, and the boundary is determined based on the determined luminance values. The position of 120 may be determined.
  • the contrast is extracted based on the brightness or density sequentially from the end of the live view image 100, and the position where the contrast changes suddenly is taken as the position of the boundary line 120. You may decide.
  • the CPU 74 divides the live view image 100 into a plurality of divided areas based on the determined boundary 120.
  • FIG. 8 illustrates an example of a state in which the live view image 100 is divided into divided areas 122 and 124 by the boundary line 120.
  • the divided area 122 corresponds to the area from the 0th row to the m-th line of the pixel 90
  • the divided area 124 corresponds to the area from the m + 1th line to the n-th line of the pixel 90.
  • the CPU 74 determines an exposure time for each divided area. Specifically, the CPU 74 receives the exposure time instructed by the user for each divided area by the reception device 62 to determine the desired exposure time of the user, and determines the received exposure time as the exposure time of each divided area.
  • the division area 122 is an image in which the trajectory of the flow of water (river) is left, so the user has a relatively long exposure time sufficient to leave the trajectory. To direct.
  • the divided area 124 the user instructs an exposure time shorter than that of the divided area 122 in order to prevent the locus of trees, leaves, etc. swaying in the wind from appearing as blurring.
  • FIG. 10 shows an example of the exposure time in the divided area 122 and the divided area 124 as “control of the exposure time”.
  • the CPU 74 outputs a horizontal synchronization signal according to the determined exposure time.
  • the exposure time becomes shorter as the HD length X becomes longer, and the exposure time becomes longer as the HD length X becomes shorter.
  • the CPU 74 stores in advance the correspondence relationship between the HD length X and the exposure time in the secondary storage unit 78, and based on the correspondence relationship stored in the secondary storage unit 78, according to the exposure time. Derive the HD length X. Then, the CPU 74 outputs a horizontal synchronization signal including the derived HD length X to the image signal processing circuit 52.
  • control such that the exposure period of the pixel 90 which performs short-time exposure in the pixel 90 is included in the exposure period of the pixel 90 which performs long-time exposure.
  • the CPU 74 may perform control to make the timing to start exposure the same, or may make control to make the timing to end the exposure to be the same. Control may be performed.
  • the CPU 74 derives the difference in exposure time with another divided area based on the divided area with the shortest exposure time.
  • the divided area is two, the divided area 122 and the divided area 124, and the divided area 124 has a shorter exposure time. Therefore, the difference between the exposure time of divided area 122 and the exposure time of divided area 122 is derived based on the exposure time of divided area 124. In the case of the live view image 100, since the divided area 122 has a longer exposure time than the divided area 124, the amount of exposure is larger than that of the divided area 124.
  • the CPU 74 derives a filter coefficient (the number of steps representing the light reduction effect) for performing the ND filter processing of the ND filter 80 for each divided area based on the difference in exposure time derived in step S108.
  • the ND filter processing is performed.
  • “uniform” in the exposure amount means that the exposure amount is different from the error, the resolution of the transmittance of the ND filter 80 (number of stages), and the exposure time, in addition to the fact that the exposure amount completely matches. It is also included that it is within a predetermined range according to the resolution of the
  • the exposure is the same as the exposure of the divided area 124 by lowering the transmittance to increase the light reduction effect of the ND filter 80 with respect to the divided area 122 having a long exposure time and a large exposure.
  • the exposure amount of the entire live view image 100 is made uniform.
  • the divided area 124 is not attenuated by the ND filter 80, that is, the transmittance is 100%. Therefore, the actual exposure amount of the divided area 122, which is the result of combining the control of the exposure time and the control by the ND filter 80, is not influenced by the ND filter 80 and becomes the same as the exposure amount according to the exposure time. .
  • the light reduction by the ND filter 80 is performed on the divided region 122 to lower the transmittance.
  • the actual exposure amount As shown in FIG. 10 as “the actual exposure amount”, the actual exposure amount of the divided area 122 which is the result of combining the control of the exposure time and the control by the ND filter 80 is influenced by the ND filter 80.
  • the actual exposure amount of the divided area 124 is the same.
  • the CPU 74 derives a filter coefficient for performing the ND filter processing of the ND filter 80 for each divided area based on the difference in exposure time, but a specific derivation method is not particularly limited.
  • the information representing the correspondence between the difference in exposure time and the filter coefficient is stored in advance in the secondary storage unit 78, and the exposure time derived from the information representing the correspondence stored in the secondary storage unit 78
  • the corresponding filter coefficient may be derived as the filter coefficient corresponding to the divided area 122.
  • the CPU 74 outputs an instruction to drive the ND filter 80 according to the filter coefficient of the ND filter 80 derived in the above step S110 to the ND filter driver 82, and then ends the present exposure amount control processing. .
  • the live view image 100 displayed on the touch panel display 29 becomes an image whose exposure amount is controlled by the CPU 74.
  • a captured image obtained by imaging with the imaging element 22 in a state where the exposure amount is controlled by the CPU 74 is recorded on the memory card 66.
  • the CPU 74 controls the exposure time for each divided area (divided area 122 and divided area 124), and the divided area (divided area 122) has a long exposure time by the ND filter 80.
  • the transmittance of each of the divided regions caused by the difference in exposure time is made uniform by making the transmittance of the light source lower than the transmittance of the divided region (segmented region 124) having the shortest exposure time.
  • the imaging device 10 of the present embodiment it is possible to obtain a captured image in which the effect of the long time exposure and the effect of the short time exposure are compatible.
  • a live view image 150 displayed on the touch panel display 29 as a result of executing the exposure amount control process in the imaging device 10 of the present embodiment is shown in FIG.
  • the image shows the locus of the flow of water due to the effect of the long exposure.
  • a locus such as a shake of a leaf is not reflected due to the effect of the short exposure, and the image of the subject (a leaf or the like) is blurred.
  • the live view image 150 shown in FIG. 11 is a captured image in which the effect of the long exposure and the effect of the short exposure are compatible, and an image realizing the expression desired by the user is obtained. .
  • FIG. 12 shows an example of the live view image 500 when the exposure time of the divided area 124 is made equal to the exposure time of the divided area 122 described above. That is, in the live view image 500, the long exposure is applied to the entire image.
  • the partial image 502 of the live view image 500 corresponding to the divided area 122 is an image in which the locus of the flow of water is reflected by the effect of the long exposure.
  • the locus (a leaf or a tree) is blurred because a locus that the user does not want to reflect, such as a leaf swing, is blurred. The image which realized the expression which I want is not obtained.
  • FIG. 13 illustrates an example of the live view image 600 in the case where the exposure time of the divided area 122 is matched with the exposure time of the divided area 124 described above. That is, in the live view image 600, the short exposure is applied to the entire image. As shown in FIG. 13, in the partial image 604 of the live view image 600 corresponding to the part of the divided area 124, a locus such as shaking of a leaf is not visible due to the effect of short exposure, and Etc) is not blurred. On the other hand, the partial image 602 of the live view image 600 corresponding to the part of the divided area 122 is an image in which the locus of the flow of water to be displayed is not reflected, and an image realizing the expression desired by the user is obtained. Not.
  • the imaging device 10A of this embodiment is different from the imaging device 10 of the first embodiment in that it has an imaging device body 12A instead of the imaging device body 12.
  • the imaging device body 12A differs from the imaging device body 12 in that it has a control unit 46A instead of the control unit 46.
  • the control unit 46A differs from the control unit 46 in that it has a secondary storage unit 78A instead of the secondary storage unit 78.
  • the secondary storage unit 78A differs from the secondary storage unit 78 in that the exposure control process program 79A is stored instead of the exposure control process program 79.
  • the CPU 74 reads the exposure amount control processing program 79A from the secondary storage unit 78A, expands it in the primary storage unit 76, and executes the exposure amount control processing shown in FIG. 14 according to the expanded exposure amount control processing program 79A.
  • the CPU 74 operates as an example of the first control unit, the second control unit, and the determination unit of the present disclosure by executing the exposure amount control processing program 79A.
  • an exposure amount control process shown in FIG. 14 will be described as an operation of the imaging device 10A of the present embodiment.
  • the description of the same operation as that of the first embodiment is omitted.
  • step S98 is performed before step S100 as compared to the exposure amount control processing of the first embodiment (see FIG. 6), and step S111 instead of step S110.
  • the point of executing the process of is different.
  • the CPU 74 when execution of the exposure control process is started, the CPU 74 first determines the exposure of the entire live view image 100 (captured image) in step S98.
  • the exposure amount of the entire live view image 100 determined here is the final exposure amount of the captured image (hereinafter referred to as “appropriate exposure amount”).
  • a desired exposure amount instructed by the user is received by the receiving device 62, and the received exposure amount is determined as the appropriate exposure amount.
  • the method of determining the proper exposure amount is not particularly limited.
  • the CPU 74 may determine the proper exposure amount based on the result of image analysis performed on the live view image 100.
  • the CPU 74 is a filter coefficient for performing the ND filter processing of the ND filter 80 for each divided area based on the difference in exposure time derived in step S108 and the appropriate exposure amount determined in step S98. Derivation of (number of stages showing the light reduction effect). For example, the CPU 74
  • the CPU 74 performs control to set the exposure amount of the entire captured image to the appropriate exposure amount by the ND filter processing, so that an image that realizes the expression desired by the user is more can get.
  • the imaging device 10B of this embodiment is different from the imaging device 10 of the first embodiment in that it has an imaging device body 12B instead of the imaging device body 12.
  • the imaging device main body 12B differs from the imaging device main body 12 in that it has a control unit 46B instead of the control unit 46.
  • the control unit 46B differs from the control unit 46 in that it has a secondary storage unit 78B instead of the secondary storage unit 78.
  • the secondary storage unit 78B differs from the secondary storage unit 78 in that the exposure control processing program 79B is stored instead of the exposure control processing program 79.
  • the CPU 74 reads the exposure amount control processing program 79B from the secondary storage unit 78B, expands it in the primary storage unit 76, and executes the exposure amount control processing shown in FIG. 15 according to the expanded exposure amount control processing program 79B.
  • the CPU 74 operates as an example of the first control unit, the second control unit, the third control unit, and the determination unit of the present disclosure by executing the exposure amount control processing program 79B.
  • an exposure amount control process shown in FIG. 15 will be described as an operation of the imaging device 10B of the present embodiment.
  • the description of the same operation as that of the first embodiment is omitted.
  • step S98 is performed before step S100 as compared to the exposure amount control processing of the first embodiment (see FIG. 6), and step S113 after step S112.
  • the point of executing the process of is different.
  • step S98 is the same as the exposure amount control process (see FIG. 14) of the second embodiment, and thus the description thereof is omitted.
  • step S113 the CPU 74 controls the exposure time by the process of step S106 and controls the ND filter 80 in step S112 to adjust the difference in exposure amount between the divided area 122 and the divided area 124.
  • the size of the aperture of the diaphragm 19 is controlled by the diaphragm driving unit (not shown) based on the exposure amount after the exposure and the appropriate exposure amount.
  • the CPU 74 controls the size of the aperture of the aperture 19 to control the exposure amount of the entire captured image to the appropriate exposure amount, so that the user desires more.
  • the image which realized the expression which is said is obtained.
  • the imaging device 10C of this embodiment differs from the imaging device 10 of the first embodiment in that it has an imaging device body 12C instead of the imaging device body 12.
  • the imaging device main body 12C is different from the imaging device main body 12 in that it has a control unit 46C instead of the control unit 46.
  • the control unit 46C is different from the control unit 46 in that a secondary storage unit 78C is provided instead of the secondary storage unit 78.
  • the secondary storage unit 78C is different from the secondary storage unit 78 in that an exposure amount control processing program 79C is stored instead of the exposure amount control processing program 79.
  • the CPU 74 reads out the exposure amount control processing program 79C from the secondary storage unit 78C, expands it in the primary storage unit 76, and executes the exposure amount control processing shown in FIG. 16 according to the expanded exposure amount control processing program 79C.
  • the CPU 74 operates as the first control unit, the second control unit, the division unit, and the exposure time determination unit of the present disclosure by executing the exposure amount control processing program 79C.
  • an exposure amount control process shown in FIG. 16 will be described as an operation of the imaging device 10C of the present embodiment.
  • the description of the same operation as that of the first embodiment is omitted.
  • the method of determining the divided area 122 and the divided area 124 (the method of determining the boundary 120) and the method of determining the exposure time of the divided area 122 and the divided area 124 are used. It differs from the above embodiments.
  • the exposure amount control process of this embodiment is different from the exposure amount control process of the first embodiment (refer to FIG. 6) as shown in FIG. 16 in each process of steps S90 and S92 instead of steps S100 and S102.
  • the process of step S104A is performed instead of step S104.
  • the case of performing the exposure amount control processing on the live view image 130 displayed as an example in FIG. 17 displayed on the touch panel display 29 will be described.
  • step S90 the CPU 74 performs an image recognition process on the live view image 130 and includes the image recognition process in the live view image 130. Identify the type of object such as the subject to be Note that the type of object represents an object whose exposure time is controlled in order to make the image of the object a desired image of the user, and is not particularly limited and may be arbitrary, for example, "water”, “rock” , “Tree”, “sky” and the like.
  • the method for the CPU 74 to specify the type of an object such as a subject included in the live view image 130 by image recognition processing is not particularly limited.
  • an object of each pixel of the live view image 130 may be specified using a neural network learned by a plurality of image data.
  • the type of object corresponding to each pixel of the live view image 130 is specified, but instead of the pixel, the object corresponding to each area obtained by dividing the live view image 130 into a predetermined size
  • the type may be specified.
  • an image analysis process may be performed to extract a subject included in the live view image 130, and the type of the object may be identified by the image recognition process for each extracted subject.
  • FIG. 18 illustrates an example of a specification result of specifying the type of an object such as a subject included in the live view image 130.
  • the identification which specified four types of objects of "water”, “rock”, “tree”, and “sky” from the live view image 130 The results are shown.
  • the CPU 74 divides the live view image 130 into a plurality of divided areas in accordance with the specified type of object.
  • the division method by which the CPU 74 divides the live view image 130 is not particularly limited, and may be divided based on, for example, the type, size, and position of each identified object. In the example shown in FIG. 18, many objects that are "water” exist on the lower side (lower side in FIG. 18) of the live view image 130, and many objects that are "trees" on the upper side (upper side in FIG. 18). Exists. As described above in the above embodiments, the image having the "water” trace tends to be preferred by the user, while the image having no "tree” trace tends to be preferred by the user. Therefore, the CPU 74 according to the present embodiment divides the live view image 130 into divided areas 142 and 144 using the boundary between the “water” object and the “tree” object as the boundary 140.
  • the CPU 74 determines the exposure time of each of the divided area 142 and the divided area 144.
  • the method of determining the exposure time of each of the divided area 142 and the divided area 144 is not particularly limited. However, in the present embodiment, the CPU 74 first corresponds to the correspondence between the type of object and the exposure time illustrated in FIG.
  • the information 250 to represent is acquired.
  • the information 250 indicating the correspondence may be stored in advance in the secondary storage 78C, or may be stored in the memory card 66. Further, the information 250 representing the correspondence may be downloaded from an external device.
  • the CPU 74 refers to the information 250 indicating the correspondence relationship, and the exposure time according to the type of the object representing each of the divided area 142 and the divided area 144 as the exposure time of each of the divided area 142 and the divided area 144 decide. Specifically, since the type of the object representing divided area 142 is “water”, the exposure time corresponding to “water” is determined as the exposure time of divided area 142 with reference to information 250 representing the correspondence. . Further, since the type of the object representing the divided area 144 is “tree”, the exposure time corresponding to “tree” is determined as the exposure time of the divided area 144 with reference to the information 250 indicating the correspondence. As an example, the exposure time corresponding to “water”, which is the type of object representing divided area 142, is longer than the exposure time corresponding to “tree”, which is the type of object representing divided area 144.
  • the CPU 74 identifies the type of object included in the live view image 130 by image recognition processing, and based on the identification result, the live view image 130 is divided into divided areas 142 and divided areas. Divide into 144. Then, the CPU 74 determines the exposure time of each of the divided area 142 and the divided area 144 with reference to the information 250 indicating the correspondence based on the type of the object representing each of the divided area 142 and the divided area 144.
  • the live view image 130 can be appropriately divided into divided regions, which is appropriate.
  • the exposure time can be determined.
  • the fifth embodiment will be described in detail below.
  • the same components as the components described in the first embodiment are given the same reference numerals, and the description thereof is omitted.
  • the imaging device 10D of the present embodiment differs from the imaging device 10 of the first embodiment in that it has an imaging device body 12D instead of the imaging device body 12.
  • the imaging device body 12D is different from the imaging device body 12 in that a control unit 46D is provided instead of the control unit 46.
  • the control unit 46D is different from the control unit 46 in that a secondary storage unit 78D is provided instead of the secondary storage unit 78.
  • the secondary storage unit 78D differs from the secondary storage unit 78 in that the exposure control process program 79D is stored instead of the exposure control process program 79.
  • the CPU 74 reads out the exposure amount control processing program 79D from the secondary storage unit 78D, expands it in the primary storage unit 76, and executes the exposure amount control processing shown in FIG. 20 according to the expanded exposure amount control processing program 79D.
  • the CPU 74 operates as an example of the first control unit and the second control unit of the present disclosure by executing the exposure amount control processing program 79D.
  • an exposure amount control process shown in FIG. 20 will be described as an operation of the imaging device 10D of the present embodiment.
  • the description of the same operation as that of the first embodiment is omitted.
  • the exposure amount control process of this embodiment executes the processes of steps S114 to S118 after step S112. Is different.
  • the image displayed on the touch panel display 29 becomes an image whose exposure is controlled by the CPU 74.
  • the live view image 100 is displayed on the touch panel display 29.
  • the live view image 100 displayed on the touch panel display 29 may change.
  • the change in live view image 100 refers to a change in the so-called shooting scene, a change in the image of a subject (shooting target) included in the shot image, a change in framing (angle of view), a change due to enlargement or reduction, etc. Includes range changes.
  • the change of the subject includes the change of the natural phenomenon to be the subject such as rising and sinking of the sun and the way of reflection of light. Therefore, not only when the imaging device 10D itself moves, but also when the imaging device 10D itself does not move, a change occurs in the captured image.
  • step S114 the CPU 74 determines whether the live view image 100 has changed.
  • the method by which the CPU 74 determines whether or not the live view image 100 has changed is not particularly limited.
  • the imaging device 10D includes a gyro sensor that detects angular velocity information in the yaw direction, the low direction, and the pitch direction
  • the CPU 74 determines in advance the angular velocity corresponding to the angular velocity information detected by the gyro sensor. If the threshold is exceeded, it may be determined that the live view image 100 has changed.
  • step S114 determines whether the live view image 100 has changed. If the live view image 100 has changed, the determination in step S114 is positive, and the process proceeds to step S116.
  • step S116 the CPU 74 moves the position of the boundary 120 according to the change of the live view image, and then returns to step S106.
  • the method of moving the boundary 120 according to the change of the live view image 100 is not particularly limited. However, when angular velocity information is detected by the gyro sensor as in the above-described example, the method according to the speed or acceleration of the change of the live view image 100 Move the boundaries at different speeds. As such a method, for example, the CPU 74 performs template matching on the live view image 100 after movement using an image of a region including a part of the boundary 120 in the live view image 100 before movement as a template image. By doing, the position of the boundary 120 may be determined, and the boundary 120 may be moved by displaying the boundary 120 at the determined position.
  • the CPU 74 determines the position of the boundary 120 by deriving the optical flow of the boundary 120 in the live view image 100 before and after movement, and displays the boundary 120 at the determined position. You may move 120. Furthermore, for example, the CPU 74 determines the position of the boundary 120 according to the movement of the imaging device 10 detected based on the angular velocity (angular velocity information input from the sensor I / F 68) in each direction detected by the gyro sensor. The boundary 120 may be moved by displaying the boundary 120 at the determined position. In addition, the CPU 74 may move the boundary line 120 using an image analysis algorithm such as the KLT (Kanade-Lucas-Tomasi Feature Tracker).
  • KLT Kerade-Lucas-Tomasi Feature Tracker
  • step S114 determines whether there is no change in the live view image 100.
  • step S118 the CPU 74 determines whether or not the main exposure amount control process is to be ended.
  • the determination in step S118 is negative, and the process returns to step S114.
  • the determination in step S118 is positive, and the exposure amount control process ends.
  • the CPU 74 automatically moves the boundary line 120 according to the change of the live view image 100, and the divided area 122 divided according to the moved boundary line 120.
  • the control of the exposure amount by the exposure time and the control of the exposure amount by the ND filter 80 are performed on each of the divided regions 124 in combination.
  • the user does not have to instruct the boundary 120 again, and the user's convenience can be improved without reducing the image quality of the captured image.
  • the imaging device 10 (10A, 10B, 10C, and 10D) according to each of the above embodiments includes the imaging element 22 in which the plurality of pixels 90 are two-dimensionally arranged, and the subject is imaged through the imaging optical system
  • An imaging unit that outputs an image signal obtained by imaging with the imaging device 22, an image processing unit 56 that generates a captured image according to the image signal, and an ND that controls the amount of light per unit time incident on the imaging device 22
  • a filter 80 that outputs an image signal obtained by imaging with the imaging device 22
  • an image processing unit 56 that generates a captured image according to the image signal
  • an ND that controls the amount of light per unit time incident on the imaging device 22
  • a filter 80 that controls the amount of light per unit time incident on the imaging device 22
  • the CPU 74 controls the exposure time of the pixel 90 by controlling the exposure time of the pixel 90 for each of a plurality of divided areas obtained by dividing the captured image by executing the exposure amount control process, and an ND filter It functions as a second control unit that performs control to adjust the difference in exposure amount for each of a plurality of divided areas whose exposure amount is controlled by controlling the transmittance of 80 and controlling the exposure time.
  • the touch panel display 29 displays a captured image obtained by the exposure amount controlled by the CPU 74 based on the combination of the exposure time and the transmittance of the ND filter 80.
  • the CPU 74 controls the exposure time for each divided area (divided area 122 and divided area 124 or divided area 142 and divided area 144), and the divided area having a long exposure time by the ND filter 80.
  • the transmittance of the divided area 122 or the divided area 142
  • the difference in exposure amount generated by controlling the exposure time is adjusted. Therefore, according to the imaging device 10 (10A, 10B, 10C, and 10D) of each of the above-described embodiments, it is possible to obtain a captured image in which the effect of long time exposure and the effect of short time exposure are compatible.
  • imaging devices when it is not necessary to distinguish and describe the imaging devices 10, 10A, 10B, 10C, and 10D, they will be referred to as “imaging devices” without reference numerals.
  • the imaging device bodies 12, 12A, 12B, 12C, and 12D are referred to as “imaging device body” without reference numerals when it is not necessary to distinguish them.
  • the secondary storage units 78, 78A, 78B, 78C, and 78D they will be referred to as "secondary storage units” without a reference numeral.
  • exposure amount control processing programs 79, 79A, 79B, 79C, and 79D when collectively referred to, they are referred to as “exposure amount control processing program” without any reference numerals.
  • the live view image is divided into two divided areas, but may be divided into three or more divided areas.
  • the boundary line 174 divides the live view image 170 into a divided area 176, a divided area 178, and a divided area 180.
  • the exposure time corresponding to the shutter speed in this case is the shortest in the divided area 178 in which the image of the vehicle is included.
  • the CPU 74 controls the transmittance of the ND filter 80 so that the difference between the exposure amounts of the divided area 178 and the divided area 180 and the divided area with the exposure amount corresponding to the exposure time of the divided area 178 as a reference. Control is performed to make each of the differences in exposure amount between 178 and divided area 176 uniform.
  • the exposure amount control processing program is read from the secondary storage unit 78.
  • the secondary storage unit 78 does not have to be stored from the beginning.
  • the amount of exposure is first applied to any portable storage medium 300 such as a solid state drave (SSD), a universal serial bus (USB) memory, or a compact disc read only memory (CD-ROM).
  • a control processing program may be stored.
  • the exposure amount control processing program of the storage medium 300 is installed in the imaging apparatus main body, and the installed exposure amount control processing program is executed by the CPU 74.
  • the exposure amount control processing program is stored in a storage unit such as another computer or server device connected to the imaging device main body via a communication network (not shown), and the exposure amount control processing program It may be downloaded on request.
  • the downloaded exposure amount control processing program is executed by the CPU 74.
  • the exposure amount control process is realized by the software configuration using a computer, but the technology of the present disclosure is not limited to this.
  • the exposure amount control process may be executed only by a hardware configuration such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC).
  • the exposure amount control process may be executed by a combination of a software configuration and a hardware configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

ユーザが所望する表現を実現することができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供する。ＣＰＵ（７４）は、露光量制御処理を実行することにより、撮像画像を分割した複数の分割領域毎に、画素（９０）の露光時間を制御して画素（９０）の露光量を制御する第１制御部と、ＮＤフィルタ（８０）の透過率を制御して露光時間を制御することにより露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御部として機能する。タッチパネルディスプレイ（２９）には、ＣＰＵ（７４）により露光時間とＮＤフィルタ（８０）の透過率との組み合わせにより制御された露光量により得られた撮像画像が表示される。

Description

撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
　本開示の技術は、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに関する。
　撮像素子により撮像光学系を通して被写体を撮像する撮像装置において、撮像素子の露光量を制御する技術として、例えば、特許文献１～特許文献３には、いわゆる、デジタルＮＤ（Neutral Density）フィルタを用いた技術が開示されている。デジタルＮＤフィルタによれば、撮像光学系に対して物理的なＮＤフィルタを設けたことと同等の効果を得ることができる。
　ところで、被写体を撮像装置により撮像する手法として、通常よりも露光時間を長くする制御を行うことにより、例えば、川や滝等の動きを有する被写体における動きの軌跡を撮影する長時間露光とよばれる手法がある。なお、上記特許文献１～特許文献３には、露光時間を制御する技術が開示されている。
特開２０１５－１３６０８７号公報 特開２００４－５６３３１号公報 特開２００３－３２２８７８号公報
　しかしながら、一枚の撮像画像の中に動きの軌跡等を撮影したい被写体と、動きの軌跡を撮影したくない、いわばぶれを生じさせたくない被写体とが混在している場合、長時間露光を行ってしまうと、ぶれたくない被写体がぶれてしまい、ユーザが所望する表現を実現できない場合があった。
　本開示は、上記事情を考慮して成されたものであり、ユーザが所望する表現を実現することができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することを目的とする。
　上記目的を達成するために、本開示の第１の態様の撮像装置は、複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像生成部と、撮像素子に入射する単位時間あたりの光量を制御する光量制御部と、撮像画像を分割した複数の分割領域毎に、画素の露光時間を制御して画素の露光量を制御する第１制御部と、光量制御部を制御して、第１制御部により露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御部と、第２制御部により制御された露光量により得られた撮像画像を表示する表示部と、を備える。
　第２の態様の撮像装置は、第１の態様の撮像装置において、第２制御部は、複数の分割領域毎の露光量の差を予め定められた範囲内とする制御を行ってもよい。
　第３の態様の撮像装置は、第２の態様の撮像装置において撮像素子全体の露光量を決定する決定部と、第２制御部により露光量が制御された複数の分割領域各々の露光量を、決定部により決定された露光量に調整する制御を行う第３制御部と、をさらに備え、表示部は、第３制御部により制御された露光量により得られた撮像画像を表示してもよい。
　第４の態様の撮像装置は、第１の態様の撮像装置において、撮像素子全体の露光量を決定する決定部をさらに備え、第２制御部は、複数の分割領域各々の露光量を決定部が決定した露光量とすることで、複数の分割領域毎の露光量の差を調整してもよい。
　第５の態様の撮像装置は、第１の態様から第４の態様のいずれか１態様の撮像装置において、第２制御部は、複数の分割領域における予め定められた条件を満たす分割領域に対する第１制御部の露光量を基準として、複数の分割領域毎の露光量の差を調整する制御を行ってもよい。
　第６の態様の撮像装置は、第５の態様の撮像装置において、第２制御部は、露光時間が最も短いことを予め定められた条件としてもよい。
　第７の態様の撮像装置は、第１の態様から第６の態様のいずれか１態様の撮像装置において、第１制御部は、撮像画像の解析結果に基づいて撮像画像から導出した境界線に基づいて、撮像画像を複数の分割領域に分割してもよい。
　第８の態様の撮像装置は、第７の態様の撮像装置において、第１制御部は、撮像画像が変化した場合、境界線の位置を撮像画像の変化に基づいて調整してもよい。
　第９の態様の撮像装置は、第１の態様から第８の態様のいずれか１態様の撮像装置において、複数の分割領域毎の露光時間を受け付ける受付部をさらに備え、第１制御部は、受付部が受け付けた露光時間により制御を行ってもよい。
　第１０の態様の撮像装置は、第１の態様から第６の態様のいずれか１態様の撮像装置において、撮像画像の領域、撮像画像に含まれる被写体、及び撮像画像に対応する画素のいずれか毎に、対応するオブジェクトの種類を撮像画像を認識した認識結果に基づいて特定し、特定結果に基づいて撮像画像を複数の分割領域に分割する分割部と、オブジェクトの種類と露光時間との予め定められた対応関係に基づき、複数の分割領域各々の露光時間を決定する露光時間決定部と、をさらに備え、第１制御部は、露光時間決定部が決定した露光時間により制御を行ってもよい。
　第１１の態様の撮像装置は、第１の態様から第１０の態様のいずれか１態様の撮像装置において、第１制御部は、複数の画素の配列の行毎に、画素の露光時間を制御してもよい。
　第１２の態様の撮像装置の制御方法は、複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、撮像画像を分割した複数の分割領域毎に、画素の露光時間を制御して画素の露光量を制御する第１制御を行い、撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、第１制御により露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御を行い、第２制御により制御された露光量により得られた撮像画像を表示させる、処理を含む。
　第１３の態様の撮像装置の制御プログラムは、コンピュータに、複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、撮像画像を分割した複数の分割領域毎に、画素の露光時間を制御して画素の露光量を制御する第１制御を行い、撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、第１制御により露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御を行い、第２制御により制御された露光量により得られた撮像画像を表示させる、処理を実行させるための撮像装置のものである。
　本開示によれば、ユーザが所望する表現を実現することができる。
第１～第５実施形態の撮像装置の外観の一例を示す斜視図である。 第１～第５実施形態の撮像装置の背面側の外観の一例を示す背面図である。 第１～第５実施形態の撮像装置のハードウェア構成の一例を示すブロック図である。 第１～第５実施形態の撮像素子の一例を説明する構成図である。 第１～第５実施形態の撮像装置における露光時間の制御について説明するための図である。 第１実施形態の露光量制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 図７に示したライブビュー画像から導出された境界線及び分割領域の一例を説明するための図である。 ライブビュー画像のヒストグラムの一例を示す図である。 露光時間、ＮＤフィルタによる減光効果、及び露光量について説明するための図である。 第１実施形態の撮像装置により撮像される撮像画像の一例を示す図である。 比較例である、画像の全体に対して長時間露光を適用した場合の撮像画像の一例を示す図である。 比較例である、画像の全体に対して短時間露光を適用した場合の撮像画像の一例を示す図である。 第２実施形態の露光量制御処理の流れの一例を示すフローチャートである。 第３実施形態の露光量制御処理の流れの一例を示すフローチャートである。 第４実施形態の露光量制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 図１７に示したライブビュー画像に含まれるオブジェクトの種類を特定した特定結果の一例を示す図である。 オブジェクトの種類と露光時間との対応関係を表す情報の一例を示す図である。 第５実施形態の露光量制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 図２１のライブビュー画像に対する露光時間を説明するための図である。 実施形態の露光量制御処理プログラムが記憶された記憶媒体から露光量制御処理プログラムが撮像装置本体にインストールされる態様の一例を示す概念図である。
　以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。
［第１実施形態］
　まず、図１～図３を参照して、本実施形態の撮像装置１０の構成の一例について説明する。一例として図１に示すように、本実施形態の撮像装置１０は、レンズ交換式のデジタルカメラであり、撮像装置本体１２及び撮像レンズ１４を含む。
　撮像レンズ１４は、撮像装置本体１２に対して交換可能に装着される。撮像レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング１６が設けられている。撮像レンズ１４は、レンズユニット１８を含む。本実施形態のレンズユニット１８が、本開示の撮像光学系の一例である。
　レンズユニット１８は、フォーカスレンズ２０を含む複数のレンズが組み合わされた組み合わせレンズである。フォーカスレンズ２０は、フォーカスリング１６の手動による回転操作に伴って光軸Ｌ１方向に移動し、被写体距離に応じた合焦位置において後述の撮像素子２２の受光面２２Ａ（図３参照）に、被写体を示す反射光である被写体光が結像される。
　撮像装置本体１２の上面には、ダイヤル２４及びレリーズボタン２６が設けられている。ダイヤル２４は、撮像モードと再生モードとの切り替え等の各種設定の際に操作される。従って、撮像装置１０では、ダイヤル２４がユーザによって操作されることにより、動作モードとして撮像モードと再生モードとが選択的に設定される。
　撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。なお、本実施形態では、静止画像及び動画像を区別せず総称する場合は、単に「撮像画像」という。
　レリーズボタン２６は、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能に構成されている。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」及び「半押し位置から全押し位置まで押下される状態」を「全押し状態」という。
　オートフォーカスモードでは、レリーズボタン２６を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると本露光が行われる。つまり、レリーズボタン２６を半押し状態にすることによりＡＥ（Auto Exposure）機能が働いて露光量状態が設定された後、ＡＦ（Auto Focus）機能が働いて合焦制御され、レリーズボタン２６を全押し状態にすると撮像が行われる。
　一例として図２に示すように、撮像装置本体１２の背面には、ディスプレイ２８、十字キー３０、ＭＥＮＵ／ＯＫキー３２、ＢＡＣＫ／ＤＩＳＰボタン３４、ファインダ３６、及びタッチパネル３８が設けられている。
　ディスプレイ２８は、例えば、ＬＣＤ（Liquid Crystal Display）であり、撮像装置１０により被写体が撮像されることで得られた画像及び文字等を表示する。本実施形態のディスプレイ２８が、本開示の表示部の一例である。なお、本実施形態のディスプレイ２８は、タッチパネル３８と共に、タッチパネルディスプレイ２９として構成されている。ディスプレイ２８は、撮像モードにおけるライブビュー画像の表示に用いられる。ライブビュー画像は、スルー画像とも称され、撮像装置１０の撮像素子２２により被写体が連続フレームで撮像されて得られた連続フレーム画像である。なお、「撮像画像」という場合は、ライブビュー画像も含む。
　ディスプレイ２８は、静止画撮像の指示が与えられた場合に単一フレームにより撮像されて得られた静止画像の表示にも用いられる。更に、ディスプレイ２８は、再生モードにおける再生画像の表示及びメニュー画面等の表示にも用いられる。
　ディスプレイ２８の表示領域の表面には、透過型のタッチパネル３８が重ねられている。タッチパネル３８は、例えば、指またはスタイラスペン等の指示体による接触を検知する。タッチパネル３８は、タッチパネル３８に対する指示体による接触の有無等の検知結果を示す検知結果情報を予め定められた周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ（Central Processing Unit）７４、図３参照）に出力する。検知結果情報は、タッチパネル３８が指示体による接触を検知した場合、タッチパネル３８上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル３８が指示体による接触を検知していない場合、座標を含まない。
　十字キー３０は、１つまたは複数のメニューの選択、及びズーム又はコマ送り等の各種の指示に応じた指示内容信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー３２は、ディスプレイ２８の画面上に１つまたは複数のメニューを表示させる指示を行うためのメニュー（ＭＥＮＵ）ボタンとしての機能と、選択内容の確定及び実行等を指示する許可（ＯＫ）ボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン３４は、選択項目等、所望の対象の消去又は指定内容の取消し、あるいは１つ前の操作状態に戻す場合等に使用される。
　図３は、第１実施形態の撮像装置１０のハードウェア構成の一例を示すブロック図である。
　図３に示すように本実施形態の撮像装置本体１２はマウント１３を備えており（図１も参照）、撮像レンズ１４は、マウント１５を備えている。撮像レンズ１４は、マウント１３にマウント１５が結合されることにより撮像装置本体１２に交換可能に装着される。
　撮像レンズ１４は、上述したレンズユニット１８、絞り１９、及び制御装置４０を含む。制御装置４０は、マウント１３にマウント１５が接続されることで、撮像装置本体１２の外部Ｉ／Ｆ（Interface）７２を介してＣＰＵ７４と電気的に接続され、ＣＰＵ７４の指示に従って、撮像レンズ１４の全体を制御する。
　絞り１９は、レンズユニット１８よりも撮像装置本体１２側に設けられている。絞り１９には、図示を省略した絞り駆動部及び絞り駆動用モータが接続されている。絞り駆動部が、後述する受付デバイス６２によって受け付けられた指示に応じて、制御装置４０の制御下で、絞り駆動用モータを作動させることで、絞り１９の開口の大きさを調節することにより、レンズユニット１８を透過した被写体光の光量を調節し、被写体光を撮像装置本体１２内に導く。
　図３に示すように本実施形態の撮像装置本体１２は、撮像素子２２、第１ミラー４２、第２ミラー４４、制御部４６、ミラー駆動部４８、撮像素子ドライバ５０、画像信号処理回路５２、画像メモリ５４、画像処理部５６、表示制御部５８、ＮＤ（Neutral Density）フィルタ８０、及びＮＤフィルタ駆動部８２を含む。また、撮像装置本体１２は、受付Ｉ／Ｆ６０、受付デバイス６２、メディアＩ／Ｆ６４、及び外部Ｉ／Ｆ７２を含む。
　制御部４６は、本開示の技術のコンピュータの一例であり、ＣＰＵ７４、一次記憶部７６、及び二次記憶部７８を備えている。ＣＰＵ７４は、撮像装置１０の全体を制御する。一次記憶部７６は、各種プログラムの実行におけるワークエリア等として用いられる揮発性のメモリである。一次記憶部７６の一例としては、ＲＡＭ（Random Access Memory）等が挙げられる。本実施形態の二次記憶部７８は、詳細を後述する露光量制御処理プログラム７９を含む各種プログラム、及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部７８の一例としては、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）またはフラッシュメモリ等が挙げられる。本実施形態の露光量制御処理プログラム７９が、本開示の制御プログラムの一例である。
　ＣＰＵ７４、一次記憶部７６、及び二次記憶部７８は、バスライン８１に接続されている。また、ミラー駆動部４８、撮像素子ドライバ５０、画像信号処理回路５２、及びＮＤフィルタ駆動部８２も、バスライン８１に接続されている。また、画像メモリ５４、画像処理部５６、表示制御部５８、受付Ｉ／Ｆ６０、メディアＩ／Ｆ６４、及び外部Ｉ／Ｆ７２も、バスライン８１に接続されている。
　第１ミラー４２は、撮像素子２２の受光面２２Ａとレンズユニット１８との間に介在しており、受光面被覆位置αと受光面開放位置βとに移動可能な可動ミラーである。
　第１ミラー４２は、ミラー駆動部４８に接続されており、ミラー駆動部４８は、ＣＰＵ７４の制御下で、第１ミラー４２を駆動させ、第１ミラー４２を受光面被覆位置αと受光面開放位置βとに選択的に配置する。すなわち、第１ミラー４２は、受光面２２Ａに対して被写体光を受光させない場合にミラー駆動部４８によって受光面被覆位置αに配置され、受光面２２Ａに対して被写体光を受光させる場合にミラー駆動部４８によって受光面開放位置βに配置される。
　受光面被覆位置αでは、第１ミラー４２が受光面２２Ａを覆い、かつ、レンズユニット１８から送り込まれた被写体光を反射して第２ミラー４４に導く。第２ミラー４４は、第１ミラー４２から導かれた被写体光を反射することで光学系（図示省略）を介して、ファインダ３６に導く。ファインダ３６は、第２ミラー４４によって導かれた被写体光を透過させる。
　一方、受光面開放位置βでは、第１ミラー４２によって受光面２２Ａが覆われた状態が解除され、被写体光が第１ミラー４２により反射されることなく、受光面２２Ａによって受光される。
　本実施形態のＮＤフィルタ８０は、段階的な透過率を複数有するＮＤフィルタである。なお、例えば、ＮＤフィルタ８０は、連続的な透過率を複数有していてもよい。本実施形態のＮＤフィルタ８０は、受光面被覆位置αにおける第１ミラー４２と撮像素子２２との間の、光軸Ｌ１上に配置されている。ＮＤフィルタ８０は、ＮＤフィルタ駆動部８２に接続されている。ＣＰＵ７４は、ＮＤフィルタ駆動部８２によりＮＤフィルタ８０に印加する電圧を変化させることにより、予め定められた分解能に応じて、ＮＤフィルタ８０の透過率を制御する。ＣＰＵ７４は、このようにＮＤフィルタ８０の透過率を制御することで、撮像素子２２の露光量、より具体的には撮像素子２２に入射する単位時間あたりの光量を制御する。なお、以下では、ＣＰＵ７４がＮＤフィルタ８０の透過率を制御することにより、撮像素子２２の露光量を制御する処理を、「ＮＤフィルタ処理」という。本実施形態のＮＤフィルタ８０およびＮＤフィルタ駆動部８２が、本開示の光量制御部の一例である。
　本実施形態のＮＤフィルタ８０の具体例としては、電圧を印加すると分子が酸化還元反応を起こしたりラジカル状態になったりすることにより透過率が可逆的に変化するエレクトロクロミック素子、又は電圧を印加すると分子の向きが変わることにより透過率が可逆的に変化する液晶シャッター等が挙げられるが、これらに限定されない。また、液晶シャッターの具体例としては、ねじれネマティック（ＴＮ）型又はゲストホスト（ＧＨ）型の液晶シャッターが挙げられる。
　撮像素子ドライバ５０は、撮像素子２２に接続されている。本実施形態では、撮像素子２２として、ＣＣＤ（Charge Coupled Device）イメージセンサを用いているが、本開示の技術はこれに限定されず、例えば、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等の他のイメージセンサを用いてもよい。
　本実施形態の撮像素子２２は、一例として図４に示すように、複数の画素９０が二次元状に配列されている。なお、画素９０の数、配列における行の数、及び列の数は特に限定されない。ＣＰＵ７４から撮像素子ドライバ５０に出力される垂直同期信号、及び画像信号処理回路５２に出力される水平同期信号に基づいて各画素９０が駆動し、撮像素子２２の露光が制御される。
　一般に、撮像素子２２の露光時間は、水平同期信号の走査期間の間隔（以下「ＨＤ長」という）により制御される。そのため、図５に示すように、水平同期信号がＨＤ長Ｘを含む場合、ＨＤ長Ｘの前後のパルスに応じた画素９０の行、図５に示した場合では、第ｎ行と第ｎ＋１行とで画素９０における電荷の蓄積時間が変化することにより露光時間が変化し、第ｎ＋１行以降の行では、第ｎ行までの行に比べて、露光時間が短くなる。
　本実施形態のＣＰＵ７４は、画像信号処理回路５２に出力する水平同期信号のＨＤ長を変化させることにより、詳細を後述する分割領域毎に画素９０の露光時間を制御して、画素９０の露光量を制御する。なお、ＣＰＵ７４は、複数の画素の配列の行毎に、画素の露光時間を制御してもよい。
　画像信号処理回路５２は、上記水平同期信号に応じて撮像素子２２から１フレーム分の画像信号を画素毎に読み出す。画像信号処理回路５２は、読み出した画像信号に対して、相関二重サンプリング処理、自動利得調整、及びＡ／Ｄ（Analog／Digital）変換等の各種処理を行う。画像信号処理回路５２は、画像信号に対して各種処理を行うことでデジタル化した画像信号を、ＣＰＵ７４から供給されるクロック信号により規定される特定のフレームレート（例えば、数十フレーム／秒）で１フレーム毎に画像メモリ５４に出力する。
　本実施形態の撮像素子２２及び撮像素子ドライバ５０が本開示の撮像部の一例である。
　画像メモリ５４は、画像信号処理回路５２から入力された画像信号を一時的に保持する。
　画像処理部５６は、画像メモリ５４から特定のフレームレートで１フレーム毎に画像信号を取得し、取得した画像信号に対して、ガンマ補正、輝度変換、色差変換、及び圧縮処理等の各種処理を行う。また、画像処理部５６は、各種処理を行って得た画像信号を特定のフレームレートで１フレーム毎に表示制御部５８に出力する。更に、画像処理部５６は、各種処理を行って得た画像信号を、ＣＰＵ７４の要求に応じて、ＣＰＵ７４に出力する。本実施形態の画像処理部５６が、本開示の画像生成部の一例である。
　表示制御部５８は、タッチパネルディスプレイ２９のディスプレイ２８に接続されており、ＣＰＵ７４の制御下で、ディスプレイ２８を制御する。また、表示制御部５８は、画像処理部５６から入力された画像信号を１フレーム毎に特定のフレームレートでディスプレイ２８に出力する。
　ディスプレイ２８は、表示制御部５８から特定のフレームレートで入力された画像信号により示される画像をライブビュー画像として表示する。また、ディスプレイ２８は、単一フレームで撮像されて得られた単一フレーム画像である静止画像も表示する。なお、ディスプレイ２８には、ライブビュー画像の他に、再生画像及びメニュー画面等が表示される。
　受付デバイス６２は、ダイヤル２４、レリーズボタン２６、十字キー３０、ＭＥＮＵ／ＯＫキー３２、及びＢＡＣＫ／ＤＩＳＰボタン３４等を有しており、ユーザによる各種指示を受け付ける。本実施形態の受付デバイス６２が、本開示の受付部の一例である。
　タッチパネルディスプレイ２９のタッチパネル３８及び受付デバイス６２は、受付Ｉ／Ｆ６０に接続されており、受け付けた指示の内容を示す指示内容信号を受付Ｉ／Ｆ６０に出力する。受付Ｉ／Ｆ６０は、入力された指示内容信号をＣＰＵ７４に出力する。ＣＰＵ７４は、受付Ｉ／Ｆ６０から入力された指示内容信号に応じた処理を実行する。
　メディアＩ／Ｆ６４には、メモリカード６６が着脱可能に接続されている。メディアＩ／Ｆ６４は、ＣＰＵ７４の制御下で、メモリカード６６に対する画像ファイルの記録及び読み出しを行う。
　メディアＩ／Ｆ６４によってメモリカード６６から読み出された画像ファイルは、ＣＰＵ７４の制御下で、画像処理部５６によって伸長処理が施されてディスプレイ２８に再生画像として表示される。
　撮像装置１０では、受付デバイス６２により受け付けられた指示に応じて、動作モードが切り替えられる。例えば、撮像装置１０では、撮像モード下において、受付デバイス６２で受け付けられた指示に応じて、静止画撮像モードと動画撮像モードとが選択的に設定される。静止画撮像モード下では、静止画像ファイルがメモリカード６６に記録可能になり、動画撮像モード下では、動画像ファイルがメモリカード６６に記録可能になる。
　ＣＰＵ７４は、静止画撮像モード下でレリーズボタン２６によって静止画像の撮像の指示が受け付けられた場合、撮像素子ドライバ５０を制御することで、撮像素子２２に１フレーム分の本露光を行わせる。画像処理部５６は、ＣＰＵ７４の制御下で、１フレーム分の露光が行われることによって得られた画像信号を取得し、取得した画像信号に対して圧縮処理を施して特定の静止画像用フォーマットの静止画像ファイルを生成する。なお、特定の静止画像用フォーマットは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式のフォーマットであってもよい。静止画像ファイルは、ＣＰＵ７４の制御下で、画像処理部５６によって、メディアＩ／Ｆ６４を介してメモリカード６６に記録される。
　画像処理部５６は、動画撮像モード下でレリーズボタン２６によって動画像の撮像の指示が受け付けられた場合、ライブビュー画像用の画像信号に対して圧縮処理を施して特定の動画像用フォーマットの動画像ファイルを生成する。なお、特定の動画像用フォーマットとは、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のフォーマットであってもよい。動画像ファイルは、ＣＰＵ７４の制御下で、画像処理部５６によって、メディアＩ／Ｆ６４を介してメモリカード６６に記録される。
　次に、本実施形態の撮像装置１０の作用として、本実施形態の露光量制御処理を実行する場合の撮像装置１０の作用について説明する。
　本実施形態の撮像装置１０では、撮像モードにおいて、上述したように、タッチパネルディスプレイ２９にライブビュー画像が表示される。そして、本実施形態の撮像装置１０では、タッチパネルディスプレイ２９に表示されたライブビュー画像の露光量を制御する露光量制御処理が実行される。
　具体的には、撮影モードに移行した後、受付デバイス６２により、長時間露光を行う旨の指示または短時間露光を行う旨の指示を受け付けると、本実施形態の撮像装置１０のＣＰＵ７４は、二次記憶部７８から露光量制御処理プログラム７９を読み出して一次記憶部７６に展開して実行することにより、図６に一例を示した、露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９を実行することにより、本開示の第１制御部及び第２制御部の一例として機能する。
　なお、以下では、説明の便宜上、タッチパネルディスプレイ２９に表示された、図７に一例として示したライブビュー画像１００に対して露光量制御処理を実行する場合について説明する。
　本実施形態の撮像装置１０では、ライブビュー画像１００を境界線により分割することにより設定された複数の分割領域毎に露光量の制御を行う。換言すると、本実施形態のＣＰＵ７４は、ライブビュー画像１００を境界線により分割して得られた分割領域毎に、露光量を制御する。
　そのため、まず、図６のステップＳ１００において、ＣＰＵ７４は、ライブビュー画像１００を画像解析し、露光量を制御する領域を設定するための境界線の位置を決定する。図８には、ライブビュー画像１００について決定された境界線１２０の一例を示す。
　なお、ＣＰＵ７４が、境界線１２０の位置を決定する方法は特に限定されない。例えば、タッチパネルディスプレイ２９に表示されたライブビュー画像１００を指先等でなぞること等によりユーザが指定した境界線１２０の位置の座標を取得し、取得した座標に基づいて、境界線１２０を決定してもよい。
　また、境界線の決定方法として、ＣＰＵ７４がライブビュー画像１００に基づいて自動的に境界線を決定する形態としてもよい。例えば、ＣＰＵ７４は、ライブビュー画像１００を画像解析することにより得られたヒストグラム（輝度分布）に基づいて、境界線の位置を決定してもよい。一例として、図９に、ライブビュー画像１００のヒストグラム２００を示す。図９に示したヒストグラム２００は、横軸を輝度値（明るさ）とし、縦軸を画素数（頻度）としたライブビュー画像１００の輝度分布を示している。なお、以下では、「輝度値」を単に「輝度」という場合がある。
　ＣＰＵ７４は、ヒストグラム２００から、輝度値の山２０２と山２０４との間の谷となる範囲２０６を検出し、検出した範囲２０６の中から予め定められた基準に基づいて特定の１つの輝度値２０８を決定する。この場合の予め定められた基準としては、例えば、範囲２０６の中間値であること、又は最低画素数となる輝度値であること等が挙げられる。そして、ＣＰＵ７４は、決定した輝度値２０８に対応する画素の位置に基づいて、例えば、ライブビュー画像１００において、輝度値が輝度値２０８である、画素を最も多く含む直線を境界線１２０とすることにより、ライブビュー画像１００における境界線１２０の位置を決定すればよい。
　なお、図９に示したヒストグラム２００が、輝度値の山となる部分が２つ（山２０２及び山２０４）である場合を示したが、輝度値の山となる部分が３つ以上、すなわち、谷となる範囲２０６が２つ以上である場合であっても、ヒストグラムから境界線１２０の位置を決定することができる。この場合、例えば、複数の谷となる範囲２０６の各々から決定された輝度値のうちから、最小値等、予め定められた基準を満たす輝度値を決定し、決定した輝度値に基づいて境界線１２０の位置を決定すればよい。
　また、境界線１２０の位置のその他の決定方法としては、ライブビュー画像１００の端部から順に輝度または濃度に基づいてコントラストを抽出し、コントラストが急に変化する位置を、境界線１２０の位置として決定してもよい。
　次のステップＳ１０２において、ＣＰＵ７４は、決定した境界線１２０に基づいて、ライブビュー画像１００を、複数の分割領域に分割する。図８では、ライブビュー画像１００が、境界線１２０により、分割領域１２２及び分割領域１２４に分割された状態の一例を示している。分割領域１２２は、画素９０の０行目からｍ行目までの領域に対応し、分割領域１２４は、画素９０のｍ＋１行目からｎ行目までの領域に対応している。
　次のステップＳ１０４において、ＣＰＵ７４は、分割領域毎に露光時間を決定する。具体的には、ＣＰＵ７４は、ユーザの所望の露光時間とするため、ユーザが分割領域毎に指示した露光時間を受付デバイス６２により受け付け、受け付けた露光時間を各分割領域の露光時間として決定する。例えば、図８に示したライブビュー画像１００では、分割領域１２２は、水（川）の流れの軌跡を残した画像とするため、ユーザは、軌跡を残すのに十分な比較的長い露光時間を指示する。一方、分割領域１２４は、風で揺れる木や葉等の軌跡がぶれとして表れるのを避けるため、ユーザは分割領域１２２よりも短い露光時間を指示する。図１０には、「露光時間の制御」として、分割領域１２２及び分割領域１２４における露光時間の一例を示す。
　次のステップＳ１０６において、ＣＰＵ７４は、決定した露光時間に応じた水平同期信号を出力する。本実施形態では、上記ＨＤ長Ｘを長くするほど露光時間が短くなり、ＨＤ長Ｘを短くするほど露光時間が長くなる。本実施形態においてＣＰＵ７４は、ＨＤ長Ｘと露光時間との対応関係を二次記憶部７８に予め記憶しておき、二次記憶部７８に記憶されている対応関係に基づいて、露光時間に応じたＨＤ長Ｘを導出する。そしてＣＰＵ７４は、導出したＨＤ長Ｘを含む水平同期信号を画像信号処理回路５２に出力する。
　なお、画素９０において短時間露光を行う画素９０における露光期間は、長時間露光を行う画素９０における露光期間内に含まれるものとする制御を行うことが好ましい。例えば、ＣＰＵ７４は、露光を開始するタイミングを同一とする制御を行ってもよいし、露光を終了するタイミングを同一とする制御を行ってもよいし、また、露光期間の中心となるタイミングを同一とする制御を行ってもよい。
　次のステップＳ１０８において、ＣＰＵ７４は、最も露光時間が短い分割領域を基準として、他の分割領域との露光時間の差を導出する。図８に示したライブビュー画像１００の例では、分割領域が分割領域１２２及び分割領域１２４の２つであり、分割領域１２４の方が露光時間が短い。そのため、分割領域１２４の露光時間を基準として、分割領域１２２の露光時間との差を導出する。ライブビュー画像１００の場合では、分割領域１２２は分割領域１２４に比べて露光時間が長いため、分割領域１２４よりも露光量が多い。
　次のステップＳ１１０において、ＣＰＵ７４は、ステップＳ１０８において導出した露光時間の差に基づき、分割領域毎にＮＤフィルタ８０のＮＤフィルタ処理を行うためのフィルタ係数（減光効果を表す段数）を導出する。
　上述したように、分割領域１２２の露光量と分割領域１２４の露光量とが異なるため、ライブビュー画像１００全体の露光量を均一とすべく、ＮＤフィルタ処理を行う。なお、ここでいう露光量の「均一」とは、完全に露光量が一致していることの他、露光量の差が、誤差、ＮＤフィルタ８０の透過率の分解能（段数）、及び露光時間の分解能等に応じて予め定められた範囲内であることも含むものとする。
　具体的には、露光時間が長く、露光量が多い分割領域１２２に対してＮＤフィルタ８０の減光効果を高くするために透過率を低くすることにより、分割領域１２４の露光量と同様の露光量とすることにより、ライブビュー画像１００全体の露光量を均一とする。図１０に「ＮＤフィルタによる制御」として示した一例では、分割領域１２４に対してはＮＤフィルタ８０による減光を行わない、すなわち透過率１００％としている。そのため、露光時間の制御と、ＮＤフィルタ８０による制御とを組み合わせた結果である分割領域１２２の実際の露光量は、ＮＤフィルタ８０による影響を受けず、露光時間に応じた露光量と同様となる。
　一方、分割領域１２２に対してはＮＤフィルタ８０による減光を行って透過率を低くする。これにより、図１０に「実際の露光量」として示すように、露光時間の制御とＮＤフィルタ８０による制御とを組み合わせた結果である分割領域１２２の実際の露光量は、ＮＤフィルタ８０の影響を受けて、分割領域１２４の実際の露光量と同様となる。
　そのため、ＣＰＵ７４は、露光時間の差に基づき、分割領域毎にＮＤフィルタ８０のＮＤフィルタ処理を行うためのフィルタ係数を導出するが、具体的な導出方法は特に限定されない。例えば、露光時間の差とフィルタ係数との対応関係を表す情報を二次記憶部７８に予め記憶させておき、二次記憶部７８に記憶されている対応関係を表す情報から導出した露光時間に対応するフィルタ係数を、分割領域１２２に対応するフィルタ係数として導出してもよい。
　次のステップＳ１１２において、ＣＰＵ７４は、上記ステップＳ１１０において導出したＮＤフィルタ８０のフィルタ係数に応じてＮＤフィルタ８０を駆動させる指示をＮＤフィルタ駆動部８２に出力した後、本露光量制御処理を終了する。
　これにより、タッチパネルディスプレイ２９に表示されるライブビュー画像１００が、ＣＰＵ７４により露光量が制御された画像となる。ユーザによりレリーズボタン２６を用いた撮像の指示が行われると、ＣＰＵ７４によって露光量が制御された状態において撮像素子２２により撮像されて得られた撮像画像がメモリカード６６に記録される。
　このように本実施形態の撮像装置１０では、ＣＰＵ７４が分割領域（分割領域１２２及び分割領域１２４）毎に、露光時間を制御し、また、ＮＤフィルタ８０により露光時間が長い分割領域（分割領域１２２）の透過率を、露光時間が最も短い分割領域（分割領域１２４）の透過率に比べて低くすることで、露光時間の差により生じた分割領域毎の露光量の差を均一にする。
　従って、本実施形態の撮像装置１０によれば、長時間露光の効果と、短時間露光の効果とを両立させた撮像画像を得ることができる。
　本実施形態の撮像装置１０における上記露光量制御処理を実行した結果、タッチパネルディスプレイ２９に表示されるライブビュー画像１５０を図１１に示す。図１１に示したように、分割領域１２２に対応するライブビュー画像１５０の部分画像１５２では、長時間露光の効果により水の流れの軌跡が映った画像となる。また、分割領域１２４の部分に対応するライブビュー画像１５０の部分画像１５４では、短時間露光の効果により葉の揺れ等の映したくない軌跡が映っておらず、被写体（葉等）の画像はぶれていない。すなわち、図１１に示したライブビュー画像１５０は、長時間露光の効果と、短時間露光の効果とを両立させた撮像画像となっており、ユーザが所望とする表現を実現した画像が得られる。
　一方、本実施形態の撮像装置１０との比較のため、本実施形態の撮像装置１０と異なり、撮像画像全体の露光時間を同一とした場合、ユーザが所望とする表現を実現した画像が得られない。
　例えば、図１２には、上述した分割領域１２２の露光時間に分割領域１２４の露光時間を合わせた場合のライブビュー画像５００の一例を示す。すなわち、ライブビュー画像５００は、画像の全体に対して長時間露光を適用した場合となる。図１２に示したように、分割領域１２２に対応するライブビュー画像５００の部分画像５０２では、長時間露光の効果により水の流れの軌跡が映った画像となる。一方、分割領域１２４に対応するライブビュー画像５００の部分画像５０４では、葉のゆれ等、映したくない軌跡が映ってしまうことにより、被写体（葉や木）がぶれた画像となっており、ユーザが所望とする表現を実現した画像が得られていない。
　また例えば、図１３には、上述した分割領域１２４の露光時間に分割領域１２２の露光時間を合わせた場合のライブビュー画像６００の一例を示す。すなわち、ライブビュー画像６００は、画像の全体に対して短時間露光を適用した場合となる。図１３に示したように、分割領域１２４の部分に対応するライブビュー画像６００の部分画像６０４では、短時間露光の効果により葉の揺れ等の映したくない軌跡が映っておらず、被写体（葉等）の画像はぶれていない。一方、分割領域１２２の部分に対応するライブビュー画像６００の部分画像６０２では、映したい水の流れの軌跡が映っていない画像となっており、ユーザが所望とする表現を実現した画像が得られていない。
［第２実施形態］
　以下、第２実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
　一例として図１～図３に示すように、本実施形態の撮像装置１０Ａは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ａを有する点が異なる。
　一例として図３に示すように、撮像装置本体１２Ａは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ａを有する点が異なる。制御部４６Ａは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ａを有する点が異なる。
　一例として図３に示すように、二次記憶部７８Ａは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ａを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ａから露光量制御処理プログラム７９Ａを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ａに従って図１４に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ａを実行することにより本開示の第１制御部、第２制御部、及び決定部の一例として動作する。
　次に、本実施形態の撮像装置１０Ａの作用として、図１４に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。
　図１４に示すように、本実施形態では、第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１００の前にステップＳ９８の処理を実行する点、及びステップＳ１１０に代わりステップＳ１１１の処理を実行する点が異なっている。
　図１４に示すように、本実施形態では、露光量制御処理の実行を開始するとまず、ステップＳ９８において、ＣＰＵ７４は、ライブビュー画像１００（撮像画像）全体の露光量を決定する。ここで決定するライブビュー画像１００全体の露光量は、最終的な撮像画像の露光量（以下では「適正露光量」という）となる。本実施形態では、ユーザが指示した所望の露光量を受付デバイス６２により受け付け、受け付けた露光量を適正露光量として決定する。なお、適正露光量の決定方法は特に限定されず、例えば、ＣＰＵ７４は、ライブビュー画像１００に対して画像解析を行った結果に基づいて、適正露光量を決定してもよい。
　また、ステップＳ１１１において、ＣＰＵ７４は、上記ステップＳ１０８において導出した露光時間の差、及び上記ステップＳ９８で決定した適正露光量に基づき、分割領域毎にＮＤフィルタ８０のＮＤフィルタ処理を行うためのフィルタ係数（減光効果を表す段数）を導出する。例えば、ＣＰＵ７４は、
　このように本実施形態の撮像装置１０Ａによれば、ＣＰＵ７４がＮＤフィルタ処理により撮像画像全体の露光量を適正露光量とする制御を行うため、より、ユーザが所望とする表現を実現した画像が得られる。
［第３実施形態］
　以下、第３実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
　一例として図１～図３に示すように、本実施形態の撮像装置１０Ｂは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ｂを有する点が異なる。
　一例として図３に示すように、撮像装置本体１２Ｂは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ｂを有する点が異なる。制御部４６Ｂは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ｂを有する点が異なる。
　一例として図３に示すように、二次記憶部７８Ｂは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ｂを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ｂから露光量制御処理プログラム７９Ｂを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ｂに従って図１５に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ｂを実行することで本開示の第１制御部、第２制御部、第３制御部、及び決定部の一例として動作する。
　次に、本実施形態の撮像装置１０Ｂの作用として、図１５に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。
　図１５に示すように、本実施形態では、第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１００の前にステップＳ９８の処理を実行する点、及びステップＳ１１２の後にステップＳ１１３の処理を実行する点が異なっている。
　ステップＳ９８の処理は、第２実施形態の露光量制御処理（図１４参照）と同様であるため説明を省略する。
　図１５に示すようにステップＳ１１３において、ＣＰＵ７４は、上記ステップＳ１０６の処理による露光時間の制御、及び上記ステップＳ１１２におけるＮＤフィルタ８０の制御により分割領域１２２と分割領域１２４との露光量の差が調整された後の露光量と、適正露光量とに基づき、絞り１９の開口の大きさを図示を省略した絞り駆動部により制御する。
　このように本実施形態の撮像装置１０Ｂによれば、ＣＰＵ７４が絞り１９の開口の大きさを制御することにより撮像画像全体の露光量を適正露光量とする制御を行うため、より、ユーザが所望とする表現を実現した画像が得られる。
［第４実施形態］
　以下、第４実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
　一例として図１～図３に示すように、本実施形態の撮像装置１０Ｃは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ｃを有する点が異なる。
　一例として図３に示すように、撮像装置本体１２Ｃは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ｃを有する点が異なる。制御部４６Ｃは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ｃを有する点が異なる。
　一例として図３に示すように、二次記憶部７８Ｃは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ｃを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ｃから露光量制御処理プログラム７９Ｃを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ｃに従って図１６に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ｃを実行することで本開示の第１制御部、第２制御部、分割部、及び露光時間決定部として動作する。
　次に、本実施形態の撮像装置１０Ｃの作用として、図１６に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。
　本実施形態の撮像装置１０Ｃで行われる露光量制御処理では、分割領域１２２及び分割領域１２４の決定方法（境界線１２０の決定方法）、及び分割領域１２２及び分割領域１２４の露光時間の決定方法が上記各実施形態と異なる。
　そのため本実施形態の露光量制御処理は、図１６に示すように上記第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１００及びステップＳ１０２に代わりステップＳ９０及びステップＳ９２の各処理を実行する点、及びステップＳ１０４に代わりステップＳ１０４Ａの処理を実行する点が異なる。なお、本実施形態では、説明の便宜上、タッチパネルディスプレイ２９に表示された、図１７に一例として示したライブビュー画像１３０に対して露光量制御処理を実行する場合について説明する。
　図１６に示すように、本実施形態では、露光量制御処理の実行を開始するとまず、ステップＳ９０において、ＣＰＵ７４は、ライブビュー画像１３０に対して、画像認識処理を行い、ライブビュー画像１３０に含まれる被写体等のオブジェクトの種類を特定する。なお、オブジェクトの種類は、そのオブジェクトの画像をユーザの所望の画像とするために露光時間を制御する対象を表し、特に限定されず任意とすることができるが、例えば「水」、「岩」、「木」、及び「空」等が挙げられる。
　ＣＰＵ７４が画像認識処理によりライブビュー画像１３０に含まれる被写体等のオブジェクトの種類を特定する方法は特に限定されない。例えば、複数の画像データにより学習されたニューラルネットワークを用いて、ライブビュー画像１３０の各画素のオブジェクトを特定してもよい。なお、本実施形態では、ライブビュー画像１３０の画素毎に対応するオブジェクトの種類を特定したが、画素に代わり、ライブビュー画像１３０を予め定められた大きさに分割した領域毎に対応するオブジェクトの種類を特定してもよい。また、画像解析処理を行いライブビュー画像１３０に含まれる被写体を抽出し、抽出した被写体毎に画像認識処理によりオブジェクトの種類を特定してもよい。
　図１８には、ライブビュー画像１３０に含まれる被写体等のオブジェクトの種類を特定した特定結果の一例を示す。図１８に示した一例では、ライブビュー画像１３０から「水（water）」、「岩（rock）」、「木（tree）」、及び「空（sky）」の四種類のオブジェクトを特定した特定結果を示している。
　次のステップＳ９２において、ＣＰＵ７４は、特定したオブジェクトの種類に応じて、ライブビュー画像１３０を複数の分割領域に分割する。ＣＰＵ７４がライブビュー画像１３０を分割する分割方法は特に限定されず、例えば、特定したオブジェクト毎の種類、大きさ、及び位置等に基づいて分割してもよい。図１８に示した一例では、ライブビュー画像１３０の下側（図１８における下側）に「水」であるオブジェクトが多く存在し、上側（図１８における上側）に「木」であるオブジェクトが多く存在する。上記各実施形態で上述したように「水」の軌跡を残した画像がユーザに好まれる傾向があり、一方、「木」の軌跡が残らない画像がユーザに好まれる傾向がある。そこで、本実施形態のＣＰＵ７４は、「水」のオブジェクトと「木」のオブジェクトの境界を、境界線１４０として用いてライブビュー画像１３０を分割領域１４２及び分割領域１４４に分割する。
　次のステップＳ１０４Ａにおいて、ＣＰＵ７４は、分割領域１４２及び分割領域１４４各々の露光時間を決定する。分割領域１４２及び分割領域１４４各々の露光時間を決定する方法は特に限定されないが、本実施形態では、一例としてＣＰＵ７４はまず、図１９に一例を示したオブジェクトの種類と露光時間との対応関係を表す情報２５０を取得する。なお、対応関係を表す情報２５０は、予め二次記憶７８Ｃに記憶させておいてもよいし、メモリカード６６に記憶させておいてもよい。また、外部装置から対応関係を表す情報２５０をダウンロードする形態であってもよい。
　そしてＣＰＵ７４は、露光時間を対応関係を表す情報２５０を参照して、分割領域１４２及び分割領域１４４各々を代表するオブジェクトの種類に応じた露光時間を分割領域１４２及び分割領域１４４各々の露光時間として決定する。具体的には、分割領域１４２を代表するオブジェクトの種類は「水」であるため、対応関係を表す情報２５０を参照して「水」に対応する露光時間を分割領域１４２の露光時間として決定する。また、分割領域１４４を代表するオブジェクトの種類は「木」であるため、対応関係を表す情報２５０を参照して「木」に対応する露光時間を分割領域１４４の露光時間として決定する。一例として、分割領域１４２を代表するオブジェクトの種類である「水」に対応する露光時間は、分割領域１４４を代表するオブジェクトの種類である「木」に対応する露光時間よりも長い。
　このように本実施形態の撮像装置１０Ｃによれば、ＣＰＵ７４が画像認識処理によりライブビュー画像１３０に含まれるオブジェクトの種類を特定し、特定結果に基づいてライブビュー画像１３０を分割領域１４２及び分割領域１４４に分割する。そしてＣＰＵ７４は、分割領域１４２及び分割領域１４４各々を代表するオブジェクトの種類に基づいて、対応関係を表す情報２５０を参照して分割領域１４２及び分割領域１４４各々の露光時間を決定する。
　これにより、本実施形態の撮像装置１０Ｃによれば、ユーザが撮像装置１０Ｃの操作に不慣れな場合であっても、ライブビュー画像１３０の分割領域への分割を適切に行うことができ、適切な露光時間を決定することができる。
［第５実施形態］
　以下、第５実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
　一例として図１～図３に示すように、本実施形態の撮像装置１０Ｄは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ｄを有する点が異なる。
　一例として図３に示すように、撮像装置本体１２Ｄは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ｄを有する点が異なる。制御部４６Ｄは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ｄを有する点が異なる。
　一例として図３に示すように、二次記憶部７８Ｄは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ｄを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ｄから露光量制御処理プログラム７９Ｄを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ｄに従って図２０に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ｄを実行することで本開示の第１制御部及び第２制御部の一例として動作する。
　次に、本実施形態の撮像装置１０Ｄの作用として、図２０に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。
　本実施形態の露光量制御処理は、図２０に示すように上記第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１１２の後に、ステップＳ１１４～Ｓ１１８の各処理を実行する点が異なる。
　上述したように露光量制御処理のステップＳ１１２まで実行することにより、タッチパネルディスプレイ２９に表示されている画像は、ＣＰＵ７４により露光量が制御された画像となる。以下では、説明の便宜上、タッチパネルディスプレイ２９にライブビュー画像１００が表示されているものとする。
　この後、タッチパネルディスプレイ２９に表示されているライブビュー画像１００が変化する場合がある。なお、ライブビュー画像１００の変化とは、いわゆる撮影シーンの変化や、撮像画像に含まれる被写体（撮像対象）の画像の変化、フレーミング（画角）の変化、拡大又は縮小等による変化、及び撮影範囲の変化を含む。また、被写体の変化としては、太陽の昇りや沈み、光の反射の仕方等、被写体となる自然現象の変化も含む。そのため、撮像装置１０Ｄ自身が動く場合に限らず、撮像装置１０Ｄ自身が動かない場合でも、撮像画像の変化は生じる。
　ステップＳ１１４において、ＣＰＵ７４は、ライブビュー画像１００が変化したか否かを判定する。ＣＰＵ７４がライブビュー画像１００が変化したか否かを判定する方法は特に限定されない。例えば、撮像装置１０Ｄがヨー方向、ロー方向、及びピッチ方向の各角速度情報を検出するジャイロセンサを備えている場合、ＣＰＵ７４は、ジャイロセンサにより検出された角速度情報に応じた角速度が予め定められた閾値を超えた場合に、ライブビュー画像１００が変化したと判定してもよい。
　ライブビュー画像１００が変化した場合、ステップＳ１１４の判定が肯定判定となり、ステップＳ１１６へ移行する。ステップＳ１１６において、ＣＰＵ７４は、ライブビュー画像の変化に応じて境界線１２０の位置を移動させた後、ステップＳ１０６に戻る。
　ライブビュー画像１００の変化に応じて境界線１２０を移動させる方法は特に限定されないが、上述の例のようにジャイロセンサにより角速度情報を検出した場合、ライブビュー画像１００の変化の速度または加速度に応じた速度で境界線を移動させる。このような方法として、例えば、ＣＰＵ７４は、移動前のライブビュー画像１００における境界線１２０の一部を含む領域の画像をテンプレート画像として用いて、移動後のライブビュー画像１００に対してテンプレートマッチングを行うことにより、境界線１２０の位置を決定し、決定した位置に境界線１２０を表示させることにより、境界線１２０を移動させてもよい。また例えば、ＣＰＵ７４は、移動前後のライブビュー画像１００における境界線１２０のオプティカルフローを導出することにより、境界線１２０の位置を決定し、決定した位置に境界線１２０を表示させることにより、境界線１２０を移動させてもよい。さらに例えば、ＣＰＵ７４は、ジャイロセンサが検出した各方向における角速度（センサＩ／Ｆ６８から入力された角速度情報）に基づいて検出した撮像装置１０の動きに応じて、境界線１２０の位置を決定し、決定した位置に境界線１２０を表示させることにより、境界線１２０を移動させてもよい。また、ＣＰＵ７４は、ＫＬＴ（Kanade-Lucas-Tomasi Feature Tracker）等の画像解析アルゴリズムを用いて境界線１２０を移動させてもよい。
　一方、ライブビュー画像１００に変化がない場合、ステップＳ１１４の判定が否定判定となり、ステップＳ１１８へ移行する。
　ステップＳ１１８において、ＣＰＵ７４は、本露光量制御処理を終了するか否かを判定する。露光量制御処理を終了しない場合、ステップＳ１１８の判定が否定判定となり、ステップＳ１１４に戻る。一方、終了する場合、ステップＳ１１８の判定が肯定判定となり、本露光量制御処理を終了する。
　このように本実施形態の撮像装置１０Ｄによれば、ＣＰＵ７４がライブビュー画像１００の変化に応じて境界線１２０を自動的に移動させ、移動後の境界線１２０に応じて分割された分割領域１２２及び分割領域１２４各々に対して露光時間による露光量の制御とＮＤフィルタ８０による露光量の制御とを組み合わせて行う。
　従って、ライブビュー画像１００が変化した場合でもユーザが境界線１２０の指示を再び行うこと等がなくなるため、撮像画像の画質を低下させることなく、ユーザの利便性を向上させることができる。
　以上説明したように、上記各実施形態の撮像装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）は、複数の画素９０が２次元状に配列された撮像素子２２を含み、撮像光学系を通して被写体を撮像素子２２により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像処理部５６と、撮像素子２２に入射する単位時間あたりの光量を制御するＮＤフィルタ８０と、を備える。
　ＣＰＵ７４は、露光量制御処理を実行することにより、撮像画像を分割した複数の分割領域毎に、画素９０の露光時間を制御して画素９０の露光量を制御する第１制御部と、ＮＤフィルタ８０の透過率を制御して露光時間を制御することにより露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御部として機能する。タッチパネルディスプレイ２９には、ＣＰＵ７４により露光時間とＮＤフィルタ８０の透過率との組み合わせにより制御された露光量により得られた撮像画像が表示される。
　このように本実施形態のＣＰＵ７４は、分割領域（分割領域１２２及び分割領域１２４または分割領域１４２及び分割領域１４４）毎に、露光時間を制御し、また、ＮＤフィルタ８０により露光時間が長い分割領域（分割領域１２２または分割領域１４２）の透過率を制御することにより、露光時間を制御することによって生じた露光量の差を調整する。そのため、上記各実施形態の撮像装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）によれば、長時間露光の効果と、短時間露光の効果とを両立させた撮像画像を得ることができる。
　従って、上記各実施形態の撮像装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）によれば、ユーザが所望する表現を実現することができる。
　以下では、説明の便宜上、撮像装置１０、１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄを区別して説明する必要がない場合、符号を付さずに「撮像装置」と称する。また、以下では、説明の便宜上、撮像装置本体１２、１２Ａ、１２Ｂ、１２Ｃ、及び１２Ｄを区別して説明する必要がない場合、符号を付さずに「撮像装置本体」と称する。また、以下では、説明の便宜上、二次記憶部７８、７８Ａ、７８Ｂ、７８Ｃ、及び７８Ｄを区別して説明する必要がない場合は、符号を付さずに「二次記憶部」と称する。また、以下では、説明の便宜上、露光量制御処理プログラム７９、７９Ａ、７９Ｂ、７９Ｃ、及び７９Ｄを総称する場合、符号を付さずに「露光量制御処理プログラム」と称する。
　なお、上記各実施形態では、ライブビュー画像を２つの分割領域に分割する形態について説明したが、３つ以上の分割領域に分割してもよい。例えば、図２１に示した一例のライブビュー画像１７０においてライブビュー画像１７０の画素行の中央部に映る車両の画像を、いわゆる流し撮りしたい場合、図２２に示した一例のように、境界線１７２及び境界線１７４により、ライブビュー画像１７０を分割領域１７６、分割領域１７８、及び分割領域１８０に分割する。この場合のシャッタースピードに対応する露光時間は、車両の画像が含まれる分割領域１７８が最も短くなる。この場合、ＣＰＵ７４は、ＮＤフィルタ８０の透過率を制御することにより、分割領域１７８の露光時間に応じた露光量を基準とし、分割領域１７８と分割領域１８０との露光量の差、及び分割領域１７８と分割領域１７６との露光量の差の各々を均一とする制御を行う。
　また、上記各実施形態では、露光量制御処理プログラムを二次記憶部７８から読み出す場合を例示したが、必ずしも最初から二次記憶部７８に記憶させておく必要はない。例えば、図２３に示すように、ＳＳＤ（Solid State Drave）、ＵＳＢ（Universal Serial Bus）メモリ、またはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の任意の可搬型の記憶媒体３００に先ずは露光量制御処理プログラムを記憶させておいてもよい。この場合、記憶媒体３００の露光量制御処理プログラムが撮像装置本体にインストールされ、インストールされた露光量制御処理プログラムがＣＰＵ７４によって実行される。
　また、通信網（図示省略）を介して撮像装置本体に接続される他のコンピュータまたはサーバ装置等の記憶部に露光量制御処理プログラムを記憶させておき、露光量制御処理プログラムが撮像装置本体の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた露光量制御処理プログラムはＣＰＵ７４によって実行される。
　また、上記各実施形態で説明した露光量制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　また、上記各実施形態では、コンピュータを利用したソフトウェア構成により露光量制御処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア構成のみによって、露光量制御処理が実行されるようにしてもよい。また、露光量制御処理がソフトウェア構成とハードウェア構成とを組み合わせた構成によって実行されるようにしてもよい。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ　撮像装置
１２、１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ　撮像装置本体
１３、１５　マウント
１４　撮像レンズ
１６　フォーカスリング
１８　レンズユニット
１９　絞り
２０　フォーカスレンズ
２２　撮像素子
２２Ａ　受光面
２４　ダイヤル
２６　レリーズボタン
２８　ディスプレイ
２９　タッチパネルディスプレイ
３０　十字キー
３２　ＭＥＮＵ／ＯＫキー
３４　ＢＡＣＫ／ＤＩＳＰボタン
３６　ファインダ
３８　タッチパネル
４０　制御装置
４２　第１ミラー
４４　第２ミラー
４６、４６Ａ、４６Ｂ、４６Ｃ、４６Ｄ　制御部
４８　ミラー駆動部
５０　撮像素子ドライバ
５２　画像信号処理回路
５４　画像メモリ
５６　画像処理部
５８　表示制御部
６０　受付Ｉ／Ｆ
６２　受付デバイス
６４　メディアＩ／Ｆ
６６　メモリカード
７２　外部Ｉ／Ｆ
７４　ＣＰＵ
７６　一次記憶部
７８、７８Ａ、７８Ｂ、７８Ｃ、７８Ｄ　二次記憶部
７９、７９Ａ、７９Ｂ、７９Ｃ、７９Ｄ　露光量制御処理プログラム
８０　ＮＤフィルタ
８１　バスライン
８２　ＮＤフィルタ駆動部
９０　画素
１００、１３０、１５０、１７０、５００、６００　ライブビュー画像
１２０、１４０、１７２、１７４　境界線
１２２、１２４、１４２、１４４、１７６、１７８、１８０　分割領域
１５２、１５４、５０２、５０４、６０２、６０４　部分画像
２００　ヒストグラム
２０２、２０４　山
２０６　範囲
２０８　輝度値
２５０　情報
３００　記憶媒体
α　受光面被覆位置
β　受光面開放位置
Ｌ１　光軸

Claims (13)

  1. 　複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号を出力する撮像部と、
    　前記画像信号に応じた撮像画像を生成する画像生成部と、
    　前記撮像素子に入射する単位時間あたりの光量を制御する光量制御部と、
    　前記撮像画像を分割した複数の分割領域毎に、前記画素の露光時間を制御して前記画素の露光量を制御する第１制御部と、
    　前記光量制御部を制御して、前記第１制御部により露光量が制御された前記複数の分割領域毎の露光量の差を調整する制御を行う第２制御部と、
    　前記第２制御部により制御された露光量により得られた撮像画像を表示する表示部と、
    　を備えた撮像装置。
  2. 　前記第２制御部は、前記複数の分割領域毎の露光量の差を予め定められた範囲内とする制御を行う、
    　請求項１に記載の撮像装置。
  3. 　前記撮像素子全体の露光量を決定する決定部と、
    　前記第２制御部により露光量が制御された前記複数の分割領域各々の露光量を、前記決定部により決定された露光量に調整する制御を行う第３制御部と、
    　をさらに備え、
    　前記表示部は、前記第３制御部により制御された露光量により得られた撮像画像を表示する請求項２に記載の撮像装置。
  4. 　前記撮像素子全体の露光量を決定する決定部をさらに備え、
    　前記第２制御部は、前記複数の分割領域各々の露光量を前記決定部が決定した露光量とすることで、前記複数の分割領域毎の露光量の差を調整する、
    　請求項１に記載の撮像装置。
  5. 　前記第２制御部は、前記複数の分割領域における予め定められた条件を満たす分割領域に対する前記第１制御部の露光量を基準として、前記複数の分割領域毎の露光量の差を調整する制御を行う、
    　請求項１から請求項４のいずれか１項に記載の撮像装置。
  6. 　前記第２制御部は、露光時間が最も短いことを前記予め定められた条件とする、
    　請求項５に記載の撮像装置。
  7. 　前記第１制御部は、前記撮像画像の解析結果に基づいて前記撮像画像から導出した境界線に基づいて、前記撮像画像を前記複数の分割領域に分割する、
    　請求項１から請求項６のいずれか１項に記載の撮像装置。
  8. 　前記第１制御部は、前記撮像画像が変化した場合、前記境界線の位置を前記撮像画像の変化に基づいて調整する、
    　請求項７に記載の撮像装置。
  9. 　前記複数の分割領域毎の露光時間を受け付ける受付部をさらに備え、
    　前記第１制御部は、前記受付部が受け付けた露光時間により制御を行う、
    　請求項１から請求項８のいずれか１項に記載の撮像装置。
  10. 　前記撮像画像の領域、前記撮像画像に含まれる被写体、及び前記撮像画像に対応する画素のいずれか毎に、対応するオブジェクトの種類を前記撮像画像を認識した認識結果に基づいて特定し、特定結果に基づいて前記撮像画像を前記複数の分割領域に分割する分割部と、
    　前記オブジェクトの種類と露光時間との予め定められた対応関係に基づき、前記複数の分割領域各々の露光時間を決定する露光時間決定部と、
    　をさらに備え、
    　前記第１制御部は、前記露光時間決定部が決定した露光時間により制御を行う
    　請求項１から請求項６のいずれか１項に記載の撮像装置。
  11. 　前記第１制御部は、前記複数の画素の配列の行毎に、前記画素の露光時間を制御する、
    　請求項１から請求項１０のいずれか１項に記載の撮像装置。
  12. 　複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、
    　前記撮像画像を分割した複数の分割領域毎に、前記画素の露光時間を制御して前記画素の露光量を制御する第１制御を行い、
    　前記撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、前記第１制御により露光量が制御された前記複数の分割領域毎の露光量の差を調整する制御を行う第２制御を行い、
    　前記第２制御により制御された露光量により得られた撮像画像を表示させる、
    　処理を含む撮像装置の制御方法。
  13. 　コンピュータに、
    　複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、
    　前記撮像画像を分割した複数の分割領域毎に、前記画素の露光時間を制御して前記画素の露光量を制御する第１制御を行い、
    　前記撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、前記第１制御により露光量が制御された前記複数の分割領域毎の露光量の差を調整する制御を行う第２制御を行い、
    　前記第２制御により制御された露光量により得られた撮像画像を表示させる、
    　処理を実行させるための撮像装置の制御プログラム。
PCT/JP2018/015343 2017-08-18 2018-04-12 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム WO2019035245A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880047147.2A CN110892708B (zh) 2017-08-18 2018-04-12 摄像装置、摄像装置的控制方法以及存储介质
JP2019536422A JP6840247B2 (ja) 2017-08-18 2018-04-12 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US16/729,502 US11233949B2 (en) 2017-08-18 2019-12-30 Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017158004 2017-08-18
JP2017-158004 2017-08-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/729,502 Continuation US11233949B2 (en) 2017-08-18 2019-12-30 Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus

Publications (1)

Publication Number Publication Date
WO2019035245A1 true WO2019035245A1 (ja) 2019-02-21

Family

ID=65362240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015343 WO2019035245A1 (ja) 2017-08-18 2018-04-12 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム

Country Status (4)

Country Link
US (1) US11233949B2 (ja)
JP (1) JP6840247B2 (ja)
CN (1) CN110892708B (ja)
WO (1) WO2019035245A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059712A (ko) 2018-08-07 2021-05-25 블링크에이아이 테크놀로지스, 아이엔씨. 이미지 향상을 위한 인공지능 기법
CN113949818A (zh) * 2020-07-17 2022-01-18 深圳市万普拉斯科技有限公司 一种像素结构及其的曝光方法
CN113055600B (zh) * 2021-03-30 2023-05-09 广州文远知行科技有限公司 一种图像曝光调整方法、装置、设备和存储介质
CN114255177B (zh) * 2021-11-25 2022-09-23 北京百度网讯科技有限公司 成像中的曝光控制方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126574A (ja) * 2002-10-04 2004-04-22 Hewlett-Packard Development Co Lp 電子撮像装置のフォーカシング
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2009290255A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2017044816A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP2017046217A (ja) * 2015-08-27 2017-03-02 株式会社Ｊｖｃケンウッド 撮影装置、撮影方法、およびプログラム
JP2017098790A (ja) * 2015-11-25 2017-06-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003322878A (ja) 2002-04-30 2003-11-14 Canon Inc 透過光量調整装置
JP2004056331A (ja) 2002-07-18 2004-02-19 Canon Inc 撮像装置
JP2006245918A (ja) * 2005-03-02 2006-09-14 Nec Electronics Corp 撮影装置および撮影装置における減光フィルタの制御方法
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP5133085B2 (ja) * 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
JP4655239B2 (ja) * 2008-09-24 2011-03-23 ソニー株式会社 撮像装置、その制御方法およびプログラム
CN101969534A (zh) * 2009-07-27 2011-02-09 鸿富锦精密工业（深圳）有限公司 在拍照设备中实现照片分区域曝光的方法和系统
JP5948788B2 (ja) * 2011-10-18 2016-07-06 ソニー株式会社 動作制御装置および動作制御方法、撮像装置、並びにプログラム
CN104076599B (zh) * 2013-03-26 2016-06-01 北京京东方光电科技有限公司 一种掩膜板及其制造方法
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
JP2015041890A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
JP6278713B2 (ja) * 2014-01-20 2018-02-14 オリンパス株式会社 撮像装置および撮像方法
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
JP6338471B2 (ja) * 2014-07-01 2018-06-06 キヤノン株式会社 撮像装置、制御方法およびプログラム
CN106303269A (zh) * 2015-12-28 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置、图像采集设备
CN106791470B (zh) * 2016-12-28 2019-08-16 上海兴芯微电子科技有限公司 基于高动态范围摄像装置的曝光控制方法和装置
CN110771142B (zh) * 2017-06-21 2021-11-19 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
JP6755405B2 (ja) * 2017-08-18 2020-09-16 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126574A (ja) * 2002-10-04 2004-04-22 Hewlett-Packard Development Co Lp 電子撮像装置のフォーカシング
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2009290255A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2017044816A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP2017046217A (ja) * 2015-08-27 2017-03-02 株式会社Ｊｖｃケンウッド 撮影装置、撮影方法、およびプログラム
JP2017098790A (ja) * 2015-11-25 2017-06-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JPWO2019035245A1 (ja) 2020-10-22
CN110892708A (zh) 2020-03-17
US20200137288A1 (en) 2020-04-30
US11233949B2 (en) 2022-01-25
JP6840247B2 (ja) 2021-03-10
CN110892708B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
US11233949B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
US20130057713A1 (en) Automatic image capture
KR20120122677A (ko) 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 저장매체
US11412128B2 (en) Imaging device, control method of imaging device, and control program of imaging device to change zoom tracking information based on contrast values
US11140331B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
JP2008079193A (ja) デジタルカメラ
US11064135B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
US11368629B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus for controlling exposure of region having different brightness
JP2011239267A (ja) 撮像装置及び画像処理装置
KR20130005883A (ko) 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
KR101613619B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
US11012629B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
KR101630295B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP5289354B2 (ja) 撮像装置
JP5696525B2 (ja) 撮像装置、撮像方法及びプログラム
JP2011249923A (ja) 撮像装置、画像処理装置、及び画像処理プログラム
KR101014104B1 (ko) 영상처리장치 및 그 동작 방법
KR20090043159A (ko) 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
JP5734348B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18846608

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019536422

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18846608

Country of ref document: EP

Kind code of ref document: A1