[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019065260A1 - 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ - Google Patents

情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ Download PDF

Info

Publication number
WO2019065260A1
WO2019065260A1 PCT/JP2018/033917 JP2018033917W WO2019065260A1 WO 2019065260 A1 WO2019065260 A1 WO 2019065260A1 JP 2018033917 W JP2018033917 W JP 2018033917W WO 2019065260 A1 WO2019065260 A1 WO 2019065260A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lens
eye
images
lenses
Prior art date
Application number
PCT/JP2018/033917
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
功久 井藤
真備 中村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019544558A priority Critical patent/JPWO2019065260A1/ja
Priority to US16/646,325 priority patent/US20210377432A1/en
Priority to EP18863036.2A priority patent/EP3664433A4/en
Priority to CN201880060658.8A priority patent/CN111108742A/zh
Publication of WO2019065260A1 publication Critical patent/WO2019065260A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/20—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with change of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, a program, and an interchangeable lens, and in particular, an information processing apparatus, an information processing method, and the like that allow images of multiple viewpoints to be easily obtained, for example. , Programs, and interchangeable lenses.
  • Non-Patent Document 1 describes a method of refocusing using a camera array consisting of 100 cameras.
  • the present technology has been made in view of such a situation, and makes it possible to easily obtain images of a plurality of viewpoints.
  • An information processing apparatus or program according to an embodiment of the present disclosure is configured such that when the interchangeable lens having an eyepiece lens, which is a plurality of lenses disposed so as not to overlap in the optical axis direction, is attached to a camera body having an image sensor.
  • An information processing apparatus comprising: a communicating unit; and an area specifying unit for specifying an area of the plurality of single-eye images for each of the plurality of single-eye lenses on the captured image based on the area specifying information; It is a program for causing a computer to function as such an information processing apparatus.
  • the information processing method is performed when the interchangeable lens having an eyepiece lens, which is a plurality of lenses arranged so as not to overlap in the optical axis direction, is mounted on a camera body having an image sensor.
  • Region specification for specifying a region of each of a plurality of single-eye images corresponding to an image formed by light beams collected by each of the plurality of single-eye lenses on a captured image captured by the plurality of image sensors It is an information processing method including: receiving information; and specifying an area of the plurality of individual eye images for each of the plurality of individual lenses on the captured image based on the area identification information.
  • an interchangeable lens having an individual lens that is a plurality of lenses disposed so as not to overlap in the optical axis direction is mounted on a camera body having an image sensor Identify a region of each of a plurality of monocular images corresponding to an image formed by light rays collected by each of the plurality of single lenses on a captured image captured by one of the image sensors at the same time Region-specific information for is received. Then, based on the area specifying information, an area of the plurality of monocular images for each of the plurality of single lenses on the captured image is specified.
  • the interchangeable lens of the present technology is imaged by one image sensor when mounted on a camera body having an image sensor and an individual lens that is a plurality of lenses disposed so as not to overlap in the optical axis direction
  • an individual lens that is a plurality of lenses disposed so as not to overlap in the optical axis direction is provided, and when mounted on a camera body having an image sensor, one image Area specifying information for specifying the area of each of a plurality of single-eye images corresponding to an image formed by light beams collected by each of the plurality of single-eye lenses on a captured image taken by a sensor is stored ing.
  • the area identification information is transmitted to the outside.
  • the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the program can be provided by transmitting via a transmission medium or recording on a recording medium.
  • FIG. 1 is a perspective view showing a configuration example of an embodiment of a camera system to which the present technology is applied.
  • FIG. 2 is a rear view showing a configuration example of a rear surface of the camera body 10; It is a block diagram showing an example of electric composition of a camera system.
  • FIG. 2 is a diagram for describing an outline of imaging of a captured image performed using the multi-lens interchangeable lens 20.
  • the arrangement of the single-eye lenses 31 1 to 31 4 in the multi-eye interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20.
  • FIG. 15 is a flowchart illustrating an example of area identification processing for identifying the area of each single-eye image E # i on the captured image, which is performed by the area identification unit 52;
  • FIG. 6 is a view showing a display example of a through image displayed on a display unit 54;
  • FIG. 2 is a cross-sectional view showing an outline of a first optical configuration example of the multi-lens interchangeable lens 20.
  • 5 is a cross-sectional view showing an outline of a second optical configuration example of the multi-lens interchangeable lens 20.
  • FIG. If multiview interchangeable lens 20 having four ommatidium lens 31 1 to 31 4 is a rear view showing an outline of a configuration example of the diaphragm 71.
  • FIG. 18 is a block diagram illustrating an example of a functional configuration of a portion of the image processing unit 53 that performs refocusing.
  • 5 is a flowchart illustrating an example of image processing performed by the image processing unit 53.
  • FIG. 7 is a rear view showing another configuration example of the multi-lens interchangeable lens 20. It is a figure explaining an example of generation of an interpolation picture in interpolation part 82. As shown in FIG.
  • FIG. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a perspective view showing a configuration example of an embodiment of a camera system to which the present technology is applied.
  • the camera system comprises a camera body 10 and a multi-lens interchangeable lens 20.
  • the camera body 10 is configured such that the multi-lens interchangeable lens 20 can be attached and detached. That is, the camera body 10 has a camera mount 11, and (the lens mount 22 of) the multi-lens interchangeable lens 20 is attached to the camera mount 11, whereby the multi-lens interchangeable lens 20 is mounted on the camera body 10. It is attached.
  • a general interchangeable lens other than the multi-lens interchangeable lens 20 can also be attached to and detached from the camera body 10.
  • the camera body 10 incorporates an image sensor 51.
  • the image sensor 51 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and receives light beams collected by the multi-lens interchangeable lens 20 mounted on (the camera mount 11 of) the camera body 10 and the like.
  • the image is captured by performing photoelectric conversion.
  • an image obtained by imaging by the image sensor 51 is also referred to as a captured image.
  • the multi-lens interchangeable lens 20 has a lens barrel 21 and a lens mount 22.
  • the lens barrel 21 In the lens barrel 21, four single lenses 31 1 , 31 2 , 31 3 , and 31 4 which are a plurality of lenses are disposed so as not to overlap in the optical axis direction (as viewed).
  • the single- lens lenses 31 1 to 31 4 condense a light beam from the subject on the image sensor 51 of the camera body 10 when the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the camera body 10 is a so-called single-plate camera having one image sensor 51.
  • a plurality of image sensors that is, RGB (Red, Green, Blue, for example)
  • RGB Red, Green, Blue, for example
  • the single- lens lenses 31 1 to 31 4 condense the light beam on each of the three image sensors.
  • the lens mount 22 is attached to the camera mount 11 of the camera body 10 when the multi-lens interchangeable lens 20 is attached to the camera body 10.
  • the single lens of the multi-lens interchangeable lens 20 is provided with four single lenses 311 to 314, the number of single lenses provided in the multi-lens interchangeable lens 20 is limited to four. It is possible to adopt two, three, five or more arbitrary plural numbers.
  • the plurality of individual lenses provided in the multi-lens interchangeable lens 20 can be arranged at any position on a two-dimensional plane in addition to being arranged at the position of the apex of the rhombus.
  • the plurality of single lenses provided in the multi-lens interchangeable lens 20 a plurality of lenses having different focal lengths, f-numbers, and other specifications can be employed. However, here, in order to simplify the explanation, it is assumed that a plurality of lenses having the same specifications are adopted.
  • each of the plurality of single lenses 31 1 to 31 4 as a plurality has the light axis and the light receiving surface of the image sensor 51 when the multi-lens interchangeable lens 20 is mounted on the camera body 10. It is arranged to be orthogonal.
  • the light receiving surface of the image sensor 51 is formed by the light beams collected by the four single lenses 311 to 314 in the image sensor 51. An image corresponding to the formed image is captured.
  • 1 the captured image captured by the number of the image sensor 51
  • Ommatidium image for single-eye lens 31 i is an image to viewpoint position ommatidium lens 31 i, thus, ommatidium lens 31 1 to 31 4 4 ommatidium image for each different viewpoint images It is.
  • FIG. 2 is a rear view showing a configuration example of the rear surface of the camera body 10.
  • the surface on which the multi-lens interchangeable lens 20 is mounted that is, the surface on which the camera mount 11 is located, is taken as the front.
  • a display unit 54 configured of, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel is provided.
  • the display unit 54 displays information such as a so-called through image, a menu, and settings of the camera body 10.
  • FIG. 3 is a block diagram showing an example of the electrical configuration of the camera system of FIG.
  • the multi-lens interchangeable lens 20 includes a storage unit 41 and a communication unit 42.
  • the storage unit 41 stores lens information which is information on the multi-lens interchangeable lens 20.
  • lens information a single-eye image for each of the single- lens lenses 31 1 to 31 4 on the captured image captured by the (one) image sensor 51 when the multi-lens interchangeable lens 20 is mounted on the camera body 10 It includes area specifying information for specifying each area.
  • area information representing an area of each single eye image on the captured image.
  • the area information includes, for example, coordinates of a point on the upper left (pixel) and a point on the lower right of the monocular image on the captured image, and coordinates of a predetermined point such as an upper left point on the monocular image on the captured image.
  • the area specifying information information (hereinafter also referred to as non-area information) capable of specifying the area of each monocular image on the captured image can be adopted in addition to the area information.
  • the non-region information includes, for example, the diameter of the effective image circle of each of the single- lens lenses 31 1 to 31 4 and the center position of the effective image circle.
  • a unique lens ID (Identification) is assigned to the multi-lens interchangeable lens 20, and the lens ID corresponds to the area information of the multi-lens interchangeable lens 20 specified by the lens ID.
  • the lens ID of the multi-lens interchangeable lens 20 can be adopted as the non-area information. In this case, by searching the database using the lens ID as a keyword, it is possible to acquire area information of the multi-lens interchangeable lens 20 associated with the lens ID.
  • the communication unit 42 performs wired or wireless communication with a communication unit 57 of the camera body 10 described later.
  • the communication unit 42 may be connected to a server on the Internet, a PC (Personal Computer) on a wired or wireless LAN (Local Area Network), or another external device by an arbitrary communication method, as needed. Communication can be made between them.
  • the communication unit 42 communicates with the communication unit 57 of the camera body 10 when, for example, the multi-lens interchangeable lens 20 is attached to the camera body 10, thereby communicating the lens information stored in the storage unit 41 with the communication unit 57. Send to
  • the camera body 10 includes an image sensor 51, an area specifying unit 52, an image processing unit 53, a display unit 54, a storage unit 55, a control unit 56, and a communication unit 57.
  • the image sensor 51 is, for example, a CMOS image sensor as described with reference to FIG. 1, and on the light receiving surface of the image sensor 51, single lenses 31 1 to 31 of the multi-lens interchangeable lens 20 mounted on the camera body 10. 4 light beam is focused is illuminated by each.
  • the image sensor 51 receives a light beam collected by each of the single- lens lenses 31 1 to 31 4 and performs photoelectric conversion to obtain a single- eye image for each of the single- eye lenses 31 1 to 31 4 ( single- eye lens 31 1 to 31 4 captures an image including the ommatidium images) corresponding to the image formed by light rays focused by each supplied to the area specifying unit 52.
  • lens information that the communication unit 57 has received from the multi-lens interchangeable lens 20 is supplied to the region specifying unit 52 from the communication unit 57.
  • the area specifying unit 52 specifies an area of the monocular image for each of the single lenses 31 1 to 31 4 on the captured image from the image sensor 51 based on the area specifying information included in the lens information from the communication unit 57.
  • Output region identification result information representing the specific result of the region.
  • the area specifying unit 52 can output, for example, a set of a captured image and area information indicating the area of each single-eye image on the captured image as the area identification result information. Further, the area specifying unit 52 can extract (cut out) each single-eye image from the captured image, and can output each single-eye image as the area specifying result information.
  • the area specifying unit 52 generates the individual specifying images extracted from the captured image (here, the single eye images for the individual lenses 31 1 to 31 4 ) as the area specifying result information It will be output as
  • the monocular images for the single lenses 31 1 to 31 4 output from the area specifying unit 52 are supplied to the image processing unit 53 and the control unit 56.
  • the image processing unit 53 is a single- eye image for each of the single- eye lenses 31 1 to 31 4 from the area specifying unit 52, that is, single- eye images of different viewpoints that have respective positions of the single- eye lenses 31 1 to 31 4 as viewpoints. Is used for image processing such as refocusing to generate (reconstruct) an image focused on an arbitrary subject, and the processing result image obtained as a result of the image processing is displayed on the display unit 54 and the storage unit 55. Supply to
  • the display unit 54 displays, for example, a processing result image supplied from the image processing unit 53 as a through image as described in FIG.
  • the storage unit 55 is configured by a memory card (not shown) or the like, and stores, for example, a processing result image supplied from the image processing unit 53 in accordance with a user operation or the like.
  • the control unit 56 performs various controls on the camera body 10 and the multi-lens interchangeable lens 20 mounted on the camera body 10. For example, the control unit 56 performs exposure control and focus control using the single-eye image supplied from the area specifying unit 52 to realize AE (Auto Exposure) and AF (Auto Focus).
  • the communication unit 57 performs wired or wireless communication with the communication unit 42 or the like of the multi-lens interchangeable lens 20.
  • the communication unit 57 can communicate with a server on the Internet, a PC on a wired or wireless LAN, and other external devices according to an arbitrary communication method, as needed.
  • the communication unit 57 communicates with the communication unit 42 of the multi-lens interchangeable lens 20 to exchange the multi-lens exchange transmitted from the communication unit 42.
  • the lens information of the lens 20 is received and supplied to the area specifying unit 52.
  • FIG. 4 is a view for explaining an outline of imaging of a captured image performed using the multi-lens interchangeable lens 20. As shown in FIG.
  • a captured image including a single-eye image corresponding to an image formed by condensing a light beam at each single-eye lens 31 i is captured .
  • the left and right of an object appearing in the image along with match the left and right of an object in the real space, and left and right position of the ommatidium lens 31 i, and the right and left on the captured image of the ommatidium image with respect to the single-eye lens 31 i
  • the position on the captured image or the position on the captured image with respect to the z direction that is, the direction facing the imaging direction in which the subject to be imaged is present from the back side of the camera body 10 Describes the position of the single lens 31i, the right and left of the subject, and the like.
  • FIG 5 shows the arrangement of the single-eye lenses 31 1 to 31 4 in the multi-eye interchangeable lens 20 is a diagram illustrating an example of a captured image captured using the multiview interchangeable lens 20.
  • a of FIG. 5 is a rear view showing an example of the arrangement of the single-eye lenses 31 1 to 31 4 in the multi-eye interchangeable lens 20.
  • the ommatidium lens 31 1 to 31 4 are disposed in position where the apex of the diamond on a two-dimensional plane parallel to the light receiving surface of the image sensor 51.
  • ommatidium lens 31 1 to 31 4 for example, when a reference ommatidium lens 31 1, 5, ommatidium lens 312 is disposed to the right of the ommatidium lens 31 1.
  • the ommatidia lens 31 3 is disposed on the lower left of the ommatidium lenses 31 1, ommatidium lens 31 4 is disposed on the lower right of the ommatidium lens 31 1.
  • FIG. 5 shows an example of a captured image captured by the image sensor 51 of the camera body 10 on which the multi-lens interchangeable lens 20 having the single lenses 31 1 to 31 4 disposed as shown in A of FIG. FIG.
  • a light beam which has passed through one single single-lens lens 31 i In addition to the area where only the light is irradiated, there are overlapping light receiving areas and non-light receiving areas.
  • the overlapping light receiving area is an area where a light beam passing through a single individual lens 31 i and a light beam passing through another single individual lens 31 j overlap in the captured image.
  • the non-light receiving area is an area in the captured image which is not irradiated with any of the light beams having passed through the single lenses 31 1 to 31 4 .
  • the area specifying unit 52 determines, based on the area specifying information included in the lens information, an area on the captured image to which only the light beam that has passed through the single lens 31 i is irradiated for each single lens 31 i. of ommatidia lens 31 i of the optical axis of the rectangular region of a predetermined size centering on a (corresponding to the position) is specified as a region ommatidium image E # i for single-eye lenses 31 i.
  • ommatidium image E # i for single-eye lens 31 i is out of the image formed by light rays focused by the ommatidium lens 31 i, light is focused by the other single-eye lens 31 j
  • the image includes only portions that do not overlap with the image formed by
  • ommatidium image E # i for single-eye lens 31 i from the position of the ommatidium lens 31 i, similar to the captured image obtained by performing imaging using a separate camera, ommatidium lens 31 i It becomes an image obtained by imaging with the position as a viewpoint.
  • FIG. 6 is a flowchart illustrating an example of the area specifying process for specifying the area of each single-eye image E # i on the captured image, which is performed by the area specifying unit 52 in FIG. 3.
  • step S11 the area specifying unit 52 acquires lens information supplied from the communication unit 57, and the process proceeds to step S12.
  • the communication unit 57 communicates with the communication unit 42 of the multi-lens interchangeable lens 20, and the multi-lens exchange transmitted from the communication unit 42
  • the lens information of the lens 20 is received and supplied to the area specifying unit 52.
  • the area specifying unit 52 acquires the lens information supplied from the communication unit 57 as described above.
  • step S12 the area specifying unit 52 sets each of the single lenses 31 1 to 31 4 on the captured image supplied from the image sensor 51 based on the area specifying information included in the lens information acquired from the communication unit 57.
  • the regions of the single-eye images E1, E2, E3, and E4 are specified, and the process proceeds to step S13.
  • step S13 the area specifying unit 52 extracts each of the single-eye images E1 to E4 from the captured image, outputs the single-eye images E1 to E4 as area specifying result information, and ends the process.
  • the area specifying unit 52 substitutes for the single-eye images E1 to E4 and sets the captured image and the area information indicating the area of each single-eye image E # i on the captured image. Can be output as area identification result information.
  • a multiple lens interchangeable lens 20 the optical axis direction (as viewed) ommatidium lens 31 1 which is disposed so as not to overlap to have the 31 4, the lens information including area specifying information, as the external For example, it transmits to camera body 10.
  • the camera body 10 receives lens information, and based on the area specifying information included in the lens information, the areas of the single eye images E1 to E4 for the single lenses 31 1 to 31 4 on the captured image are Identify. Therefore, images of a plurality of viewpoints, that is, monocular images E1 to E4 having the positions of the single lenses 31 1 to 31 4 as the viewpoints can be easily obtained.
  • FIG. 7 is a view showing a display example of a through image displayed on the display unit 54 of FIG.
  • a of FIG. 7 shows a first display example of the through image.
  • the captured image imaged with the image sensor 51 is employable.
  • the image processing unit 53 acquires the captured image captured by the image sensor 51 from the area specifying unit 52, and supplies the image to the display unit 54 for display.
  • B of FIG. 7 shows a second display example of the through image.
  • one single-eye image E # i can be adopted as shown in B of FIG. 7.
  • the image processing unit 53 selects one single-eye image E # i from the single-eye images E1 to E4 supplied from the area specifying unit 52. , Supply to the display unit 54 for display.
  • whether to display a captured image or one single-eye image E # i as a through image can be selected, for example, according to the user's operation or the like.
  • one single-eye image E # i is adopted as the through image
  • one single-eye image E # i as the through image is, for example, one of the single-eye images E1 to E4 in accordance with the user's operation or the like. It is possible to selectively switch among them.
  • an image obtained by refocusing performed by the image processing unit 53 can be adopted.
  • FIG. 8 is a cross-sectional view showing an outline of a first optical configuration example of the multi-lens interchangeable lens 20. As shown in FIG.
  • multiview interchangeable lens 20, 31 1 3 ommatidium lens to have a 31 3, the three single-eye lenses 31 1 to 31 3, the optical axis It is assumed that they are arranged in a line in the horizontal direction (x direction) so as not to overlap in the direction (z direction).
  • the light beam that has passed through the single-lens lens 31 i is The light is irradiated over a relatively wide range of the light receiving surface.
  • a light beam passing through the single lenses 31 2 adjacent to the single lenses 31 1 and 31 3 passes the single lenses 31 1 . with overlapping the light rays to overlap the light beam passing through the ommatidia lens 31 3.
  • a region of the ommatidium image E2 against the ommatidium lens 31 2 the region of the captured image in which only the light beam having passed through the ommatidium lens 31 2 is irradiated, if ommatidium lens 31 1 and 31 3 It becomes smaller than.
  • ommatidium image E2 against the ommatidium lens 312 will become small picture size, when to not ommatidium image E1 for 2-31 3 respectively 1 ommatidium lens 31 to the size of the E3 in the same size, ommatidia The size of the images E1 and E2 also decreases.
  • each of multiview interchangeable lens 20 has, can be provided with a stop which limits the light reaching the image sensor 51 from the ommatidium lens 31 i.
  • FIG. 9 is a cross-sectional view showing an outline of a second optical configuration example of the multi-lens interchangeable lens 20. As shown in FIG.
  • a multiple lens interchangeable lens 20 the three single-eye lenses 31 1 to have a 31 3, the three single-eye lenses 31 1 to 31 3, They are arranged in a line in the horizontal direction so as not to overlap in the optical axis direction.
  • multiple lens interchangeable lens 20, for 2-31 3 each ommatidium lenses 31 1, has an aperture 71 for limiting the light reaching the image sensor 51 from the ommatidium lens 31 i.
  • Diaphragm 71 among the single-eye lenses 31 1 to 31 3, a light beam is condensed by one ommatidium lens 31 i, a light beam is focused by another one ommatidium lens 31 j is as non-overlapping, having a circular aperture for limiting light rays from ommatidium lens 31 i.
  • the arrangement of the single lenses 31 1 to 31 3 and the stop 71 and the size of the aperture of the stop 71 are determined by the light rays collected by one single lens 31 i and the other single single lens 31 do not overlap and the light is focused (as much as possible) by j, and the large and more area on the light receiving surface of the image sensor 51 to light to be focused is illuminated by ommatidium lens 31 i (ideally Can be set to be maximum).
  • the light receiving surface of the image sensor 51 can be effectively used to obtain a single-eye image E # i of a large size.
  • a of FIG. 10 shows a first configuration example of the aperture 71.
  • the diaphragm 71 may be with respect to four ommatidium lens 31 1 to 31 4, respectively, employs a separate diaphragm, to ommatidium lens 31 1 is placed on the back of 31 4, respectively.
  • FIG. 10 shows a second configuration example of the aperture 71.
  • the diaphragm 71 As the diaphragm 71, one diaphragm provided with an opening for each of the four individual lenses 31 1 to 31 4 in one plate is adopted and installed on the back of the individual lenses 31 1 to 31 4 Can.
  • FIG. 11 is a perspective view showing another configuration example of the multi-lens interchangeable lens 20 provided with the stop 71.
  • the multiview interchangeable lens 20 has five ommatidium lens 31 1 to 31 5, the five single-eye lenses 31 1 to 31 5, so as not to overlap in the optical axis direction, 2 It is arranged on the dimensional plane.
  • the five single-eye lenses 31 1 to 31 5 is one of them, for example, ommatidium lens 31 1 about the, to 31 2 to the other four ommatidium lens 31 5, the periphery of the ommatidium lenses 31 1, are arranged to form the vertices of a rectangle.
  • the diaphragm 71 is provided on the back side of the single-eye lenses 31 1 to 31 5.
  • the diaphragm 71 can be housed, for example, in the lens barrel 21 of the multi-lens interchangeable lens 20.
  • the diaphragm 71 is shown separated from the multi-lens interchangeable lens 20 for easy viewing of the drawing. It is
  • a rectangular opening is employed as the opening of the diaphragm 71.
  • the region on the light receiving surface of the image sensor 51 to which the light passing through the single-lens lens 31i is irradiated is limited to the rectangular region F. Can.
  • the ommatidium lens 31 i multiview interchangeable lens 20 may be provided with a lens hood 23 that blocks part of the light incident on the ommatidium lens 31 i.
  • the lens hood 23 can be configured to be fixed to the multi-lens interchangeable lens 20, or can be configured to be removable from the multi-lens interchangeable lens 20.
  • FIG. 12 is a flowchart illustrating an example of exposure control processing (exposure control processing) performed by the control unit 56 in FIG. 3.
  • a brightness evaluation value for evaluating the brightness of the captured image is determined, and the captured image is calculated according to the brightness evaluation value.
  • the exposure time (shutter speed), the aperture of the aperture, the gain of A / D conversion of the pixel signal performed by the image sensor 51 (so that there is no so-called overexposed portion and appropriate brightness) is a method of controlling analog gain etc.
  • a non-light receiving area or an overlapping light receiving area may occur in the captured image captured by the image sensor 51 (FIG. 3) as described in FIG. If the brightness evaluation value is determined using such a captured image, it may not be possible to obtain a brightness evaluation value for performing appropriate exposure control.
  • control unit 56 performs the exposure control by obtaining the brightness evaluation value using the single-eye image E # i (an image in the area thereof) instead of the captured image (it is).
  • the multi-lens interchangeable lens 20 has four single- lens lenses 311 to 314, and the region specifying unit 52 has four single- eye images E1 to E4. It shall be obtained.
  • the image sensor 51 periodically performs imaging, and supplies a captured image obtained by the imaging to the area specifying unit 52.
  • the area specifying unit 52 generates four images from the captured image from the image sensor 51. It is assumed that single-eye images E1 to E4 are extracted.
  • step S21 the control unit 56 acquires four single-eye images E1 to E4 from the area specifying unit 52, and the process proceeds to step S22.
  • step S22 the control unit 56 sets all or a part of the four single-eye images E1 to E4, that is, one single-eye image or two or more individual ones of the four single-eye images E1 to E4. Using the eye image, a brightness evaluation value (evaluation value for evaluating the current exposure state) for evaluating the brightness of the single-eye images E1 to E4 is calculated, and the process proceeds to step S23.
  • step S23 the control unit 56 controls the exposure, that is, for example, the exposure time, the aperture, and the gain according to the brightness evaluation value, and the process proceeds to step S24.
  • step S24 the control unit 56 determines whether to end the exposure control of the AE.
  • step S24 If it is determined in step S24 that the exposure control is not ended, the process returns to step S21, and the same process is repeated thereafter.
  • step S24 When it is determined in step S24 that the exposure control is to be ended, that is, for example, when the user operates the camera body 10 so as to end the AE, the exposure control process is ended.
  • FIG. 13 is a block diagram showing an example of a functional configuration of a part that performs refocusing in the image processing unit 53 of FIG. 3.
  • multiview interchangeable lens 20 for example, as shown in FIG. 5, pieces when having ocular lens 31 1 to 31 4, to not ommatidium image E1 for the ommatidium lens 31 1 to 31 4 E4 Is supplied from the area specifying unit 52 to the image processing unit 53.
  • the single- eye images E1 to E4 for the single- eye lenses 31 1 to 31 4 supplied from the area specifying unit 52 to the image processing unit 53 use independent cameras from the respective positions of the single- eye lenses 31 1 to 31 4 similar to the captured image obtained by performing image pickup, an image obtained by imaging the viewpoint of each position of the ommatidium lens 31 1 to 31 4, which is an image of different viewpoints.
  • the image processing unit 53 includes a parallax information generation unit 81, an interpolation unit 82, a light collection processing unit 83, and a parameter setting unit 84.
  • the image processing unit 53 is supplied from the area specifying unit 52 with single-eye images E # i of a plurality of viewpoints that are images of a plurality of viewpoints.
  • the viewpoint of the single-eye image E # i is the position of the single-eye lens 31i .
  • the single-eye image E # i is supplied to the disparity information generating unit 81 and the interpolating unit 82.
  • the parallax information generation unit 81 obtains parallax information using the single-eye images E # i of the plurality of viewpoints supplied from the area specifying unit 52, and supplies the parallax information to the interpolation unit 82 and the light collection processing unit 83.
  • the parallax information generation unit 81 obtains the parallax information of the single-eye image E # i supplied from the area specifying unit 52 with the other single-eye image E # j, for example It is performed as image processing of the eye image E # i. Then, for example, the parallax information generation unit 81 generates a map in which parallax information is registered for each pixel (position thereof) of the monocular image, and supplies the map to the interpolation unit 82 and the light collection processing unit 83.
  • disparity information it is possible to adopt any information that can be converted into disparity, such as disparity representing disparity by the number of pixels, distance in the depth direction corresponding to disparity, and the like.
  • disparity is adopted as disparity information, and in disparity information generation unit 81, a disparity map in which the disparity is registered is generated as a map in which disparity information is registered. To be.
  • the interpolation unit 82 uses the plurality of single-eye images E # i from the area specifying unit 52 and the disparity map from the parallax information generation unit 81 to select a viewpoint of the single-eye image E # i, that is, a single-eye lens 31 i generates an image by interpolation which will be obtained if imaging is performed from a viewpoint other than the position of i .
  • the interpolation unit 82 uses, for example, viewpoints for the monocular image E # i, that is, a plurality of substantially equally spaced points in an area surrounded by straight lines connecting the positions of the single lenses 31 i as viewpoints for interpolation. , An image of a viewpoint for interpolation (an image to be obtained when imaging is performed from the viewpoint for interpolation) is generated by interpolation.
  • the interpolation unit 82 can generate an image of a viewpoint for interpolation as a viewpoint for interpolation also at a point outside the area surrounded by connecting the positions of the single lenses 31i with a straight line.
  • the interpolation unit 82 After generating the image of the viewpoint for interpolation, the interpolation unit 82 supplies the monocular image E # i and the image of the viewpoint for interpolation to the light collection processing unit 83.
  • an image generated by interpolation using a monocular image in the interpolation unit 82 is also referred to as an interpolated image.
  • the monocular image E # i supplied from the interpolation unit 82 to the light collection processing unit 83 and the interpolation image of the viewpoint for interpolation are collectively referred to as a viewpoint image.
  • the interpolation performed by the interpolation unit 82 can be considered to be processing of generating viewpoint images of more viewpoints from single-eye images E # i of a plurality of viewpoints.
  • This process of generating viewpoint images of a large number of viewpoints can be regarded as a process of reproducing light rays incident from real space points in real space.
  • the condensing processing unit 83 condenses the light beam from the subject, which has passed through the optical system such as a lens, on the image sensor or film in a real camera using the viewpoint images of the plurality of viewpoints from the interpolation unit 82
  • Light collecting processing which is image processing equivalent to forming an image of a subject.
  • refocusing is performed to generate (reconfigure) an image in which an arbitrary subject is in focus. Refocusing is performed using the disparity map from the disparity information generating unit 81 and the focusing parameter from the parameter setting unit 84.
  • An image obtained by the light collection process of the light collection processing unit 83 is output as a processing result image (to the display unit 54 or the storage unit 55 (FIG. 3)).
  • the parameter setting unit 84 sets the pixels of one single-eye image E # i (for example, the single-eye image E1) at a position designated by the operation of the operation unit (not shown) by the user, a predetermined application, or the like. It is set as a focusing target pixel for focusing (a subject is shown), and is supplied to the focusing processing unit 83 as a focusing parameter.
  • FIG. 14 is a flowchart illustrating an example of image processing performed by the image processing unit 53 in FIG.
  • single-eye images E # i of a plurality of viewpoints that are images of a plurality of viewpoints supplied from the area specifying unit 52 are supplied to the parallax information generation unit 81 and the interpolation unit 82.
  • step S51 the parallax information generation unit 81 obtains parallax information using the single-eye images E # i of the plurality of viewpoints from the area specifying unit 52, and the parallax information is registered. Disparity information generation processing for generating a parity map is performed.
  • the disparity information generating unit 81 supplies the disparity map obtained by the disparity information generating process to the interpolating unit 82 and the light collecting processing unit 83, and the process proceeds from step S51 to step S52.
  • step S52 the interpolation unit 82 uses the single-eye images E # i of the plurality of viewpoints from the area specifying unit 52 and the disparity map from the parallax information generation unit 81 to obtain the viewpoints of the single-eye image E # i. Interpolation processing is performed to generate interpolation images of a plurality of interpolation viewpoints other than the above.
  • the interpolation unit 82 sets the single-eye images E # i of the plurality of viewpoints from the area specifying unit 52 and the interpolation images of the plurality of interpolation viewpoints obtained by the interpolation processing as the viewpoint images of the plurality of viewpoints. , And the processing proceeds from step S52 to step S53.
  • step S53 the parameter setting unit 84 sets a pixel of one viewpoint image (for example, the single-eye image E1) at a position designated by a user operation or the like as a focusing target pixel to be focused. Do the processing.
  • the parameter setting unit 84 supplies (the information of) the focusing target pixel obtained by the setting process as a light collection parameter to the light collection processing unit 83, and the process proceeds from step S53 to step S54.
  • the focusing target pixel can be set in accordance with the user's designation, or can be set in accordance with, for example, designation from an application, designation by a predetermined rule, or the like.
  • step S54 the light collection processing unit 83 selects the viewpoint images of the plurality of viewpoints from the interpolation unit 82, the disparity map from the parallax information generation unit 81, and the focusing target as the light collection parameter from the parameter setting unit 84.
  • Condensing processing equivalent to condensing a light beam from a subject on a virtual sensor (not shown) is performed using pixels, and the image processing of the image processing unit 53 ends.
  • the light collection processing unit 83 supplies the processing result image obtained as a result of the light collection processing to the display unit 54.
  • the entity of the virtual sensor to which the light beam is collected is, for example, a memory (not shown).
  • pixel values of viewpoint images of a plurality of viewpoints are integrated in (a storage value of) a memory as a virtual sensor as luminance of the light beam focused on the virtual sensor. The pixel values of the resulting image are determined.
  • a reference shift amount BV described later which is a pixel shift amount for shifting pixels of viewpoint images of a plurality of viewpoints, is set, and a plurality of viewpoints are set according to the reference shift amount BV.
  • the in-focus point is a real space point in real space where the in-focus is achieved, and in the focusing process of the focusing processor 83, the in-focus plane, which is a set of in-focus points, is a parameter setting unit. It is set using a focusing target pixel as a focusing parameter from 84.
  • the image processing unit 53 (FIG. 13) can be configured only by the light collection processing unit 83.
  • the interpolation unit 82 is not provided.
  • the image processing unit 53 can be configured. However, when the light collecting process is performed using the interpolation image as well as the single-eye image E # i, it is possible to suppress the occurrence of ringing on an unfocused subject in the processing result image. .
  • the parallax information generation unit 53 can be configured without providing 81.
  • the image processing unit 53 can be configured without providing the parameter setting unit 84.
  • the camera body 10 can be configured without the image processing unit 53.
  • FIG. 15 is a rear view showing another configuration example of the multi-lens interchangeable lens 20. As shown in FIG.
  • the multiview interchangeable lens 20 has a seven ommatidium lens 31 1 to 31 7, the seven ommatidium lens 31 1 to 31 7, so as not to overlap in the optical axis direction, 2 It is arranged on the dimensional plane.
  • ommatidium lens 31 1 to 31 7 is one of them, for example, ommatidium lens 31 1 about the, to 31 2 to six other pieces ophthalmic lenses 31 7, around the ommatidium lenses 31 1, are arranged to form a regular hexagon vertex.
  • any one single-eye lens 31 i (i 1, 2,..., 7) of the seven single- eye lenses 311 to 31 7 and the single-eye lens
  • a multiple lens interchangeable lens 20 as shown in FIG. 15 will be described as an example a case having seven ommatidium lens 31 1 to 31 7.
  • Multiview interchangeable lens 20 as shown in FIG. 15, seven cases with ommatidium lens 31 1 to 31 7, the parallax information generating unit 81 of the image processing unit 53 from the area specifying unit 52 (FIG. 3) and ommatidium image E # i of a plurality of viewpoints to be supplied to the interpolation section 82, to seven pieces of the eye lens 31 1 to 31 7 for 7 viewpoint ommatidium images E1 not be E7.
  • FIG. 16 is a diagram for explaining an example of generation of an interpolation image in the interpolation unit 82 of FIG.
  • the interpolation unit 82 When generating an interpolation image of a certain viewpoint, the interpolation unit 82 sequentially selects pixels of the interpolation image as interpolation target pixels to be interpolated. Furthermore, the interpolation unit 82 is a pixel of the interpolation target pixel for all of the seven-view monocular images E1 to E7 or the single-eye image E # i of some (multiple) viewpoints close to the viewpoints of the interpolation image. It is selected as a pixel value calculation image used for calculation of a value.
  • the interpolation unit 82 uses the disparity map from the disparity information generation unit 81 and the viewpoints of the interpolation image to set interpolation target pixels from each of the single-eye images E # i of the plurality of viewpoints selected for the pixel value calculation image.
  • a corresponding corresponding pixel (a pixel in which the same spatial point as the spatial point that would be captured in the interpolation target pixel if imaging is performed from the viewpoint of the interpolated image) is obtained.
  • the interpolation unit 82 performs weighted addition of the pixel values of the corresponding pixels of the monocular image E # i of the plurality of viewpoints, and obtains the weighted addition value obtained as a result of the calculation as the pixel value of the pixel to be interpolated.
  • the weight used for weighted addition of the pixel values of the corresponding pixels is inversely proportional to the distance between the viewpoint of the monocular image E # i as the pixel value calculation image having the corresponding pixels and the viewpoint of the interpolation image having the interpolation target pixel
  • the following values can be adopted.
  • FIG. 17 is a diagram for explaining an example of generation of a disparity map in the disparity information generating unit 81 in FIG.
  • FIG. 17 to no ommatidium image E1 against the ommatidium lens 31 1 to 31 7 by the area specifying unit 52 shows an example of E7.
  • the predetermined object obj as the foreground is shown on the near side of the predetermined background.
  • the position of the object obj (the position on the single-eye image) shown in each single-eye image E2 to E7 is the position of the object obj shown in the single-eye image E1. From the point of view, they are off by a different amount.
  • the parallax information generation unit 81 sets the single-eye image E1 as the target image E1 of interest. Furthermore, the parallax information generation unit 81 sequentially selects each pixel of the image of interest E1 as a pixel of interest to be focused, and the corresponding pixels (corresponding points) corresponding to the pixel of interest are selected from the other monocular images E2 to E7. Detect from each.
  • a method of detecting the corresponding pixel corresponding to the target pixel of the target image E1 from each of the single-eye images E2 to E7 for example, there is a method using the principle of triangulation such as stereo matching or multi-baseline stereo.
  • a vector representing positional deviation of the corresponding pixel of the monocular image E # i with respect to the target pixel of the target image E1 is referred to as a disparity vector v # i, 1.
  • the disparity information generating unit 81 obtains disparity vectors v2, 1 to v7, 1 for each of the single-eye images E2 to E7. Then, the disparity information generating unit 81 performs, for example, a majority decision on the magnitudes of the disparity vectors v2, 1 to v7, 1 and determines the magnitude of the disparity vector v # i, 1 that has won the majority decision, It is calculated as the magnitude of the disparity of (the position of) the pixel of interest.
  • the target image E1 is the ommatidium lens 31 1 obtained, to E7 was ommatidium lenses 31 2 no obtained to not ommatidium image E2 31 7 respectively
  • the real space points reflected in the target pixel of the image of interest E1 are also included in the single-eye images E2 to E7 when the distances between them are the same distance B, the disparity vectors v2, 1 to v7 , 1, and vectors having different directions but equal magnitudes are obtained.
  • the disparity vectors v2,1 to v7,1 are vectors having the same size in the direction opposite to the directions of the viewpoints vp2 to vp7 of the other single-eye images E2 to E7 with respect to the viewpoint vp1 of the noted image E1.
  • an image in which an occlusion occurs that is, an image in which a real space point reflected on a target pixel of the target image E1 is not displayed behind the foreground.
  • an occlusion image For a monocular image (hereinafter also referred to as an occlusion image) E # i in which a real space point appearing in a target pixel of the target image E1 is not visible, it is difficult to detect a correct pixel as a corresponding pixel corresponding to the target pixel is there.
  • v # i, 1 is required.
  • the disparity information generating unit 81 makes a majority decision on the magnitudes of the disparity vectors v2,1 to v7,1, and the magnitude of the disparity vector v # i, 1 that has won the majority decision. Is determined as the size of the disparity of the pixel of interest.
  • disparity vectors v2, 1 to v7 1, three disparity vectors v2, 1, v3, 1, v7, 1 are vectors of equal size. Further, for each of the disparity vectors v4, 1, v5, 1, v6, 1, there is no disparity vector having the same size.
  • the magnitudes of the three disparity vectors v2, 1, v3, 1, v7, 1 are determined as the magnitude of the disparity of the pixel of interest.
  • the direction of the disparity between the target pixel of the target image E1 and an arbitrary single- eye image E # i is the viewpoint vp1 of the target image E1 (the position of the single- lens lens 311) and the single- eye image E #. i can be recognized from the viewpoint vp # i positional relationship between (ommatidium lens 31 i position) (such as the direction from the viewpoint vp1 to viewpoint vp # i).
  • the disparity information generating unit 81 sequentially selects each pixel of the image of interest E1 as the pixel of interest, and obtains the magnitude of the disparity. Then, the disparity information generating unit 81 generates, as a disparity map, a map in which the magnitude of the disparity of the pixel is registered with respect to the position (xy coordinates) of each pixel of the image of interest E1. Therefore, the disparity map is a map (table) in which the position of a pixel is associated with the magnitude of the disparity of the pixel.
  • the disparity map of the viewpoint vp # i of another single-eye image E # i can be generated in the same manner as the disparity map of the viewpoint vp1.
  • the majority of the disparity vector is determined by the viewpoint vp # i of the single-eye image E # i and the single-eye image other than the single-eye image E # i based on the positional relationship between the viewpoint vp # j of E # j (positional relationship between the ommatidium lens 31 i and 31 j) (the distance between the viewpoint vp # i and the viewpoint vp # j), the magnitude of the disparity vector The adjustment is done.
  • the disparity vector obtained between the target image E5 and the single-eye image E2 is the disparity vector between the target image E5 and the single-eye image E1. It is twice as large as the disparity vector obtained between them.
  • the distance B is a base length of the other single-eye lenses 31 i, and that the reference base length as a reference for determining the disparity.
  • the majority of the disparity vector is adjusted by adjusting the magnitude of the disparity vector so that the baseline length is converted to the reference baseline length B.
  • the ommatidium lens 31 5 target image E5 is obtained
  • ommatidium image E1 is ommatidium lens 31 1 obtained base length B is equal to the reference base length B
  • the target image E5 and ommatidia image The magnitude of the disparity vector obtained between E1 and E1 is adjusted by one.
  • the ommatidium lens 31 5 target image E5 is obtained
  • the base line length 2B ommatidium lenses 31 2 ommatidium image E2 is obtained is equal to twice the reference baseline length B
  • the image of interest E5 disparity vector obtained between the ommatidium image E2 is obtained is equal to twice the reference baseline length B
  • the image of interest E5 disparity vector obtained between the ommatidium image E2 is obtained is a value multiple of the ratio of the base length 2B of the ommatidium lens 31 5 and ommatidia lens 31 2 Adjusted to 1/2.
  • the magnitude of the disparity vector obtained between the image of interest E5 and the other single-eye image E # i is adjusted to be a value that is the value of the ratio to the reference baseline length B.
  • the majority of the disparity vector is determined using the adjusted disparity vector.
  • the disparity of (the respective pixels of) the single-eye image E # i can be determined, for example, with the accuracy of the pixels of the single-eye image.
  • the disparity of the single-eye image E # i may be obtained, for example, with an accuracy below the pixel (for example, the accuracy of a sub-pixel such as 1 ⁇ 4 pixel) that is finer than the pixels of the single-eye image E # i. it can.
  • the disparity with the sub-pixel accuracy can be used as it is, or the decimal part of the disparity with sub-pixel accuracy is discarded, rounded up, or It can also be rounded and used as an integer.
  • the magnitude of the disparity registered in the disparity map is hereinafter also referred to as registration disparity.
  • the registered disparity is the monocular image E1.
  • Disparity between each pixel in the single-lens image E1 and the single-eye image E5 of the viewpoint next to the left of the single-eye image E1 pixel deviation from a pixel of the single-eye image E1 to a corresponding pixel of the single-eye image E5 corresponding to that pixel
  • FIG. 18 is a diagram for explaining an outline of refocusing by the light collecting process performed by the light collecting processing unit 83 in FIG.
  • the single-eye image E1, the single-eye image E2 of the right-side viewpoint of the single-eye image E1, and the single-eye image are used as viewpoint images of a plurality of viewpoints used for light collection processing.
  • Three images of the single-eye image E5 of the viewpoint next to the left of the image E1 are used.
  • two objects obj1 and obj2 appear in the single-eye images E1, E2 and E5.
  • the object obj1 is located on the near side
  • the object obj2 is located on the far side.
  • refocusing is performed to focus on the object obj1, and an image viewed from the viewpoint of the monocular image E1 is obtained as a processing result image after the refocus.
  • the disparity of the viewpoint of the processing result image (here, the viewpoint of the single-eye image E1) with respect to the pixel on which the object obj1 of the single-eye image E1 appears is denoted as DP1.
  • the disparity of the viewpoint of the processing result image between the pixel in which the object obj1 of the monocular image E2 appears is denoted as DP2
  • the processing result image between the pixel in which the object obj1 of the monocular image E5 appears The disparity of the viewpoint of is denoted as DP5.
  • the disparity DP1 of the viewpoint of the processing result image with the pixel on which the object obj1 of the monocular image E1 appears is It becomes 0, 0).
  • the single-eye images E1, E2, and E5 are pixel-shifted according to the disparity DP1, DP2, and DP5, respectively, and the single-eye images after the pixel shift
  • the images E1, E2, and E5 it is possible to obtain a processing result image focused on the object obj1.
  • the single-eye images E1, E2, and E5 are pixel-shifted by canceling the disparities DP1, DP2, and DP5 (in the reverse directions of the disparities DP1, DP2, and DP5).
  • the positions of the pixels on which the object obj1 appears are the same.
  • the processing result image focused on the object obj1 can be obtained by integrating the monocular images E1, E2 and E5 after the pixel shift.
  • the positions of the pixels on which the object obj2 appears at the position in the depth direction different from the object obj1 do not match. Therefore, the object obj2 that appears in the processing result image is blurred.
  • the viewpoint of the processing result image is the viewpoint of the monocular image E1 and the disparity DP1 is (0, 0), substantially, for the monocular image E1, There is no need to perform pixel shift.
  • the viewpoint of the processing result image between the pixels of the viewpoint image of the plurality of viewpoints and the focusing target pixel where the focusing target appears An image in which refocusing has been performed on the in-focus object is obtained as a processing result image by performing pixel shift and integration so as to cancel the disparity of the single-eye image E1).
  • FIG. 19 is a diagram for explaining an example of disparity conversion.
  • the registered disparity registered in the disparity map corresponds to each pixel of the single-eye image E5 of the viewpoint next to the left of the single-eye image E1 in a portion other than the region where the occlusion occurs. Between them, which is equal to the x component of the disparity of the pixel of the single-eye image E1.
  • the disparity of the focusing target pixel of the processing result image with the viewpoint image of the focused viewpoint is required.
  • the disparity of the focusing target pixel of the single-eye image E1 with the viewpoint image of the focusing point is the focusing target pixel of the single-eye image E1 (the single-eye image E1 corresponding to the focusing target pixel of the processing result image). From the viewpoint of the processing result image, the direction of the target viewpoint can be obtained from the registration disparity of the corresponding pixel).
  • ommatidia lens 31 2 the processing result there from the viewpoint of a ommatidium images E1 a viewpoint of an image at a position separated only + x direction reference base length B, which is the perspective of the processing result image ommatidium image E1 direction of the viewpoint of the ommatidium image E2 against the ommatidium lenses 31 2 from a viewpoint is 0 [radian].
  • single-eye lens 31 3 are from the perspective of a viewpoint of the processing result image ommatidium image E1 in the reference baseline length B by [pi / 3 position apart in the direction of a viewpoint of the processing result image number direction of the viewpoint of the ommatidium images E3 from a viewpoint for the single-eye lens 31 3 eye image E1 is ⁇ / 3 [radian].
  • the interpolation image obtained by the interpolation unit 82 can be regarded as an image captured by a virtual lens located at the viewpoint vp of the interpolation image.
  • the viewpoint vp of the image captured by the virtual lens is a distance L in the direction of the angle ⁇ [radian] from the viewpoint of the monocular image E1 that is the viewpoint of the processing result image.
  • the disparity DP of the in-focus pixel of the single-eye image E1 between the viewpoint image of the viewpoint vp (the image captured by the virtual lens) is the registered disparity RD of the in-focus pixel.
  • the angle ⁇ which is the direction of the viewpoint vp can be taken into consideration to obtain ( ⁇ (L / B) ⁇ RD ⁇ cos ⁇ , ⁇ (L / B) ⁇ RD ⁇ sin ⁇ ).
  • the disparity of the pixels of the single-eye image E1 between the viewpoint image of the point of interest and the disparity image of the monocular image E1 is obtained.
  • the conversion to the disparity of the pixels of the single-eye image E1 (the pixels of the processing result image) with the viewpoint image of the target viewpoint is also referred to as disparity conversion.
  • the disparity of the focusing target pixel of the monocular image E1 with respect to the viewpoint image of each viewpoint is obtained by the disparity conversion, and the focusing target
  • the viewpoint image of each viewpoint is pixel shifted so as to cancel the pixel disparity.
  • the viewpoint image is pixel shifted so as to cancel the disparity of the focusing target pixel with the viewpoint image.
  • the shift amount of this pixel shift is also referred to as the focusing shift amount.
  • the viewpoint of the i-th viewpoint image is also described as a viewpoint vp # i.
  • the focusing shift amount of the viewpoint image of the viewpoint vp # i is also described as the focusing shift amount SV # i.
  • the focus shift amount SV # i of the viewpoint image of the viewpoint vp # i adds the direction of the viewpoint vp # i from the viewpoint of the monocular image E1, which is the viewpoint of the processing result image, from the registered disparity RD of the focus target pixel. It can be uniquely determined by the disparity conversion.
  • the disparity (vector as) (-(L / B) ⁇ RD ⁇ cos ⁇ , ⁇ (L / B) ⁇ RD ⁇ sin ⁇ ) Desired.
  • the disparity conversion is performed, for example, by multiplying the registration disparity RD by each of-(L / B) ⁇ cos ⁇ and-(L / B) ⁇ sin ⁇ , or -1 of the registration disparity RD. It can be understood as an operation or the like which multiplies each of (L / B) ⁇ cos ⁇ and (L / B) ⁇ sin ⁇ with respect to the multiplication.
  • the disparity conversion is regarded as an operation of multiplying each of (L / B) ⁇ cos ⁇ and (L / B) ⁇ sin ⁇ by ⁇ 1 time of the registered disparity RD.
  • a value to be subjected to disparity conversion that is, ⁇ 1 times the registered disparity RD here is a value serving as a reference for determining the focusing shift amount of the viewpoint image of each viewpoint. Also called quantity BV.
  • the focusing shift amount is uniquely determined by the disparity conversion of the reference shift amount BV. Therefore, according to the setting of the reference shift amount BV, the setting substantially reduces the pixels of the viewpoint image of each viewpoint in refocusing.
  • the pixel shift amount for pixel shift is set.
  • the reference shift amount BV for focusing the focusing target pixel that is, the focusing target pixel
  • the ⁇ 1 time of the registered disparity RD is equal to the x component of the disparity of the focus target pixel between the single-eye image E2.
  • FIG. 20 is a flowchart for explaining an example of the light collecting process for performing refocusing.
  • step S71 the light collection processing unit 83 acquires (information of) the focusing target pixel as a light collection parameter from the parameter setting unit 84, and the process proceeds to step S72.
  • the parameter setting unit 84 sets the pixel at the position designated by the user as the focusing target pixel, and supplies (the information representing) the focusing target pixel to the focusing processing unit 83 as a focusing parameter.
  • step S71 the light collection processing unit 83 acquires the focusing target pixel supplied from the parameter setting unit 84 as described above.
  • step S72 the light collection processing unit 83 obtains the registered disparity RD of the focusing target pixel registered in the disparity map from the disparity information generating unit 81. Then, the light collection processing unit 83 sets the reference shift amount BV according to the registration disparity RD of the focusing target pixel, that is, for example, ⁇ 1 time of the registration disparity RD of the focusing target pixel is a reference The shift amount BV is set, and the process proceeds from step S72 to step S73.
  • the light collection processing unit 83 is one of the viewpoint images of the plurality of viewpoints from the interpolation unit 82, for example, an image corresponding to the single eye image E1, ie, the viewpoint of the single eye image E1.
  • the image having the same size as the single-eye image E1 and having an initial pixel value of 0 is set as the processing result image.
  • the light collection processing unit 83 determines one pixel among the pixels not determined as the target pixel among the pixels of the processing result image as the target pixel, and the process proceeds from step S73 to step S74. Go to
  • step S74 the condensing processing unit 83 selects one viewpoint vp # i of the viewpoint images of the viewpoint image from the interpolation unit 82 (for the target pixel) that has not yet been determined as the target viewpoint vp # i.
  • the process is advanced to step S75.
  • step S75 the light collection processing unit 83 uses the reference shift amount BV to focus the focusing target pixel (focuses on the subject appearing in the focusing target pixel), the viewpoint of the focus viewpoint vp # i The focusing shift amount SV # i of each pixel of the image is obtained.
  • the light collection processing unit 83 performs disparity conversion on the reference shift amount BV in consideration of the direction of the target viewpoint vp # i from the viewpoint of the single eye image E1 that is the viewpoint of the processing result image, and performs disparity conversion
  • the value (vector) obtained as a result of is acquired as the in-focus shift amount SV # i of each pixel of the viewpoint image of the attention viewpoint vp # i.
  • step S75 the process proceeds from step S75 to step S76, and the light collection processing unit 83 performs pixel shift of each pixel of the viewpoint image of the target viewpoint vp # i according to the focusing shift amount SV # i, and after pixel shift
  • the pixel value of the pixel at the position of the target pixel in the viewpoint image is integrated with the pixel value of the target pixel.
  • the light collection processing unit 83 generates a vector corresponding to the focusing shift amount SV # i from the position of the pixel of interest among the pixels of the viewpoint image of the watching point vp # i (here, for example, the focusing shift amount SV
  • the pixel values of pixels separated by ⁇ 1) times #i are integrated with the pixel value of the target pixel.
  • step S76 the process proceeds from step S76 to step S77, and the light collection processing unit 83 determines whether all the viewpoints of the viewpoint image from the interpolation unit 82 have been set as the attention viewpoint.
  • step S77 If it is determined in step S77 that all the viewpoints of the viewpoint image from the interpolation unit 82 have not been set as the target viewpoint, the process returns to step S74, and the same process is repeated.
  • step S77 When it is determined in step S77 that all the viewpoints of the viewpoint image from the interpolation unit 82 are the viewpoints of interest, the process proceeds to step S78.
  • step S78 the light collection processing unit 83 determines whether all the pixels of the processing result image have been set as the target pixel.
  • step S78 If it is determined in step S78 that not all the pixels of the processing result image have been set as the pixel of interest, the processing returns to step S73, and the light condensing processing unit 83 determines the pixels of the processing result image as described above. Among the pixels, one of the pixels not determined as the target pixel is newly determined as the target pixel, and the same processing is repeated thereafter.
  • step S78 when it is determined in step S78 that all the pixels of the processing result image have been set as the pixel of interest, the focusing processor 83 outputs the processing result image, and the focusing processing is ended.
  • a focused processing result image is generated using viewpoint images of a plurality of viewpoints.
  • the reference shift amount BV is set according to the registration disparity RD of the focusing target pixel, and does not change depending on the target pixel or the target viewpoint vp # i. Therefore, in the light collection process of FIG. 20, the reference shift amount BV is set regardless of the target pixel or the target viewpoint vp # i.
  • the focusing shift amount SV # i changes depending on the focused viewpoint vp # i and the reference shift amount BV.
  • the reference shift amount BV includes the focused pixel and the focused viewpoint. It does not change depending on vp # i. Therefore, the focusing shift amount SV # i changes depending on the focused viewpoint vp # i, but does not change depending on the focused pixel. That is, the focusing shift amount SV # i has the same value for each pixel of the viewpoint image of one viewpoint regardless of the pixel of interest.
  • step S75 for obtaining the in-focus shift amount SV # i is a loop for repeatedly calculating the in-focus shift amount SV # i with respect to the same viewpoint vp # i for different noted pixels (steps S73 to S78).
  • the focusing shift amount SV # i has the same value for each pixel of the viewpoint image of one viewpoint regardless of the pixel of interest.
  • step S75 for obtaining the focusing shift amount SV # i may be performed only once for one viewpoint.
  • FIG. 21 is a diagram for explaining an example of processing for acquiring area information representing an area of a single image using the server.
  • the communication unit 42 of the multi-lens interchangeable lens 20 determines the lens ID as the area specifying information stored in the storage unit 41. Is sent to the camera body 10.
  • the communication unit 57 of the camera body 10 receives the lens ID from the multi-lens interchangeable lens 20, and transmits the lens ID to, for example, the server 90 on the cloud in step S91.
  • the server 90 receives the lens ID from the camera body 10, and in step S101, searches the database (DB) using the lens ID as a keyword, and picks up an image using the multi-lens interchangeable lens 20 specified by the lens ID Area information representing the area of the monocular image on the captured image to be acquired is acquired.
  • step S102 the server 90 transmits the area information searched from the database to the camera body 10.
  • the communication unit 57 receives the area information from the server 90 and supplies the area information to the area specifying unit 52.
  • the area specifying unit 52 specifies an area on the captured image that is represented by the area information from the server 90 as the area of the monocular image, and extracts the monocular image from the captured image.
  • the lens ID is transmitted from the multi-lens interchangeable lens 20 to the server 90 via the camera body 10, but the lens ID is transmitted from the multi-lens interchangeable lens 20 via the camera body 10. It can be sent (directly) to the server 90 without being sent.
  • the camera body 10 can transmit a captured image to the server 90 together with the lens ID.
  • the server 90 extracts the monocular image from the captured image from the camera body 10 according to the area information obtained by performing the search using the lens ID as a keyword, and transmits it to the camera body 10 it can.
  • the camera body 10 can be configured without the image processing unit 53, and can transmit the captured image or the single-lens image to the server 90.
  • the server 90 extracts the single image from the captured image as necessary, and uses the single image extracted from the captured image or the single image transmitted from the camera body 10, Image processing similar to that of the image processing unit 53 can be performed. Then, the server 90 can transmit the processing result image obtained by the image processing to the camera body 10 or the like.
  • FIG. 22 is a diagram for explaining the details of the exposure control.
  • a camera system that performs exposure control is a single-eye camera system.
  • an evaluation area which is an area used to calculate the brightness evaluation value, is set for the captured image.
  • the entire captured image is set as the evaluation area.
  • the integrated value of Y signals (brightness signals) of pixels in the evaluation area of the photographed image is calculated as a brightness evaluation value, and the brightness evaluation value and the brightness evaluation set in advance are calculated.
  • the exposure time, the aperture, and the gain are controlled.
  • the aperture and gain are controlled.
  • FIG. 23 is a block diagram showing a configuration example of a camera system having an AE function.
  • the camera system includes a lens 111, an image sensor 112, a camera signal processing LSI (Large Scale Integration) 113, and a CPU (Central Processing Unit) 114.
  • LSI Large Scale Integration
  • CPU Central Processing Unit
  • the lens 111 condenses the light from the subject on the image sensor 112.
  • the image sensor 112 photoelectrically converts the light from the lens 111, and outputs a captured image obtained as a result to the camera signal processing LSI 113.
  • the image sensor 112 has, for example, a Bayer-arranged color filter, and each pixel of the captured image output from the image sensor 112 has an R (Red) signal, G as a pixel value according to the position of the pixel. It has only one of the (Green) signal and the B (Blue) signal.
  • the camera signal processing LSI 113 performs demosaicing (interpolation) of the captured image from the image sensor 112, and each pixel has pixel values of R signal, G signal, and B signal (R signal, G signal, and A captured image having a plane of each of the B signals is generated.
  • the CPU 114 sets an evaluation area, and instructs the camera signal processing LSI 113 to generate an evaluation area signal representing the evaluation area.
  • the camera signal processing LSI 113 generates an evaluation area signal representing an evaluation area in accordance with an instruction from the CPU 114. Further, the camera signal processing LSI 113 obtains a brightness evaluation value by integrating (integrating) Y signals of pixels in the evaluation area (S) represented by the evaluation area signal in the captured image, and supplies the CPU 114 .
  • the CPU 114 controls, for example, the exposure time of the image sensor 112 (shutter speed) so that the brightness evaluation value matches the target value according to the brightness evaluation value from the camera signal processing LSI 113 and the target value set in advance. Calculate the combination of) and gain.
  • the Y signal of the captured image can be obtained as the product of the luminance of the subject, the exposure time of the image sensor 112, and the gain (a value proportional to the product), and the brightness evaluation value is an integrated value of such Y signals.
  • the CPU 114 selects a combination of the exposure time and the gain which is estimated to be appropriate depending on the situation, from among the countless combinations of the exposure time and the gain.
  • the CPU 114 sets the combination of the exposure time and the gain estimated to be appropriate to the image sensor 112, thereby controlling the exposure, that is, controlling the exposure time and the gain to realize the AE.
  • the control unit 56 (FIG. 3) can also perform exposure control processing in the same manner as the camera system of FIG.
  • a series of processes of the area specifying unit 52, the image processing unit 53, the control unit 56, the communication unit 57 and the like described above can be performed by hardware or software.
  • a program constituting the software is installed in a general-purpose computer or the like.
  • FIG. 24 is a block diagram showing an example of a configuration of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 205 or a ROM 203 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 211.
  • Such removable recording medium 211 can be provided as so-called package software.
  • examples of the removable recording medium 211 include a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical disc (MO), a digital versatile disc (DVD), a magnetic disc, a semiconductor memory, and the like.
  • the program may be installed on the computer from the removable recording medium 211 as described above, or may be downloaded to the computer via a communication network or a broadcast network and installed on the built-in hard disk 205. That is, for example, the program is wirelessly transferred from the download site to the computer via an artificial satellite for digital satellite broadcasting, or transferred to the computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 202, and an input / output interface 210 is connected to the CPU 202 via a bus 201.
  • CPU Central Processing Unit
  • the CPU 202 executes a program stored in a ROM (Read Only Memory) 203 accordingly. .
  • the CPU 202 loads a program stored in the hard disk 205 into a random access memory (RAM) 204 and executes the program.
  • RAM random access memory
  • the CPU 202 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 202 outputs the processing result from the output unit 206 or transmits it from the communication unit 208 through the input / output interface 210, for example, and records the processing result on the hard disk 205, as necessary.
  • the input unit 207 is configured of a keyboard, a mouse, a microphone, and the like. Further, the output unit 206 is configured of an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed chronologically in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or separately (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed and processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer for execution.
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • An interchangeable lens having an individual lens, which is a plurality of lenses arranged so as not to overlap in the optical axis direction, mounted on a camera body having an image sensor, on an image captured by one image sensor
  • a communication unit for receiving area specifying information for specifying an area of each of a plurality of single-eye images corresponding to an image formed by a light beam collected by each of the plurality of single-eye lenses;
  • An area specifying unit for specifying an area of the plurality of single-eye images for each of the plurality of single-eye lenses on the captured image based on the area specifying information.
  • ⁇ 2> The portion of the image formed by the light rays collected by the other single-lens lens, of the images formed by the light rays collected by the single-lens lens, does not overlap the image formed by the light rays collected by the other single-eye lens
  • the information processing apparatus according to ⁇ 1> which is an image including only ⁇ 3>
  • the information processing apparatus according to ⁇ 1> further including a control unit that performs exposure control using a part or all of the plurality of single-eye images.
  • ⁇ 4> The information processing apparatus according to any one of ⁇ 1> to ⁇ 3>, further including: a display unit configured to display the captured image or the single-eye image.
  • ⁇ 5> A condensing process for generating a processing result image in which the distance in the depth direction is in focus at a predetermined distance by shifting and integrating the pixels of the viewpoint images of the plurality of viewpoints including the plurality of monocular images.
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 4>, further including a condensing processing unit that performs.
  • ⁇ 6> The information processing apparatus according to ⁇ 5>, wherein the light collection processing unit sets a shift amount for shifting pixels of the viewpoint image according to parallax information of the viewpoint images of the plurality of viewpoints.
  • the viewpoint images of the plurality of viewpoints include the plurality of monocular images and a plurality of interpolation images generated by interpolation using the plurality of monocular images.
  • a disparity information generating unit that generates disparity information of the plurality of single-eye images;
  • the information processing apparatus An interchangeable lens having an individual lens, which is a plurality of lenses arranged so as not to overlap in the optical axis direction, mounted on a camera body having an image sensor, on an image captured by one image sensor Receiving area specifying information for specifying an area of each of a plurality of single eye images corresponding to an image formed by a light beam collected by each of the plurality of single eye lenses; And identifying an area of the plurality of monocular images for each of the plurality of monocular lenses on the captured image based on the area identification information.
  • An individual lens which is a plurality of lenses disposed so as not to overlap in the optical axis direction, A plurality of images corresponding to images formed by light beams collected by the plurality of individual lenses on a captured image captured by a single image sensor when mounted on a camera body having an image sensor
  • a storage unit for storing area specifying information for specifying an area of each single-eye image
  • a communication unit that transmits the area specifying information to the outside;
  • the interchangeable lens according to ⁇ 11> further including a stop that limits a light beam that reaches the image sensor from the individual lens for each of the plurality of individual lenses.
  • the diaphragm is configured such that a light beam collected by one of the plurality of individual lenses is not overlapped with a light collected by another single lens.
  • the interchangeable lens according to ⁇ 12> having an aperture that limits a ray from a single-lens lens.
  • the region specifying information is a diameter of an effective image circle of each of the plurality of individual lenses and a center position of the effective image circle.
  • the area specifying information is area information representing an area of the single-eye image for each of the plurality of single-eye lenses on the captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Cameras In General (AREA)

Abstract

本技術は、複数の視点の画像を、容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。 通信部は、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個のイメージセンサで撮像される撮像画像上の、複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する。領域特定部は、領域特定情報に基づいて、撮像画像上の、複数の個眼レンズそれぞれに対する複数の個眼画像の領域を特定する。本技術は、例えば、画像を撮像するカメラシステム等に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
　本技術は、情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関し、特に、例えば、複数の視点の画像を容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。
　複数の視点の画像から、例えば、リフォーカスを行った画像、すなわち、光学系のフォーカスを変更して撮像を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば、非特許文献１を参照）。
　例えば、非特許文献１には、100台のカメラからなるカメラアレイを用いたリフォーカスの方法が記載されている。
　リフォーカス等の特定の画像処理を行うにあたっては、複数の視点の画像が必要となる。
　本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像を容易に得ることができるようにするものである。
　本技術の情報処理装置又はプログラムは、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部とを備える情報処理装置、又は、そのような情報処理装置としてコンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、情報処理装置が、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信することと、前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定することとを含む情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報が受信される。そして、前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域が特定される。
　本技術の交換レンズは、光軸方向に重ならないように配置された複数のレンズである個眼レンズと、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、前記領域特定情報を外部に送信する通信部とを備える交換レンズである。
　本技術の交換レンズにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズが設けられており、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報が記憶されている。前記領域特定情報は外部に送信される。
　なお、情報処理装置は、独立した装置であっても良いし、1個の装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、複数の視点の画像を容易に得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。 カメラ本体１０の背面の構成例を示す背面図である。 カメラシステムの電気的構成例を示すブロック図である。 多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。 多眼交換レンズ２０における個眼レンズ３１1ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。 領域特定部５２が行う、撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。 表示部５４に表示されるスルー画の表示例を示す図である。 多眼交換レンズ２０の第１の光学的な構成例の概要を示す断面図である。 多眼交換レンズ２０の第２の光学的な構成例の概要を示す断面図である。 多眼交換レンズ２０が4個の個眼レンズ３１1ないし３１4を有する場合の、絞り７１の構成例の概要を示す背面図である。 絞り７１が設けられた多眼交換レンズ２０の構成例を示す斜視図である。 制御部５６が行う露出制御の処理（露出制御処理）の例を説明するフローチャートである。 画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。 画像処理部５３が行う画像処理の例を説明するフローチャートである。 多眼交換レンズ２０の他の構成例を示す背面図である。 補間部８２での補間画像の生成の例を説明する図である。 視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。 集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。 ディスパリティ変換の例を説明する図である。 リフォーカスを行う集光処理の例を説明するフローチャートである。 サーバを利用して、個眼画像の領域を表す領域情報を取得する処理の例を説明する図である。 露出制御の詳細を説明する図である。 AE機能を有するカメラシステムの構成例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したカメラシステムの一実施の形態＞
　図１は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。
　カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。
　カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が取り付けられることで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。
　カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。
　多眼交換レンズ２０は、鏡筒２１及びレンズマウント２２を有する。
　鏡筒２１には、光軸方向に（見て）重ならないように、複数のレンズである4個の個眼レンズ３１1，３１2，３１3、及び、３１4が配置されている。図１では、鏡筒２１において、4個の個眼レンズ３１1ないし３１4が、光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上の菱形の頂点となる位置に配置されている。
　個眼レンズ３１1ないし３１4は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。
　なお、ここでは、カメラ本体１０は、1個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１1ないし３１4は、３つのイメージセンサのそれぞれに、光線を集光させる。
　レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に取り付けられる。
　なお、図１では、多眼交換レンズ２０に、4個の個眼レンズ３１1ないし３１4が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、4個に限定されるものではなく、2個や3個、5個以上の任意の複数の数を採用することができる。
　さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、菱形の頂点となる位置に配置する他、２次元平面上の任意の位置に配置することができる。
　また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
　多眼交換レンズ２０において、複数としての4個の個眼レンズ３１1ないし３１4それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、光軸がイメージセンサ５１の受光面と直交するように配置されている。
　かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステムでは、イメージセンサ５１において、4個の個眼レンズ３１1ないし３１4それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像が撮像される。
　いま、1個の個眼レンズ３１i（ここでは、i=1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ５１で撮像される撮像画像には、4個の個眼レンズ３１1ないし３１4それぞれに対する4個の個眼画像（個眼レンズ３１1ないし３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
　個眼レンズ３１iに対する個眼画像は、個眼レンズ３１iの位置を視点とする画像であり、したがって、個眼レンズ３１1ないし３１4それぞれに対する4個の個眼画像は、異なる視点の画像である。
　図２は、カメラ本体１０の背面の構成例を示す背面図である。
　ここで、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。
　カメラ本体１０の背面には、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される表示部５４が設けられている。表示部５４には、いわゆるスルー画や、メニュー、カメラ本体１０の設定等の情報が表示される。
　図３は、図１のカメラシステムの電気的構成例を示すブロック図である。
　カメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。
　記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、多眼交換レンズ２０がカメラ本体１０に装着されたときに（1個の）イメージセンサ５１で撮像される撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像それぞれの領域を特定するための領域特定情報を含む。
　領域特定情報としては、撮像画像上の各個眼画像の領域を表す領域情報を採用することができる。領域情報とは、例えば、撮像画像上の個眼画像の左上の点（画素）及び右下の点の座標や、撮像画像上の個眼画像の左上の点等の所定の点の座標と、個眼画像の大きさ（例えば、横及び縦のサイズ）等の、撮像画像上の個眼画像の位置と大きさとを表す情報である。
　また、領域特定情報としては、領域情報の他、撮像画像上の各個眼画像の領域を特定することが可能な情報（以下、非領域情報ともいう）を採用することができる。非領域情報としては、例えば、個眼レンズ３１1ないし３１4それぞれの有効像円の径、及び、その有効像円の中心位置等がある。さらに、例えば、多眼交換レンズ２０に対して、ユニークなレンズID(Identification)が割り当てられており、かつ、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の領域情報とが対応付けられたデータベースが用意されている場合には、非領域情報としては、多眼交換レンズ２０のレンズIDを採用することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の領域情報を取得することができる。
　通信部４２は、カメラ本体１０の後述する通信部５７との間で、有線又は無線による通信を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
　通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、カメラ本体１０の通信部５７と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５７に送信する。
　カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、制御部５６、及び、通信部５７を有する。
　イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１1ないし３１4それぞれにより集光される光線が照射される。
　イメージセンサ５１は、個眼レンズ３１1ないし３１4それぞれにより集光される光線を受光して光電変換を行うことにより、個眼レンズ３１1ないし３１4それぞれに対する個眼画像（個眼レンズ３１1ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像）を含む撮像画像を撮像し、領域特定部５２に供給する。
　領域特定部５２には、イメージセンサ５１から撮像画像が供給される他、通信部５７から、その通信部５７が、多眼交換レンズ２０から受信したレンズ情報が供給される。
　領域特定部５２は、通信部５７からのレンズ情報に含まれる領域特定情報に基づいて、イメージセンサ５１からの撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
　ここで、領域特定部５２は、例えば、撮像画像と、その撮像画像上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５２は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。
　以下では、説明を簡単にするため、例えば、領域特定部５２は、撮像画像から抽出した各個眼画像（ここでは、個眼レンズ３１1ないし３１4それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。
　領域特定部５２が出力する個眼レンズ３１1ないし３１4それぞれに対する個眼画像は、画像処理部５３及び制御部５６に供給される。
　画像処理部５３は、領域特定部５２からの個眼レンズ３１1ないし３１4それぞれに対する個眼画像、すなわち、個眼レンズ３１1ないし３１4それぞれの位置を視点とする、異なる視点の個眼画像を用いて、例えば、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５４及び記憶部５５に供給する。
　表示部５４は、例えば、画像処理部５３から供給される処理結果画像等を、図２で説明したようにスルー画として表示する。
　記憶部５５は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５３から供給される処理結果画像を記憶する。
　制御部５６は、カメラ本体１０、及び、カメラ本体１０に装着された多眼交換レンズ２０に関して、各種の制御を行う。例えば、制御部５６は、領域特定部５２から供給される個眼画像を用いて、露出制御やフォーカス制御を行い、AE(Auto Exposure)やAF(Auto Focus)を実現する。
　通信部５７は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５７は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
　通信部５７は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、領域特定部５２に供給する。
　＜多眼交換レンズ２０を用いて行われる撮像の概要＞
　図４は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
　多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像を含む撮像画像が撮像される。
　ここで、本明細書では、個眼レンズ３１iの光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
　さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１iの位置の左右と、その個眼レンズ３１iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１iの位置、被写体等の左右を記述する。
　図５は、多眼交換レンズ２０における個眼レンズ３１1ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
　図５のＡは、多眼交換レンズ２０における個眼レンズ３１1ないし３１4の配置の例を示す背面図である。
　図１で説明したように、個眼レンズ３１1ないし３１4は、イメージセンサ５１の受光面に平行な２次元平面上の菱形の頂点となる位置に配置されている。
　個眼レンズ３１1ないし３１4のうちの、例えば、個眼レンズ３１1を基準とすると、図５では、個眼レンズ３１2は、個眼レンズ３１1の右に配置されている。そして、個眼レンズ３１3は、個眼レンズ３１1の左下に配置され、個眼レンズ３１4は、個眼レンズ３１1の右下に配置されている。
　図５のＢは、図５のＡのように個眼レンズ３１1ないし３１4が配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
　複数の個眼レンズ３１1ないし３１4を有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、ある1個の個眼レンズ３１iを通過した光線のみが照射される領域の他に、重複受光領域や不受光領域が存在する。
　重複受光領域とは、撮像画像において、ある1個の個眼レンズ３１iを通過した光線と、他の１個の個眼レンズ３１jを通過した光線とが重複して照射される領域であり、不受光領域とは、撮像画像において、個眼レンズ３１1ないし３１4それぞれを通過した光線のうちのいずれの光線も照射されない領域である。
　領域特定部５２（図３）は、レンズ情報に含まれる領域特定情報に基づき、各個眼レンズ３１iについて、その個眼レンズ３１iを通過した光線のみが照射される撮像画像上の領域のうちの、個眼レンズ３１iの光軸（に対応する位置）を中心とする所定サイズの長方形状の領域を、個眼レンズ３１iに対する個眼画像E#iの領域として特定する。
　これにより、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iにより集光される光線により形成される像のうちの、他の個眼レンズ３１jにより集光される光線により形成される像と重複しない部分のみを含む画像となる。
　さらに、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iの位置から、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１iの位置を視点とする撮像により得られる画像になる。
　＜個眼画像の領域特定処理＞
　図６は、図３の領域特定部５２が行う、撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。
　ステップＳ１１において、領域特定部５２は、通信部５７から供給されるレンズ情報を取得し、処理は、ステップＳ１２に進む。
　すなわち、多眼交換レンズ２０がカメラ本体１０に装着されると、通信部５７は、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、領域特定部５２に供給する。領域特定部５２は、以上のようにして通信部５７から供給されるレンズ情報を取得する。
　ステップＳ１２では、領域特定部５２は、通信部５７から取得したレンズ情報に含まれる領域特定情報に基づいて、イメージセンサ５１から供給される撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像E1，E2，E3，E4の領域を特定し、処理は、ステップＳ１３に進む。
　ステップＳ１３では、領域特定部５２は、撮像画像から、個眼画像E1ないしE4それぞれを抽出し、領域特定結果情報として出力して、処理を終了する。
　なお、領域特定部５２は、図３で説明したように、個眼画像E1ないしE4に代えて、撮像画像と、その撮像画像上の各個眼画像E#iの領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。
　以上のように、多眼交換レンズ２０は、光軸方向に（見て）重ならないように配置された個眼レンズ３１1ないし３１4を有し、領域特定情報を含むレンズ情報を、外部としての、例えば、カメラ本体１０に送信する。また、カメラ本体１０は、レンズ情報を受信し、そのレンズ情報に含まれる領域特定情報に基づいて、撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像E1ないしE4の領域を特定する。したがって、複数の視点の画像、すなわち、個眼レンズ３１1ないし３１4それぞれの位置を視点とする個眼画像E1ないしE4を容易に得ることができる。
　＜スルー画の表示例＞
　図７は、図３の表示部５４に表示されるスルー画の表示例を示す図である。
　図７のＡは、スルー画の第１の表示例を示している。スルー画としては、図７のＡに示すように、イメージセンサ５１で撮像される撮像画像を採用することができる。スルー画として、撮像画像を採用する場合、画像処理部５３は、領域特定部５２から、イメージセンサ５１で撮像された撮像画像を取得し、表示部５４に供給して表示させる。
　図７のＢは、スルー画の第２の表示例を示している。スルー画としては、図７のＢに示すように、１つの個眼画像E#iを採用することができる。スルー画として、１つの個眼画像E#iを採用する場合、画像処理部５３は、領域特定部５２から供給される個眼画像E1ないしE4から、１つの個眼画像E#iを選択し、表示部５４に供給して表示させる。
　なお、スルー画として、撮像画像を表示するか、又は、１つの個眼画像E#iを表示するかは、例えば、ユーザの操作等に応じて選択することができる。
　また、スルー画として、１つの個眼画像E#iを採用する場合、スルー画とする１つの個眼画像E#iは、例えば、ユーザの操作等に応じて、個眼画像E1ないしE4の中から選択的に切り替えることができる。
　さらに、スルー画としては、画像処理部５３で行われるリフォーカスにより得られる画像を採用することができる。
　＜多眼交換レンズ２０の光学的な構成例の概要＞
　図８は、多眼交換レンズ２０の第１の光学的な構成例の概要を示す断面図である。
　なお、ここでは、説明を簡単にするため、多眼交換レンズ２０が、3個の個眼レンズ３１1ないし３１3を有し、その3個の個眼レンズ３１1ないし３１3が、光軸方向（z方向）に見て重ならないように、水平方向（x方向）に一列に並んで配置されていることとする。
　多眼交換レンズ２０が、個眼レンズ３１iを通過した光線を制限する光学部品を有していない場合、図８に示すように、個眼レンズ３１iを通過した光線は、イメージセンサ５１の受光面の比較的広い範囲に亘って照射される。
　この場合、3個の個眼レンズ３１1ないし３１3のうちの隣接する個眼レンズ３１1と３１2とについては、個眼レンズ３１1を通過した光線と、個眼レンズ３１2を通過した光線との一部が、イメージセンサ５１の受光面に重複して照射され、その結果、撮像画像に重複受光領域が生じる。この点、隣接する個眼レンズ３１2と３１3とについても同様である。
　水平方向に一列に並ぶ3個の個眼レンズ３１1ないし３１3については、個眼レンズ３１1及び３１3それぞれと隣り合う個眼レンズ３１2を通過する光線が、個眼レンズ３１1を通過する光線と重複するとともに、個眼レンズ３１3を通過する光線と重複する。その結果、個眼レンズ３１2に対する個眼画像E2の領域となり得る、その個眼レンズ３１2を通過した光線のみが照射される撮像画像上の領域は、個眼レンズ３１1や３１3の場合に比較して、小さくなる。
　したがって、個眼レンズ３１2に対する個眼画像E2は、サイズの小さな画像になり、個眼レンズ３１1ないし３１3それぞれに対する個眼画像E1ないしE3のサイズを同一サイズにする場合には、個眼画像E1及びE2のサイズも小さくなる。
　そこで、多眼交換レンズ２０が有するすべての個眼レンズ３１1ないし３１3それぞれについては、各個眼レンズ３１iからイメージセンサ５１に到達する光線を制限する絞りを設けることができる。
　図９は、多眼交換レンズ２０の第２の光学的な構成例の概要を示す断面図である。
　なお、図９でも、図８の場合と同様に、多眼交換レンズ２０が、3個の個眼レンズ３１1ないし３１3を有し、その3個の個眼レンズ３１1ないし３１3が、光軸方向に重ならないように、水平方向に一列に並んで配置されている。
　図９では、多眼交換レンズ２０は、個眼レンズ３１1ないし３１3それぞれについて、各個眼レンズ３１iからイメージセンサ５１に到達する光線を制限する絞り７１を有している。
　絞り７１は、個眼レンズ３１1ないし３１3のうちの、1個の個眼レンズ３１iにより集光される光線と、他の1個の個眼レンズ３１jにより集光される光線とが重複しないように、個眼レンズ３１iからの光線を制限する円形状の開口を有する。
　個眼レンズ３１1ないし３１3及び絞り７１の配置、並びに、絞り７１の開口の大きさは、1個の個眼レンズ３１iにより集光される光線と、他の1個の個眼レンズ３１jにより集光される光線とが（なるべく）重複せず、かつ、個眼レンズ３１iにより集光される光線が照射されるイメージセンサ５１の受光面上の領域がより大（理想的には最大）になるように設定することができる。
　この場合、イメージセンサ５１の受光面を有効に利用して、サイズの大きな個眼画像E#iを得ることができる。
　図１０は、図５に示したように、多眼交換レンズ２０が4個の個眼レンズ３１1ないし３１4を有する場合の、絞り７１の構成例の概要を示す背面図である。
　図１０のＡは、絞り７１の第１の構成例を示している。
　絞り７１としては、4個の個眼レンズ３１1ないし３１4それぞれに対して、個別の絞りを採用し、個眼レンズ３１1ないし３１4それぞれの背面に設置することができる。
　図１０のＢは、絞り７１の第２の構成例を示している。
　絞り７１としては、4個の個眼レンズ３１1ないし３１4それぞれに対する開口が1個のプレートに設けられた1個の絞りを採用し、個眼レンズ３１1ないし３１4の背面に設置することができる。
　図１１は、絞り７１が設けられた多眼交換レンズ２０の他の構成例を示す斜視図である。
　図１１では、多眼交換レンズ２０は、5個の個眼レンズ３１1ないし３１5を有し、その5個の個眼レンズ３１1ないし３１5は、光軸方向に重ならないように、２次元平面上に配置されている。
　さらに、図１１では、5個の個眼レンズ３１1ないし３１5は、それらのうちの1個である、例えば、個眼レンズ３１1を中心として、他の４個の個眼レンズ３１2ないし３１5が、個眼レンズ３１1の周辺に、長方形の頂点を構成するように配置されている。
　また、図１１では、個眼レンズ３１1ないし３１5の背面側に、絞り７１が設けられている。絞り７１は、例えば、多眼交換レンズ２０の鏡筒２１に収納することができるが、図１１では、図を見やすくするために、絞り７１を、多眼交換レンズ２０と離した状態で図示してある。
　さらに、図１１では、絞り７１の開口として、矩形状の開口が採用されている。絞り７１の開口として、矩形状の開口を採用する場合には、個眼レンズ３１iを通過した光が照射されるイメージセンサ５１の受光面上の領域を、矩形状の領域Fに制限することができる。
　なお、多眼交換レンズ２０の各個眼レンズ３１iには、その個眼レンズ３１iに入射する光の一部を遮るレンズフード２３を設けることができる。レンズフード２３は、多眼交換レンズ２０に固定するように構成することもできるし、多眼交換レンズ２０に着脱可能なように構成することもできる。
　＜露出制御＞
　図１２は、図３の制御部５６が行う露出制御の処理（露出制御処理）の例を説明するフローチャートである。
　露出制御の方法としては、イメージセンサ５１（図３）で撮像された撮像画像を用い、その撮像画像の明るさを評価する明るさ評価値を求め、その明るさ評価値に応じて、撮像画像に、いわゆる白飛びした箇所がなく、かつ、適正な所定の明るさとなるように、露出時間（シャッタスピード）や、絞りの開口、イメージセンサ５１で行われる画素信号のA/D変換のゲイン（アナログゲイン）等を制御する方法がある。
　しかしながら、多眼交換レンズ２０を装着したカメラ本体１０では、イメージセンサ５１（図３）で撮像される撮像画像には、図５で説明したように、不受光領域や重複受光領域が生じ得るため、かかる撮像画像を用いて、明るさ評価値を求めたのでは、適切な露光制御を行う明るさ評価値を得ることができないことがある。
　そこで、制御部５６は、撮像画像（そのもの）ではなく、個眼画像E#i（の領域内の画像）を用いて、明るさ評価値を求め、露出制御を行う。
　なお、ここでは、図５に示したように、多眼交換レンズ２０が4個の個眼レンズ３１1ないし３１4を有し、領域特定部５２において、4個の個眼画像E1ないしE4が得られることとする。
　また、イメージセンサ５１は、周期的に、撮像を行って、その撮像により得られる撮像画像を領域特定部５２に供給し、領域特定部５２は、イメージセンサ５１からの撮像画像から、4個の個眼画像E1ないしE4を抽出していることとする。
　ステップＳ２１において、制御部５６は、領域特定部５２から4個の個眼画像E1ないしE4を取得し、処理は、ステップＳ２２に進む。
　ステップＳ２２において、制御部５６は、4個の個眼画像E1ないしE4の一部又は全部、すなわち、4個の個眼画像E1ないしE4のうちの1個の個眼画像又は2個以上の個眼画像を用いて、個眼画像E1ないしE4の明るさを評価する明るさ評価値（現在の露出状態を評価する評価値）を算出し、処理は、ステップＳ２３に進む。
　ステップＳ２３では、制御部５６は、あかるさ評価値に応じて、露出制御、すなわち、例えば、露出時間や、絞り、ゲインを制御し、処理は、ステップＳ２４に進む。
　ステップＳ２４では、制御部５６は、AEの露出制御を終了するかどうかを判定する。
　ステップＳ２４において、露出制御を終了しないと判定された場合、処理は、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２４において、露出制御を終了すると判定された場合、すなわち、例えば、ユーザがAEを終了するように、カメラ本体１０の操作を行った場合、露出制御処理は終了する。
　以上のように、個眼画像E1ないしE4の一部又は全部を用いて、明るさ評価値を算出することにより、不受光領域や重複受光領域が影響しない明るさ評価値を得ることができるので、その明るさ評価値に応じて、適切な露光制御を行うことができる。
　＜画像処理部５３の構成例＞
　図１３は、図３の画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。
　ここで、多眼交換レンズ２０が、例えば、図５に示したように、個眼レンズ３１1ないし３１4を有する場合には、その個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4が、領域特定部５２から画像処理部５３に供給される。領域特定部５２から画像処理部５３に供給される、個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4は、個眼レンズ３１1ないし３１4の位置それぞれから、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１1ないし３１4の位置それぞれを視点とする撮像により得られる画像であり、異なる視点の画像である。
　図１３において、画像処理部５３は、視差情報生成部８１、補間部８２、集光処理部８３、及び、パラメータ設定部８４を有する。
　画像処理部５３には、領域特定部５２から、複数の視点の画像である複数の視点の個眼画像E#iが供給される。
　なお、ここでは、個眼画像E#iの視点とは、個眼レンズ３１iの位置である。
　画像処理部５３において、個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
　視差情報生成部８１は、領域特定部５２から供給される複数の視点の個眼画像E#iを用いて、視差情報を求め、補間部８２、及び、集光処理部８３に供給する。
　すなわち、視差情報生成部８１は、例えば、領域特定部５２から供給される個眼画像E#iそれぞれの、他の個眼画像E#jとの視差情報を求める処理を、複数の視点の個眼画像E#iの画像処理として行う。そして、視差情報生成部８１は、例えば、個眼画像の画素（の位置）ごとに、視差情報が登録されたマップを生成し、補間部８２、及び、集光処理部８３に供給する。
　ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えば、ディスパリティを採用することとし、視差情報生成部８１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。
　補間部８２は、領域特定部５２からの複数の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点、すなわち、個眼レンズ３１iの位置以外の視点から撮像を行ったならば得られるであろう画像を、補間により生成する。
　補間部８２は、例えば、個眼画像E#iの視点、すなわち、個眼レンズ３１iの位置を直線で結ぶことにより囲まれる領域内のほぼ等間隔の複数の点を、補間用の視点として、その補間用の視点の画像（補間用の視点から撮像を行った場合に得られるであろう画像）を、補間により生成する。
　なお、補間部８２では、個眼レンズ３１iの位置を直線で結ぶことにより囲まれる領域の外側の点についても、補間用の視点として、その補間用の視点の画像を生成することができる。
　補間部８２は、補間用の視点の画像を生成した後、個眼画像E#iと、補間用の視点の画像とを、集光処理部８３に供給する。
　ここで、補間部８２において、個眼画像を用いた補間により生成された画像を、補間画像ともいう。
　また、補間部８２から集光処理部８３に供給される個眼画像E#iと補間用の視点の補間画像とを、まとめて、視点画像ともいう。
　補間部８２での補間は、複数の視点の個眼画像E#iから、より多く数の視点の視点画像を生成する処理であると考えることができる。この、多く数の視点の視点画像を生成する処理は、実空間内の実空間点から入射する光線を再現する処理であると捉えることができる。
　集光処理部８３は、補間部８２からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線を、イメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。
　集光処理部８３の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスが行われる。リフォーカスは、視差情報生成部８１からのディスパリティマップや、パラメータ設定部８４からの集光パラメータを用いて行われる。
　集光処理部８３の集光処理によって得られる画像は、処理結果画像として（表示部５４や記憶部５５（図３））に出力される。
　パラメータ設定部８４は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、1個の個眼画像E#i（例えば、個眼画像E1）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータとして、集光処理部８３に供給する。
　＜画像処理部５３の画像処理＞
　図１４は、図１３の画像処理部５３が行う画像処理の例を説明するフローチャートである。
　画像処理部５３において、領域特定部５２から供給される複数の視点の画像である複数の視点の個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
　画像処理部５３では、ステップＳ５１において、視差情報生成部８１が、領域特定部５２からの複数の視点の個眼画像E#iを用いて、視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。
　視差情報生成部８１は、視差情報生成処理により得られるディスパリティマップを、補間部８２、及び、集光処理部８３に供給し、処理は、ステップＳ５１からステップＳ５２に進む。
　ステップＳ５２では、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点以外の複数の補間用の視点の補間画像を生成する補間処理を行う。
　さらに、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、補間処理により得られた複数の補間用の視点の補間画像とを、複数の視点の視点画像として、集光処理部８３に供給し、処理は、ステップＳ５２からステップＳ５３に進む。
　ステップＳ５３では、パラメータ設定部８４は、ユーザの操作等によって指定された位置にある、1個の視点画像（例えば、個眼画像E1）の画素を、合焦させる合焦対象画素に設定する設定処理を行う。
　パラメータ設定部８４は、設定処理により得られた合焦対象画素（の情報）を、集光パラメータとして、集光処理部８３に供給し、処理は、ステップＳ５３からステップＳ５４に進む。
　ここで、合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えば、アプリケーションからの指定や、あらかじめ決められたルールによる指定等に従って設定することができる。例えば、所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を、合焦対象画素に設定することができる。
　ステップＳ５４では、集光処理部８３は、補間部８２からの複数の視点の視点画像、視差情報生成部８１からのディスパリティマップ、及び、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて、被写体からの光線を、図示せぬ仮想センサ上に集光させることに相当する集光処理を行い、画像処理部５３の画像処理は終了する。
　集光処理部８３は、集光処理の結果得られる処理結果画像を、表示部５４に供給する。
　なお、集光処理において、光線が集光される仮想センサの実体は、例えば、図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、光線の集光により得られる画像の画素値が求められる。
　集光処理部８３の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素（の画素値）を画素シフトして積算することにより、実空間内の合焦点に合焦した処理結果画像の各画素値が求められ、処理結果画像が生成される。
　ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部８３の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて設定される。
　なお、画像処理部５３（図１３）は、集光処理部８３だけで構成することができる。
　例えば、集光処理部８３の集光処理を、補間画像を用いずに、領域特定部５２で撮像された個眼画像E#iを用いて行う場合には、補間部８２を設けずに、画像処理部５３を構成することができる。但し、集光処理を、個眼画像E#iの他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。
　また、例えば、個眼画像E#iの視差情報を、距離センサ等を用いて、外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部８１を設けずに、画像処理部５３を構成することができる。
　さらに、例えば、集光処理部８３において、あらかじめ決められたルールに従って、合焦面を設定する場合には、パラメータ設定部８４を設けずに、画像処理部５３を構成することができる。
　また、カメラ本体１０は、画像処理部５３を設けずに構成することができる。
　＜多眼交換レンズの他の構成例＞
　図１５は、多眼交換レンズ２０の他の構成例を示す背面図である。
　図１５では、多眼交換レンズ２０は、7個の個眼レンズ３１1ないし３１7を有し、その7個の個眼レンズ３１1ないし３１7は、光軸方向に重ならないように、２次元平面上に配置されている。
　さらに、図１５では、7個の個眼レンズ３１1ないし３１7は、それらのうちの1個である、例えば、個眼レンズ３１1を中心として、他の６個の個眼レンズ３１2ないし３１7が、個眼レンズ３１1の周辺に、正６角形の頂点を構成するように配置されている。
　したがって、図１５では、7個の個眼レンズ３１1ないし３１7のうちの、任意の1個の個眼レンズ３１i(i=1,2,...,7)と、その個眼レンズ３１iに最も近い他の1個の個眼レンズ３１j(ｊ=1,2,...,7)との（光軸どうしの）距離は、同一の距離Bになっている。
　以下、多眼交換レンズ２０が、図１５に示したように、7個の個眼レンズ３１1ないし３１7を有する場合を例に説明を行う。
　多眼交換レンズ２０が、図１５に示したように、7個の個眼レンズ３１1ないし３１7を有する場合、領域特定部５２（図３）から画像処理部５３の視差情報生成部８１及び補間部８２に供給される複数の視点の個眼画像E#iは、7個の個眼レンズ３１1ないし３１7に対する7視点の個眼画像E1ないしE7である。
　＜補間画像の生成＞
　図１６は、図１３の補間部８２での補間画像の生成の例を説明する図である。
　ある視点の補間画像を生成する場合、補間部８２は、補間画像の画素を、順次、補間の対象の補間対象画素に選択する。さらに、補間部８２は、7視点の個眼画像E1ないしE7のうちの全部、又は、補間画像の視点に近い一部（複数）の視点の個眼画像E#iを、補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部８２は、視差情報生成部８１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の個眼画像E#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮像を行ったならば、補間対象画素に映るであろう空間点と同一の空間点が映っている画素）を求める。
　そして、補間部８２は、複数の視点の個眼画像E#iの対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を、補間対象画素の画素値として求める。
　対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての個眼画像E#iの視点と、補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。
　＜ディスパリティマップの生成＞
　図１７は、図１３の視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。
　すなわち、図１７は、領域特定部５２の個眼レンズ３１1ないし３１7に対する個眼画像E1ないしE7の例を示している。
　図１７では、個眼画像E1ないしE7には、所定の背景の手前側に、前景としての所定の物体objが映っている。個眼画像E1ないしE7それぞれについては、視点が異なるため、例えば、個眼画像E2ないしE7それぞれに映る物体objの位置（個眼画像上の位置）は、個眼画像E1に映る物体objの位置から、視点が異なる分だけずれている。
　いま、個眼レンズ３１iの視点（位置）、すなわち、個眼レンズ３１iに対する個眼画像E#iの視点を、vp#iと表すこととする。
　例えば、個眼画像E1の視点vp1のディスパリティマップを生成する場合には、視差情報生成部８１は、個眼画像E1を、注目する注目画像E1とする。さらに、視差情報生成部８１は、注目画像E1の各画素を、順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の個眼画像E2ないしE7のそれぞれから検出する。
　個眼画像E2ないしE7それぞれから、注目画像E1の注目画素に対応する対応画素を検出する方法としては、例えば、ステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。
　ここで、注目画像E1の注目画素に対する、個眼画像E#iの対応画素の位置ずれを表すベクトルを、ディスパリティベクトルv#i,1ということとする。
　視差情報生成部８１は、個眼画像E2ないしE7のそれぞれについてディスパリティベクトルv2,1ないしv7,1を求める。そして、視差情報生成部８１は、例えば、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを、注目画素（の位置）のディスパリティの大きさとして求める。
　ここで、領域特定部５２において、図１５で説明したように、注目画像E1が得られた個眼レンズ３１1と、個眼画像E2ないしE7が得られた個眼レンズ３１2ないし３１7それぞれとの距離が、同一の距離Bになっている場合に、注目画像E1の注目画素に映る実空間点が、個眼画像E2ないしE7にも映っているときには、ディスパリティベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。
　すなわち、この場合、ディスパリティベクトルv2,1ないしv7,1は、注目画像E1の視点vp1に対する他の個眼画像E2ないしE7の視点vp2ないしvp7の方向と逆方向の、大きさが等しいベクトルになる。
　但し、個眼画像E2ないしE7の中には、オクルージョンが生じている画像、すなわち、注目画像E1の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。
　注目画像E1の注目画素に映る実空間点が映っていない個眼画像（以下、オクルージョン画像ともいう）E#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
　そのため、オクルージョン画像E#iについては、注目画像E1の注目画素に映る実空間点が映っている個眼画像E#jのディスパリティベクトルv#j,1とは、大きさが異なるディスパリティベクトルv#i,1が求められる。
　個眼画像E2ないしE7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部８１は、上述のように、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを、注目画素のディスパリティの大きさとして求める。
　図１７では、ディスパリティベクトルv2,1ないしv7,1の中で、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、ディスパリティベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しいディスパリティベクトルが存在しない。
　そのため、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが、注目画素のディスパリティの大きさとして求められる。
　なお、注目画像E1の注目画素の、任意の個眼画像E#iとの間のディスパリティの方向は、注目画像E1の視点vp1（個眼レンズ３１1の位置）と、個眼画像E#iの視点vp#i（個眼レンズ３１iの位置）との位置関係（視点vp1から視点vp#iへの方向等）から認識することができる。
　視差情報生成部８１は、注目画像E1の各画素を、順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部８１は、注目画像E1の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップを、ディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置と、その画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。
　他の個眼画像E#iの視点vp#iのディスパリティマップも、視点vp1のディスパリティマップと同様に生成することができる。
　但し、視点vp1以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、個眼画像E#iの視点vp#iと、その個眼画像E#i以外の個眼画像E#jの視点vp#jとの位置関係（個眼レンズ３１iと３１jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。
　すなわち、例えば、個眼画像E5を注目画像として、ディスパリティマップを生成する場合、注目画像E5と個眼画像E2との間で得られるディスパリティベクトルは、注目画像E5と個眼画像E1との間で得られるディスパリティベクトルの２倍の大きさになる。
　これは、注目画像E5が得られる個眼レンズ３１5と、個眼画像E1が得られる個眼レンズ３１1との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像E5が得られる個眼レンズ３１5と、個眼画像E2が得られる個眼レンズ３１2との基線長が、距離2Bになっているためである。
　そこで、いま、例えば、個眼レンズ３１1と、他の個眼レンズ３１iとの基線長である距離Bを、ディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。
　すなわち、例えば、注目画像E5が得られる個眼レンズ３１5と、個眼画像E1が得られる個眼レンズ３１1の基線長Bは、基準基線長Bに等しいので、注目画像E5と個眼画像E1との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。
　また、例えば、注目画像E5が得られる個眼レンズ３１5と、個眼画像E2が得られる個眼レンズ３１2の基線長2Bは、基準基線長Bの２倍に等しいので、注目画像E5と個眼画像E2との間で得られるディスパリティベクトルは、その大きさが、基準基線長Bと、個眼レンズ３１5と個眼レンズ３１2との基線長2Bとの比の値倍である1/2倍に調整される。
　注目画像E5と他の個眼画像E#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。
　そして、大きさの調整後のディスパリティベクトルを用いて、ディスパリティベクトルの多数決が行われる。
　なお、視差情報生成部８１において、個眼画像E#i（の各画素）のディスパリティは、例えば、個眼画像の画素の精度で求めることができる。また、個眼画像E#iのディスパリティは、例えば、その個眼画像E#iの画素より細かい精度である画素以下精度（例えば、1/4画素等のサブピクセルの精度）で求めることができる。
　ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティを、そのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
　ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば、左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、個眼画像E1の各画素の、個眼画像E1の左隣の視点の個眼画像E5との間のディスパリティ（個眼画像E1の画素から、その画素に対応する個眼画像E5の対応画素までの画素ずれを表すベクトル）のx成分に等しい。
　＜集光処理によるリフォーカス＞
　図１８は、図１３の集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。
　なお、図１８では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、個眼画像E1、個眼画像E1の右隣の視点の個眼画像E2、及び、個眼画像E1の左隣の視点の個眼画像E5の3個の画像を用いることとする。
　図１８において、個眼画像E1，E2、及び、E5には、２つの物体obj1及びobj2が映っている。例えば、物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。
　いま、例えば、物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、個眼画像E1の視点から見た画像を得ることとする。
　ここで、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点（ここでは、個眼画像E1の視点）のディスパリティを、DP1と表す。また、個眼画像E2の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP2と表すとともに、個眼画像E5の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP5と表すこととする。
　なお、図１８では、処理結果画像の視点は、個眼画像E1の視点に等しいので、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP1は、(0,0)になる。
　個眼画像E1，E2、及び、E5については、個眼画像E1，E2、及び、E5を、ディスパリティDP1，DP2、及び、DP5に応じて、それぞれ画素シフトし、その画素シフト後の個眼画像E1，E2、及び、E5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
　すなわち、個眼画像E1，E2、及び、E5を、ディスパリティDP1，DP2、及び、DP5をキャンセルするように（ディスパリティDP1，DP2、及び、DP5の逆方向に）、それぞれ画素シフトすることで、画素シフト後の個眼画像E1，E2、及び、E5では、物体obj1が映る画素の位置が一致する。
　したがって、画素シフト後の個眼画像E1，E2、及び、E5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
　なお、画素シフト後の個眼画像E1，E2、及び、E5においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。
　また、ここでは、上述したように、処理結果画像の視点は、個眼画像E1の視点であり、ディスパリティDP1は(0,0)であるため、個眼画像E1については、実質的に、画素シフトを行う必要はない。
　集光処理部８３の集光処理では、例えば、以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理結果画像の視点（ここでは、個眼画像E1の視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像を、処理結果画像として求める。
　＜ディスパリティ変換＞
　図１９は、ディスパリティ変換の例を説明する図である。
　図１７で説明したように、ディスパリティマップに登録される登録ディスパリティは、オクルージョンが生じている領域以外の部分において、個眼画像E1の左隣の視点の個眼画像E5の各画素との間の、個眼画像E1の画素のディスパリティのx成分に等しい。
　リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。
　いま、ある視点を、注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば、個眼画像E1の合焦対象画素のディスパリティが必要となる。
　注目視点の視点画像との間の、個眼画像E1の合焦対象画素のディスパリティは、個眼画像E1の合焦対象画素（処理結果画像の合焦対象画素に対応する個眼画像E1の対応画素）の登録ディスパリティから、処理結果画像の視点から注目視点の方向を加味して求めることができる。
　いま、処理結果画像の視点である個眼画像E1の視点から注目視点の方向を、x軸を0[radian]とする反時計回りの角度で表すこととする。
　例えば、個眼レンズ３１2は、処理結果画像の視点である個眼画像E1の視点から基準基線長Bだけ+x方向に離れた位置にあり、処理結果画像の視点である個眼画像E1の視点から個眼レンズ３１2に対する個眼画像E2の視点の方向は、0[radian]である。この場合、個眼レンズ３１2に対する個眼画像E2（視点画像）との間の、個眼画像E1の合焦対象画素のディスパリティDP2（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１2に対する個眼画像E2の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。
　また、例えば、個眼レンズ３１3は、処理結果画像の視点である個眼画像E1の視点から基準基線長Bだけπ/3の方向に離れた位置にあり、処理結果画像の視点である個眼画像E1の視点から個眼レンズ３１3に対する個眼画像E3の視点の方向は、π/3[radian]である。この場合、個眼レンズ３１3に対する個眼画像E3との間の、個眼画像E1の合焦対象画素のディスパリティDP3は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１3の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。
　ここで、補間部８２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なレンズで撮像された画像であるとみなすことができる。この仮想的なレンズで撮像された画像の視点vpが、処理結果画像の視点である個眼画像E1の視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なレンズで撮像された画像）との間の、個眼画像E1の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。
　以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、個眼画像E1の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、個眼画像E1の画素（処理結果画像の画素）のディスパリティに変換することを、ディスパリティ変換ともいう。
　リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、個眼画像E1の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。
　リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を、合焦シフト量ともいう。
　ここで、以下、補間部８２で得られる複数の視点の視点画像のうちの、i番目の視点画像の視点を、視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を、合焦シフト量SV#iとも記載する。
　視点vp#iの視点画像の合焦シフト量SV#iは、合焦対象画素の登録ディスパリティRDから、処理結果画像の視点である個眼画像E1の視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。
　ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。
　したがって、ディスパリティ変換は、例えば、登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。
　ここでは、例えば、ディスパリティ変換を、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。
　この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。
　合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。
　なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、個眼画像E2との間の、合焦対象画素のディスパリティのx成分に等しい。
　＜リフォーカスを行う集光処理＞
　図２０は、リフォーカスを行う集光処理の例を説明するフローチャートである。
　ステップＳ７１において、集光処理部８３は、パラメータ設定部８４から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理は、ステップＳ７２に進む。
　すなわち、例えば、個眼レンズ３１1ないし３１7に対する個眼画像E1ないしE7のうちの、個眼画像E1等が、表示部５４に表示され、ユーザが、その個眼画像E1上の１つの位置を指定すると、パラメータ設定部８４は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を、集光パラメータとして、集光処理部８３に供給する。
　ステップＳ７１では、集光処理部８３は、以上のようにして、パラメータ設定部８４から供給される合焦対象画素を取得する。
　ステップＳ７２では、集光処理部８３は、視差情報生成部８１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部８３は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば、合焦対象画素の登録ディスパリティRDの-1倍を、基準シフト量BVに設定し、処理は、ステップＳ７２からステップＳ７３に進む。
　ステップＳ７３では、集光処理部８３は、補間部８２からの複数の視点の視点画像のうちの１つの画像である、例えば、個眼画像E1に対応する画像、すなわち、個眼画像E1の視点から見た、個眼画像E1と同一サイズの画像であって、画素値が初期値としての0の画像を、処理結果画像に設定する。さらに、集光処理部８３は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に決定し、処理は、ステップＳ７３からステップＳ７４に進む。
　ステップＳ７４では、集光処理部８３は、補間部８２からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理は、ステップＳ７５に進む。
　ステップＳ７５では、集光処理部８３は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iを求める。
　すなわち、集光処理部８３は、基準シフト量BVを、処理結果画像の視点である個眼画像E1の視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iとして取得する。
　その後、処理は、ステップＳ７５からステップＳ７６に進み、集光処理部８３は、注目視点vp#iの視点画像の各画素を、合焦シフト量SV#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を、注目画素の画素値に積算する。
　すなわち、集光処理部８３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量SV#iに対応するベクトル（ここでは、例えば、合焦シフト量SV#iの-1倍）だけ離れた画素の画素値を、注目画素の画素値に積算する。
　そして、処理は、ステップＳ７６からステップＳ７７に進み、集光処理部８３は、補間部８２からの視点画像のすべての視点を、注目視点としたかどうかを判定する。
　ステップＳ７７において、まだ、補間部８２からの視点画像のすべての視点を、注目視点としていないと判定された場合、処理は、ステップＳ７４に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ７７において、補間部８２からの視点画像のすべての視点を、注目視点としたと判定された場合、処理は、ステップＳ７８に進む。
　ステップＳ７８では、集光処理部８３は、処理結果画像の画素のすべてを、注目画素としたかどうかを判定する。
　ステップＳ７８において、まだ、処理結果画像の画素のすべてを、注目画素としていないと判定された場合、処理は、ステップＳ７３に戻り、集光処理部８３は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に新たに決定し、以下、同様の処理を繰り返す。
　また、ステップＳ７８において、処理結果画像の画素のすべてを、注目画素としたと判定された場合、集光処理部８３は、処理結果画像を出力して、集光処理を終了する。
　なお、図２０の集光処理では、実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成される。
　かかる図２０の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、図２０の集光処理では、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。
　また、合焦シフト量SV#iは、注目視点vp#i及び基準シフト量BVによって変化するが、図２０の集光処理では、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量SV#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
　図２０において、合焦シフト量SV#iを求めるステップＳ７５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量SV#iを繰り返し算出するループ（ステップＳ７３ないしステップＳ７８のループ）を構成しているが、上述のように、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
　したがって、図２０において、合焦シフト量SV#iを求めるステップＳ７５の処理は、１視点に対して１回だけ行えば良い。
　＜サーバを利用した領域情報の取得＞
　図２１は、サーバを利用して、個眼画像の領域を表す領域情報を取得する処理の例を説明する図である。
　なお、図２１では、領域特定情報として、多眼交換レンズ２０のレンズIDを採用するとともに、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の領域情報とが対応付けられたデータベースが用意されていることとする。
　例えば、多眼交換レンズ２０が、カメラ本体１０に装着されると、ステップＳ８１において、多眼交換レンズ２０（図３）の通信部４２が、記憶部４１に記憶された領域特定情報としてレンズIDを、カメラ本体１０に送信する。
　カメラ本体１０（図３）の通信部５７は、多眼交換レンズ２０からのレンズIDを受信し、ステップＳ９１において、そのレンズIDを、例えば、クラウド上のサーバ９０に送信する。
　サーバ９０は、カメラ本体１０からのレンズIDを受信し、ステップＳ１０１において、そのレンズIDをキーワードとして、データベース(DB)を検索し、そのレンズIDによって特定される多眼交換レンズ２０を用いて撮像される撮像画像上の個眼画像の領域を表す領域情報を取得する。
　そして、サーバ９０は、ステップＳ１０２において、データベースから検索した領域情報を、カメラ本体１０に送信する。
　カメラ本体１０（図３）では、通信部５７が、サーバ９０からの領域情報を受信し、領域特定部５２に供給する。領域特定部５２は、撮像画像上の、サーバ９０からの領域情報が表す領域を、個眼画像の領域として特定し、撮像画像から個眼画像を抽出する。
　なお、図２１では、レンズIDを、多眼交換レンズ２０からカメラ本体１０を経由して、サーバ９０に送信することとしたが、レンズIDは、多眼交換レンズ２０から、カメラ本体１０を経由せずに、サーバ９０に（直接）送信することができる。
　また、カメラ本体１０では、レンズIDとともに、撮像画像を、サーバ９０に送信することができる。この場合、サーバ９０では、レンズIDをキーワードとして検索を行うことにより得られた領域情報に応じて、カメラ本体１０からの撮像画像から、個眼画像を抽出し、カメラ本体１０に送信することができる。
　さらに、カメラ本体１０は、画像処理部５３を設けずに構成し、撮像画像又は個眼画像を、サーバ９０に送信することができる。この場合、サーバ９０において、必要に応じて、撮像画像から個眼画像を抽出し、その撮像画像から抽出された個眼画像、又は、カメラ本体１０から送信されてきた個眼画像を用いて、画像処理部５３と同様の画像処理を行うことができる。そして、サーバ９０は、その画像処理により得られる処理結果画像を、カメラ本体１０等に送信することができる。
　＜露出制御の具体例＞
　図２２は、露出制御の詳細を説明する図である。
　なお、以下では、説明を簡単にするため、露出制御を行うカメラシステムは、1眼のカメラシステムであることとする。
　AEの露出制御では、図２２に示すように、撮像画像に対して、明るさ評価値の算出に用いるエリアである評価エリアが設定される。図２２では、撮像画像の全体が評価エリアに設定されている。
　評価エリアの設定後、撮影画像のうちの評価エリア内の画素のY信号（輝度信号）の積算値が、明るさ評価値として算出され、その明るさ評価値と、あらかじめ設定された明るさ評価値の目標値とに応じて、露出時間や、絞り、ゲインが制御される。
　例えば、明るさ評価値が200万であり、目標値が100万である場合には、明るさ評価値が現在の1/2（＝100万／200万）になるように、露出時間や、絞り、ゲインが制御される。
　図２３は、AE機能を有するカメラシステムの構成例を示すブロック図である。
　図２３において、カメラシステムは、レンズ１１１、イメージセンサ１１２、カメラ信号処理LSI(Large Scale Integration)１１３、及び、CPU(Central Processing Unit)１１４を有する。
　レンズ１１１は、被写体からの光を、イメージセンサ１１２上に集光する。
　イメージセンサ１１２は、レンズ１１１からの光を光電変換し、その結果得られる撮像画像を、カメラ信号処理LSI１１３に出力する。イメージセンサ１１２は、例えば、ベイヤ配列のカラーフィルタを有しており、イメージセンサ１１２が出力する撮像画像の各画素は、その画素の位置に応じて、画素値として、R(Red)信号、G(Green)信号、及び、B(Blue)信号のうちのいずれかだけを有する。
　カメラ信号処理LSI１１３は、イメージセンサ１１２からの撮像画像のデモザイク（補間）を行い、各画素がR信号、G信号、及び、B信号の画素値を有する撮像画像（R信号、G信号、及び、B信号それぞれのプレーンを有する撮像画像）を生成する。
　さらに、カメラ信号処理LSI１１３は、デモザイク後の撮像画像を用い、撮像画像の各画素のY信号（輝度信号）を、R信号、G信号、及び、B信号を用いて、例えば、式Y＝0.3R+0.6G+0.1B等に従って生成する（Y信号生成）。
　一方、CPU１１４は、評価エリアを設定し、その評価エリアを表す評価エリア信号の生成を、カメラ信号処理LSI１１３に指示する。カメラ信号処理LSI１１３は、CPU１１４の指示に従い、評価エリアを表す評価エリア信号を生成する。さらに、カメラ信号処理LSI１１３は、撮像画像のうちの、評価エリア信号が表す評価エリア(S)内の画素のY信号を積分（積算）することで、明るさ評価値を求め、CPU１１４に供給する。
　CPU１１４は、カメラ信号処理LSI１１３からの明るさ評価値と、あらかじめ設定された目標値とに応じて、明るさ評価値が目標値に一致するように、例えば、イメージセンサ１１２の露出時間（シャッタスピード）とゲインとの組み合わせを計算する。
　ここで、撮像画像のY信号は、被写体の輝度、イメージセンサ１１２の露光時間、及び、ゲインの積（に比例する値）として求めることができ、かかるY信号の積算値である明るさ評価値を目標値に一致させる露光時間とゲインとの組み合わせは無数に存在する。CPU１１４は、かかる無数の露光時間とゲインとの組み合わせの中から、状況に応じて適切と推定される露光時間とゲインとの組み合わせを選択する。
　そして、CPU１１４は、適切と推定される露光時間とゲインとの組み合わせを、イメージセンサ１１２に設定することで、露出制御、すなわち、露出時間及びゲインを制御し、AEを実現する。
　制御部５６（図３）でも、図２３のカメラシステムと同様にして、露出制御処理を行うことができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した領域特定部５２や、画像処理部５３、制御部５６、通信部５７等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
　CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
　これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
　なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
　前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
　を備える情報処理装置。
　＜２＞
　前記個眼レンズに対する前記個眼画像は、その個眼レンズにより集光される光線により形成される像のうちの、他の個眼レンズにより集光される光線により形成される像と重複しない部分のみを含む画像である
　＜１＞に記載の情報処理装置。
　＜３＞
　前記複数の個眼画像の一部又は全部を用いて、露出制御を行う制御部をさらに備える
　＜１＞に記載の情報処理装置。
　＜４＞
　前記撮像画像、又は、前記個眼画像を表示する表示部
　をさらに備える＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
　＜５＞
　前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
　＜１＞ないし＜４＞のいずれかに記載の情報処理装置。
　＜６＞
　前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
　＜５＞に記載の情報処理装置。
　＜７＞
　前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
　＜５＞又は＜６＞に記載の情報処理装置。
　＜８＞
　前記複数の個眼画像の視差情報を生成する視差情報生成部と、
　前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
　をさらに備える＜７＞に記載の情報処理装置。
　＜９＞
　情報処理装置が、
　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信することと、
　前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定することと
　を含む情報処理方法。
　＜１０＞
　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
　前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
　して、コンピュータを機能させるためのプログラム。
　＜１１＞
　光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
　イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、
　前記領域特定情報を外部に送信する通信部と
　を備える交換レンズ。
　＜１２＞
　前記複数の個眼レンズそれぞれについて、前記個眼レンズから前記イメージセンサに到達する光線を制限する絞りをさらに備える
　＜１１＞に記載の交換レンズ。
　＜１３＞
　前記絞りは、前記複数の個眼レンズのうちの、1個の個眼レンズにより集光される光線と、他の1個の個眼レンズにより集光される光線とが重複しないように、前記個眼レンズからの光線を制限する開口を有する
　＜１２＞に記載の交換レンズ。
　＜１４＞
　前記領域特定情報は、前記複数の個眼レンズそれぞれの有効像円の径、及び、前記有効像円の中心位置である
　＜１１＞ないし＜１３＞のいずれかに記載の交換レンズ。
　＜１５＞
　前記領域特定情報は、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記個眼画像の領域を表す領域情報である
　＜１１＞ないし＜１３＞のいずれかに記載の交換レンズ。
　１０　カメラ本体，　１１　カメラマウント，　２０　多眼交換レンズ，　２１　鏡筒，　２２　レンズマウント，　２３　レンズフード，　３１1ないし３１7　個眼レンズ，　４１　記憶部，　４２　通信部，　５１　イメージセンサ，　５２　領域特定部，　５３　画像処理部，　５４　表示部，　５５　記憶部，　５６　制御部，　５７　通信部，　７１　絞り，　８１　視差情報生成部，　８２　補間部，　８３　集光処理部，　８４　パラメータ設定部，　９０　サーバ，　２０１　バス，　２０２　CPU，　２０３　ROM，　２０４　RAM，　２０５　ハードディスク，　２０６　出力部，　２０７　入力部，　２０８　通信部，　２０９　ドライブ，　２１０　入出力インタフェース，　２１１　リムーバブル記録媒体

Claims (15)

  1. 　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
    　前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
    　を備える情報処理装置。
  2. 　前記個眼レンズに対する前記個眼画像は、その個眼レンズにより集光される光線により形成される像のうちの、他の個眼レンズにより集光される光線により形成される像と重複しない部分のみを含む画像である
    　請求項１に記載の情報処理装置。
  3. 　前記複数の個眼画像の一部又は全部を用いて、露出制御を行う制御部をさらに備える
    　請求項１に記載の情報処理装置。
  4. 　前記撮像画像、又は、前記個眼画像を表示する表示部
    　をさらに備える請求項１に記載の情報処理装置。
  5. 　前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
    　請求項１に記載の情報処理装置。
  6. 　前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
    　請求項５に記載の情報処理装置。
  7. 　前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
    　請求項５に記載の情報処理装置。
  8. 　前記複数の個眼画像の視差情報を生成する視差情報生成部と、
    　前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
    　をさらに備える請求項７に記載の情報処理装置。
  9. 　情報処理装置が、
    　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信することと、
    　前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定することと
    　を含む情報処理方法。
  10. 　光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
    　前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
    　して、コンピュータを機能させるためのプログラム。
  11. 　光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
    　イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、
    　前記領域特定情報を外部に送信する通信部と
    　を備える交換レンズ。
  12. 　前記複数の個眼レンズそれぞれについて、前記個眼レンズから前記イメージセンサに到達する光線を制限する絞りをさらに備える
    　請求項１１に記載の交換レンズ。
  13. 　前記絞りは、前記複数の個眼レンズのうちの、1個の個眼レンズにより集光される光線と、他の1個の個眼レンズにより集光される光線とが重複しないように、前記個眼レンズからの光線を制限する開口を有する
    　請求項１２に記載の交換レンズ。
  14. 　前記領域特定情報は、前記複数の個眼レンズそれぞれの有効像円の径、及び、前記有効像円の中心位置である
    　請求項１１に記載の交換レンズ。
  15. 　前記領域特定情報は、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記個眼画像の領域を表す領域情報である
    　請求項１１に記載の交換レンズ。
PCT/JP2018/033917 2017-09-27 2018-09-13 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ WO2019065260A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019544558A JPWO2019065260A1 (ja) 2017-09-27 2018-09-13 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
US16/646,325 US20210377432A1 (en) 2017-09-27 2018-09-13 Information processing apparatus, information processing method, program, and interchangeable lens
EP18863036.2A EP3664433A4 (en) 2017-09-27 2018-09-13 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM AND INTERCHANGEABLE LENS
CN201880060658.8A CN111108742A (zh) 2017-09-27 2018-09-13 信息处理装置、信息处理方法、程序以及可互换透镜

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-186334 2017-09-27
JP2017186334 2017-09-27

Publications (1)

Publication Number Publication Date
WO2019065260A1 true WO2019065260A1 (ja) 2019-04-04

Family

ID=65901786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033917 WO2019065260A1 (ja) 2017-09-27 2018-09-13 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ

Country Status (5)

Country Link
US (1) US20210377432A1 (ja)
EP (1) EP3664433A4 (ja)
JP (1) JPWO2019065260A1 (ja)
CN (1) CN111108742A (ja)
WO (1) WO2019065260A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064161A (ja) * 2018-10-16 2020-04-23 キヤノン株式会社 光学装置及びそれを備える撮像システム
WO2021124941A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、プログラム、および交換レンズ
WO2021124940A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
WO2021124942A1 (ja) 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、およびプログラム
WO2023058347A1 (ja) * 2021-10-07 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012129714A (ja) * 2010-12-14 2012-07-05 Samsung Yokohama Research Institute Co Ltd 光学システム及びこれを備える撮像装置
JP2012215631A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び撮像方法
WO2013179620A1 (ja) * 2012-05-28 2013-12-05 株式会社ニコン 撮像装置
JP2015012519A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7557338B2 (en) * 2006-03-14 2009-07-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Electronic device with integrated optical navigation module and microlens array therefore
JP5206853B2 (ja) * 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
JP5832373B2 (ja) * 2012-05-16 2015-12-16 キヤノン株式会社 交換レンズ装置およびカメラ装置
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP6899630B2 (ja) * 2016-02-02 2021-07-07 ソニーグループ株式会社 交換レンズおよび駆動方法、並びに電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012129714A (ja) * 2010-12-14 2012-07-05 Samsung Yokohama Research Institute Co Ltd 光学システム及びこれを備える撮像装置
JP2012215631A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び撮像方法
WO2013179620A1 (ja) * 2012-05-28 2013-12-05 株式会社ニコン 撮像装置
JP2015012519A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENNETT WILBURN ET AL., HIGH PERFORMANCE IMAGING USING LARGE CAMERA ARRAYS
See also references of EP3664433A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064161A (ja) * 2018-10-16 2020-04-23 キヤノン株式会社 光学装置及びそれを備える撮像システム
JP7378920B2 (ja) 2018-10-16 2023-11-14 キヤノン株式会社 光学装置及びそれを備える撮像システム
WO2021124941A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、プログラム、および交換レンズ
WO2021124940A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
WO2021124942A1 (ja) 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、およびプログラム
EP4068756A4 (en) * 2019-12-20 2023-01-11 Sony Group Corporation IMAGE DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US20230016712A1 (en) * 2019-12-20 2023-01-19 Sony Group Corporation Imaging device, information processing method, and program
US11899276B2 (en) 2019-12-20 2024-02-13 Sony Group Corporation Imaging apparatus, information processing method, program, and interchangeable lens
WO2023058347A1 (ja) * 2021-10-07 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
US20210377432A1 (en) 2021-12-02
EP3664433A1 (en) 2020-06-10
CN111108742A (zh) 2020-05-05
EP3664433A4 (en) 2021-01-20
JPWO2019065260A1 (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
WO2011052064A1 (ja) 情報処理装置および方法
JP6003578B2 (ja) 画像生成方法及び装置
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
JP2012191351A (ja) 撮像装置および画像処理方法
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP7107224B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20240111203A1 (en) Imaging method and device for autofocusing
JP6330955B2 (ja) 撮像装置及び撮像方法
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
Popovic et al. State-of-the-art multi-camera systems
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5942428B2 (ja) 再構成画像生成装置、再構成画像生成方法、及びプログラム
JP2018146753A (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2012060512A (ja) 多眼撮像装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18863036

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019544558

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018863036

Country of ref document: EP

Effective date: 20200306

NENP Non-entry into the national phase

Ref country code: DE