[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2011121818A1 - 複眼撮像装置、その視差調整方法及びプログラム - Google Patents

複眼撮像装置、その視差調整方法及びプログラム Download PDF

Info

Publication number
WO2011121818A1
WO2011121818A1 PCT/JP2010/065764 JP2010065764W WO2011121818A1 WO 2011121818 A1 WO2011121818 A1 WO 2011121818A1 JP 2010065764 W JP2010065764 W JP 2010065764W WO 2011121818 A1 WO2011121818 A1 WO 2011121818A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
amount
adjustment
parallax amount
unit
Prior art date
Application number
PCT/JP2010/065764
Other languages
English (en)
French (fr)
Inventor
光司 森
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201080012380.0A priority Critical patent/CN102388617B/zh
Priority to EP10848991.5A priority patent/EP2555525B1/en
Priority to US13/260,143 priority patent/US9071759B2/en
Priority to JP2012508013A priority patent/JP5295426B2/ja
Publication of WO2011121818A1 publication Critical patent/WO2011121818A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a compound eye imaging apparatus, a parallax adjustment method thereof, and a program.
  • the compound-eye imaging device generates a stereoscopic image based on a plurality of viewpoint images respectively generated by a plurality of imaging units, and displays the stereoscopic image on a stereoscopic display monitor.
  • the stereoscopic effect of the stereoscopic image captured by the compound-eye imaging device depends on the distance between the user's eyes and the distance from the stereoscopic display monitor to the user, there are large individual differences in the stereoscopic function of the compound-eye imaging device. There is a problem. Therefore, in the compound-eye imaging device, the parallax of the plurality of viewpoint images can be adjusted according to the user's operation, thereby adjusting the stereoscopic effect of the stereoscopic image.
  • disparity information between one reference image data and disparity image data is extracted from a plurality of captured image data for stereoscopic display, and difference image data is generated.
  • the difference image data is attached to the reference image data, and attached identification information indicating that the difference image data is attached to the header area of the file.
  • An object of the present invention is to provide a compound eye imaging apparatus capable of performing parallax adjustment, a parallax adjustment method thereof, and a program.
  • the compound eye imaging device includes an imaging unit that generates a plurality of viewpoint images for each frame by imaging the same subject from a plurality of viewpoints, and a plurality of viewpoint images generated by the imaging unit.
  • a parallax amount acquisition unit that acquires a parallax amount based on the predetermined amount, and when a variation in a predetermined period of the parallax amount acquired by the parallax amount acquisition unit is greater than a predetermined value, the parallax amount has reached a predetermined allowable limit value
  • the parallax An abnormality determination unit that determines that there is no abnormality in the amount of parallax when the amount reaches a predetermined allowable limit value and when the parallax amount acquisition target cannot be detected; and Different When
  • a compound eye imaging device is the compound eye imaging device according to the first aspect, wherein the parallax adjusting unit determines in advance that the parallax amount is abnormal by the abnormality determining unit.
  • the parallax adjustment is performed within the range of the predetermined maximum parallax amount change amount.
  • a compound eye imaging device is the compound eye imaging device according to the first or second aspect, wherein the parallax adjustment unit is determined by the abnormality determination unit to be abnormal in the amount of parallax. In this case, the parallax adjustment is performed using the parallax amount in the previous frame.
  • a compound eye imaging device is the compound eye imaging device according to any one of the first to third aspects, wherein the parallax adjustment unit abnormally detects the parallax amount by the abnormality determination unit. If it is determined that there is, the parallax adjustment frequency is decreased.
  • a compound eye imaging device is the compound eye imaging device according to any one of the first to fourth aspects, wherein the information is obtained from a plurality of viewpoint images generated by the imaging unit.
  • Information used for acquiring the parallax amount by the parallax amount acquisition unit, information indicating the parallax amount acquired by the parallax amount acquisition unit using the information, and predetermined processing using the parallax amount The image processing apparatus further includes an associating unit that associates at least one piece of information indicating whether or not has been performed with the plurality of viewpoint images corresponding to the information and subjected to the parallax adjustment.
  • a compound eye imaging device is the compound eye imaging device according to the fifth aspect, wherein the associating unit corresponds the at least one information to the information and the parallax adjustment is performed.
  • the electronic images are associated with the plurality of viewpoint images and collected into one electronic file.
  • a compound-eye imaging device that captures the same subject from a plurality of viewpoints to generate a plurality of viewpoint images for each frame, and a plurality of viewpoint images generated by the imaging unit.
  • a parallax amount acquisition unit that acquires a parallax amount of a predetermined object based on the predetermined amount, and when a variation in a predetermined period of the parallax amount acquired by the parallax amount acquisition unit is greater than a predetermined value, the parallax amount is a predetermined allowable limit value
  • the parallax amount acquisition target cannot be detected and it is determined that the parallax amount is abnormal and the variation of the parallax amount over a certain period is greater than a predetermined value
  • the parallax amount reaches a predetermined allowable limit value or when the parallax amount acquisition target cannot be detected, it is determined that there is no abnormality in the parallax amount.
  • the parallax adjustment of the predetermined object is performed, and when the abnormality determination unit determines that the parallax amount is abnormal A parallax adjustment unit that performs parallax adjustment on another object different from the predetermined object.
  • a compound eye imaging apparatus is the compound eye imaging apparatus according to the seventh aspect, wherein the parallax adjusting unit is closest to the predetermined object in a direction perpendicular to an image plane of the viewpoint image. Let the object be the other object.
  • a compound eye imaging device is the compound eye imaging device according to the seventh aspect, wherein the parallax adjustment unit selects an object closest to the predetermined object on the image plane of the viewpoint image. Let it be another object.
  • a compound eye imaging device is the compound eye imaging device according to any one of the seventh to ninth aspects, wherein the information is obtained from a plurality of viewpoint images generated by the imaging unit.
  • an associating unit that associates at least one piece of information indicating whether or not has been performed with the predetermined object or the other object that corresponds to the information and has been subjected to the parallax adjustment.
  • the compound eye imaging device is the compound eye imaging device according to the tenth aspect, wherein the associating unit corresponds the at least one information to the information and the parallax adjustment is performed. It is associated with the predetermined object or the other object, and is collected into one electronic file.
  • a parallax adjustment method for a compound eye imaging device is based on a plurality of viewpoint images generated by an imaging unit that generates a plurality of viewpoint images for each frame by imaging the same subject from a plurality of viewpoints.
  • the parallax amount is acquired, and when the fluctuation of the acquired parallax amount over a certain period is larger than a predetermined value, when the parallax amount reaches a predetermined allowable limit value, and the acquisition target of the parallax amount is detected When at least one of the cases where the parallax is not possible, it is determined that the parallax amount is abnormal, and when the variation of the parallax amount over a certain period is larger than a predetermined value, the parallax amount reaches a predetermined allowable limit value. And when the parallax amount acquisition target cannot be detected, it is determined that the parallax amount is normal and the parallax amount is normal.
  • parallax Performs integer, if there is an abnormality in the parallax amount, performs parallax adjustment by switching the control of the control is different from the second parallax adjustment of the first parallax adjustment.
  • the parallax adjustment method of the compound-eye imaging device is based on a plurality of viewpoint images generated by an imaging unit that generates a plurality of viewpoint images for each frame by imaging the same subject from a plurality of viewpoints.
  • the parallax amount of the predetermined object is acquired, and when the fluctuation of the acquired parallax amount in a certain period is larger than a predetermined value, the parallax amount reaches a predetermined allowable limit value, and the parallax amount is acquired
  • the target cannot be detected, it is determined that there is an abnormality in the amount of parallax, and when the variation of the parallax amount over a certain period is larger than a predetermined value, the parallax amount is set to a predetermined allowable limit It is determined that there is no abnormality in the amount of parallax, and it is determined that there is no abnormality in the amount of parallax when the value is reached and when the acquisition target of the amount of parallax
  • a parallax adjustment program for a compound-eye imaging device is a program for generating a plurality of viewpoints generated by an imaging unit that generates a plurality of viewpoint images for each frame by imaging a same subject from a plurality of viewpoints.
  • a parallax amount acquisition unit that acquires a parallax amount based on an image, and when the variation of the parallax amount acquired by the parallax amount acquisition unit over a certain period is greater than a predetermined value, the parallax amount reaches a predetermined allowable limit value And when at least one of the cases where the acquisition target of the parallax amount cannot be detected, it is determined that the parallax amount is abnormal, and the variation of the parallax amount over a certain period is larger than a predetermined value, It is determined that there is no abnormality in the amount of parallax when the amount of parallax reaches a predetermined allowable limit value or when the parallax amount acquisition target cannot be detected.
  • the abnormality determining unit and the abnormality determining unit determine that the parallax amount is normal, the first parallax adjustment is performed, and when the abnormality determining unit determines that the parallax amount is abnormal.
  • the function is to function as a parallax adjustment unit that performs parallax adjustment by switching to the second parallax adjustment control different from the first parallax adjustment control.
  • a parallax adjustment program for a compound-eye imaging device wherein a computer has a plurality of viewpoints generated by an imaging unit that generates a plurality of viewpoint images for each frame by imaging the same subject from a plurality of viewpoints.
  • a parallax amount acquisition unit that acquires the parallax amount of a predetermined object based on an image, and when a variation in a predetermined period of the parallax amount acquired by the parallax amount acquisition unit is greater than a predetermined value, the parallax amount is set to a predetermined allowable limit It is determined that the parallax amount is abnormal in at least one of the cases where the value has reached the value and when the acquisition target of the parallax amount cannot be detected, and the variation of the parallax amount over a certain period is greater than a predetermined value The parallax amount is not the case when the parallax amount reaches a predetermined allowable limit value or when the parallax amount acquisition target cannot be detected.
  • the abnormality determination unit determines that there is no abnormality and the abnormality determination unit determines that the parallax amount is normal, the parallax adjustment of the predetermined object is performed, and the abnormality determination unit determines that the parallax amount is abnormal.
  • the object is to function as a parallax adjustment unit that performs parallax adjustment on another object different from the predetermined object.
  • the acquired amount of parallax is a predetermined allowable limit value.
  • the parallax amount is determined to be abnormal.
  • the variation of the parallax amount over a certain period is larger than a predetermined value, when the parallax amount reaches a predetermined allowable limit value, or when the parallax amount acquisition target cannot be detected, It is determined that there is no abnormality in the amount of parallax.
  • the first parallax adjustment is performed, and when it is determined that there is an abnormality in the amount of parallax, the second parallax adjustment control different from the control of the first parallax adjustment To adjust the parallax. Therefore, even when the parallax amount is abnormal, the parallax amount adjustment can be stabilized.
  • the acquired amount of parallax is determined in advance. It is determined that the amount of parallax is abnormal in at least one of the cases where the given allowable limit value is reached, and where the parallax amount acquisition target cannot be detected.
  • the parallax adjustment of the predetermined object is performed, and when it is determined that the amount of parallax is abnormal, the parallax adjustment is performed on another object different from the predetermined object. I do. Therefore, even when there is an abnormality in the parallax amount of the predetermined object, the parallax amount adjustment can be stabilized by adjusting the parallax amount of other objects.
  • 1 is a front perspective view of a compound eye camera according to an embodiment of the present invention. It is a back side perspective view of a compound eye camera. It is a schematic block diagram which shows the internal structure of a compound eye camera. It is a figure which shows the structure of an imaging
  • parallax related information It is a figure which shows an example of parallax related information. It is a figure for demonstrating parallax relevant information. It is a figure for demonstrating parallax relevant information. It is a flowchart which shows a 4th parallax adjustment routine. It is a flowchart which shows a 5th parallax adjustment routine. It is a flowchart which shows the 6th parallax adjustment routine.
  • FIG. 1 is a front perspective view of a compound eye camera 1 according to an embodiment of the present invention
  • FIG. 2 is a rear perspective view.
  • a release button 2, a power button 3, and a zoom lever 4 are provided on the top of the compound eye camera 1.
  • the flash 5 and the lenses of the two photographing units 21A and 21B are disposed.
  • a liquid crystal monitor (hereinafter simply referred to as “monitor”) 7 for performing various displays and various operation buttons 8 are disposed on the back of the compound-eye camera 1.
  • FIG. 3 is a schematic block diagram showing the internal configuration of the compound eye camera 1.
  • the compound eye camera 1 includes two photographing units 21A and 21B, a photographing control unit 22, an image processing unit 23, a compression / decompression processing unit 24, a frame memory 25, a media control unit 26, an internal memory 27, a display control unit 28, and a CPU 35. Is provided. Note that the imaging units 21A and 21B are arranged so as to have a convergence angle for viewing the subject and to have a predetermined baseline length. Information on the convergence angle and the baseline length is stored in the internal memory 27.
  • FIG. 4 is a diagram illustrating the configuration of the photographing units 21A and 21B.
  • the imaging units 21A and 21B include lenses 10A and 10B, apertures 11A and 11B, shutters 12A and 12B, image sensors 13A and 13B, analog front ends (AFE) 14A and 14B, and an A / D conversion unit 15A. , 15B.
  • AFE analog front ends
  • the lenses 10A and 10B have a plurality of functional lenses such as a focus lens for focusing on a subject and a zoom lens for realizing a zoom function.
  • the positions of the lenses 10A and 10B are not determined based on the focusing data obtained by the AF processing unit 22a of the imaging control unit 22 and the zoom data obtained when the zoom lever 4 shown in FIGS. 1 and 2 is operated. It is adjusted by the lens driving unit shown in the figure.
  • the aperture diameter is adjusted by an aperture drive unit (not shown) based on aperture value data obtained by the AE processing unit 22b of the imaging control unit 22 for the apertures 11A and 11B.
  • the shutters 12A and 12B are mechanical shutters, and are driven by a shutter driving unit (not shown) according to the shutter speed obtained by the AE processing unit 22b.
  • the imaging elements 13A and 13B have photocathodes in which a large number of light receiving elements are arranged two-dimensionally. Subject light is imaged on this photoelectric surface and photoelectrically converted to obtain an analog photographing signal.
  • color filters in which R, G, and B color filters are regularly arranged are disposed on the front surfaces of the image sensors 13A and 13B.
  • the AFEs 14A and 14B remove noise from the analog shooting signal and adjust the gain of the analog shooting signal (hereinafter referred to as “analog processing”) for the analog shooting signals output from the image sensors 13A and 13B. Apply.
  • the A / D converters 15A and 15B convert the analog photographing signals subjected to analog processing by the AFEs 14A and 14B into digital signals.
  • a first image G1 an image represented by digital image data acquired by the photographing unit 21A
  • a second image G2 an image represented by image data acquired by the photographing unit 21B
  • the imaging control unit 22 includes the AF processing unit 22a and the AE processing unit 22b as described above.
  • the AF processing unit 22a acquires distance measurement information from the distance measurement sensor, determines the focal positions of the lenses 10A and 10B, and outputs them to the photographing units 21A and 21B.
  • the AE processing unit 22b determines an aperture value and a shutter speed based on the pre-image, and outputs them to the photographing units 21A and 21B.
  • the focus position detection method by the AF processing unit 22a is not limited to the active method using the distance measurement information, and a passive method that detects the in-focus position using the contrast of the image may be used.
  • the shooting control unit 22 displays a through image having a smaller number of pixels than the main images of the first and second images G1 and G2 for confirming the shooting range at a predetermined time interval (for example, the photographing units 21A and 21B are controlled so as to be sequentially generated at an interval of 1/30 seconds. Then, when the release button 2 is fully pressed, the shooting control unit 22 causes the shooting units 21A and 21B to generate the main images of the first and second images G1 and G2 so as to start the main shooting. Control.
  • the above explanation is for the still image mode, but in the present embodiment, it can also be set to the moving image shooting mode.
  • moving image shooting mode moving image shooting starts when the release button 2 is pressed, first and second images G1 and G2 are generated for each frame, and moving image shooting stops when the release button 2 is pressed again. To do.
  • the image processing unit 23 performs image processing such as white balance adjustment, gradation correction, sharpness correction, and color correction on the digital image data of the first and second images G1 and G2 acquired by the imaging units 21A and 21B. Apply processing.
  • the compression / decompression processing unit 24 performs compression processing on the image data representing the main images of the first and second images G1 and G2 processed by the image processing unit 23, for example, in a compression format such as JPEG. Then, the stereoscopic image file F0 is generated.
  • the stereoscopic image file F0 includes image data of the first and second images G1 and G2, and additional information such as a base line length, a convergence angle, and a shooting date and time based on the Exif format, And viewpoint information representing the viewpoint position.
  • FIG. 5 is a diagram showing a file format of a stereoscopic image file.
  • the stereoscopic image file F0 includes auxiliary information H1 of the first image G1, viewpoint information S1 of the first image G1, image data of the first image G1, auxiliary information H2 of the second image G2,
  • the viewpoint information S2 of the second image G2 and the image data of the second image G2 are stored.
  • the start and end positions of the data are shown before and after the supplementary information, viewpoint information, and image data for the first and second images G1 and G2 in the stereoscopic image file F0. Contains information.
  • the incidental information H1 and H2 includes information on the shooting dates, baseline lengths, and convergence angles of the first and second images G1 and G2.
  • the supplementary information H1 and H2 includes thumbnail images of the first and second images G1 and G2.
  • the viewpoint information for example, the viewpoint position number assigned in order from the left photographing unit can be used.
  • the frame memory 25 is used when performing various processes including the processes performed by the image processing unit 23 described above on the image data representing the first and second images G1 and G2 acquired by the photographing units 21A and 21B. This is a working memory.
  • the media control unit 26 accesses the recording medium 29 to control writing and reading of image files and the like.
  • the internal memory 27 stores various constants set in the compound-eye camera 1, a program executed by the CPU 35, and the like.
  • the display control unit 28 causes the monitor 7 to display the stereoscopic image GR recorded in the frame memory 25 or the recording medium 29 when stereoscopically viewing.
  • FIG. 6 is an exploded perspective view showing the configuration of the monitor 7. As shown in FIG. 6, the monitor 7 is configured by stacking a backlight unit 40 that emits light from LEDs and a liquid crystal panel 41 for performing various displays, and attaching a lenticular sheet 42 to the surface of the liquid crystal panel 41. .
  • FIG. 7 is a diagram showing the configuration of the lenticular sheet.
  • the lenticular sheet 42 is configured by arranging a plurality of cylindrical lenses 43 in parallel in a direction along the base line.
  • the compound eye camera 1 includes a three-dimensional processing unit 30.
  • the three-dimensional processing unit 30 performs a three-dimensional process on the first and second images G1 and G2 in order to stereoscopically display the first and second images G1 and G2 on the monitor 7, thereby providing a stereoscopic image. Generate a GR.
  • FIG. 8 is a diagram for explaining a three-dimensional process for the first and second images G1 and G2.
  • the three-dimensional processing unit 30 cuts each of the first and second images G1 and G2 into a strip shape in a direction perpendicular to the base line, and for each of the cylindrical lenses 43 in the lenticular sheet 42.
  • the stereoscopic image GR is generated by performing a three-dimensional process in which the first and second images G1 and G2 cut into strips corresponding to the positions are alternately arranged.
  • the image pairs of the first and second images G1 and G2 constituting the stereoscopic image GR are respectively arranged corresponding to one cylindrical lens.
  • the three-dimensional processing unit 30 can also adjust the parallax between the first and second images G1 and G2.
  • the parallax is the pixel position of the subject included in both the first and second images G1 and G2 in the horizontal direction of the first and second images G1 and G2, that is, the direction along the base line. Refers to the amount of displacement.
  • the three-dimensional processing unit 30 may adjust the parallax between the first and second images G1 and G2 obtained by the photographing units 21A and 21B in real time, or may be recorded in advance on the recording medium 29. The parallax between the first and second images G1 and G2 may be adjusted.
  • the following first or second parallax adjustment routine is executed.
  • the programs of the first and second parallax adjustment routines are stored in the internal memory 27 in advance.
  • FIG. 9 is a flowchart showing a first parallax adjustment routine.
  • step 100 when an instruction to start moving image shooting is input via the release button 2, the CPU 35 starts 3D moving image shooting and proceeds to step 102.
  • step 102 the CPU 35 causes the three-dimensional processing unit 30 to acquire the parallax amount based on the first and second images G1 and G2 acquired by the photographing units 21A and 21B.
  • the first or second parallax amount acquisition routine is executed, and the three-dimensional processing unit 30 performs the following processing.
  • FIG. 10 is a flowchart showing a first parallax amount acquisition routine.
  • the three-dimensional processing unit 30 detects the face areas of the same person from the plurality of images, that is, the first and second images G1 and G2 acquired by the photographing units 21A and 21B, respectively.
  • the face detection coordinates indicating the coordinates of the face are acquired (step 200)
  • the coordinate difference of the acquired face detection coordinates is calculated (step 202)
  • the parallax amount is calculated from the coordinate difference (step 204).
  • FIG. 11 is a flowchart showing a second parallax amount acquisition routine.
  • the three-dimensional processing unit 30 detects the same object from the plurality of images, that is, the first and second images G1 and G2 acquired by the photographing units 21A and 21B, and specifies these objects.
  • a feature point coordinate which is a point coordinate is acquired (step 210)
  • a coordinate difference between the acquired feature point coordinates is calculated (step 212)
  • a parallax amount is calculated from the coordinate difference (step 214).
  • the process proceeds to step 104 shown in FIG.
  • step 104 the CPU 35 determines whether or not the amount of parallax acquired by the three-dimensional processing unit 30 is abnormal. If it is determined that there is an abnormality, the process proceeds to step 106, and if it is determined that there is no abnormality, Proceed to step 108.
  • an abnormality in the amount of parallax based on any one of (1) whether the amount of parallax is hunting, (2) whether the amount of parallax is an allowable limit, or (3) if the parallax adjustment target is lost and cannot be detected. Is determined.
  • step 104 the CPU 35 executes the following first or second hunting presence / absence determination routine.
  • the programs of the first and second hunting presence / absence determination routines are stored in the internal memory 27 in advance.
  • FIG. 12 is a flowchart showing a first hunting presence / absence determination routine.
  • the CPU 35 acquires the parallax amount for a certain period obtained by the three-dimensional processing unit 30 (step 220), and calculates the variation S of the acquired parallax amount (step 222).
  • the CPU 35 determines whether the variation S is smaller than the hunting threshold T (S ⁇ T) (step 224). If S ⁇ T, the CPU 35 determines that there is no hunting (no abnormality in the amount of parallax) and proceeds to step 108 in FIG. If S ⁇ T is not true, the CPU 35 determines that there is hunting (the parallax amount is abnormal) and proceeds to step 106 in FIG.
  • FIG. 13 is a flowchart showing a second hunting presence / absence determination routine.
  • the CPU 35 acquires the change amount D of the parallax amount between the current frame and the previous frame obtained by the three-dimensional processing unit 30 (step 230). Then, the CPU 35 determines whether the change amount D is smaller than the hunting threshold T (S ⁇ T) (step 232). When D ⁇ T, the CPU 35 determines that there is no hunting (no abnormality in the amount of parallax) and proceeds to step 108 in FIG. If D ⁇ T is not satisfied, the CPU 35 determines that there is hunting (the parallax amount is abnormal) and proceeds to step 106 in FIG.
  • the CPU 35 may determine whether the amount of parallax has reached a predetermined allowable limit value.
  • the allowable limit refers to a parallax amount threshold value that represents an excessive protrusion or depression of an object represented in a stereoscopic image. If the amount of parallax has reached the allowable limit value, the CPU 35 proceeds to step 106. If the amount of parallax has not reached the allowable limit, the CPU 35 proceeds to step 108.
  • the CPU 35 may determine whether or not the parallax adjustment target is lost and cannot be detected.
  • the parallax adjustment target corresponds to an object near the center position of the screen such as a human face or a plurality of feature points.
  • the CPU 35 determines that the parallax adjustment target is lost and proceeds to step 106. If the 10 parallax adjustment targets have not been detected, the CPU 35 proceeds to step 108. Note that “10 frames” is merely an example, and other frame numbers may be used. Thereby, when the parallax adjustment target is lost, the parallax adjustment control is switched, so that the parallax adjustment of the three-dimensional moving image shooting can be stabilized.
  • step 106 the CPU 35 switches the parallax adjustment control to another control.
  • any one of the first to third switching processes is executed.
  • the CPU 35 defines a parallax amount maximum change amount for each frame and sets it in the three-dimensional processing unit 30 to limit the change amount of the parallax amount for each frame. Thereby, the parallax adjustment is performed within the range of the maximum parallax amount change amount, and a rapid change in the parallax amount can be suppressed, so that the parallax adjustment of the three-dimensional moving image shooting can be stabilized.
  • the CPU 35 skips the parallax adjustment in the frame (prohibits parallax adjustment in the frame) and continues the parallax adjustment in the previous frame as it is. That is, the amount of parallax in the previous frame is used. Thereby, even when there is an abnormality in the amount of parallax, the parallax adjustment can be skipped, so that the parallax adjustment for three-dimensional video shooting can be stabilized.
  • the CPU 35 reduces the frequency of performing the parallax adjustment.
  • a second parallax adjustment routine shown in FIG. 14 is executed. Note that the same steps as those in FIG. 9 are denoted by the same reference numerals, and redundant description is omitted.
  • steps 102, 103, 104, 106 (step 240) and 110 are repeatedly executed, and the parallax adjustment (step 108) is not performed.
  • the process proceeds to step 108 through steps 104 and 106 (steps 240 and 242), and parallax adjustment is performed.
  • the parallax adjustment is not performed for each frame, but the parallax adjustment is performed only once per N frames. Therefore, the frequency of parallax adjustment can be reduced and the change in parallax adjustment can be moderated. it can.
  • step 108 the CPU 35 causes the three-dimensional processing unit 30 to perform parallax adjustment, and proceeds to step 110.
  • step 110 the CPU 35 determines whether an instruction to stop moving image shooting is input by the release button 2. If the determination is affirmative, the CPU 35 ends this routine. If the determination is negative, the CPU 35 proceeds to the processing for the next frame and returns to step 102 again.
  • the compound eye camera 1 of the first embodiment performs parallax adjustment after switching parallax adjustment control even when the parallax amount is abnormal or when the parallax target is lost. Accordingly, it is possible to stabilize parallax adjustment for three-dimensional moving image shooting.
  • the CPU 35 may record hunting information indicating the presence or absence of hunting on the recording medium 29 after performing parallax adjustment (after completion of step 108). Thereby, since presence / absence of hunting is added to the moving image information, the CPU 35 can use the hunting information at the time of moving image reproduction, and can stabilize parallax adjustment at the time of three-dimensional moving image reproduction.
  • step 104 the case where any one of (1) determination of presence / absence of hunting, (2) determination of tolerance limit of parallax amount, and (3) determination of parallax adjustment target has been described. It is sufficient that at least one of (3) is executed.
  • step 106 the case where any one of the first to third switching processes is executed has been described. However, at least one of the first to third switching processes is executed. That's fine.
  • FIG. 15 is a flowchart showing a third parallax adjustment routine.
  • step 130 when an instruction to start moving image shooting is input via the release button 2, the CPU 35 starts 3D moving image shooting and proceeds to step 132.
  • step 132 the CPU 35 causes the three-dimensional processing unit 30 to acquire the basic parallax amount based on the first and second images G1 and G2 acquired by the photographing units 21A and 21B, and then proceeds to step 134.
  • the basic parallax amount means the parallax amount of the default object, for example, the parallax amount of the object closest to the center of the screen.
  • step 134 the CPU 35 determines whether or not the basic parallax amount acquired by the three-dimensional processing unit 30 is abnormal. Here, the same processing as step 104 shown in FIG. 9 is executed. If the basic parallax amount is abnormal, the CPU 35 proceeds to step 138. If there is no abnormality, the CPU 35 proceeds to step 136.
  • step 136 the CPU 35 controls the three-dimensional processing unit 30 to perform parallax adjustment using the basic parallax amount, and proceeds to step 142.
  • step 138 the CPU 35 causes the three-dimensional processing unit 30 to acquire the parallax amount of another object, and proceeds to step 138.
  • the face of a person other than the default object corresponds to the other object.
  • step 140 the three-dimensional processing unit 30 is controlled to perform parallax adjustment using the parallax amount of another object.
  • the three-dimensional processing unit 30 selects “an object close to the default object in the Z direction” or “an object close to the default object in the two-dimensional coordinates” as the “other object”, and sets the parallax amount of the selected object.
  • the same plane as the first and second images G1 and G2 acquired by the photographing units 21A and 21B is represented by two-dimensional coordinates (X, Y), and the direction perpendicular to the plane (base line) is the Z direction.
  • an object close to the default object in the Z direction is an object having the closest stereoscopic effect to the default object, regardless of whether it is close in two-dimensional coordinates.
  • the three-dimensional processing unit 30 can suppress a sudden change in the amount of parallax by performing the parallax adjustment using the amount of parallax of the object, and as a result, can perform the parallax adjustment stably.
  • the “object close to the default object in the two-dimensional coordinates” is an object closest to the default object on the two-dimensional coordinates, regardless of whether or not it is close to the stereoscopic effect of the default object.
  • the three-dimensional processing unit 30 can perform the parallax adjustment by using the parallax amount of the object, thereby performing the parallax adjustment with the object close to the parallax adjustment target so far, and as a result, the parallax can be stably performed. Adjustments can be made. Then, the CPU 35 proceeds to step 142 through the above processing.
  • step 142 the CPU 35 marks the parallax adjustment target with a GUI (Graphical User Interface) and displays it on the monitor 7, and proceeds to step 144.
  • GUI Graphic User Interface
  • the face of a person who is subject to parallax adjustment may be surrounded by a square as shown in FIG. 16A, a circle as shown in FIG. 16B, or as shown in FIG. 16C. You may add a star.
  • step 144 the CPU 35 determines whether or not an instruction to stop moving image shooting is input by the release button 2. If the determination is affirmative, the CPU 35 ends this routine. If the determination is negative, the CPU 35 proceeds to the next frame processing and returns to step 132 again.
  • the compound eye camera 1 of the second embodiment performs parallax adjustment after switching the parallax adjustment target to another object even when the default parallax amount of the default object is abnormal or when the default object is lost. Do. Accordingly, it is possible to stabilize parallax adjustment for three-dimensional moving image shooting.
  • parallax related information may be acquired instead of directly acquiring the parallax amount.
  • FIG. 17 is a diagram showing an example of parallax related information.
  • 18A and 18B are diagrams for explaining parallax-related information.
  • the parallax related information includes the coordinate group of the feature point A, the coordinate group of the feature face A, the coordinate group of the feature face B for the left eye image (first image G1) and the right eye image (second image G2) of each frame. Information such as the presence or absence of hunting is applicable.
  • CPU35 may perform parallax adjustment using such parallax relevant information.
  • symbol is attached
  • the first and second parallax adjustment routines are executed.
  • the next fourth parallax adjustment routine is changed to the second parallax adjustment routine.
  • a fifth parallax adjustment routine is executed.
  • FIG. 19 is a flowchart showing a fourth parallax adjustment routine
  • FIG. 20 is a flowchart showing a fifth parallax adjustment routine.
  • the fourth parallax adjustment routine shown in FIG. 19 is different from FIG. 9 only in that steps 102A and 102B are applied instead of step 102 in the flowchart of the first parallax adjustment routine shown in FIG.
  • the fifth parallax adjustment routine shown in FIG. 20 is different from FIG. 14 only in that steps 102A and 102B are applied instead of step 102 in the flowchart of the second parallax adjustment routine shown in FIG. In the following, only step 102A and step 102B, which are different from FIGS. 9 and 14, will be described.
  • step 102A the CPU 35 causes the three-dimensional processing unit 30 to execute the first or second parallax amount acquisition routine, thereby causing the parallax related related to the parallax based on the first and second images G1 and G2. Get information.
  • the CPU 35 causes the three-dimensional processing unit 30 to execute the first parallax amount acquisition routine illustrated in FIG. 10, thereby causing the three-dimensional processing unit 30 to acquire the first and second acquired by the photographing units 21 ⁇ / b> A and 21 ⁇ / b> B.
  • the face areas of the same person are detected from the images G1 and G2, respectively, and the face detection coordinates indicating the coordinates of these face areas are acquired as parallax related information (step 200).
  • the coordinate difference between the face detection coordinates is calculated as the parallax related information (step 202), and the parallax amount is calculated as the parallax related information from the coordinate difference (step 204).
  • the CPU 35 causes the three-dimensional processing unit 30 to execute the second parallax amount acquisition routine illustrated in FIG. 11, thereby causing the three-dimensional processing unit 30 to acquire the first and second acquired by the photographing units 21 ⁇ / b> A and 21 ⁇ / b> B.
  • the same objects are detected from the images G1 and G2, respectively, and the feature point coordinates that are the coordinates of the feature points specifying these objects are acquired as parallax related information (step 210).
  • the three-dimensional processing unit 30 is caused to calculate the coordinate difference of the feature point coordinates as the parallax related information (step 212), and the parallax amount is calculated as the parallax related information from the coordinate difference (step 214).
  • step 102B the CPU 35 creates an electronic file in which the parallax related information acquired in step 102A by the three-dimensional processing unit 30 is associated with the first and second images G1 and G2 used in step 102A. create.
  • an image file F0 in which parallax related information is recorded as supplementary information is applied as this file.
  • the CPU 35 displays the parallax related information in FIG. It is created by recording as incidental information in the file F0.
  • the CPU 35 uses the face detection coordinates acquired in step 200 for each of the first and second images G1 and G2. Is recorded as incidental information. Then, the CPU 35 records the coordinate difference calculated in step 202 as the incidental information of the corresponding first and second images G1 and G2, and the parallax amount calculated in step 204 corresponds to the corresponding first and first images. 2 is recorded as incidental information of the second images G1 and G2.
  • the CPU 35 uses the feature point coordinates acquired in step 210 for each of the first and second images G1 and G2. Is recorded as incidental information. Then, the CPU 35 records the coordinate difference calculated in step 212 as supplementary information of the corresponding first and second images G1 and G2, and the parallax amount calculated in step 214 corresponds to the corresponding first and first images. 2 is recorded as incidental information of the second images G1 and G2.
  • the compound-eye camera 1 since the compound-eye camera 1 records the parallax-related information in the image file F0, stereoscopic images based on the first and second images G1 and G2 are displayed. It is possible to effectively use parallax related information during reproduction.
  • an example of utilization of parallax related information an example of visual display via a monitor 7 together with a stereoscopic image currently being reproduced, or a built-in speaker (not shown) is used when reproducing a related stereoscopic image.
  • An application example of audible display an application example of permanent visible display using a printer (not shown) connected to the compound-eye camera 1, and an application example of transmission to an external device (not shown) are given.
  • FIG. 21 is a flowchart showing a sixth parallax adjustment routine.
  • the sixth parallax adjustment routine shown in FIG. 21 is different from FIG. 15 only in that steps 132A and 132B are applied instead of step 132 in the flowchart of the third parallax adjustment routine shown in FIG.
  • steps 132A and 132B are applied instead of step 132 in the flowchart of the third parallax adjustment routine shown in FIG.
  • Step 132A and Step 132B which are different from FIG. 15 will be described.
  • the CPU 35 provides the parallax related information related to the parallax based on the first and second images G1 and G2, which is information used for parallax adjustment during reproduction to the three-dimensional processing unit 30. Get it.
  • the parallax related information the feature points of each of the first and second images G1 and G2 (for example, the barycentric coordinates of a region having a predetermined spatial frequency), the features of the first image G1. A coordinate difference between the point and the feature point of the second image G1 and a basic parallax amount calculated from the coordinate difference are applied.
  • step 132B the CPU 35 creates an electronic file that associates the parallax-related information acquired in step 132A with the first and second images G1 and G2 used in step 132A by the three-dimensional processing unit 30. .
  • an image file F0 in which parallax related information is recorded as supplementary information is applied as this file.
  • the file is created by the CPU 35 recording the parallax-related information as incidental information in the image file F0 illustrated in FIG.
  • the CPU 35 records the feature points of the first and second images G1 and G2 acquired in step 132A as supplementary information for each of the first and second images G1 and G2. Then, the CPU 35 records the coordinate difference acquired in step 132A as supplementary information of the corresponding first and second images G1 and G2, and the basic parallax amount acquired in step 132A is recorded as the corresponding first and second images. It records as incidental information of the second images G1 and G2.
  • the compound-eye camera 1 since the compound-eye camera 1 records the parallax-related information in the image file F0, the stereoscopic image based on the first and second images G1 and G2 is displayed. It is possible to effectively use parallax related information during reproduction.
  • the example in which the CPU 35 records the parallax related information in the image file F0 is described before performing the parallax amount abnormality determination process. Not limited to. After the parallax adjustment is performed, the CPU 35 may record the parallax related information in the image file F0.
  • the parallax-related information and the first and second images G1 and G2 are recorded in one electronic file by recording the parallax-related information as supplementary information of the image file F0.
  • the present invention is not limited to this.
  • a file different from the image file F0 may be created as a file in which parallax related information is recorded.
  • the image file F0 is associated with the first and second images G1 and G2, and the corresponding parallax related information is associated with the image specifying information for specifying the first and second images G1 and G2.
  • An example of creating a file is given.
  • the first and second images G1 and G2 can be associated with the parallax related information without creating a file.
  • specific information specifying the first and second images G1 and G2 or the first and second images G1 and G2 themselves are stored in one of the two nonvolatile memories, and the first and second images G1 and G2 themselves are stored in the other.
  • a mode in which parallax related information corresponding to the second images G1 and G2 is stored in association with corresponding specific information stored in one nonvolatile memory or the first and second images G1 and G2 can be exemplified.
  • specific information for specifying the first and second images G1 and G2 or the first and second images G1 and G2 and the specific information or the first and second images G1 and G2 are specified in one nonvolatile memory. For example, the corresponding parallax-related information is stored in association with each other.
  • the information obtained from the first and second images G1 and G2 and used for acquiring the parallax amount (for example, face detection coordinates and coordinate difference).
  • the information obtained in the previous stage of acquiring the parallax amount) and the parallax amount are associated with the first and second images G1 and G2 as the parallax related information.
  • the present invention is not limited to this.
  • the parallax-related information the result obtained by executing the first or second hunting presence / absence determination routine, the parallax amount allowable limit determination result described in the first embodiment, and the first Information indicating at least one result of the determination result of the parallax adjustment target described in the embodiment (information indicating whether or not there is an abnormality in the amount of parallax) and the first to the first described in the first embodiment
  • the first Information indicating at least one result of the determination result of the parallax adjustment target described in the embodiment information indicating whether or not there is an abnormality in the amount of parallax
  • at least one piece of information indicating which switching process of the three switching processes has been executed is associated with the first and second images G1 and G2 corresponding to the information and subjected to parallax adjustment. You may do it.
  • parallax adjustment when parallax adjustment is performed using the basic parallax amount described in the second and fourth embodiments, information indicating that includes the object itself corresponding to the information and the object.
  • the parallax-adjusted first and second images G1 and G2 may be associated with at least one of them.
  • information indicating that is the object corresponding to the information and the parallax adjustment including the object relate with at least one of completed 1st and 2nd image G1, G2.
  • information indicating what object is applied as the other object described in the second and fourth embodiments includes the object itself corresponding to the information, and the first and the parallax-adjusted first and second objects including the object. You may make it link
  • the information obtained from the first and second images G1 and G2, the information used for obtaining the parallax amount, the parallax amount obtained using the information, and the parallax amount are obtained.
  • it may be associated with a default object or another object. This makes it possible to effectively use information related to the stereoscopic image to be reproduced (parallax related information) including parallax adjustment during reproduction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　複眼カメラは、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮影部（２１Ａ、２１Ｂ）と、生成された複数の視点画像に基づいて視差量を取得する３次元処理部（３０）と、取得された視差量の一定期間の変動が所定値より大きい場合、視差量が所定許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、視差量に異常があると判定し、これらのいずれでもない場合に、視差量に異常がないと判定し、視差量に異常がないと判定された場合に第１の視差調整を行い、視差量に異常があると判定された場合に前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行うＣＰＵ（３５）と、を備えている。従って、複数の視点画像から求められる視差量自体に問題がある場合又は視差調整対象を検出できなくなってしまうような場合でも、適切に視差調整を行う。

Description

複眼撮像装置、その視差調整方法及びプログラム
　本発明は、複眼撮像装置、その視差調整方法及びプログラムに関する。
　従来、複数の撮像部を備え、立体視画像を生成する複眼撮像装置が提案されている。複眼撮像装置は、複数の撮像部でそれぞれ生成された複数の視点画像に基づいて立体視画像を生成し、この立体視画像を立体視表示用モニタに表示する。
　複眼撮像装置で撮像された立体視画像の立体感はユーザの両眼の距離や立体視表示用モニタからユーザまでの距離に左右されるので、複眼撮像装置の立体視機能については個人差が大きいという問題がある。そのため、複眼撮像装置では、ユーザの操作に従って複数の視点画像の視差が調整可能になっており、これにより立体視画像の立体感が調整される。
　そこで、立体視画像を表示させるディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザの意図に合った、視差量調整を行う技術が開示されている（特許文献１参照）。
　特許文献１の技術では、視差量の変更要求に基づき視差量の調整に関する情報が作成され、これがディスプレイの種類に依存しない単位の情報に変換されて記録される。そして、記録された情報が読み出されると、この情報に基づいて視差量の調整に関する情報が作成され、この情報に基づいて立体表示用の画像が生成される。
　また、立体視表示用の撮像画像データを汎用性・利便性の高い方法で記録する技術が開示されている（特許文献２参照）。
　特許文献２の技術では、立体表示用の複数の撮像画像データの中から、１つの基準画像データと視差画像データとの視差情報が抽出されて差分画像データが生成される。そして、差分画像データは基準画像データに添付され、また、ファイルのヘッダ領域に差分画像データが添付されていることを示す添付識別情報が添付される。
特開２００５－７３０１２号公報 特開２００４－３６３７５８号公報
　しかし、最初の段階に問題がある場合、例えば、撮像部で得られた複数の視点画像から求められる視差量自体に問題がある場合又は視差調整対象を検出できなくなってしまうような場合では、特許文献１及び２の技術を用いても、適切に視差調整を行うことができないという問題がある。
　本発明は、このような実情を鑑みて提案されたものであり、複数の視点画像から求められる視差量自体に問題がある場合又は視差調整対象を検出できなくなってしまうような場合でも、適切に視差調整を行うことができる複眼撮像装置、その視差調整方法及びプログラムを提供することを目的とする。
　請求項１の発明である複眼撮像装置は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、前記撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部と、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部と、を備えている。
　請求項２の発明である複眼撮像装置は、請求項１に記載の複眼撮像装置であって、前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行う。
　請求項３の発明である複眼撮像装置は、請求項１又は請求項２に記載の複眼撮像装置であって、前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行う。
　請求項４の発明である複眼撮像装置は、請求項１から請求項３のいずれか１項に記載の複眼撮像装置であって、前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、視差調整頻度を低下させる。
　請求項５の発明である複眼撮像装置は、請求項１から請求項４のいずれか１項に記載の複眼撮像装置であって、前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付ける関連付け部を更に備える。
　請求項６の発明である複眼撮像装置は、請求項５に記載の複眼撮像装置であって、前記関連付け部が、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付け、かつ１つの電子化ファイルに纏めたものである。
　請求項７の発明である複眼撮像装置は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、前記撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部と、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部と、を備えている。
　請求項８の発明である複眼撮像装置は、請求項７に記載の複眼撮像装置であって、前記視差調整部は、前記視点画像の画像面に垂直な方向において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする。
　請求項９の発明である複眼撮像装置は、請求項７に記載の複眼撮像装置であって、前記視差調整部は、前記視点画像の画像面上において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする。
　請求項１０の発明である複眼撮像装置は、請求項７から請求項９のいずれか１項に記載の複眼撮像装置であって、前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付ける関連付け部を更に備える。
　請求項１１の発明である複眼撮像装置は、請求項１０に記載の複眼撮像装置であって、前記関連付け部が、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付け、かつ１つの電子化ファイルに纏めたものである。
　請求項１２の発明である複眼撮像装置の視差調整方法は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得し、前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、前記視差量に異常がないと判定した場合に、第１の視差調整を行い、前記視差量に異常があると判定した場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う。
　請求項１３の発明である複眼撮像装置の視差調整方法は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得し、前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、前記視差量に異常がないと判定した場合に、前記所定オブジェクトの視差調整を行い、前記視差量に異常があると判定した場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う。
　請求項１４の発明である複眼撮像装置の視差調整プログラムは、コンピュータを、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部、として機能させるためのものである。
　請求項１５の発明である複眼撮像装置の視差調整プログラムは、コンピュータを、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部、として機能させるためのものである。
　本発明によれば、フレーム毎の複数の視点画像に基づいて視差量を取得し、取得した視差量の一定期間の変動が所定値より大きい場合、取得した視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、視差量に異常があると判定する。また、視差量の一定期間の変動が所定値より大きい場合、視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合のいずれでもない場合に、視差量に異常がないと判定する。そして、視差量に異常がないと判定した場合に、第１の視差調整を行い、視差量に異常があると判定した場合に、第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う。従って、視差量に異常がある場合でも、視差量調整を安定化させることができる。
　また、本発明によれば、フレーム毎の複数の視点画像に基づいて所定オブジェクトの視差量を取得し、取得した視差量の一定期間の変動が所定値より大きい場合、取得した視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、視差量に異常があると判定する。また、視差量の一定期間の変動が所定値より大きい場合、視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合のいずれでもない場合に、視差量に異常がないと判定する。そして、前記視差量に異常がないと判定した場合に、前記所定オブジェクトの視差調整を行い、前記視差量に異常があると判定した場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う。従って、所定オブジェクトの視差量に異常がある場合でも、他のオブジェクトの視差量を調整することで、視差量調整を安定化させることができる。
本発明の実施形態に係る複眼カメラの正面側斜視図である。 複眼カメラの背面側斜視図である。 複眼カメラの内部構成を示す概略ブロック図である。 撮影部の構成を示す図である。 立体視画像の画像ファイルのファイルフォーマットを示す図である。 モニタの構成を示す図である。 レンチキュラーシートの構成を示す図である。 第１及び第２の画像に対する３次元処理を説明するための図である。 第１の視差調整ルーチンを示すフローチャートである。 第１の視差量取得ルーチンを示すフローチャートである。 第２の視差量取得ルーチンを示すフローチャートである。 第１のハンチング有無判定ルーチンを示すフローチャートである。 第２のハンチング有無判定ルーチンを示すフローチャートである。 第２の視差調整ルーチンを示すフローチャートである。 第３の視差調整ルーチンを示すフローチャートである。 視差調整対象をＧＵＩでマーキングした状態を示す図である。 視差調整対象をＧＵＩでマーキングした状態を示す図である。 視差調整対象をＧＵＩでマーキングした状態を示す図である。 視差関連情報の一例を示す図である。 視差関連情報を説明するための図である。 視差関連情報を説明するための図である。 第４の視差調整ルーチンを示すフローチャートである。 第５の視差調整ルーチンを示すフローチャートである。 第６の視差調整ルーチンを示すフローチャートである。
　［第１の実施形態］
　以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態に係る複眼カメラ１の正面側斜視図、図２は背面側斜視図である。
　複眼カメラ１の上部には、レリーズボタン２、電源ボタン３及びズームレバー４が備えられている。複眼カメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼カメラ１の背面には、各種表示を行う液晶モニタ（以下単に「モニタ」いう。）７及び各種操作ボタン８が配設されている。
　図３は、複眼カメラ１の内部構成を示す概略ブロック図である。複眼カメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、及びＣＰＵ３５を備える。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持ち、かつ、あらかじめ定められた基線長となるように配置されている。また、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。
　図４は、撮影部２１Ａ、２１Ｂの構成を示す図である。図４に示すように撮影部２１Ａ、２１Ｂは、レンズ１０Ａ、１０Ｂ、絞り１１Ａ、１１Ｂ、シャッタ１２Ａ、１２Ｂ、撮像素子１３Ａ、１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ、１４Ｂ及びＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。
　レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の、複数の機能別レンズを有している。レンズ１０Ａ，１０Ｂの位置は、撮影制御部２２のＡＦ処理部２２ａにより得られる合焦データ及び図１及び図２に示したズームレバー４が操作された場合に得られるズームデータに基づいて、不図示のレンズ駆動部により調整される。
　絞り１１Ａ，１１Ｂに対して、撮影制御部２２のＡＥ処理部２２ｂにより得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
　シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理部２２ｂにより得られるシャッタスピードに応じて駆動される。
　撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元状に配列した光電面を有している。被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
　ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、及びアナログ撮影信号のゲインを調節する処理（以下「アナログ処理」という。）を施す。
　Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１とし、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。
　撮影制御部２２は、上述のようにＡＦ処理部２２ａ及びＡＥ処理部２２ｂを有している。ＡＦ処理部２２ａは、レリーズボタン２が半押し操作されると、測距センサから測距情報を取得し、レンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２ｌＢに出力する。ＡＥ処理部２２ｂは、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。
　なお、ＡＦ処理部２２ａによる焦点位置の検出方式としては、測距情報を用いたアクティブ方式に限らず、画像のコントラストを利用して合焦位置を検出するパッシブ方式を用いてもよい。
　撮影制御部２２は、レリーズボタン２が操作されない状態では、撮影範囲を確認させるための、第１及び第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次生成させるように撮影部２１Ａ，２１Ｂを制御する。そして、撮影制御部２２は、レリーズボタン２が全押し操作されると、本撮影を開始すべく、第１及び第２の画像Ｇ１，Ｇ２の本画像を生成するように撮影部２１Ａ，２１Ｂを制御する。
　以上の説明は静止画モードの場合であるが、本実施の形態では、動画撮影モードにも設定可能である。動画撮影モードの場合、レリーズボタン２が押圧されると動画撮影が開始され、フレーム毎に第１及び第２の画像Ｇ１，Ｇ２が生成され、再びレリーズボタン２が押圧されると動画撮影が停止する。
　画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
　圧縮／伸長処理部２４は、画像処理部２３によって処理が施された第１及び第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０は、第１及び第２の画像Ｇ１，Ｇ２の画像データを有しており、更に、Ｅｘｉｆフォーマット等に基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。
　図５は、立体視用の画像ファイルのファイルフォーマットを示す図である。立体視用の画像ファイルＦ０には、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ、第２の画像Ｇ２の付帯情報Ｈ２、第２の画像Ｇ２の視点情報Ｓ２，及び第２の画像Ｇ２の画像データが格納されている。また、図示はしないが、立体視用の画像ファイルＦ０の、第１及び第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報及び画像データの前後には、データの開始位置及び終了位置を表す情報が含まれる。
　付帯情報Ｈ１，Ｈ２には、第１及び第２の画像Ｇ１，Ｇ２の撮影日、基線長、及び輻輳角の情報が含まれる。付帯情報Ｈ１，Ｈ２には、第１及び第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮影部から順に付与した視点位置の番号を用いることができる。
　フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
　メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。
　内部メモリ２７は、複眼カメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。
　表示制御部２８は、立体視する場合に、フレームメモリ２５又は記録メディア２９に記録されている立体視画像ＧＲをモニタ７に表示させる。
　図６は、モニタ７の構成を示す分解斜視図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０及び各種表示を行うための液晶パネル４１を積層し、液晶パネル４１の表面にレンチキュラーシート４２を取り付けることにより構成されている。
　図７は、レンチキュラーシートの構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を基線に沿った方向に並列に並べることにより構成されている。
　また、複眼カメラ１は、３次元処理部３０を備えている。３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１及び第２の画像Ｇ１，Ｇ２に対して３次元処理を行って立体視画像ＧＲを生成する。
　図８は、第１及び第２の画像Ｇ１，Ｇ２に対する３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２の各々を、基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに対して、位置が対応する短冊状に切り取った第１及び第２の画像Ｇ１，Ｇ２を交互に配置する、３次元処理を行って、立体視画像ＧＲを生成する。立体視画像ＧＲを構成する第１及び第２の画像Ｇ１，Ｇ２の画像対は、各々１つのシリンドリカルレンズに対応して配置される。
　また、３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２の視差を調整することもできる。ここで、視差とは、第１及び第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１及び第２の画像Ｇ１，Ｇ２の横方向、すなわち基線に沿った方向、における画素位置のずれ量をいう。視差を調整することにより、立体視画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。
　また、３次元処理部３０は、リアルタイムで撮影部２１Ａ、２１Ｂで得られた第１及び第２の画像Ｇ１，Ｇ２の視差を調整してもよいし、記録メディア２９に予め記録されている第１及び第２の画像Ｇ１，Ｇ２の視差を調整してもよい。
　以上のように構成された複眼カメラ１では、次の第１又は第２の視差調整ルーチンが実行される。なお、第１及び第２の視差調整ルーチンのプログラムは内部メモリ２７に予め記憶されている。
　（第１の視差調整ルーチン）
　図９は、第１の視差調整ルーチンを示すフローチャートである。
　ステップ１００では、ＣＰＵ３５は、動画撮影開始の指示がレリーズボタン２を介して入力されると、３次元動画撮影を開始して、ステップ１０２へ進む。
　ステップ１０２では、ＣＰＵ３５は、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２に基づく視差量を３次元処理部３０に取得させる。ここでは、第１又は第２の視差量取得ルーチンが実行され、３次元処理部３０は次の処理を行う。
　（視差量の取得）
　図１０は、第１の視差量取得ルーチンを示すフローチャートである。３次元処理部３０は、最初に、複数画像、すなわち撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一の人物の顔領域をそれぞれ検出し、これらの顔領域の座標を示す顔検出座標を取得し（ステップ２００）、取得した顔検出座標の座標差分を算出し（ステップ２０２）、座標差分から視差量を算出する（ステップ２０４）。
　図１１は、第２の視差量取得ルーチンを示すフローチャートである。３次元処理部３０は、最初に、複数画像、すなわち撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一のオブジェクトをそれぞれ検出し、これらのオブジェクトを特定する特徴点の座標である特徴点座標を取得し（ステップ２１０）、取得した特徴点座標の座標差分を算出し（ステップ２１２）、座標差分から視差量を算出する（ステップ２１４）。そして、第１又は第２の視差量取得ルーチンが終了すると、図９に示すステップ１０４へ進む。
　（視差量の異常判定）
　ステップ１０４では、ＣＰＵ３５は、３次元処理部３０で取得された視差量に異常があるか否かを判定し、異常があると判定した場合はステップ１０６へ進み、異常がないと判定した場合はステップ１０８へ進む。ここでは、（１）視差量にハンチングがあるか、（２）視差量が許容限界か、（３）視差調整対象を見失って検出できなくなったか、のいずれか１つに基づいて視差量の異常が判定される。
　（１）ハンチング有無の判定
　ＣＰＵ３５は、ステップ１０４において、次に示す第１又は第２のハンチング有無判定ルーチンを実行する。なお、第１及び第２のハンチング有無判定ルーチンのプログラムは、内部メモリ２７に予め記憶されている。
　図１２は、第１のハンチング有無判定ルーチンを示すフローチャートである。ＣＰＵ３５は、３次元処理部３０で得られた一定期間の視差量を取得し（ステップ２２０）、取得した視差量のばらつきＳを算出する（ステップ２２２）。そして、ＣＰＵ３５は、ばらつきＳがハンチング閾値Ｔより小さい（Ｓ＜Ｔ）かを判定する（ステップ２２４）。ＣＰＵ３５は、Ｓ＜Ｔの場合はハンチングがない（視差量に異常がない）と判定して図９のステップ１０８へ進む。ＣＰＵ３５は、Ｓ＜Ｔでない場合はハンチングがある（視差量に異常がある）と判定して図９のステップ１０６へ進む。
　図１３は、第２のハンチング有無判定ルーチンを示すフローチャートである。ＣＰＵ３５は、３次元処理部３０で得られた現フレームと前フレームの視差量の変化量Ｄを取得する（ステップ２３０）。そして、ＣＰＵ３５は、変化量Ｄがハンチング閾値Ｔより小さい（Ｓ＜Ｔ）かを判定する（ステップ２３２）。ＣＰＵ３５は、Ｄ＜Ｔの場合はハンチングがない（視差量に異常がない）と判定して図９のステップ１０８へ進む。ＣＰＵ３５は、Ｄ＜Ｔでない場合はハンチングがある（視差量に異常がある）と判定して図９のステップ１０６へ進む。
　（２）視差量の許容限界判定
　ＣＰＵ３５は、ステップ１０４において、視差量が予め定められた許容限界値に達しているかを判定してもよい。ここで、許容限界とは、立体視画像に表される物体の飛び出し過ぎ又は凹みすぎを表す視差量の閾値をいう。ＣＰＵ３５は、視差量が許容限界値に達している場合はステップ１０６へ進む。ＣＰＵ３５は、視差量が許容限界に達していない場合はステップ１０８へ進む。
　（３）視差調整対象の判定
　ＣＰＵ３５は、ステップ１０４において、視差調整対象を見失って検出できなくなったか否かを判定してもよい。視差調整対象とは、例えば人物の顔などの画面の中心位置付近にあるオブジェクト又は複数の特徴点などが該当する。
　ここでは、ＣＰＵ３５は、視差調整対象が例えば１０フレーム検出されなかった場合は視差調整対象を見失ったと判定してステップ１０６へ進む。ＣＰＵ３５は、視差調整対象が１０フレーム検出されていない場合はステップ１０８へ進む。なお、「１０フレーム」は一例に過ぎず、その他のフレーム数であってもよい。これにより、視差調整対象を見失った場合、視差調整制御を切り替えるので、３次元動画撮影の視差調整を安定化させることができる。
　（視差調整制御の切り替え）
　ステップ１０６では、ＣＰＵ３５は、視差調整制御を別の制御に切り替える。ここでは、第１～第３の切り替え処理のうちいずれか１つの処理が実行される。
　第１の切り替え処理として、ＣＰＵ３５は、フレーム毎の視差量最大変化量を定義して３次元処理部３０に設定することで、フレーム毎の視差量の変化量に制限をかける。これにより、視差量最大変化量の範囲内で視差調整が行われて、視差量の急激な変化を抑制できるので、３次元動画撮影の視差調整を安定化させることが可能になる。
　また、第２の切り替え処理として、ＣＰＵ３５は、当該フレームでの視差調整をスキップ（当該フレームでの視差調整を禁止）して、前フレームでの視差調整をそのまま継続させる。つまり、前フレームでの視差量を使用する。これにより、視差量に異常があった場合でも、視差調整をスキップできるので、３次元動画撮影の視差調整を安定化させることができる。
　さらに、第３の切り替え処理として、ＣＰＵ３５は、視差調整を実施する頻度を減らす。ここでは、図９に示す視差調整ルーチンの代わりに、次の図１４に示す第２の視差調整ルーチンが実行される。なお、図９のステップと同じステップには同一の符号を付し、重複する説明は省略する。
　図１４の視差調整ルーチンは、ステップ１００の次にインデックス番号ｉ＝０が設定され（ステップ１０１）、ステップ１０２の次にｉが１増加（ｉ＋＋）する（ステップ１０３）点が、図９と相違する。更に、第３の切り替え処理が行われるステップ１０６では、次の処理が行われる。
　ＣＰＵ３５は、最初に、インデックス番号ｉが視差調整頻度Ｎ以上（ｉ≧Ｎ）であるかを判定する（ステップ２４０）。そして、ＣＰＵ３５は、ｉ≧Ｎである場合はｉ＝０に設定して（ステップ２４２）ステップ１０８へ進む。ＣＰＵ３５は、ｉ≧Ｎでない場合はステップ１０８を飛ばしてステップ１１０へ進む。
　このため、インデックス番号ｉがＮ未満である場合は、ステップ１０２、１０３、１０４、１０６（ステップ２４０）、１１０が繰り返し実行され、視差調整（ステップ１０８）が行われない。また、インデックス番号ｉがＮに達すると、ステップ１０４、１０６（ステップ２４０、２４２）を経て、ステップ１０８に進むので、視差調整が実施される。
　したがって、視差に異常があった場合、フレーム毎に視差調整するのではなく、Ｎフレームにつき１回だけ視差調整するので、視差調整の頻度を減少して、視差調整の変化を緩やかにすることができる。
　ステップ１０８では、ＣＰＵ３５は、３次元処理部３０に視差調整を実施させて、ステップ１１０へ進む。
　ステップ１１０では、ＣＰＵ３５は、レリーズボタン２により動画撮影停止の指示が入力されたかを判定する。ＣＰＵ３５は、肯定判定の場合は本ルーチンを終了する。ＣＰＵ３５は、否定判定の場合は次のフレームの処理に移行し、再びステップ１０２へ戻る。
　以上のように、第１の実施形態の複眼カメラ１は、視差量に異常がある場合又は視差対象を見失った場合でも、視差調整制御を切り替えてから視差調整を行う。従って、３次元動画撮影の視差調整を安定化させることができる。
　なお、ＣＰＵ３５は、ハンチングを検出した場合、視差調整を実施した後（ステップ１０８終了後）ハンチングの有無を示すハンチング情報を記録メディア２９に記録してもよい。これにより、動画情報にハンチングの有無が付加されるので、ＣＰＵ３５は、動画再生時にハンチング情報を利用することができ、３次元動画再生時の視差調整を安定化させることができる。また、ステップ１０４では、（１）ハンチング有無の判定、（２）視差量の許容限界判定、（３）視差調整対象の判定のいずれか１つが実行される場合について説明したが、（１）から（３）の少なくとも１つが実行されればよい。さらに、ステップ１０６では、第１～第３の切り替え処理のうちいずれか１つの処理が実行される場合について説明したが、第１～第３の切り替え処理のうちの少なくとも１つの処理が実行されればよい。
　［第２の実施形態］
　つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。第１の実施形態では第１又は第２の視差調整ルーチンが実行されたが、第２の実施形態では第１又は第２の視差調整ルーチンに代えて次の第３の視差調整ルーチンが実行される。
　（第３の視差調整ルーチン）
　図１５は、第３の視差調整ルーチンを示すフローチャートである。
　ステップ１３０では、ＣＰＵ３５は、動画撮影開始の指示がレリーズボタン２を介して入力されると、３次元動画撮影を開始して、ステップ１３２へ進む。
　ステップ１３２では、ＣＰＵ３５は、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２に基づく基本視差量を３次元処理部３０に取得させて、ステップ１３４へ進む。ここで、基本視差量とは、デフォルトオブジェクトの視差量をいい、例えば画面中心に最も近いオブジェクトの視差量をいう。
　ステップ１３４では、ＣＰＵ３５は、３次元処理部３０で取得された基本視差量に異常があるか否かを判定する。ここでは、図９に示すステップ１０４と同じ処理が実行される。そして、ＣＰＵ３５は、基本視差量に異常がある場合はステップ１３８へ進む。ＣＰＵ３５は、異常がない場合はステップ１３６へ進む。
　ステップ１３６では、ＣＰＵ３５は、基本視差量を用いて視差調整を行うよう３次元処理部３０を制御して、ステップ１４２へ進む。
　一方、ステップ１３８では、ＣＰＵ３５は、３次元処理部３０に他のオブジェクトの視差量を取得させて、ステップ１３８へ進む。他のオブジェクトとしては、例えば、デフォルトオブジェクト以外の人物の顔などが該当する。
　ステップ１４０では、他のオブジェクトの視差量を用いて視差調整を実施するよう３次元処理部３０を制御する。このとき、３次元処理部３０は、「他のオブジェクト」として、「Ｚ方向においてデフォルトオブジェクトに近いオブジェクト」又は「２次元座標においてデフォルトオブジェクトに近いオブジェクト」を選択し、選択したオブジェクトの視差量を用いて視差調整を行う。ここでは、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２と同一の平面を２次元座標（Ｘ，Ｙ）で表し、この面（基線）に垂直な方向をＺ方向とする。
　よって、「Ｚ方向においてデフォルトオブジェクトに近いオブジェクト」は、２次元座標において近いか否かは問われないが、デフォルトオブジェクトと立体感が最も近いオブジェクトである。このため、３次元処理部３０は、当該オブジェクトの視差量を用いて視差調整を行うことで、視差量の急激な変化を抑制でき、その結果、安定して視差調整を行うことができる。
　また、「２次元座標においてデフォルトオブジェクトに近いオブジェクト」は、デフォルトオブジェクトの立体感に近いか否かは問わないが、２次元座標上でデフォルトオブジェクトに最も近いオブジェクトである。このため、３次元処理部３０は、当該オブジェクトの視差量を用いて視差調整を行うことで、これまでの視差調整対象に近いオブジェクトで視差調整を行うことができ、その結果、安定して視差調整を行うことができる。そして、ＣＰＵ３５は、以上のような処理を経て、ステップ１４２へ進む。
　ステップ１４２では、ＣＰＵ３５は、視差調整対象をＧＵＩ（Graphical User Interface）でマーキングしてモニタ７に表示させて、ステップ１４４に進む。ここでは、視差調整対象である人物の顔に対して、例えば図１６Ａに示すように四角で囲んでもよいし、１６図Ｂに示すように丸で囲んでもよいし、１６図Ｃに示すように星印をつけてもよい。
　ステップ１４４では、ＣＰＵ３５は、レリーズボタン２により動画撮影停止の指示が入力されたかを判定する。ＣＰＵ３５は、肯定判定の場合は本ルーチンを終了する。ＣＰＵ３５は、否定判定の場合は次のフレームの処理に移行し、再びステップ１３２へ戻る。
　以上のように、第２の実施形態の複眼カメラ１は、デフォルトオブジェクトの基本視差量に異常がある場合又はデフォルトオブジェクトを見失った場合でも、視差調整対象を他のオブジェクトに切り替えてから視差調整を行う。従って、３次元動画撮影の視差調整を安定化させることができる。
　なお、本発明は、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものについても適用可能である。
　例えば、上述した第１及び第２の実施形態において、視差量を直接取得する代わりに、視差関連情報を取得してもよい。
　図１７は視差関連情報の一例を示す図である。図１８Ａ及び図１８Ｂは視差関連情報を説明するための図である。視差関連情報は、毎フレームの左目画像（第１の画像Ｇ１）及び右目画像（第２の画像Ｇ２）について、特徴点Ａの座標群、特徴顔Ａの座標群、特徴顔Ｂの座標群、ハンチング有無などの情報が該当する。そして、ＣＰＵ３５は、これらの視差関連情報を用いて視差調整を行ってもよい。
　［第３の実施形態］
　次に、本発明の第３の実施形態について説明する。なお、第１の実施形態と同一の部位及び回路については同一の符号を付し、その詳細な説明は省略する。第１の実施形態では第１及び第２の視差調整ルーチンが実行されたが、第３の実施形態では第１の視差調整ルーチンに代えて次の第４の視差調整ルーチンが、第２の視差調整ルーチンに代えて第５の視差調整ルーチンが各々実行される。
　図１９は、第４の視差調整ルーチンを示すフローチャートであり、図２０は、第５の視差調整ルーチンを示すフローチャートである。なお、図１９に示す第４の視差調整ルーチンは、図９に示す第１の視差調整ルーチンのフローチャートのステップ１０２に代えてステップ１０２Ａ及びステップ１０２Ｂを適用した点のみが図９と相違する。図２０に示す第５の視差調整ルーチンは、図１４に示す第２の視差調整ルーチンのフローチャートのステップ１０２に代えてステップ１０２Ａ及びステップ１０２Ｂを適用した点のみが図１４と相違する。以下では、図９及び図１４との相違点であるステップ１０２Ａ及びステップ１０２Ｂのみを説明する。
　ステップ１０２Ａでは、ＣＰＵ３５は、３次元処理部３０に対して、第１又は第２の視差量取得ルーチンを実行させることにより、第１及び第２の画像Ｇ１，Ｇ２に基づく視差に関連する視差関連情報を取得させる。
　ＣＰＵ３５は、３次元処理部３０に対して、図１０に示す第１の視差量取得ルーチンを実行させることにより、３次元処理部３０に、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一の人物の顔領域をそれぞれ検出させ、これらの顔領域の座標を示す顔検出座標を視差関連情報として取得させる（ステップ２００）。そして、３次元処理部３０に、その顔検出座標の座標差分を視差関連情報として算出させ（ステップ２０２）、その座標差分から視差量を視差関連情報として算出させる（ステップ２０４）。
　ＣＰＵ３５は、３次元処理部３０に対して、図１１に示す第２の視差量取得ルーチンを実行させることにより、３次元処理部３０に、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一のオブジェクトをそれぞれ検出させ、これらのオブジェクトを特定する特徴点の座標である特徴点座標を視差関連情報として取得させる（ステップ２１０）。３次元処理部３０に、その特徴点座標の座標差分を視差関連情報として算出させ（ステップ２１２）、その座標差分から視差量を視差関連情報として算出させる（ステップ２１４）。
　ステップ１０２Ｂでは、ＣＰＵ３５は、３次元処理部３０に対してステップ１０２Ａで取得させた視差関連情報を、ステップ１０２Ａで用いられた第１及び第２の画像Ｇ１，Ｇ２に関連付けた、電子化ファイルを作成する。なお、本第３の実施形態では、このファイルとして、視差関連情報が付帯情報として記録された画像ファイルＦ０を適用している。このファイルは、３次元処理部３０によって図１０に示す第１の視差量取得ルーチン又は図１１に示す第２の視差量取得ルーチンが実行された場合、ＣＰＵ３５が視差関連情報を図５に示す画像ファイルＦ０に付帯情報として記録することにより作成される。
　つまり、ＣＰＵ３５は、３次元処理部３０によって図１０に示す第２の視差量取得ルーチンが実行された場合、ステップ２００で取得された顔検出座標を、第１及び第２の画像Ｇ１，Ｇ２毎に付帯情報として記録する。そして、ＣＰＵ３５は、ステップ２０２で算出された座標差分を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録し、ステップ２０４で算出された視差量を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録する。
　また、ＣＰＵ３５は、３次元処理部３０によって図１１に示す第２の視差量取得ルーチンが実行された場合、ステップ２１０で取得された特徴点座標を、第１及び第２の画像Ｇ１，Ｇ２毎に付帯情報として記録する。そして、ＣＰＵ３５は、ステップ２１２で算出された座標差分を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録し、ステップ２１４で算出された視差量を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録する。
　以上のように、本第３の実施形態によれば、複眼カメラ１は、視差関連情報を画像ファイルＦ０に記録しているので、第１及び第２の画像Ｇ１，Ｇ２に基づく立体視画像を再生する際に視差関連情報を有効活用することができる。なお、視差関連情報の活用例としては、現時点で再生されている立体視画像と共にモニタ７を介して可視表示するという活用例、関連する立体視画像の再生時に内蔵スピーカ（図示省略）を用いて可聴表示するという活用例、複眼カメラ１に接続されたプリンタ（図示省略）を用いて永久可視表示するという活用例、及び外部装置（図示省略）に送信するという活用例が挙げられる。
　［第４の実施形態］
　次に、本発明の第４の実施形態について説明する。なお、第２の実施形態と同一の部位及び回路については同一の符号を付し、その詳細な説明は省略する。第２の実施形態では第３の視差調整ルーチンが実行されたが、第４の実施形態では第３の視差調整ルーチンに代えて次の第６の視差調整ルーチンが実行される。
　図２１は、第６の視差調整ルーチンを示すフローチャートである。なお、図２１に示す第６の視差調整ルーチンは、図１５に示す第３の視差調整ルーチンのフローチャートのステップ１３２に代えてステップ１３２Ａ及びステップ１３２Ｂを適用した点のみが図１５と相違する。以下では、図１５との相違点であるステップ１３２Ａ及びステップ１３２Ｂのみを説明する。
　ステップ１３２Ａでは、ＣＰＵ３５は、３次元処理部３０に対して、再生時の視差調整に供する情報であって、かつ、第１及び第２の画像Ｇ１，Ｇ２に基づく視差に関連する視差関連情報を、取得させる。本第４の実施形態では、視差関連情報として、第１及び第２の画像Ｇ１，Ｇ２の各々の特徴点（例えば、所定の空間周波数を有する領域の重心座標）、第１の画像Ｇ１の特徴点と第２の画像Ｇ１の特徴点との間の座標差分、及びこの座標差分から算出された基本視差量を適用している。
　ステップ１３２Ｂでは、ＣＰＵ３５は、３次元処理部３０に対してステップ１３２Ａで取得させた視差関連情報をステップ１３２Ａで用いられた第１及び第２の画像Ｇ１，Ｇ２に関連付けた電子化ファイルを作成する。なお、本第４の実施形態では、このファイルとして、視差関連情報が付帯情報として記録された画像ファイルＦ０を適用している。このファイルは、３次元処理部３０によって視差関連情報を取得させた場合、ＣＰＵ３５が、視差関連情報を、図５に示す画像ファイルＦ０に付帯情報として記録することにより、作成される。
　つまり、ＣＰＵ３５は、ステップ１３２Ａで取得された第１及び第２の画像Ｇ１，Ｇ２の各々の特徴点を第１及び第２の画像Ｇ１，Ｇ２毎に付帯情報として記録する。そして、ＣＰＵ３５は、ステップ１３２Ａで取得された座標差分を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録し、ステップ１３２Ａで取得された基本視差量を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録する。
　以上のように、本第４の実施形態によれば、複眼カメラ１は、視差関連情報を画像ファイルＦ０に記録しているので、第１及び第２の画像Ｇ１，Ｇ２に基づく立体視画像を再生する際に視差関連情報を有効活用することができる。
　なお、上記第３及び第４の実施形態では、視差量の異常判定の処理を行う前段階で、ＣＰＵ３５が画像ファイルＦ０に視差関連情報を記録する場合の形態例を挙げて説明したが、これに限らない。視差調整が実施された後に、ＣＰＵ３５が視差関連情報を画像ファイルＦ０に記録してもよい。
　また、上記第３及び第４の実施形態では、視差関連情報を画像ファイルＦ０の付帯情報として記録することにより、視差関連情報と第１及び第２の画像Ｇ１，Ｇ２とを１つの電子化ファイルに纏める形態例を挙げて説明したが、これに限らない。例えば、視差関連情報が記録されたファイルとして、画像ファイルＦ０とは別のファイルを作成してもよい。この場合、画像ファイルＦ０の第１及び第２の画像Ｇ１，Ｇ２に関連付けられると共に、第１及び第２の画像Ｇ１，Ｇ２を特定する画像特定情報に対して対応する視差関連情報が関連付けられた、ファイルを作成する形態例が挙げられる。また、ファイルを作成せずに第１及び第２の画像Ｇ１，Ｇ２と視差関連情報とを関連付けることもできる。この場合、２つの不揮発性メモリの一方に、第１及び第２の画像Ｇ１，Ｇ２を特定する特定情報又は第１及び第２の画像Ｇ１，Ｇ２そのものが記憶され、他方に、その第１及び第２の画像Ｇ１，Ｇ２に対応する視差関連情報が、一方の不揮発性メモリに記憶された対応する特定情報又は第１及び第２の画像Ｇ１，Ｇ２に関連付けて記憶されるという形態が例示できる。また、１つの不揮発性メモリに第１及び第２の画像Ｇ１，Ｇ２を特定する特定情報又は第１及び第２の画像Ｇ１，Ｇ２とその特定情報又は第１及び第２の画像Ｇ１，Ｇ２に対応する視差関連情報とが、関連付けて記憶されるという形態が例示できる。
　また、上記第３及び第４の実施形態では、第１及び第２の画像Ｇ１，Ｇ２から得られた情報であって視差量を取得するために用いた情報（例えば、顔検出座標や座標差分などの視差量を取得する前段階で得られる情報）、及び視差量を、視差関連情報として第１及び第２の画像Ｇ１，Ｇ２に関連付けたが、これに限らない。例えば、これらの視差関連情報と、第１又は第２のハンチング有無判定ルーチンを実行して得られた結果、上記第１の実施形態で説明した視差量の許容限界判定の結果、及び上記第１の実施形態で説明した視差調整対象の判定の結果の少なくとも１つの結果を示す情報（視差量に異常があるか否かを示す情報）と、上記第１の実施形態で説明した第１～第３の切り替え処理の何れの切り替え処理が実行されたかを示す情報と、の少なくとも１つの情報が、その情報に対応すると共に視差調整が行われた第１及び第２の画像Ｇ１，Ｇ２に関連付けられるようにしてもよい。また、上記第２及び第４の実施形態で説明した基本視差量を用いて視差調整を行った場合には、その旨を示す情報が、その情報に対応するオブジェクトそのものと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。また、上記第２及び第４の実施形態で説明した他のオブジェクトから視差量を取得した場合には、その旨を示す情報が、その情報に対応するオブジェクトそのものと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。また、上記第２及び第４の実施形態で説明した他のオブジェクトの視差量が調整された場合には、その旨を示す情報が、その情報に対応するオブジェクトと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。更に、上記第２及び第４の実施形態で説明した他のオブジェクトとして如何なるオブジェクトを適用したかを示す情報が、その情報に対応するオブジェクトそのものと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。
　このように、第１及び第２の画像Ｇ１，Ｇ２から得られた情報であって、視差量を取得するために用いた情報、その情報を用いて取得された視差量、及びその視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報が、その情報に対応すると共に視差調整が行われた第１及び第２の画像Ｇ１，Ｇ２（上記第２及び第４の実施形態では、例えば、デフォルトオブジェクト又は他のオブジェクト）に関連付けられればよい。これにより、再生時の視差調整を含めて、再生される立体視画像に関連する情報（視差関連情報）の有効活用が可能となる。
７　モニタ
２１Ａ、２１Ｂ　撮影部
２２　撮影制御部
３０　３次元処理部
３５　ＣＰＵ

Claims (15)

  1. 　複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、
    　前記撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部と、
    　前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、
    　前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部と、
    　を備えた複眼撮像装置。
  2. 　前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行う
    　請求項１に記載の複眼撮像装置。
  3. 　前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行う
    　請求項１又は請求項２に記載の複眼撮像装置。
  4. 　前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、視差調整頻度を低下させる
    　請求項１から請求項３のいずれか１項に記載の複眼撮像装置。
  5. 　前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付ける関連付け部を更に備えた請求項１から請求項４のいずれか１項に記載の複眼撮像装置。
  6. 　前記関連付け部は、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付け、かつ１つの電子化ファイルに纏めた請求項５記載の複眼撮像装置。
  7. 　複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、
    　前記撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部と、
    　前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、
    　前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部と、
    　を備えた複眼撮像装置。
  8. 　前記視差調整部は、前記視点画像の画像面に垂直な方向において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする
    　請求項７に記載の複眼撮像装置。
  9. 　前記視差調整部は、前記視点画像の画像面上において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする
    　請求項７に記載の複眼撮像装置。
  10. 　前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付ける関連付け部を更に備えた請求項７から請求項９のいずれか１項に記載の複眼撮像装置。
  11. 　前記関連付け部は、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付け、かつ１つの電子化ファイルに纏めた請求項１０記載の複眼撮像装置。
  12. 　複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得し、
    　前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、
    　前記視差量に異常がないと判定した場合に、第１の視差調整を行い、前記視差量に異常があると判定した場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う
    　複眼撮像装置の視差調整方法。
  13. 　複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得し、
    　前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、
    　前記視差量に異常がないと判定した場合に、前記所定オブジェクトの視差調整を行い、前記視差量に異常があると判定した場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う
    　複眼撮像装置の視差調整方法。
  14. 　コンピュータを、
    　複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部、
    　前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び
    　前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部、
    　として機能させるための複眼撮像装置の視差調整プログラム。
  15. 　コンピュータを、
    　複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部、
    　前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び
    　前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部、
    　として機能させるための複眼撮像装置の視差調整プログラム。
PCT/JP2010/065764 2010-03-30 2010-09-13 複眼撮像装置、その視差調整方法及びプログラム WO2011121818A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080012380.0A CN102388617B (zh) 2010-03-30 2010-09-13 复眼摄像装置及其视差调整方法和程序
EP10848991.5A EP2555525B1 (en) 2010-03-30 2010-09-13 Compound-eye imaging device, and disparity adjustment method and program therefor
US13/260,143 US9071759B2 (en) 2010-03-30 2010-09-13 Compound-eye imaging device, and parallax adjusting method and program thereof
JP2012508013A JP5295426B2 (ja) 2010-03-30 2010-09-13 複眼撮像装置、その視差調整方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-079508 2010-03-30
JP2010079508 2010-03-30
JP2010149858 2010-06-30
JP2010-149858 2010-06-30

Publications (1)

Publication Number Publication Date
WO2011121818A1 true WO2011121818A1 (ja) 2011-10-06

Family

ID=44711594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065764 WO2011121818A1 (ja) 2010-03-30 2010-09-13 複眼撮像装置、その視差調整方法及びプログラム

Country Status (5)

Country Link
US (1) US9071759B2 (ja)
EP (1) EP2555525B1 (ja)
JP (1) JP5295426B2 (ja)
CN (1) CN102388617B (ja)
WO (1) WO2011121818A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126106A (ja) * 2011-12-14 2013-06-24 Konica Minolta Inc 画像処理方法、画像処理システムおよび画像処理プログラム
WO2013094332A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像出力装置、方法およびプログラムならびにその記録媒体
WO2013094329A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像処理装置、方法およびプログラムならびにその記録媒体
WO2013145820A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 撮影装置、方法、記憶媒体及びプログラム
JP2017060107A (ja) * 2015-09-18 2017-03-23 レノボ・シンガポール・プライベート・リミテッド カメラモジュール及び情報処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US9934451B2 (en) * 2013-06-25 2018-04-03 Microsoft Technology Licensing, Llc Stereoscopic object detection leveraging assumed distance
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355808A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd 映像システム
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2004350918A (ja) * 2003-05-29 2004-12-16 Sophia Co Ltd 遊技機
JP2004363758A (ja) 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
JP2005073012A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69730565T2 (de) * 1996-06-26 2005-02-03 Matsushita Electric Industrial Co., Ltd., Kadoma Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik
US6895181B2 (en) * 2002-08-27 2005-05-17 Olympus Corporation Camera and distance measuring method thereof
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
WO2006043720A1 (ja) * 2004-10-20 2006-04-27 Fujitsu Ten Limited 表示装置、表示装置の画質調整方法、画質調整装置、およびコントラスト調整装置
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355808A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd 映像システム
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2004350918A (ja) * 2003-05-29 2004-12-16 Sophia Co Ltd 遊技機
JP2004363758A (ja) 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
JP2005073012A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2555525A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126106A (ja) * 2011-12-14 2013-06-24 Konica Minolta Inc 画像処理方法、画像処理システムおよび画像処理プログラム
US9094671B2 (en) 2011-12-19 2015-07-28 Fujifilm Corporation Image processing device, method, and recording medium therefor
WO2013094329A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像処理装置、方法およびプログラムならびにその記録媒体
JP5571257B2 (ja) * 2011-12-19 2014-08-13 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP5580486B2 (ja) * 2011-12-19 2014-08-27 富士フイルム株式会社 画像出力装置、方法およびプログラム
CN104041026A (zh) * 2011-12-19 2014-09-10 富士胶片株式会社 图像输出装置、方法以及程序及其记录介质
CN104054333A (zh) * 2011-12-19 2014-09-17 富士胶片株式会社 图像处理装置、方法以及程序及其记录介质
WO2013094332A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像出力装置、方法およびプログラムならびにその記録媒体
US9124866B2 (en) 2011-12-19 2015-09-01 Fujifilm Corporation Image output device, method, and recording medium therefor
CN104041026B (zh) * 2011-12-19 2016-06-08 富士胶片株式会社 图像输出装置、方法以及程序及其记录介质
WO2013145820A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 撮影装置、方法、記憶媒体及びプログラム
JP5547356B2 (ja) * 2012-03-30 2014-07-09 富士フイルム株式会社 撮影装置、方法、記憶媒体及びプログラム
JP2017060107A (ja) * 2015-09-18 2017-03-23 レノボ・シンガポール・プライベート・リミテッド カメラモジュール及び情報処理装置

Also Published As

Publication number Publication date
EP2555525A1 (en) 2013-02-06
US9071759B2 (en) 2015-06-30
CN102388617B (zh) 2015-09-09
EP2555525B1 (en) 2017-10-25
JPWO2011121818A1 (ja) 2013-07-04
EP2555525A4 (en) 2013-09-25
US20120140043A1 (en) 2012-06-07
JP5295426B2 (ja) 2013-09-18
CN102388617A (zh) 2012-03-21

Similar Documents

Publication Publication Date Title
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
JP5492300B2 (ja) 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
JP4637942B2 (ja) ３次元表示装置および方法並びにプログラム
JP4625515B2 (ja) ３次元撮影装置および方法並びにプログラム
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに３次元情報取得装置
US20110157328A1 (en) Three-dimensional display device and method as well as program
JP5420076B2 (ja) 再生装置、複眼撮像装置、再生方法及びプログラム
JP2010068182A (ja) ３次元撮影装置および方法並びにプログラム
JP4895312B2 (ja) ３次元表示装置および方法並びにプログラム
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JP5214547B2 (ja) 画像表示装置および方法並びにプログラム
JP5190882B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP5191864B2 (ja) ３次元表示装置および方法並びにプログラム
JP4852169B2 (ja) ３次元表示装置および方法並びにプログラム
JP5049231B2 (ja) ３次元表示装置および方法並びにプログラム
WO2012086298A1 (ja) 撮影装置、方法及びプログラム
JP4887461B2 (ja) ３次元画像撮像装置及び３次元画像表示方法
JP2010102137A (ja) ３次元撮影装置および方法並びにプログラム
JP4847500B2 (ja) ３次元表示装置および方法並びにプログラム
US20130120374A1 (en) Image processing device, image processing method, and image processing program
JP5385354B2 (ja) ３次元表示装置および方法並びにプログラム
JP5165742B2 (ja) ３次元撮影装置および方法並びにプログラム
JP2011223175A (ja) 撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080012380.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13260143

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2010848991

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010848991

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 7395/CHENP/2011

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2012508013

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10848991

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE