[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020059029A1 - 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 - Google Patents

距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 Download PDF

Info

Publication number
WO2020059029A1
WO2020059029A1 PCT/JP2018/034519 JP2018034519W WO2020059029A1 WO 2020059029 A1 WO2020059029 A1 WO 2020059029A1 JP 2018034519 W JP2018034519 W JP 2018034519W WO 2020059029 A1 WO2020059029 A1 WO 2020059029A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
difference
distance
processing unit
Prior art date
Application number
PCT/JP2018/034519
Other languages
English (en)
French (fr)
Inventor
航史 山崎
悠介 中村
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to CN201880095047.7A priority Critical patent/CN112334734A/zh
Priority to PCT/JP2018/034519 priority patent/WO2020059029A1/ja
Priority to US17/276,745 priority patent/US11740468B2/en
Priority to JP2020547506A priority patent/JP7112504B2/ja
Publication of WO2020059029A1 publication Critical patent/WO2020059029A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1814Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1876Diffractive Fresnel lenses; Zone plates; Kinoforms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Definitions

  • the present invention relates to a distance measurement device, an imaging device, a distance measurement system, a distance measurement method, and an imaging method.
  • Head mounted image display devices are used to support work in factory work and equipment maintenance work. In many cases, an operator holds an article necessary for a target operation, and it is required that the input method to the video display device be simple, and input means such as voice operation and gesture operation has been devised. I have.
  • Patent Document 1 there is a method in which a special diffraction grating substrate is attached to an image sensor, and a distance to an object is measured using a projection pattern in which light transmitted through the diffraction grating substrate is generated on the image sensor. It has been devised.
  • distance information (information indicating the distance to the target object) is generated from the relationship between the contrast of the imaging result and the focus position.
  • An object of the present invention is to provide a technique for more accurately generating subject distance information in consideration of the influence of a background.
  • FIG. 1 is a schematic diagram of a head-mounted image display device equipped with a distance measurement device according to a first embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of a head-mounted image display device equipped with the distance measurement device according to the first embodiment.
  • 6 is a flowchart illustrating a processing example in the embodiment of the video display device.
  • FIG. 2 is a diagram illustrating a configuration example of a basic imaging device using a distance measurement sensor.
  • FIG. 3 is a diagram illustrating a configuration example of an imaging unit in a basic imaging device using a distance measurement sensor.
  • FIG. 11 is a diagram illustrating another configuration example of an imaging unit in a basic imaging device using a distance measurement sensor. It is a figure showing an example of a pattern for photography.
  • FIG. 9 is a diagram illustrating that an image projected from the pattern substrate surface to the image sensor by obliquely incident parallel light causes an in-plane displacement.
  • FIG. 3 is a diagram illustrating an example of a projected image of a photographing pattern.
  • FIG. 3 is a diagram illustrating an example of a development pattern.
  • FIG. 4 is a diagram illustrating an example of a developed image according to a correlation developing method.
  • FIG. 4 is a diagram illustrating an example of moiré fringes by a moiré developing method.
  • FIG. 4 is a diagram illustrating an example of a developed image by a moiré developing method.
  • FIG. 7 is a diagram illustrating an example of a combination of initial phases in a fringe scan.
  • FIG. 9 is a diagram illustrating that an image projected from the pattern substrate surface to the image sensor by obliquely incident parallel light causes an in-plane displacement.
  • FIG. 3 is a diagram illustrating an example of a projected image of a photographing pattern.
  • FIG. 4 is a diagram illustrating an example of a photographing pattern in a space division fringe scan.
  • 9 is a flowchart illustrating a processing example of a fringe scan processing unit.
  • 9 is a flowchart illustrating a processing example of an image processing unit using a correlation development method.
  • 6 is a flowchart illustrating a processing example of an image processing unit using a moiré developing method.
  • FIG. 9 is a diagram illustrating that a shooting pattern is projected when an object is at an infinite distance.
  • FIG. 9 is a diagram illustrating that a shooting pattern is enlarged when an object is at a finite distance.
  • 9 is a flowchart illustrating an example of a distance measurement process by an image processing unit.
  • FIG. 7 is a diagram illustrating a calculation region of contrast in a distance measurement process. It is a figure showing an example of PSF (point spread function) when only one light source exists in a visual field.
  • FIG. 4 is a diagram illustrating an example of a PSF (point spread function) when two light sources are present in a visual field.
  • FIG. 3 is a diagram illustrating a configuration example of a distance measurement sensor and a distance measurement unit according to the first embodiment.
  • 5 is a flowchart illustrating a processing example of an inter-frame difference processing unit. 5 is a flowchart illustrating a processing example of a distance measuring unit.
  • FIG. 5 is a diagram illustrating another configuration example of the distance measurement sensor and the distance measurement unit according to the first embodiment.
  • FIG. 13 is a flowchart illustrating another processing example of the distance measuring unit.
  • FIG. 4 is a diagram illustrating a relationship between a sensor image and a distance measurement image.
  • FIG. 4 is a diagram illustrating a relationship between a sensor image and a distance measurement image.
  • FIG. 4 is a diagram illustrating a relationship between a sensor image and a distance measurement image.
  • FIG. 9 is a schematic diagram of a head-mounted image display device and a calculation device equipped with a distance measurement device according to a second embodiment.
  • FIG. 9 is a diagram illustrating a configuration example of a video display device according to a second embodiment.
  • FIG. 9 is a diagram illustrating a configuration example of a calculation device according to a second embodiment.
  • FIG. 13 is a flowchart illustrating an example of processing of the video display device according to the second embodiment. 13 is a flowchart illustrating an example of a process performed by a calculation device according to the second embodiment.
  • FIG. 14 is a schematic diagram of a head-mounted image display device equipped with a distance measurement device according to a third embodiment.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • FIG. 3 is a diagram illustrating a positional relationship of a subject with respect to a sensor image when a wearer of a head-mounted video display device equipped with a distance measurement device moves.
  • 17 is a flowchart illustrating an example of a processing flow in a difference image area determination unit according to the third embodiment. It is a figure explaining the relation of the cross-correlation of the sensor image between frames with a wearer's head movement.
  • FIG. 7 is a diagram illustrating a relationship between a head movement of a wearer and a cross-correlation of a partial region of a sensor image between frames.
  • 15 is a flowchart illustrating an example of a distance measurement process according to the third embodiment.
  • FIG. 14 is a diagram illustrating a configuration example of a head-mounted image display device equipped with a distance measurement device according to a fourth embodiment.
  • the number of elements when referring to the number of elements (including the number, numerical value, amount, range, etc.), a case where it is particularly specified and a case where it is clearly limited to a specific number in principle, etc. Except, the number is not limited to the specific number, and may be more than or less than the specific number.
  • the constituent elements are not necessarily essential unless otherwise specified or considered to be indispensable in principle. Needless to say.
  • Example 1 An embodiment of a distance measuring apparatus according to the present invention will be described, which shows that when generating distance information of an object, the influence of the background can be reduced and high-accuracy distance information can be generated.
  • the distance measuring device is mounted on a head-mounted image display device, and is used as a distance measuring sensor for gesture recognition.
  • FIG. 1 shows a schematic diagram of a head-mounted image display device 101 (distance measuring device) in the present embodiment.
  • the video display device 101 is a device that measures a distance to a subject.
  • the image display device 101 includes a distance measurement sensor unit 102, an image display unit 103, a light source unit 104, and an overall control unit (not shown).
  • the head-mounted image display device 101 does not have to be eyeglass-type as long as it can be worn on the head, and the image display unit may be one eye.
  • the distance measurement sensor unit 102 may be installed at, for example, an end of the video display device 101 instead of the center. At this time, the distance measuring sensor unit 102 is not conspicuous by installing it at the end than in the case where it is installed at the center as shown in FIG. 1, so that the design can be improved. Further, the light source unit 104 is installed so as to be able to irradiate an area larger than the distance measurement range of the distance measurement sensor unit 102. For example, when the irradiation range of the light source is narrow, a plurality of light sources can be installed, for example, by installing the light sources at both ends, the irradiation range can be expanded.
  • FIG. 2 is a block diagram illustrating an example of a configuration of the video display device 101 according to the present embodiment. This example is an example in which an image display function and an arithmetic processing function are integrated in an image display device mounted on the head.
  • a CPU (Central Processing Unit) 201 is a central processing unit and performs control processing in the present video display device.
  • a GPU (Graphics Processing Unit) 202 is an arithmetic unit specialized for real-time image processing, and mainly performs processing related to image processing.
  • the overall control unit 203 is realized by a CPU or the like, and controls the entire processing in the video display device 101.
  • the light source control unit 204 controls the light source unit 104.
  • the light source unit 104 emits, for example, near-infrared light.
  • the distance measurement unit 205 controls the distance measurement sensor unit 102.
  • the video display control unit 211 controls the video display unit 103.
  • the camera control unit 212 controls the camera unit 213 to capture, for example, a still image or a moving image of the outside world.
  • the camera unit 213 is an imaging unit.
  • the gesture recognition unit 209 detects and recognizes a gesture based on the distance information (information indicating the distance to the subject) generated by the distance measurement unit 205.
  • the gesture operation input unit 210 inputs a gesture recognized by the gesture recognition unit 209 as an input operation of the video display device 101.
  • step S1 the light source control unit 204 controls the light source unit 104 to adjust the amount of light to be irradiated.
  • step S2 the distance measurement unit 205 controls the distance measurement sensor unit 102 to generate distance information from the acquired image.
  • step S3 the gesture recognition unit 209 performs gesture recognition using the distance information generated by the distance measurement unit 205.
  • step S4 a gesture recognition result is input to the gesture operation input unit 210 to be accepted as an input operation.
  • step S5 a response corresponding to the input operation is displayed on the video display unit 103 by the video display control unit 211.
  • FIG. 4 is an explanatory diagram illustrating an example of a basic configuration of an imaging device using a distance measurement sensor according to the present embodiment.
  • the imaging device 402 acquires an image of an external object without using a lens to form an image. As shown in FIG. 4, the image acquired by the distance measurement sensor unit 102 is converted into a fringe scan processing unit 207 ( The calculation is performed by the complex sensor image processing unit) and the image processing unit 208.
  • the imaging device 402 is a device including the functions of the distance measurement sensor unit 102 and the distance measurement unit 205.
  • FIG. 5 shows an example of the distance measuring sensor unit 102.
  • the distance measurement sensor unit 102 includes an image sensor 403, a pattern substrate 404, and a photographing pattern 405 (first lattice pattern).
  • the pattern substrate 404 is fixed in close contact with the light receiving surface of the image sensor 403, and has a configuration in which an imaging pattern 405 is formed on the pattern substrate 404.
  • the pattern substrate 404 is made of a material that is transparent to visible light, such as glass or plastic.
  • the imaging pattern 405 is formed by depositing a metal such as aluminum or chromium by, for example, a sputtering method used in a semiconductor process. Shading is given by the pattern with and without the aluminum deposited.
  • the formation of the photographing pattern 405 is not limited to this.
  • any method can be used as long as it can realize transmittance modulation, such as shading by printing with an inkjet printer or the like.
  • the pattern substrate 404 is made of a material that is transparent to far-infrared light, such as germanium, silicon, or chalcogenide, and that is transparent to the wavelength to be captured.
  • a blocking material may be used for the photographing pattern 405.
  • the photographing pattern 405 may be formed in a thin film and held by the support member 401.
  • the angle of view can be changed depending on the thickness of the pattern substrate 404. Therefore, for example, if the pattern substrate 404 has the configuration shown in FIG. 6 and has a function of changing the length of the support member 401, it is possible to change the angle of view during shooting and shoot.
  • the image sensor 403 is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging surface (light receiving surface) of the image sensor 403 pixels 403a as light receiving elements are arranged in an array.
  • the intensity of light transmitted through the imaging pattern 405 is modulated by the lattice pattern, and received by the image sensor 403.
  • the image sensor 403 converts a light image received by the pixel 403a into an image signal that is an electric signal, and outputs a sensor image based on the subject.
  • the image signal (analog image data) is converted into a digital signal via, for example, an analog / digital conversion circuit, and is output as digital image data.
  • an analog / digital conversion circuit for example, an analog / digital conversion circuit
  • the fringe scan processing unit 207 performs noise removal by fringe scan on the image data (sensor image) output from the image sensor 403 and outputs the result to the image processing unit 208.
  • the fringe scan processing unit 207 generates a complex sensor image having a complex number from the sensor image.
  • the image processing unit 208 performs predetermined image processing on the image data output from the fringe scan processing unit 207, converts the data format as necessary, and stores the converted data in a storage device (not shown) of the imaging device 402. It is stored or output to an external host computer or recording medium.
  • the photographing pattern 405 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center. Using the radius r from the reference coordinates, which is the center of the concentric circle, and the coefficient ⁇ , the following equation ( 1) is defined.
  • FIG. 7 shows an example of a Gabor zone plate of the formula (1)
  • FIG. 8 shows an example of a Fresnel zone plate obtained by binarizing the formula 1 with a threshold value of 1. Note that, hereinafter, for simplicity, only the x-axis direction will be described with mathematical expressions, but it is possible to consider two-dimensionally by similarly considering the y-axis direction.
  • FIG. 10 shows an example of a projected image of the photographing pattern 405. It is projected with a k shift as shown in equation (2). This is the output of the distance measurement sensor unit 102.
  • a shift amount k shown in FIG. 12 is calculated by calculating a cross-correlation function between the projected image of the photographing pattern 405 shown in FIG. 10 and the development pattern 1101 (second lattice pattern) shown in FIG. Get a bright spot.
  • the cross-correlation calculation is performed by a two-dimensional convolution calculation, the calculation amount is large. Therefore, the principle of the calculation using the Fourier transform will be described using mathematical expressions.
  • the Gabor zone plate and the Fresnel zone plate are used for the developing pattern 1101 as in the case of the photographing pattern 405, the developing pattern 1101 can be expressed by the following equation (3) using the initial phase ⁇ .
  • F represents a Fourier transform operation
  • u is a frequency coordinate in the x direction
  • ⁇ with parentheses is a delta function.
  • the equation after the Fourier transform is also a Fresnel zone plate or a Gabor zone plate. Therefore, the development pattern after Fourier transform may be directly generated based on this equation. As a result, the amount of calculation can be reduced.
  • exp (-iku) represented by the exponential function is a signal component.
  • the term is converted as in the following equation (7), and a bright spot is located at the position of k on the original x-axis. Obtainable.
  • the bright spot indicates a light beam at infinity, and is nothing but an image captured by the imaging device 402 in FIG.
  • a pattern other than the Fresnel zone plate or the Gabor zone plate, such as a random pattern may be used.
  • a moire fringe shown in FIG. 13 is generated by multiplying the projected image of the photographing pattern 405 shown in FIG. 10 by the developing pattern 1101 shown in FIG. , A bright point having a shift amount k ⁇ / ⁇ shown in FIG.
  • this moiré fringe is expressed by a mathematical formula, the following formula (8) is obtained.
  • the third term of this expansion formula is a signal component, and that a striped pattern that is straight and equidistant in the direction of displacement between the two patterns is formed over the entire overlapping region.
  • a fringe generated at a relatively low spatial frequency due to the superposition of such fringes is called a Moire fringe.
  • the two-dimensional Fourier transform of the third term is represented by the following equation (9).
  • F represents a Fourier transform operation
  • u is a frequency coordinate in the x direction
  • ⁇ with parentheses is a delta function
  • FIG. 15 is a diagram illustrating an example of a combination of initial phases in a fringe scan.
  • the complex developing pattern 1101 can be expressed by the following equation (11).
  • may be set so as to equally divide an angle between 0 and 2 ⁇ , and is not limited to these four phases. .
  • a liquid crystal display element capable of electrically switching and displaying a plurality of initial phases as shown in FIG. Constitute.
  • the distance measurement sensor unit 102 controls the switching timing of the liquid crystal display element and the shutter timing of the image sensor 403 in synchronization with each other, and the fringe scan processing unit 207 performs a fringe scan operation after acquiring four images.
  • an imaging pattern 405 having a plurality of initial phases is used.
  • the ranging sensor unit 102 controls the shutter timing of the image sensor 403, and the fringe scan processing unit 207 acquires one image and divides the acquired image into four images corresponding to the respective initial phase patterns. Then, a fringe scan operation is performed.
  • FIG. 17 is a flowchart illustrating a processing example of the fringe scan processing unit 207.
  • the fringe scan processing unit 207 obtains a sensor image of a plurality of phase patterns output from the image sensor 403 (one image in the case of the space division fringe scan, and a plurality of images in the case of the time division fringe scan).
  • the fringe scan processing unit 207 divides the acquired sensor image for each phase when using the space division fringe scan (S1701), and does not execute the processing S1701 when using the time division fringe scan.
  • the fringe scan processing unit 207 initializes an output complex sensor image (S1702).
  • the fringe scan processing unit 207 acquires a sensor image of the target initial phase ⁇ (S1703), multiplies exp (i ⁇ ) according to the initial phase ⁇ (S1704), and adds the multiplication result to the complex sensor image (S1704). S1705).
  • the fringe scan processing unit 207 determines whether or not the processing has been completed for all the initial phases (S1706). If the processing has not been completed, the processing returns to S1703 (S1706: No). The process proceeds to S1707 (S1706: Yes).
  • the fringe scan processing unit 207 outputs a complex sensor image (S1707).
  • the processing in the fringe scan processing unit 207 described above corresponds to equation (10).
  • FIG. 18 is a flowchart illustrating a processing example of the image processing unit 208 using the correlation development method.
  • the image processing unit 208 acquires the complex sensor image output from the fringe scan processing unit 207, and performs a two-dimensional fast Fourier transform (FFT: Fast Fourier Transform) operation on the complex sensor image (S1801).
  • FFT Fast Fourier Transform
  • the image processing unit 208 generates a developing pattern 1101 (second lattice pattern) used for the developing process, multiplies the complex sensor image subjected to the two-dimensional FFT operation (S1802), and performs the inverse two-dimensional FFT operation. This is performed (S1803). Since the result of this calculation is a complex number, the image processing unit 208 converts the absolute value or the real part into a real number, develops (restores) the image to be captured (S1804). After that, the image processing unit 208 performs contrast enhancement processing (S1805), color balance adjustment (S1806), and the like on the obtained developed image, and outputs the captured image.
  • S1805 contrast enhancement processing
  • S1806 color balance adjustment
  • FIG. 19 is a flowchart illustrating a processing example of the image processing unit 208 using the moiré developing method.
  • the image processing unit 208 acquires the complex sensor image output from the fringe scan processing unit 207.
  • the image processing unit 208 generates the development pattern 1101 to be used for the development processing, multiplies the complex pattern by the complex sensor image (S1901), and obtains a frequency spectrum by two-dimensional FFT operation (S1902).
  • S1903 The data of the area is cut out (S1903).
  • Subsequent processing is the same as the processing in steps S1804 to S1806 in FIG.
  • the image processing of the image processing unit 208 using the moiré developing method is completed.
  • FIG. 20 shows the manner in which the imaging pattern 405 is projected onto the image sensor 403 when the subject is far, as described above.
  • a spherical wave from a point 2001 constituting a distant object becomes a plane wave while propagating a sufficiently long distance and irradiates the imaging pattern 405, and the projected image 2002 is projected on the image sensor 403, the projected image becomes It has substantially the same shape as the pattern for imaging 405.
  • a single luminescent spot can be obtained by performing a development process on the projection image 2002 using the development pattern.
  • FIG. 21 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the imaging pattern 405 onto the image sensor 403 is enlarged more than the imaging pattern 405.
  • a spherical wave from a point 2101 constituting the object irradiates the imaging pattern 405 and a projected image 2102 is projected on the image sensor 403, the projected image is enlarged substantially uniformly.
  • the enlargement ratio ⁇ can be calculated as in the following equation (16) using the distance f from the photographing pattern 405 to the point 2101.
  • a single luminescent spot cannot be obtained by performing development processing using the development pattern designed for parallel light as it is. Therefore, if the developing pattern 1101 is enlarged in accordance with the uniformly enlarged projection image of the photographing pattern 405, a single bright point can be obtained again for the enlarged projection image 2102. it can.
  • a coefficient of development pattern 1101 beta can be corrected by a beta / alpha 2.
  • light from the point 2101 at a distance that is not necessarily infinity can be selectively reproduced.
  • FIG. 22 is a flowchart illustrating an outline of distance measurement by the imaging device 402. This distance measurement is realized by performing development processing while shifting the focus position by the resolution ⁇ f, and calculating the position where the contrast becomes maximum. This processing will be described in detail. First, an initial value of the focus position (such as infinity or distance 0) is set (S2201), an enlargement ratio ⁇ is calculated from the focus position, a coefficient ⁇ of the development pattern 1101 is calculated (S2202), and development processing is performed. (S2203). This development processing is the same processing as the development processing described with reference to FIG. 18 or FIG.
  • the developed image 2301 is divided as shown in FIG. 23 (S2204).
  • the contrast in the area is calculated for each of the divided areas using the maximum luminance Imax and the minimum luminance Imin in the area according to the following equations (17) and (18) (S2205).
  • the focus position is set to be shifted by ⁇ f (S2207), and the subsequent processes from S2202 to S2205 are performed until the scanning within the preset variable focus range is completed (S2206).
  • a focus position where the contrast is maximized is searched for each area (S2208), and distance information is output (S2209).
  • FIG. 24 shows an example of the PSF (point spread function) when only the point 2302 exists in the visual field.
  • the horizontal axis indicates the pixel position of the developed image, and the vertical axis indicates the amplitude.
  • the information before the processing (S1804) for realization and development (restoration) in the image processing unit 208 is a complex number, and therefore this vertical axis indicates the complex amplitude. If the complex amplitude of the point 2302 at the pixel position x0 is represented by the following equation (19), the value obtained by the realization process (S1804) is the square root of the following equation (20).
  • FIG. 25 shows an example of a PSF (point spread function) when points 2302 and 2303 exist in the visual field. Assuming that point 2302 is in focus, point 2303 is blurred and has an expanded PSF as shown. If the complex amplitude of the point 2303 at the pixel position x0 is represented by the following equation (21), the complex amplitude at the pixel position x0 before the realization processing (S1804) is represented by the following equation (22), and the realization processing (S1804) The obtained value is the square root of the following equation (23).
  • Expression (24) which is an interference component at points 2302 and 2303, is a feature of the present lensless camera system that is not included in conventional cameras. . This interference component affects the distance measurement performance.
  • FIG. 26 shows the configuration of the distance measuring sensor unit 102 and the distance measuring unit 205.
  • the distance measurement sensor unit 102 includes a modulator 2601 and an image sensor 403.
  • the modulator 2601 includes, for example, the pattern substrate 404 of FIG. 4 and the imaging pattern 405 (first lattice pattern).
  • the pattern of the modulator 2601 has a configuration in which a plurality of initial phase patterns are two-dimensionally arranged, for example, the initial phase ⁇ of FIG. 16 is a pattern of ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ . is there.
  • the modulator 2601 modulates the intensity of light based on the photographing pattern 405. Note that the image sensor 403 converts the light transmitted through the modulator 2601 into an electric signal, and generates a sensor image based on the subject.
  • the distance measurement unit 205 includes an inter-frame difference processing unit 206, a fringe scan processing unit 207, and an image processing unit 208.
  • the inter-frame difference processing unit 206 acquires the sensor image output from the distance measurement sensor unit 102, and generates a difference image between the acquired sensor image and the sensor image acquired one frame before.
  • the inter-frame difference processing unit 206 generates a difference image between frames of the sensor image.
  • the inter-frame difference processing unit 206 generates a difference image between frames of the complex sensor image.
  • the fringe scan processing unit 207 acquires the difference image output from the inter-frame difference processing unit 206 and performs a fringe scan operation.
  • the image processing unit 208 acquires the complex sensor image generated by the fringe scan processing unit 207 and generates distance information.
  • FIG. 27 is a flowchart showing an example of the inter-frame difference processing in the inter-frame difference processing unit 206.
  • the inter-frame difference processing unit 206 acquires the sensor image Si (n) from the distance measurement sensor unit 102 (S2701).
  • n is a variable stored in the memory and represents the number of times sensor images have been obtained from the distance measuring sensor unit 102, and is initialized to 0 when the video display device 101 is started.
  • the sensor image Si (n) is the sensor image acquired at the n-th time.
  • the inter-frame difference processing unit 206 stores the acquired sensor image Si (n) in the memory (S2702).
  • the inter-frame difference processing unit 206 initializes the output image So (n) (S2703).
  • the sensor image Si (n-1) is stored (S2704: Yes)
  • the inter-frame difference processing unit 206 generates a difference image between the sensor image Si (n) and the sensor image Si (n-1). Is set to the output image So (n) (S2705).
  • the inter-frame difference processing unit 206 sets the sensor image Si (n) as the output image So (n) (S2706). As described above, the inter-frame difference processing unit 206 determines whether or not to generate a difference image between frames based on the storage state of the sensor image between frames, and when it determines not to generate a difference image, The sensor image is output as an output image.
  • the inter-frame difference processing unit 206 outputs the output image So (n) (S2707), increments n, and ends (S2708).
  • the inter-frame difference processing unit 206 may delete the sensor image Si (n-1) from the memory.
  • FIG. 28 is a flowchart illustrating an example of a distance measurement process in the distance measurement sensor unit 102 and the distance measurement unit 205 illustrated in FIG.
  • the inter-frame difference processing unit 206 acquires the sensor image output from the distance measurement sensor unit 102 (S2801), performs the same processing as in FIG. 27, and generates a difference image (S2802).
  • the fringe scan processing unit 207 acquires the difference image generated by the inter-frame difference processing unit 206, and performs a fringe scan operation (S2803).
  • the fringe scan operation is a process equivalent to processes S1701 to S1707 in FIG.
  • the image processing unit 208 performs distance measurement processing using the complex sensor image generated by the fringe scan processing unit 207, and outputs distance information (S2804).
  • the distance measurement processing is the same processing as processing S2201 to S2209 in FIG. As described above, the image processing unit 208 generates the distance information indicating the distance to the subject based on the calculation of the difference image and the developing pattern 1101.
  • inter-frame difference processing unit 206 and the fringe scan processing unit 207 may be interchanged.
  • FIG. 29 shows the configuration of the distance measuring sensor unit 102 and the distance measuring unit 205 when the fringe scan processing is performed first. 26 is different from FIG. 26 only in the order of the inter-frame difference processing unit 206 and the fringe scan processing unit 207, and detailed description is omitted.
  • FIG. 30 is a flowchart showing an example of the distance measurement process in the configuration of FIG.
  • the fringe scan processing unit 207 acquires a sensor image output from the distance measurement sensor unit 102 (S3001), and performs a fringe scan operation (S3002).
  • the inter-frame difference processing unit 206 generates a difference image from the complex sensor image output from the fringe scan processing unit 207 (S3003).
  • an image for generating a difference image is changed from a sensor image to a complex sensor image, but can be realized by the same processing as in FIG.
  • the image processing unit 208 acquires the difference image output from the inter-frame difference processing unit 206, performs a distance measurement process, and outputs distance information (S3004).
  • the fringe scan processing unit 207 in order to convert a plurality of sensor images acquired in the patterns of each initial phase into a single complex sensor image, the fringe scan processing unit 207 is first executed to obtain the difference between frames. The amount of calculation in the processing unit 206 can be reduced.
  • the difference image from the image one frame before is used for the distance measurement processing.
  • the difference from the image before the frame may be arbitrarily set. For example, when the moving distance of the subject is small with respect to the frame rate of the distance measurement sensor, the signal component of the difference image becomes small, and the distance measurement may not be performed. In such a case, accurate distance measurement can be performed by using a difference image from an image several frames before.
  • the inter-frame difference processing unit 206 when the sensor image Si (n ⁇ 1) is not stored, the inter-frame difference processing unit 206 according to the present embodiment outputs the acquired sensor image Si (n) and uses it for the distance measurement processing.
  • Such a case occurs, for example, as shown in FIG. 31, when the video display device 101 is started and the first distance measurement processing is performed.
  • the same processing may be performed when the saving of the sensor image has failed due to a program error or the like, or when the saved sensor image has disappeared.
  • the distance measurement processing may be stopped, and the distance measurement processing may be performed from the next sensor image S (n + 1).
  • a normal sensor image Si (n) may be periodically output as a distance measurement image.
  • distance information of the entire image can be obtained, so that the shape and the like of the subject can be grasped.
  • the distance information of the moving object generated using the difference image may be updated with respect to the distance information of the entire image generated using the normal sensor image.
  • the distance measurement using the normal sensor image Si (n) may be performed. May be output as a result.
  • the inter-frame difference processing unit 206 generates a difference image between frames of the sensor image
  • the image processing unit 208 calculates the difference image of the sensor image based on the calculation of the difference image and the development pattern 1101. Generate distance information indicating the distance.
  • the video display device 101 since the video display device 101 generates a difference image between frames of a sensor image, it is possible to realize a distance measurement device capable of reducing the influence of the background and generating highly accurate distance information. Becomes
  • Example 2 This embodiment is different from the first embodiment in that a distance measuring sensor unit and a distance measuring unit are mounted on different devices.
  • FIG. 34 is a schematic diagram of a configuration of a distance measurement system including a head-mounted image display device 3405 and an arithmetic device 3407.
  • An image display device 3405 image pickup device
  • the calculation device 3407 is a device that receives an image captured by the video display device 3405 via the communication line 3406, and measures the distance to the subject using the image. That is, the video display device 3405 is a device connected to an arithmetic device that measures the distance to the subject based on the acquired image.
  • FIG. 35 is a block diagram showing an example of a video display device 3405 mounted on the head
  • FIG. 36 is a block diagram showing an example of a computing device 3407.
  • Communication between the video display device 3405 and the arithmetic device 3407 may be wired communication or wireless communication.
  • wireless communication a communication line connecting the video display device 3405 and the arithmetic unit 3407 is not required, and the user can perform work without worrying about the existence of the communication line, thereby improving usability.
  • the compression unit 3501 performs data compression when transmitting data to the arithmetic device 3407.
  • a transmission / reception unit 3502 (data transmission unit) transmits and receives data to and from the arithmetic device 3407.
  • the transmission / reception unit 3602 (data reception unit) transmits and receives data to and from the video display device 3405.
  • the compressed information received by the transmission / reception unit 3602 is expanded by the expansion unit 3601 to restore the original data.
  • the processing performed by the distance measuring unit 205 in FIG. 2 is divided into different processing by mounting the processing in the video display device 3405 and the arithmetic device 3407.
  • the distance measurement unit 3505 transmits an image obtained by performing the fringe scan processing and the inter-frame difference processing on the image from the distance measurement sensor unit 102.
  • the distance measuring unit 3605 performs image processing using the above-described image to generate distance information.
  • the fringe scan processing unit 207 in order to convert a plurality of sensor images acquired in each initial phase pattern into one complex sensor image, the fringe scan processing unit 207 is mounted on the video display device 3405 side.
  • the data amount can be reduced as compared with the case where a normal sensor image is transmitted.
  • the overall control unit 203 controls the entire flow.
  • the light source control unit 204 controls the light source unit 104 to adjust the amount of light to be irradiated (S3701).
  • the fringe scan processing unit 207 acquires a sensor image from the distance measurement sensor unit 102 (S3702), performs a fringe scan operation, and generates a complex sensor image (S3703).
  • the inter-frame difference processing unit 206 generates a difference image of the complex sensor image and outputs the image as a distance measurement image (S3704).
  • the compression unit 3501 acquires and compresses the distance measurement image output from the inter-frame difference processing unit 206 (S3705).
  • the compressed data is transmitted to the arithmetic unit 3407 in the transmission / reception unit 3502 (S3706).
  • the transmission / reception unit 3502 receives the data transmitted from the arithmetic unit 3407 (S3707), and displays the data on the video display unit 103 by the video display control unit 211 based on the received information (S3708).
  • the processing flow of the arithmetic unit of FIG. 38 will be described.
  • the overall control unit 203 controls the entire flow.
  • the transmission / reception unit 3602 receives the compressed data transmitted from the video display device 3405 (S3801), and the decompression unit 3601 decompresses the compressed data (S3802).
  • the distance measurement unit 3605 performs a distance measurement process on the expanded data, that is, the image obtained by the distance measurement sensor unit using an image on which the fringe scan process and the inter-frame difference process have been performed, and obtains a distance. Information is generated (S3803).
  • the gesture recognition unit 209 performs gesture recognition using the distance information acquired from the distance measurement unit 3605 (S3804), and accepts the gesture recognition result as an input operation by inputting the gesture recognition result to the gesture operation input unit 210 (S3805).
  • the transmission / reception unit 3602 transmits a response corresponding to the input operation (S3806).
  • Dividing the function and mounting it on another device requires data transmission / reception processing, which may result in processing delay. However, the processing delay can be minimized by compressing the transmission / reception data.
  • inter-frame difference processing unit 206 and the fringe scan processing unit 207 may be mounted on the computing device 3407 side. In this case, the amount of calculation in the video display device 3405 can be reduced, so that the size and cost of the video display device 3405 can be reduced.
  • FIG. 39 shows an example of the configuration of the video display device according to this embodiment.
  • the difference from the configuration of the video display device according to the first embodiment illustrated in FIG. 2 is that a difference area determination unit 3901 (difference image area determination unit) is added to the distance measurement unit 205.
  • the difference area determination unit 3901 is a part that determines an image area for which a difference is obtained by the inter-frame difference processing unit 206.
  • the difference image 4005 is a difference image So (k) between Si (k) and Si (k ⁇ 1).
  • the image display device 101 can generate accurate distance information of the hand portion of So (k) because information other than the hand portion of the moving object is excluded.
  • the subject 4103 is a subject viewed from the position of the wearer (ranging sensor) after moving the head, and the positional relationship of the entire image including the background has changed.
  • the sensor image (4104) output when the subject 4103 is captured by the distance measurement sensor unit 102 and the difference image (4105) of the sensor image 4002 are out of alignment with each other, and thus the background Information cannot be excluded, and accurate distance measurement cannot be performed.
  • the positional relationship between the subject and the distance measurement sensor in FIG. 42 is the same as that in FIG.
  • the area surrounded by the dotted line in FIG. 42 represents the area used for the difference image.
  • the difference image 4205 In the region used for the difference image, if the positional relationship between the background and the subject is the same, in the difference image 4205 in that region, information other than the hand part moved by the subject is excluded, and the exact distance between the hand part of the subject and the distance It is possible to generate information.
  • the difference area determination unit 3901 determines an area where the positional relationship between the background and the subject is the same.
  • FIG. 43 is an example of a processing flow in the difference area determination unit 3901.
  • the difference area determination unit 3901 acquires the sensor images Si (n ⁇ 1) and Si (n) from the inter-frame difference processing unit 206 (S4301), and calculates a cross-correlation function (S4302).
  • movement information of the distance measurement sensor unit 102 is obtained using the calculation result of the cross-correlation function (S4303).
  • the sensor image output from the distance measurement sensor unit 102 is a projected image of the photographing pattern 405.
  • the imaging pattern 405 is shifted depending on the incident angle of the light source. Therefore, if the angle of the target object with respect to the distance measurement sensor unit 102 changes, for example, when the wearer moves his head, the projected pattern also moves.
  • the moved amount is obtained from the cross-correlation.
  • FIG. 44 shows the calculation result of the cross-correlation function between Si (n-1) and Si (n). Since the peak of the cross-correlation function appears according to the moving direction of the projected pattern, for example, when the wearer moves, Si (n) becomes ⁇ x, In the case of ⁇ y shift, the peak of the cross-correlation function appears at a position shifted by ⁇ x and ⁇ y from the center. As described above, the movement amount can be obtained from the position where the peak of the cross-correlation function appears.
  • FIG. 45 shows the result of calculating the cross-correlation function by cutting out the lower left areas (4401 and 4402) when Si (n-1) and Si (n) are divided into 2 ⁇ 2 areas.
  • a peak of the cross-correlation function can be obtained at the same position ( ⁇ x, ⁇ y) as in FIG.
  • FIG. 46 is an example of a processing flow of distance measurement in the present embodiment.
  • the inter-frame difference processing unit 206 acquires the sensor image output from the distance measurement sensor unit 102 (S4601).
  • the difference area determination unit 3901 acquires the sensor images Si (n ⁇ 1) and Si (n) from the inter-frame difference processing unit 206, and determines a difference image area (S4602).
  • the inter-frame difference processing unit 206 cuts out the determined difference image region from Si (n ⁇ 1) and Si (n) based on the difference image region, and generates a difference image (S4603).
  • the difference area determination unit 3901 calculates a cross-correlation function between frames by using a partial area in the sensor image, and determines an image area.
  • the inter-frame difference processing unit 206 generates a difference image between frames in the image area determined by the difference area determination unit 3901.
  • the fringe scan processing unit 207 acquires a difference image, performs a fringe scan operation, and generates a complex sensor image (S4604). Finally, the image processing unit 208 performs distance measurement using the complex sensor image to generate distance information (S4605).
  • the video display device 101 may perform the distance measurement process using Si (n) without using the difference image, or may stop the distance measurement process.
  • FIG. 47 shows an example of the configuration of the video display device according to this embodiment. 39 is different from FIG. 39 in that a sensor unit 4701 and a posture detection unit 4702 are added.
  • the difference image region is determined from the cross-correlation of the sensor images output from the distance measurement sensor unit 102.
  • the posture detection unit 4702 uses the information acquired by the sensor unit 4701 to determine the difference image region. The posture of the wearer is detected, and the area of the difference image is determined.
  • the sensor unit 4701 is, for example, an acceleration sensor, a direction sensor, or the like, and can sense the movement of the video display device 101. By using a dedicated sensor for detecting the posture of the wearer, it is possible to speed up the processing and reduce the amount of calculation.
  • the sensor unit 4701 senses motion information of the video display device 101 and sends the motion information to the posture detection unit 4702.
  • the posture detection unit 4702 generates movement information (information indicating a moving direction and a moving speed) of the video display device 101 from the motion information.
  • the posture detection unit 4702 sends the movement information to the distance measurement unit 205.
  • the difference area determination unit 3901 of the distance measurement unit 205 determines the area of the difference image based on the movement information.
  • the inter-frame difference processing unit 206 may determine whether to generate an inter-frame difference image based on the movement information. For example, if the movement information indicates that the movement amount is large, the inter-frame difference processing unit 206 determines that it is not meaningful to take a difference from the immediately preceding image.
  • the above-described configurations, functions, processing units, processing means, and the like may be partially or entirely realized by hardware, for example, by designing an integrated circuit.
  • the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
  • Information such as a program, a table, and a file for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines are those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines on the product. In fact, it can be considered that almost all components are connected to each other.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

フレーム間差分処理部206が、センサ画像のフレーム間の差分画像を生成し、画像処理部208が、当該差分画像と、現像用パターン1101との演算に基づいて、被写体までの距離を示す距離情報を生成する。このように、映像表示装置101は、センサ画像のフレーム間の差分画像を生成するので、背景の影響を低減し、高精度な距離情報の生成を可能とする距離計測装置を実現することが可能となる。

Description

距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
 本発明は、距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法に関する。
 工場作業、機器メンテナンス作業における作業支援のため頭部装着型の映像表示装置が利用されている。作業者は目的の作業に必要な物品を把持している場合が多く、映像表示装置への入力方法が簡易であることが求められており、音声操作やジェスチャ操作などによる入力手段が考案されている。
 ジェスチャ操作を実現するためには、ジェスチャを行う対象物(例えば、装着者の指等)を認識し、更に対象物の動作を認識する必要がある。対象物の認識や動作の認識には、距離画像を用いた3次元認識技術が用いられているが、装着者の負担を減らすために、小型で軽量な距離計測装置が必要とされている。例えば、特許文献1のように、画像センサに特殊な回折格子基板を貼り付け、回折格子基板を透過する光が画像センサ上で生じる射影パターンを用いて、対象物までの距離測定を行う方法が考案されている。
国際公開2017/149687号
 上述した特許文献1では、撮像結果のコントラストとフォーカス位置の関係から距離情報(対象物までの距離を示す情報)を生成している。ところで、撮像結果に背景が含まれている場合、この背景の影響により、正確な距離を計測することができず、適切な距離情報を生成することができなくなる可能性がある。
 本発明の目的は、背景の影響を考慮し、より正確に被写体の距離情報を生成する技術を提供することである。
 上記課題は、たとえば、特許請求の範囲に記載の発明により解決される。
 本発明によれば、背景の影響を考慮し、より正確に被写体の距離情報を生成することが可能となる。
実施例1における距離計測装置を搭載した頭部装着型の映像表示装置の概略図である。 実施例1における距離計測装置を搭載した頭部装着型の映像表示装置の構成例を示す図である。 映像表示装置の実施例における処理例を示すフローチャートである。 測距センサを用いた基本的な撮像装置の構成例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部の構成例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部の他の構成例を示す図である。 撮影用パターンの一例を示す図である。 撮影用パターンの他の例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 撮影用パターンの投影像の一例を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 モアレ現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの一例を示す図である。 空間分割フリンジスキャンにおける撮影用パターンの一例を示す図である。 フリンジスキャン処理部の処理例を示すフローチャートである。 相関現像方式による画像処理部の処理例を示すフローチャートである。 モアレ現像方式による画像処理部の処理例を示すフローチャートである。 物体が無限距離にある場合に撮影用パターンが投影されることを説明する図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを説明する図である。 画像処理部による距離計測処理の一例を示すフローチャートである。 距離計測処理におけるコントラストの計算領域を示す図である。 視野に1つの光源のみが存在する場合のPSF(点像分布関数)の例を示す図である。 視野に2つの光源が存在する場合のPSF(点像分布関数)の例を示す図である。 実施例1における測距センサと距離計測部の構成例を示す図である。 フレーム間差分処理部の処理例を示すフローチャートである。 距離計測部の処理例を示すフローチャートである。 実施例1における測距センサと距離計測部の他の構成例を示す図である。 距離計測部の他の処理例を示すフローチャートである。 センサ画像と測距用画像の関係を説明する図である。 センサ画像と測距用画像の関係を説明する図である。 センサ画像と測距用画像の関係を説明する図である。 実施例2における距離計測装置を搭載した頭部装着型の映像表示装置と演算装置の概略図である。 実施例2における映像表示装置の構成例を示す図である。 実施例2における演算装置の構成例を示す図である。 実施例2における映像表示装置の処理の一例を示すフローチャートである。 実施例2における演算装置の処理の一例を示すフローチャートである。 実施例3における距離計測装置を搭載した頭部装着型の映像表示装置の概略図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 実施例3における差分画像領域決定部における処理フローの一例を示すフローチャートである。 装着者の頭の動きとフレーム間のセンサ画像の相互相関の関係を説明する図である。 装着者の頭の動きとフレーム間のセンサ画像の一部領域の相互相関の関係を説明する図である。 実施例3における距離計測処理の一例を示すフローチャートである。 実施例4における距離計測装置を搭載した頭部装着型の映像表示装置の構成例を示す図である。
 以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
 また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
 さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
 同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合及び原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値及び範囲についても同様である。
 また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
 以下、本発明の実施例について図面を用いて説明する。
 (実施例1)
 本発明に従った距離計測装置の実施例を示し、対象物の距離情報を生成する際に、背景の影響を低減し、高精度な距離情報を生成できることを示す。
 本実施例では、本発明に従った距離計測装置を、頭部装着型の映像表示装置に搭載し、ジェスチャ認識用の測距センサとして使用する。
 まず、本実施例における頭部装着型の映像表示装置の構成を説明する。図1に、本実施例における頭部装着型の映像表示装置101(距離計測装置)の概略図を示す。この映像表示装置101は、被写体までの距離を計測する装置である。
 映像表示装置101は、測距センサ部102と、映像表示部103と、光源部104と、全体制御部(図示しない)とを有する。頭部装着型の映像表示装置101は、頭部に装着できる形状であれば眼鏡型で無くても良く、映像表示部は片眼でもよい。
 測距センサ部102は、例えば、映像表示装置101の中央部ではなく端に設置してもよい。この時、図1のように中央に設置する場合よりも、端に設置することで測距センサ部102が目立たなくなりデザイン性を向上させることが可能である。また、光源部104は、測距センサ部102の測距範囲以上の領域に照射できるように設置する。例えば、光源の照射範囲が狭い場合は複数の光源を設置する、例えば、両端に設置することにより照射範囲を広げることが可能である。
 図2は、本実施例の映像表示装置101における構成の一例を示すブロック図である。本例は、頭部に装着する映像表示装置に映像表示機能と演算処理機能が一体となっている例である。CPU(Central Processing Unit)201は、中央処理装置であり本映像表示装置における制御処理を行う。
 GPU(Graphics Processing Unit)202は、リアルタイム画像処理に特化した演算装置であり、主に画像処理に関する処理を担う。全体制御部203は、CPU等により実現され、映像表示装置101における処理全体の制御を行う。光源制御部204は、光源部104を制御する。光源部104は、例えば、近赤外光を照射する。距離計測部205は、測距センサ部102を制御する。映像表示制御部211は、映像表示部103を制御する。カメラ制御部212は、カメラ部213を制御することにより、例えば、外界の静止画・動画などを撮影する。カメラ部213は、撮像手段である。
 ジェスチャ認識部209は、距離計測部205で生成された距離情報(被写体までの距離を示す情報)をもとにジェスチャを検出し、認識するものである。ジェスチャ操作入力部210は、ジェスチャ認識部209により認識されたジェスチャを映像表示装置101の入力操作として入力するものである。
 図2で示した映像表示装置101の処理フローについて図3を用いて説明する。全体制御部203は本フローの全体を制御する。ステップS1では、光源制御部204が光源部104を制御することで、照射する光量を調整する。次に、ステップS2では、距離計測部205において、測距センサ部102を制御し、取得した画像から距離情報を生成する。ステップS3では、ジェスチャ認識部209は、距離計測部205が生成した距離情報を用いてジェスチャ認識を行う。ステップS4では、ジェスチャ認識結果をジェスチャ操作入力部210に入力することにより、入力操作として受付ける。ステップS5では入力操作に応じた応答を、映像表示制御部211により映像表示部103に表示する。
 距離計測部205の構成について説明する前に、測距センサ部102を用いた撮像及び測距の基本的な原理を説明する。
 〈無限遠物体の撮影原理〉
 図4は、本実施例における測距センサを用いた撮像装置の基本的な構成の一例を示す説明図である。撮像装置402は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図4に示すように、測距センサ部102で取得した画像を、フリンジスキャン処理部207(複素センサ画像処理部)及び画像処理部208で演算を行うものである。上記撮像装置402は、測距センサ部102及び距離計測部205の機能を含む装置である。
 図5に測距センサ部102の一例を示す。測距センサ部102は、画像センサ403、パターン基板404、及び撮影用パターン405(第1の格子パターン)を有する。パターン基板404は、画像センサ403の受光面に密着して固定されており、パターン基板404に撮影用パターン405が形成された構成からなる。
 パターン基板404は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。撮影用パターン405は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
 なお、撮影用パターン405の形成はこれに限定されるものでなく、例えば、インクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、例えば遠赤外線の撮影を行う際には、パターン基板404は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン405は遮断する材料を用いればよい。
 なお、ここでは撮影用パターン405をパターン基板404に形成する方法について述べたが、図6に示すように撮影用パターン405を薄膜に形成し、支持部材401により保持する構成などによっても実現できる。なお、この装置において、撮影画角はパターン基板404の厚さによって変更可能である。よって、例えばパターン基板404が図6の構成であり支持部材401の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
 図5又は図6に示すように、画像センサ403は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。画像センサ403の撮像面(受光面)には、受光素子である画素403aがアレイ状に配置されている。撮影用パターン405を透過する光は、その格子パターンによって光の強度が変調され、画像センサ403にて受光される。画像センサ403は、画素403aが受光した光画像を電気信号である画像信号に変換して、被写体に基づくセンサ画像を出力する。
 なお、画像信号(アナログの画像データ)は、例えばアナログ・デジタル変換回路を介してデジタル信号に変換され、デジタルの画像データとして出力される。本明細書では、測距センサ部102が画像データを出力するものとして説明する。
 フリンジスキャン処理部207は、画像センサ403から出力される画像データ(センサ画像)に対してフリンジスキャンによるノイズ除去を行い、画像処理部208に出力する。例えば、フリンジスキャン処理部207は、センサ画像から複素数を有する複素センサ画像を生成する。画像処理部208は、フリンジスキャン処理部207から出力された画像データに対して所定の画像処理を行い、必要に応じてデータ形式を変換し、撮像装置402の備える記憶装置(図示せず)に格納したり、外部のホストコンピュータや記録媒体に出力したりする。
 続いて、撮像装置402における撮影原理について説明する。まず、撮影用パターン405は中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径r、係数βを用いて、以下の式(1)と定義する。
Figure JPOXMLDOC01-appb-M000001
 撮影用パターン405は、この式に比例して透過率変調されているものとする。このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図7に式(1)のガボールゾーンプレート、図8に式1を閾値1で2値化したフレネルゾーンプレートの例を示す。なお、ここより以降、簡単化のためにx軸方向についてのみ数式で説明するが、同様にy軸方向について考慮することで2次元に展開して考えることが可能である。
 撮影用パターン405が形成された厚さdのパターン基板404に、図9に示すようにx軸方向に角度θ0で平行光が入射したとする。パターン基板404中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、k=d・tanθだけずれて画像センサ403に入射する。このとき、以下の式(2)のような強度分布を持つ投影像が画像センサ403上で検出される。
Figure JPOXMLDOC01-appb-M000002
 なお、Φは式(1)の透過率分布の初期位相を示す。この撮影用パターン405の投影像の例を図10に示す。式(2)のようにkシフトして投影される。これが測距センサ部102の出力となる。
 次に、画像処理部208における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。
 相関現像方式では、図10に示す撮影用パターン405の投影像と図11に示す現像用パターン1101(第2の格子パターン)との相互相関関数を演算することにより、図12に示すシフト量kの輝点を得る。なお、一般的に相互相関演算を2次元畳込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。まず、現像用パターン1101は、撮影用パターン405と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン1101は初期位相Φを用いて、以下の式(3)と表せる。
Figure JPOXMLDOC01-appb-M000003
 現像用パターン1101は、画像処理内で使用するため、式1のように1でオフセットさせる必要はなく、負の値を有していても問題ない。式(1)、式(3)のフーリエ変換はそれぞれ、以下の式(4)及び式(5)のようになる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 ここで、Fはフーリエ変換の演算を表し、uはx方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減可能である。
 次に、式(4)及び式(5)を乗算すると、以下の式(6)となる。
Figure JPOXMLDOC01-appb-M000006
 この指数関数で表された項exp(-iku)が信号成分であり、この項をフーリエ変換すると、以下の式(7)のように変換され、元のx軸においてkの位置に輝点を得ることができる。
Figure JPOXMLDOC01-appb-M000007
 この輝点が無限遠の光束を示しており、図4の撮像装置402による撮影像にほかならない。
 なお、相関現像方式ではパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
 次にモアレ現像方式では、図10に示した撮影用パターン405の投影像と図11に示した現像用パターン1101を乗算することにより、図13に示すモアレ縞を生成し、フーリエ変換することにより、図14に示すシフト量kβ/πの輝点を得る。このモアレ縞を数式で示すと、以下の式(8)となる。
Figure JPOXMLDOC01-appb-M000008
 この展開式の第3項が信号成分であり、2つのパターンのずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞をモアレ縞と呼ぶ。この第3項の2次元フーリエ変換は、以下の式(9)となる。
Figure JPOXMLDOC01-appb-M000009
 ここで、Fはフーリエ変換の演算を表し、uはx方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがu=±kβ/πの位置に生じることがわかる。この輝点が無限遠の光束を示しており、図4の撮像装置402による撮影像にほかならない。
 〈ノイズキャンセル〉
 式(6)から式(7)への変換、また式(8)から式(9)への変換において信号成分に着目したが、実際には信号成分以外の項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。
 フリンジスキャンのためには、撮影用パターン405として初期位相Φの異なる複数のパターンを使用する必要がある。図15は、フリンジスキャンにおける初期位相の組合せの一例を示す図である。ここでは、Φ=0、π/2、π、3π/2となる4位相を用いて撮影したセンサ画像を以下の式(10)に従って演算すると、複素数のセンサ画像(複素センサ画像)が得られる。
Figure JPOXMLDOC01-appb-M000010
 ここで、複素数の現像用パターン1101は、以下の式(11)で表せる。
Figure JPOXMLDOC01-appb-M000011
 現像用パターン1101は、演算処理内で使用されるため、複素数であっても問題ない。モアレ現像方式の場合、式(10)と式(11)とを乗算すると、以下の式(12)となる。
Figure JPOXMLDOC01-appb-M000012
 この指数関数で表された項exp(2iβkx)が信号成分であり、式(8)のような不要な項が発生せず、ノイズキャンセルされていることが解る。
 同様に相関現像方式についても確認すると、式(10)及び式(11)のフーリエ変換はそれぞれ、以下の式(13)及び式(14)となる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 次に、式(13)と式(14)とを乗算すると、以下の式(15)のようになる。
Figure JPOXMLDOC01-appb-M000015
 この指数関数で表された項exp(-iku)が信号成分であり、式(8)のような不要な項が発生せず、ノイズキャンセルされていることが解る。
 なお、以上の例では、4位相の複数のパターンを使用して説明したが、Φは0~2πの間の角度を等分するように設定すればよく、この4位相に限定するものではない。
 以上の複数パターンによる撮影を実現するには、時分割でパターンを切り替える方法(時分割フリンジスキャン)と、空間分割でパターンを切り替える方法(空間分割フリンジスキャン)がある。
 時分割フリンジスキャンを実現するには、例えば、電気的に図15に示す複数の初期位相を切り替えて表示することが可能(すなわちパターンを変更可能)な液晶表示素子などで、撮影用パターン405を構成する。測距センサ部102は、この液晶表示素子の切替タイミングと画像センサ403のシャッタタイミングを同期して制御し、フリンジスキャン処理部207は、4枚の画像を取得後にフリンジスキャン演算を実施する。
 対して、空間分割フリンジスキャンを実現するには、例えば図16(空間分割フリンジスキャンにおける撮影用パターン405の一例を示す図)に示すように、複数の初期位相を有する撮影用パターン405を使用する。測距センサ部102は、画像センサ403のシャッタタイミングを制御し、フリンジスキャン処理部207は、1枚の画像を取得後、当該取得画像をそれぞれの初期位相のパターンに対応して4枚に分割し、フリンジスキャン演算を実施する。
 続いて、フリンジスキャン処理部207でのフリンジスキャン演算について説明する。図17は、フリンジスキャン処理部207の処理例を示すフローチャートである。
 まず、フリンジスキャン処理部207は、画像センサ403から出力される複数位相パターンのセンサ画像(空間分割フリンジスキャンの場合は1枚、時分割フリンジスキャンの場合は複数枚)を取得する。フリンジスキャン処理部207は、空間分割フリンジスキャンを使用する場合には取得したセンサ画像を位相ごとに分割し(S1701)、時分割フリンジスキャンを使用する場合には処理S1701を実施しない。次に、フリンジスキャン処理部207は、出力用の複素センサ画像を初期化する(S1702)。
 続いて、フリンジスキャン処理部207は、初期位相ごとに、処理S1703~S1705を繰り返す。例えば、図15に示したような4位相を用いたフリンジスキャンでは、Φ=0、π/2、π、3π/2の4回分繰り返す。フリンジスキャン処理部207は、対象の初期位相Φのセンサ画像を取得し(S1703)、その初期位相Φに応じたexp(iΦ)を乗算し(S1704)、乗算結果を複素センサ画像に加算する(S1705)。フリンジスキャン処理部207は、全ての初期位相についての処理を終了したか否かを判定し(S1706)、終了していない場合は処理をS1703に戻し(S1706:No)、終了した場合は処理をS1707に進める(S1706:Yes)。
 最後に、フリンジスキャン処理部207は、複素センサ画像を出力する(S1707)。以上のフリンジスキャン処理部207での処理は、式(10)に相当する。
 続いて、画像処理部208での画像処理について説明する。図18は、相関現像方式による画像処理部208の処理例を示すフローチャートである。
 まず、画像処理部208は、フリンジスキャン処理部207から出力される複素センサ画像を取得し、複素センサ画像に対して2次元高速フーリエ変換(FFT:Fast Fourier Transform)演算を実施する(S1801)。次に、画像処理部208は、現像処理に使用する現像用パターン1101(第2の格子パターン)を生成し、2次元FFT演算した複素センサ画像に乗算し(S1802)、逆2次元FFT演算を実施する(S1803)。この演算結果は複素数となるため、画像処理部208は、絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像(復元)する(S1804)。その後、画像処理部208は、得られた現像画像に対してコントラスト強調処理(S1805)、カラーバランス調整(S1806)などを実施し、撮影画像として出力する。以上により、相関現像方式による画像処理部208の画像処理が終了となる。
 これに対して、図19は、モアレ現像方式による画像処理部208の処理例を示すフローチャートである。
 まず、画像処理部208は、フリンジスキャン処理部207から出力される複素センサ画像を取得する。画像処理部208は、現像処理に使用する現像用パターン1101を生成して複素センサ画像に乗算し(S1901)、2次元FFT演算により周波数スペクトルを求め(S1902)、この周波数スペクトルのうち必要な周波数領域のデータを切り出す(S1903)。以降の処理は図18における処理S1804~S1806の処理と同様である。以上により、モアレ現像方式による画像処理部208の画像処理が終了となる。
 〈有限距離物体の撮影原理〉
 次に、これまで述べた被写体が遠い場合における撮影用パターン405の画像センサ403への射影の様子を図20に示す。遠方の物体を構成する点2001からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン405を照射し、その投影像2002が画像センサ403に投影される場合、投影像は撮影用パターン405とほぼ同じ形状である。結果、投影像2002に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
 一方、有限距離の物体に対する撮像について説明する。図21は、撮像する物体が有限距離にある場合に撮影用パターン405の画像センサ403への射影が撮影用パターン405より拡大されることを示す説明図である。物体を構成する点2101からの球面波が撮影用パターン405を照射し、その投影像2102が画像センサ403に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン405から点2101までの距離fを用いて、以下の式(16)のように算出できる。
Figure JPOXMLDOC01-appb-M000016
 そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン405の投影像に合わせて、現像用パターン1101を拡大させたならば、拡大された投影像2102に対して再び、単一の輝点を得ることができる。このためには、現像用パターン1101の係数βをβ/αとすることで補正が可能である。これにより、必ずしも無限遠でない距離の点2101からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。つまり、任意の位置までの距離が算出可能である。本原理により、測距センサとして距離測定が可能となる。
 図22は、撮像装置402による距離計測の概略を示すフローチャートである。本距離計測は、フォーカス位置を分解能Δfずつシフトさせながら現像処理し、コントラストが最大となる位置を算出することによって実現する。この処理について詳細に説明する。
 まず、フォーカス位置の初期値(無限遠もしくは距離0など)を設定し(S2201)、フォーカス位置から拡大率αを算出し、現像用パターン1101の係数βを算出し(S2202)、現像処理を行う(S2203)。この現像処理は、図18又は図19で説明した現像処理と同等の処理である。
 その後、図23に示すように現像画像2301を分割する(S2204)。次に、分割した領域毎に領域内のコントラストを、領域内の最大輝度Imax、最小輝度Iminを用いて、以下の式(17)及び式(18)により算出する(S2205)。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
 この後、フォーカス位置をΔfずらして設定(S2207)し、以降のS2202からS2205までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する(S2206)。探索完了後、領域毎にコントラストが最大となるフォーカス位置を探索し(S2208)、距離情報を出力する(S2209)。
 〈背景の干渉が測距精度に与える影響〉
 これまで述べた距離計測において、例えば図23における測距対象である人物を成す点2302と、遠方にあり測距対象でない背景を成す点2303が近くに存在する場合、
背景のぼけが測定対象に影響を及ぼし測距精度に影響を与えてしまう。
 まず、図24に視野に点2302のみが存在する場合のPSF(点像分布関数)の例を示す。横軸は現像画像のピクセル位置を示し、縦軸は振幅を示す。なお、画像処理部208における実数化して現像(復元)する処理(S1804)の前の情報は複素数であるため、この縦軸は複素振幅を示すものとする。ピクセル位置x0における点2302の複素振幅が、以下の式(19)とすると、実数化処理(S1804)によって得られる値は、以下の式(20)の平方根となる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
 一方、図25に視野に点2302、点2303が存在する場合のPSF(点像分布関数)の例を示す。点2302にピントが合っているとすると、点2303はボケるため図のように拡がったPSFを有することになる。ピクセル位置x0における点2303の複素振幅が、以下の式(21)だとすると、実数化処理(S1804)前のピクセル位置x0における複素振幅は、以下の式(22)となり、実数化処理(S1804)によって得られる値は、以下の式(23)の平方根となる。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
 式(20)、式(23)を比較すると点2302、点2303の干渉成分である、以下の式(24)が存在しているのが、従来カメラにない本レンズレスカメラ方式の特徴となる。この干渉成分が測距性能に影響を与えてしまうのである。
Figure JPOXMLDOC01-appb-M000024
 以上の原理を踏まえ、本実施例における測距センサ部102及び距離計測部205の構成について説明する。
 図26に、測距センサ部102及び距離計測部205の構成を示す。測距センサ部102は、変調器2601、及び画像センサ403を有する。変調器2601は、例えば、図4のパターン基板404、撮影用パターン405(第1の格子パターン)から構成されるものである。変調器2601のパターンは、例えば図16の初期位相Φがそれぞれ{0、π/2、π、3π/2}のパターンのように、複数の初期位相のパターンを2次元的に並べた構成である。変調器2601は、撮影用パターン405に基づいて光の強度を変調する。なお、画像センサ403は、上記変調器2601を透過した光を電気信号に変換し、被写体に基づくセンサ画像を生成する。
 距離計測部205は、フレーム間差分処理部206、フリンジスキャン処理部207、及び画像処理部208を有する。
 フレーム間差分処理部206は、測距センサ部102から出力されたセンサ画像を取得し、取得したセンサ画像と1フレーム前に取得したセンサ画像との差分画像を生成する。フレーム間差分処理部206は、センサ画像のフレーム間の差分画像を生成する。例えば、フレーム間差分処理部206は、複素センサ画像のフレーム間の差分画像を生成する。
 フリンジスキャン処理部207は、フレーム間差分処理部206から出力された差分画像を取得し、フリンジスキャン演算を行う。
 画像処理部208は、フリンジスキャン処理部207で生成された複素センサ画像を取得し、距離情報を生成する。
 図27は、フレーム間差分処理部206におけるフレーム間差分処理の一例を示すフローチャートである。
 まず、フレーム間差分処理部206は、測距センサ部102からセンサ画像Si(n)を取得する(S2701)。nはメモリに記憶されている変数であり、測距センサ部102から、センサ画像を取得した回数を表しており、映像表示装置101の起動時には0で初期化される。センサ画像Si(n)は、n回目に取得したセンサ画像である。
 フレーム間差分処理部206は、取得したセンサ画像Si(n)をメモリに保存する(S2702)。
 次に、フレーム間差分処理部206は、出力画像So(n)を初期化し(S2703)する。フレーム間差分処理部206は、センサ画像Si(n-1)が保存されている場合(S2704:Yes)は、センサ画像Si(n)とセンサ画像Si(n-1)の差分画像を生成し、出力画像So(n)に設定する(S2705)。
 センサ画像Si(n-1)が保存されていない場合(S2704:No)は、フレーム間差分処理部206は、センサ画像Si(n)を出力画像So(n)に設定する(S2706)。このように、フレーム間差分処理部206は、フレーム間のセンサ画像の保存状況に基づいてフレーム間の差分画像を生成するか否かを判断し、差分画像を生成しないと判断した場合には、センサ画像を出力画像として出力する。
 最後に、フレーム間差分処理部206は、出力画像So(n)を出力し(S2707)、nをインクリメントして終了する(S2708)。
 なお、図27では記載していないが、フレーム間差分処理部206は、出力画像So(n)を生成した後、センサ画像Si(n-1)をメモリから削除してもよい。
 図28は、図26に示した測距センサ部102及び距離計測部205における距離計測処理の一例を示すフローチャートである。
 まず、フレーム間差分処理部206は、測距センサ部102から出力されたセンサ画像を取得し(S2801)、図27と同等の処理を実施して、差分画像を生成する(S2802)。
 フリンジスキャン処理部207は、フレーム間差分処理部206が生成した差分画像を取得し、フリンジスキャン演算を実施する(S2803)。フリンジスキャン演算は、図17における処理S1701~S1707と同等の処理である。
 画像処理部208は、フリンジスキャン処理部207で生成された複素センサ画像を用いて、距離計測処理を行い、距離情報を出力する(S2804)。距離計測処理は、図22における処理S2201~S2209と同等の処理である。このように、画像処理部208は、差分画像と、現像用パターン1101との演算に基づいて、被写体までの距離を示す距離情報を生成する。
 なお、フレーム間差分処理部206とフリンジスキャン処理部207の処理順序は入れ替えてもよい。
 図29にフリンジスキャン処理を先に行う場合の測距センサ部102及び距離計測部205の構成を示す。図26と異なる点は、フレーム間差分処理部206とフリンジスキャン処理部207の順番だけであり、詳細な説明は省略する。
 図30は、図29の構成における距離計測処理の一例を示すフローチャートである。まず、フリンジスキャン処理部207は、測距センサ部102から出力されたセンサ画像を取得し(S3001)、フリンジスキャン演算を実施する(S3002)。
 フレーム間差分処理部206は、フリンジスキャン処理部207から出力された複素センサ画像から差分画像を生成する(S3003)。フレーム間差分処理部206では、差分画像を生成する画像がセンサ画像から、複素センサ画像になるが、図27と同等の処理で実現可能である。
 画像処理部208は、フレーム間差分処理部206から出力された差分画像を取得し、距離計測処理を行い、距離情報を出力する(S3004)。
 式(10)より、フリンジスキャン演算では、各初期位相のパターンで取得した複数のセンサ画像を1枚の複素センサ画像とするため、フリンジスキャン処理部207を先に実施することで、フレーム間差分処理部206における計算量を削減することができる。
 なお、以上の例では、1フレーム前の画像との差分画像を距離計測処理に用いたが、何フレーム前の画像との差分を取るかは、任意に設定してもよい。例えば、測距センサのフレームレートに対して、被写体の移動距離が小さい場合は、差分画像の信号成分が小さくなり、距離計測ができないことがある。このような場合は、数フレーム前の画像との差分画像を用いることで、正確な距離計測が可能となる。
 また、測距センサのフレームレートに対して、被写体の移動距離が大きい場合は、測距センサのフレームレートを高速に設定することで、正確な距離計測が可能となる。
 また、本実施例におけるフレーム間差分処理部206では、センサ画像Si(n-1)が保存されていない場合、取得したセンサ画像Si(n)を出力し、距離計測処理に用いている。このようなケースは、例えば図31に示すように、映像表示装置101を起動して、最初の距離計測処理を行うときに起こる。また、プログラムのエラー等で、センサ画像の保存に失敗した場合や、保存していたセンサ画像が消えてしまったときなどにも同様の処理を行ってもよい。
 なお、図32のように、センサ画像S(n-1)が無い場合は、距離計測処理を中止して、次のセンサ画像S(n+1)から距離計測処理を実施してもよい。
 また、図33のように、定期的に通常のセンサ画像Si(n)を測距用画像として出力してもよい。
 図32のように全ての距離測定処理を差分画像で行う場合、動物体の距離情報のみ得ることができる。
 一方、図31や図33のように通常のセンサ画像を用いて距離計測処理を行う場合、画像全体の距離情報を得ることができるため、被写体の形状等を把握することができる。例えば、通常のセンサ画像を用いて生成した画像全体の距離情報に対して、差分画像を用いて生成した動物体の距離情報を更新してもよい。
 また、Si(n-1)が設定した閾値よりも古い場合や、差分画像の信号成分が設定した閾値以上の場合、通常のセンサ画像Si(n)を用いた距離計測を行ってもよい。
 また、逆に差分画像の信号成分が閾値以下の場合、通常のセンサ画像Si(n)を用いた距離計測を行ってもよいし、対象物の動きが無いとして、前回の距離情報を距離計測の結果として出力してもよい。
 上述のように、フレーム間差分処理部206が、センサ画像のフレーム間の差分画像を生成し、画像処理部208が、当該差分画像と、現像用パターン1101との演算に基づいて、被写体までの距離を示す距離情報を生成する。このように、映像表示装置101は、センサ画像のフレーム間の差分画像を生成するので、背景の影響を低減し、高精度な距離情報の生成を可能とする距離計測装置を実現することが可能となる。
 (実施例2)
 本実施例が実施例1と異なる点は、測距センサ部と距離計測部を別装置に搭載している点である。
 図34は、頭部装着型の映像表示装置3405と演算装置3407とを含む距離計測システムにおける構成の概略図である。映像表示機能及び撮像機能を搭載した映像表示装置3405(撮像装置)は、通信線3406を介して演算機能を搭載した演算装置3407と接続している。演算装置3407は、映像表示装置3405において撮像された画像を上記通信線3406を介して受信し、当該画像を用いて被写体までの距離を計測する装置である。すなわち、映像表示装置3405は、取得した画像に基づいて被写体までの距離を計測する演算装置と接続する装置である。
 図35は頭部に装着する映像表示装置3405の一例を示すブロック図、図36は演算装置3407の一例を示すブロック図である。機能を分割して別装置に搭載することで、頭部に装着する装置部分の小型化や軽量化を図ることができる。また、映像表示装置3405と、演算装置3407間の通信においては有線通信でも無線通信でもよい。無線通信の場合は、映像表示装置3405と演算装置3407を繋ぐ通信線が不要となり、使用者が通信線の存在を気にすることなく作業を実施することができるため使用勝手が向上する。
 図35の構成について説明する。圧縮部3501は、演算装置3407にデータを送信する際にデータ圧縮を行うものである。送受信部3502(データ送信部)は、演算装置3407間とのデータの送受信を行うものである。
 図36の構成について説明する。送受信部3602(データ受信部)は、映像表示装置3405間とのデータの送受信を行うものである。送受信部3602で受信した、圧縮された情報を伸長部3601で伸長して元のデータを復元する。
 本実施例では、図2の距離計測部205で行っていた処理を、映像表示装置3405と演算装置3407との別装置に搭載することにより、処理を分割している。
 図35に示す映像表示装置3405側では、距離計測部3505が、測距センサ部102からの画像に対して、フリンジスキャン処理及びフレーム間差分処理を実施した画像を送信する。
 図36に示す演算装置3407側では、距離計測部3605が前記の画像を用いて画像処理を行い、距離情報を生成する。
 式(10)より、フリンジスキャン演算では、各初期位相のパターンで取得した複数のセンサ画像を1枚の複素センサ画像とするため、フリンジスキャン処理部207を映像表示装置3405側に搭載することで、通常のセンサ画像を送信するよりもデータ量を削減することができる。
 図35及び図36で示した映像表示装置3405及び演算装置3407の処理フローについて、図37及び図38を用いて説明する。
 図37の映像表示装置の処理フローについて説明する。全体制御部203は本フローの全体を制御する。
 まずは、光源制御部204が光源部104を制御することで、照射する光量を調整する(S3701)。
 次に、フリンジスキャン処理部207が、測距センサ部102からセンサ画像を取得し(S3702)、フリンジスキャン演算を行い、複素センサ画像を生成する(S3703)。その後、フレーム間差分処理部206が複素センサ画像の差分画像生成し、測距用画像として出力する(S3704)。
 続いて、圧縮部3501において、フレーム間差分処理部206から出力された測距用画像を取得し、圧縮する(S3705)。圧縮したデータは、送受信部3502において、演算装置3407に送信される(S3706)。
 最後に、送受信部3502において、演算装置3407から送信されるデータを受信し(S3707)、受信した情報に基づき、映像表示制御部211により映像表示部103に表示する(S3708)。
 図38の演算装置の処理フローについて説明する。全体制御部203は本フローの全体を制御する。
 まず、送受信部3602において、映像表示装置3405から送信された圧縮されたデータを受信し(S3801)、伸長部3601において、前記圧縮データを伸長する(S3802)。
 続いて、距離計測部3605において、前記伸長されたデータ、つまり測距センサ部で取得した画像に対して、フリンジスキャン処理とフレーム間差分処理を実施した画像を用いて距離計測処理を行い、距離情報を生成する(S3803)。ジェスチャ認識部209は、距離計測部3605から取得した距離情報を用いてジェスチャ認識を行い(S3804)、ジェスチャ認識結果をジェスチャ操作入力部210に入力することにより、入力操作として受付ける(S3805)。
 最後に、送受信部3602より、入力操作に応じた応答を送信する(S3806)。
 機能を分割して別装置に搭載することで、データの送受信処理が必要となり、その結果処理遅延が発生する可能性がある。しかし、送受信データを圧縮することで処理遅延を最小限に留めることが可能となる。
 なお、フレーム間差分処理部206やフリンジスキャン処理部207を演算装置3407側に搭載してもよい。この場合、映像表示装置3405での計算量を削減することができるため、映像表示装置3405の小型化や低コスト化を実現することができる。
 (実施例3)
 図39に本実施例における映像表示装置の構成の一例を示す。図2に記載の実施例1の映像表示装置の構成との違いは、距離計測部205に差分領域決定部3901(差分画像領域決定部)を追加している点である。この差分領域決定部3901は、フレーム間差分処理部206で差分を取る画像領域を決定する部分である。
 本発明における距離計測装置を頭部装着型の映像表示装置に搭載して使用する際の課題を図40及び図41を用いて説明する。
 被写体4001は、n=k-1における被写体であり、センサ画像4002は、被写体4001を測距センサ部102で撮像した際に出力されるセンサ画像Si(k-1)である。また、被写体4003は、n=kにおける被写体であり、センサ画像4004は、被写体4003を測距センサ部102で撮像した際に出力されるセンサ画像Si(k)である。
 差分画像4005は、Si(k)とSi(k-1)の差分画像So(k)である。
 このとき、映像表示装置101は、So(k)は、被写体が動かした手の部分以外の情報が除外されているため、手の部分の正確な距離情報を生成が可能である。
 図41は、n=kの時点で映像表示装置の装着者が頭を動かしてしまった場合の例である。被写体4103は、頭を動かした後の装着者(測距センサ)の位置から見た被写体であり、背景も含めた画像全体の位置関係が変わってしまっている。
 この場合、被写体4103を測距センサ部102で撮像した際に出力されるセンサ画像(4104)と、センサ画像4002の差分画像(4105)は、全体の位置関係がずれてしまっているため、背景の情報を除外できず、正確な距離計測をすることができない。
 以上のように、装着者が頭を動かすなどして、測距センサと被写体の位置関係が変わってしまった場合、差分画像を用いても背景の情報を除外できず、正確な距離計測ができないことが課題となる。
 本実施例では、測距センサ部102で取得したセンサ画像の相互相関から、測距センサの移動情報を取得することで、前記課題が解決する方法を示す。
 まずは、本実施例における前記課題の解決方法の概要を図42を用いて説明する。
 図42における、被写体と測距センサの位置関係は、図41と同じである。図42の点線で囲まれた領域は、差分画像に用いる領域を表している。
 差分画像に用いる領域において、背景と被写体の位置関係が同じであれば、その領域における差分画像4205では、被写体が動かした手の部分以外の情報が除外され、被写体の手の部分の正確な距離情報を生成することが可能である。
 このとき、背景と被写体の位置関係を同じとなる領域を決定するのが、差分領域決定部3901である。
 図43は、差分領域決定部3901における処理フローの一例である。まず、差分領域決定部3901は、フレーム間差分処理部206からセンサ画像Si(n-1)とSi(n)を取得し(S4301)、相互相関関数を演算する(S4302)。
 次に相互相関関数の演算結果を用いて、測距センサ部102の移動情報を求める(S4303)。測距センサ部102から出力されるセンサ画像は、撮影用パターン405の投影像である。撮影用パターン405は、光源の入射する角度によってずれる。そのため、装着者が頭を動かすなどして、測距センサ部102に対する対象物の角度が変われば、投射されるパターンも移動する。その移動した量を相互相関から求める。
 図44は、Si(n-1)とSi(n)の相互相関関数の演算結果である。投射されるパターンの移動方向に応じて、相互相関関数のピークが出現するので、例えば装着者が動いたことで、Si(n-1)に対して、Si(n)が全体的にΔx、Δy移動した場合は、相互相関関数のピークが中心からΔx、Δy移動した位置に出現する。このように相互相関関数のピークの出現位置から、移動量を求めることができる。
 最後に測距センサの移動情報から、背景と被写体の位置関係が同じとなるような領域を決定する(S4304)。
 なお、撮影用パターン405は、センサ全体に投影されるため、センサ画像Si(n-1)とSi(n)の一部の領域を切り出して、相互相関関数の演算をしても、移動量を求めることができる。図45は、Si(n-1)及びSi(n)を2x2の領域に分割した際の左下の領域(4401及び4402)を切り出して、相互相関関数の演算をした結果である。図45では、図44と同様の位置(Δx、Δy)に相互相関関数のピークを得ることができる。
 このように、一部の領域を切り出して、相互相関関数の演算をすることで、計算量を削減することができる。
 図46は、本実施例における距離計測の処理フローの一例である。まず、フレーム間差分処理部206は、測距センサ部102から出力されたセンサ画像を取得する(S4601)。そして、差分領域決定部3901がフレーム間差分処理部206から、センサ画像Si(n-1)及びSi(n)を取得し、差分画像領域を決定する(S4602)。フレーム間差分処理部206は、当該差分画像領域に基づいてSi(n-1)及びSi(n)から、決定した差分画像領域を切り出し、差分画像を生成する(S4603)。このように、差分領域決定部3901は、センサ画像における一部の領域を用いてフレーム間の相互相関関数を演算し、画像領域を決定する。フレーム間差分処理部206は、差分領域決定部3901によって決定された画像領域におけるフレーム間の差分画像を生成する。
 フリンジスキャン処理部207は、差分画像を取得し、フリンジスキャン演算を行い、複素センサ画像を生成する(S4604)。最後に画像処理部208が、複素センサ画像を用いて、距離計測を行い、距離情報を生成する(S4605)。
 なお、差分領域決定部3901において、センサ画像Si(n-1)とSi(n)の相互相関関数のピークが設定した閾値よりも小さい場合は、被写体が測距センサの撮像範囲から外れるほど、装着者が頭を動かした可能性がある。よって、映像表示装置101は、差分画像を用いずに、Si(n)で距離計測処理を行ってもよいし、距離計測処理を中止してもよい。
 また、差分領域決定部3901で決定した差分画像領域が、設定した閾値よりも狭い場合も同様である。
 以上示した構成、及び方法により、頭部装着型の映像表示装置に測距センサを搭載した場合でも、装着者の動きに対応した距離計測が可能となる。
 (実施例4)
 図47は本実施例における映像表示装置の構成の一例である。図39と異なる点は、センサ部4701及び姿勢検出部4702が追加されている点である。
 実施例3では、測距センサ部102から出力されるセンサ画像の相互相関から、差分画像領域を決定したが、本実施例では、センサ部4701で取得した情報を用いて、姿勢検出部4702が装着者の姿勢を検出し、差分画像の領域を決定する。
 センサ部4701は、例えば加速度センサ、方向センサ等であり、映像表示装置101の動きをセンシングすることができる。装着者の姿勢を検出する専用のセンサを用いることで、処理の高速化や計算量の削減が可能である。
 具体的に、センサ部4701は、映像表示装置101の動き情報をセンシングして、当該動き情報を姿勢検出部4702へ送出する。姿勢検出部4702は、当該動き情報から映像表示装置101の移動情報(移動方向、移動速度を示す情報)を生成する。姿勢検出部4702は、当該移動情報を距離計測部205へ送出する。距離計測部205の差分領域決定部3901は、当該移動情報に基づいて、差分画像の領域を決定する。
 また、フレーム間差分処理部206は、当該移動情報に基づいてフレーム間の差分画像を生成するか否かを判断するようにしてもよい。例えば、フレーム間差分処理部206は、当該移動情報が、移動量が多いことを示す場合、直前の画像と差分を取る意義が無いと判断する。
 なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
 また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
 また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
 また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
 101…映像表示装置、102…測距センサ部、103…映像表示部、104…光源部、201…CPU、202…GPU、203…全体制御部、204…光源制御部、205…距離計測部、206…フレーム間差分処理部、207…フリンジスキャン処理部、208…画像処理部、209…ジェスチャ認識部、210…ジェスチャ操作入力部、212…カメラ制御部、213…カメラ部、214…映像表示制御部。

Claims (16)

  1.  被写体までの距離を計測する距離計測装置であって、
     第1の格子パターンに基づいて光の強度を変調する変調器と、
     前記変調器を透過した光を電気信号に変換し、前記被写体に基づくセンサ画像を生成する画像センサと、
     前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
     前記差分画像と、第2の格子パターンのデータとの演算に基づいて、前記被写体までの距離を示す距離情報を生成する画像処理部と、
    を備える、距離計測装置。
  2.  請求項1に記載の距離計測装置であって、
     前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部をさらに備え、
     前記フレーム間差分処理部は、前記複素センサ画像のフレーム間の差分画像を生成し、
     前記画像処理部は、前記差分画像と、第2の格子パターンのデータとの演算に基づいて前記距離情報を生成する、
    距離計測装置。
  3.  請求項1に記載の距離計測装置であって、
     前記フレーム間差分処理部は、フレーム間のセンサ画像の保存状況に基づいて、フレーム間の差分画像を生成するか判断し、差分画像を生成しない場合は、前記センサ画像を出力し、
     前記画像処理部は、前記センサ画像と、第2の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測装置。
  4.  請求項1に記載の距離計測装置であって、
     前記距離計測装置の動き情報をセンシングするセンサ部と、
     前記センサ部によりセンシングされた動き情報からフレーム間における距離計測装置の移動情報を生成する姿勢検出部と、
    をさらに備え、
     前記フレーム間差分処理部は、前記姿勢検出部により生成された移動情報に基づいて、フレーム間の差分画像を生成するか判断し、差分画像を生成しない場合は、前記センサ画像を出力し、
     前記画像処理部は、前記センサ画像と、第2の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測装置。
  5.  請求項1に記載の距離計測装置であって、
     前記フレーム間差分処理部で差分を取る画像領域を決定する差分画像領域決定部をさらに備え、
     前記フレーム間差分処理部は、前記差分画像領域決定部により決定された画像領域におけるフレーム間の差分画像を生成する、
    距離計測装置。
  6.  請求項5に記載の距離計測装置であって、
     前記差分画像領域決定部は、前記センサ画像におけるフレーム間の相互相関関数を演算し、前記画像領域を決定する、
    距離計測装置。
  7.  請求項5に記載の距離計測装置であって、
     前記差分画像領域決定部は、前記センサ画像における一部の領域を用いてフレーム間の相互相関関数を演算し、前記画像領域を決定する、
    距離計測装置。
  8.  請求項5に記載の距離計測装置であって、
     距離計測装置の動き情報をセンシングするセンサ部と、
     前記動き情報からフレーム間における距離計測装置の移動情報を生成する姿勢検出部と、
    をさらに備え、
     前記差分画像領域決定部は、前記移動情報を用いて前記画像領域を決定する、
    距離計測装置。
  9.  取得した画像に基づいて被写体までの距離を計測する演算装置と接続する撮像装置であって、
     第1の格子パターンに基づいて光の強度を変調する変調器と、
     前記変調器を透過した光を電気信号に変換し、被写体に基づくセンサ画像を生成する画像センサと、
     前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
     前記フレーム間差分処理部により生成された差分画像を、前記演算装置へ送信するデータ送信部と、
    を備える、撮像装置。
  10.  請求項9に記載の撮像装置であって、
     前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部をさらに備え、
     前記フレーム間差分処理部は、前記複素センサ画像のフレーム間の差分画像を生成する、
    撮像装置。
  11.  請求項9に記載の撮像装置であって、
     前記フレーム間差分処理部で差分を取る画像領域を決定する差分画像領域決定部と、
    を有し、
     前記フレーム間差分処理部は、前記画像領域におけるフレーム間の差分画像を生成する、
    撮像装置。
  12.  撮像装置と、演算装置とを含む距離計測システムであって、
     前記撮像装置は、
     第1の格子パターンを用いてそこを透過する光の強度を変調する変調器と、
     前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、
     前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
     前記差分画像を前記演算装置へ送信するデータ送信部と、を備え、
     前記演算装置は、
     前記撮像装置から前記差分画像を受信するデータ受信部と、
     前記データ受信部により受信された前記差分画像と、第2の格子パターンのデータとの演算に基づいて距離情報を生成する画像処理部と、
    を備える、距離計測システム。
  13.  被写体までの距離を計測する距離計測装置が実行する距離計測方法であって、
     前記距離計測装置が有する変調器が、第1の格子パターンに基づいて光の強度を変調する変調ステップと、
     前記変調器を透過した光を電気信号に変換し、前記被写体にセンサ画像を生成する画像生成ステップと、
     前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理ステップと、
     前記差分画像と、第2の格子パターンのデータとの演算に基づいて距離情報を生成する画像処理ステップと、
     を含む、距離計測方法。
  14.  請求項13に記載の距離計測方法であって、
     前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    を有し、
     前記フレーム間差分処理ステップは、前記複素センサ画像のフレーム間の差分画像を生成し、
     前記画像処理ステップは、前記差分画像と、第2の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測方法。
  15.  取得した画像に基づいて被写体までの距離を計測する演算装置と接続する撮像装置で実行する撮像方法であって、
     前記撮像装置が有する変調器が、第1の格子パターンに基づいて光の強度を変調する変調ステップと、
     前記変調器を透過した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
     前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理ステップと、
     前記差分画像を、前記演算装置へ送信するデータ送信ステップと、
    を含む、撮像方法。
  16.  請求項15に記載の撮像方法であって、
     前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    をさらに含み、
     前記フレーム間差分処理ステップは、前記複素センサ画像のフレーム間の差分画像を生成する、撮像方法。
PCT/JP2018/034519 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 WO2020059029A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880095047.7A CN112334734A (zh) 2018-09-18 2018-09-18 距离测量装置、摄像装置、距离测量系统、距离测量方法和摄像方法
PCT/JP2018/034519 WO2020059029A1 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
US17/276,745 US11740468B2 (en) 2018-09-18 2018-09-18 Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method
JP2020547506A JP7112504B2 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034519 WO2020059029A1 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法

Publications (1)

Publication Number Publication Date
WO2020059029A1 true WO2020059029A1 (ja) 2020-03-26

Family

ID=69887018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034519 WO2020059029A1 (ja) 2018-09-18 2018-09-18 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法

Country Status (4)

Country Link
US (1) US11740468B2 (ja)
JP (1) JP7112504B2 (ja)
CN (1) CN112334734A (ja)
WO (1) WO2020059029A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04301507A (ja) * 1991-03-29 1992-10-26 Kurabo Ind Ltd 赤外線式測定装置
JP2014187484A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2018061109A (ja) * 2016-10-04 2018-04-12 株式会社日立製作所 撮像装置および撮像方法
JP2018060549A (ja) * 2017-11-02 2018-04-12 株式会社ニコン 画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10670829B2 (en) 2016-03-02 2020-06-02 Hitachi, Ltd. Imaging device
JP6920974B2 (ja) * 2017-12-11 2021-08-18 株式会社日立製作所 距離計測装置および距離計測方法
JP2019149674A (ja) * 2018-02-27 2019-09-05 株式会社日立製作所 撮像装置、撮像方法、および画像処理装置
JP7076246B2 (ja) * 2018-03-23 2022-05-27 マクセル株式会社 撮像装置および撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04301507A (ja) * 1991-03-29 1992-10-26 Kurabo Ind Ltd 赤外線式測定装置
JP2014187484A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2018061109A (ja) * 2016-10-04 2018-04-12 株式会社日立製作所 撮像装置および撮像方法
JP2018060549A (ja) * 2017-11-02 2018-04-12 株式会社ニコン 画像処理装置

Also Published As

Publication number Publication date
US11740468B2 (en) 2023-08-29
US20220043265A1 (en) 2022-02-10
JPWO2020059029A1 (ja) 2021-08-30
CN112334734A (zh) 2021-02-05
JP7112504B2 (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
Maimone et al. Holographic near-eye displays for virtual and augmented reality
US9964925B2 (en) Holographic display architecture
WO2019142527A1 (ja) 画像表示装置および画像表示方法
EP1322108B1 (en) Image creating device and image creating method
CN107896292B (zh) 摄像装置和摄像方法
Tajima et al. Lensless light-field imaging with multi-phased fresnel zone aperture
US20130136305A1 (en) Pattern generation using diffractive optical elements
JP2009531655A5 (ja)
CN109900249B (zh) 距离测量装置和距离测量方法
WO2020059029A1 (ja) 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
WO2020031299A1 (ja) 撮像装置、撮像システム、及び撮像方法
JP7278454B2 (ja) 画像表示装置
WO2020059181A1 (ja) 撮像装置および撮像方法
US20210240135A1 (en) Method for processing a hologram, and associated device, holographic display system and computer program
JP2023016864A (ja) 撮像装置および方法
JP7146698B2 (ja) 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
JP2019128318A (ja) レンズ装置、撮像装置、および画像処理装置
JP2019029681A (ja) 撮像装置及び撮像方法
WO2022254833A1 (ja) 情報処理装置、情報処理方法及びプログラムを記録した記録媒体
JP7159118B2 (ja) 撮像装置
Chen A Thin and Functional Camera System Based on Computational Imaging
CN110278350B (zh) 摄像装置
WO2020178905A1 (ja) 撮像装置及び撮像方法
JP2018050147A (ja) 撮像装置、撮像方法およびプログラム
JP2018157497A (ja) 双曲線パターンを使った撮影装置及び撮影方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934041

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547506

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934041

Country of ref document: EP

Kind code of ref document: A1