[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017149687A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017149687A1
WO2017149687A1 PCT/JP2016/056323 JP2016056323W WO2017149687A1 WO 2017149687 A1 WO2017149687 A1 WO 2017149687A1 JP 2016056323 W JP2016056323 W JP 2016056323W WO 2017149687 A1 WO2017149687 A1 WO 2017149687A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
focus position
lattice pattern
processing unit
Prior art date
Application number
PCT/JP2016/056323
Other languages
English (en)
French (fr)
Inventor
悠介 中村
島野　健
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/070,355 priority Critical patent/US10670829B2/en
Priority to CN201680070424.2A priority patent/CN108370406B/zh
Priority to JP2018502932A priority patent/JP6571266B2/ja
Priority to PCT/JP2016/056323 priority patent/WO2017149687A1/ja
Publication of WO2017149687A1 publication Critical patent/WO2017149687A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4272—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/60—Systems using moiré fringes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering

Definitions

  • the present invention relates to an imaging device, and more particularly to a technique effective for enhancing the functionality of the imaging device.
  • Digital cameras and in-vehicle cameras mounted on smartphones, etc. need to be thinner and more functional.
  • a technique for reducing the thickness of this type of digital camera for example, there is a technique for obtaining an object image without using a lens (for example, see Patent Document 1).
  • a special diffraction grating substrate is attached to the image sensor, and the incident angle of the incident light is obtained by an inverse problem from the projection pattern in which the light transmitted through the diffraction grating substrate is generated on the image sensor. Obtain an image.
  • the diffraction grating pattern formed on the upper surface of the substrate attached to the image sensor is a special grating pattern such as a spiral.
  • the object image is obtained by solving the inverse problem for reproducing the image from the projection pattern received by the image sensor.
  • the calculation for solving the inverse problem is complicated. There is. Digital cameras and in-vehicle cameras require high-functional sensing, but the technology of Patent Document 1 does not consider higher functionality.
  • An object of the present invention is to provide a technique that enables high functionality of an image pickup apparatus using simple calculation.
  • the present invention it is possible to realize a high-performance imaging apparatus such as focus adjustment (refocus), autofocus, and distance measurement after shooting.
  • Diagram showing the modulator of the basic embodiment The figure which shows a mode that an external object is image
  • Schematic diagram when placing the front and back grids in a different axis Schematic diagram explaining the generation of moire fringes and the frequency spectrum when the lattices on both sides of the lattice substrate are shifted.
  • the figure which shows the Example of a lattice pattern The figure which shows the Example of a lattice pattern The figure explaining the angle which the light from each point which constitutes an object makes to the sensor A diagram showing the spatial frequency spectrum when shooting an object Diagram showing that the front grid pattern is projected when the object is at an infinite distance
  • achieves a refocus The figure which shows the processing flow of the image process part of the Example which implement
  • achieves autofocus The figure which shows the processing flow of the focus position calculation part of an Example which implement
  • achieves autofocus The figure which shows the optimal focus position of the Example which implement
  • achieves ranging The figure which shows the processing flow of the distance measurement part of the Example which implement
  • achieves ranging The figure which shows the optimal focus position of the Example which implement
  • achieves ranging The figure which shows the Example of a lattice pattern
  • segmenting a process The figure which shows the Example of the method of dividing
  • FIG. 1 is an explanatory diagram illustrating an example of a configuration of the imaging apparatus 101 according to the first embodiment.
  • the imaging device 101 acquires an image of an object in the outside world without using a lens that forms an image, and includes a modulator 102, an image sensor 103, and an image processing unit 106 as shown in FIG. Yes.
  • FIG. 2 shows an example of the modulator 102.
  • the modulator 102 is fixed in close contact with the light receiving surface of the image sensor 103, and has a configuration in which a first grating pattern 104 and a second grating pattern 105 are formed on a grating substrate 102a.
  • the lattice substrate 102a is made of a transparent material such as glass or plastic.
  • the image sensor 103 side of the lattice substrate 102a is referred to as a back surface, and the opposite surface, that is, the imaging target side is referred to as a front surface.
  • the lattice patterns 104 and 105 are concentric lattice patterns whose intervals, that is, the pitches of the lattice patterns are reduced in inverse proportion to the radius from the center toward the outside.
  • the lattice patterns 104 and 105 are formed by evaporating aluminum or the like by a sputtering method used in a semiconductor process, for example.
  • the shade is given by a pattern in which aluminum is deposited and a pattern in which aluminum is not deposited. Note that the formation of the lattice patterns 104 and 105 is not limited to this, and the lattice patterns 104 and 105 may be formed with light and shade by, for example, printing by an inkjet printer or the like.
  • the method of forming the grating patterns 104 and 105 on the grating substrate 102a has been described. However, as shown in FIG. This can also be realized by a configuration held by 102b.
  • the intensity of light transmitted through the grating patterns 104 and 105 is modulated by the grating pattern.
  • the transmitted light is received by the image sensor 103.
  • the image sensor 103 includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • pixels 103a as light receiving elements are regularly arranged in a grid pattern.
  • the image sensor 103 converts the optical image received by the pixel 103a into an image signal that is an electrical signal.
  • the image signal output from the image sensor 103 is subjected to image processing by the image processing unit 106, which is an image processing unit, and output to the image display unit 107 and the like.
  • FIG. 4 is an explanatory diagram showing an example of shooting by the imaging apparatus 101 of FIG.
  • FIG. 4 shows an example in which a subject 401 is photographed by the imaging device 101 and displayed on the image display unit 107.
  • the surface of the modulator 102 specifically, the surface of the lattice substrate 102a on which the first lattice pattern 104 is formed faces the subject 401.
  • Shooting is performed.
  • FIG. 5 is a flowchart illustrating an outline of image processing by the image processing unit 106 included in the imaging apparatus 101 of FIG.
  • a two-dimensional Fourier transform (FFT: Faster Fourier Transform) operation is performed for each color RGB (Red Green Blue) component on the moire fringe image output from the image sensor 103 to obtain a frequency spectrum (step S501).
  • FFT Faster Fourier Transform
  • the intensity of the frequency spectrum is calculated (step S503), thereby obtaining an image.
  • noise removal processing is performed on the obtained image (step S504), followed by contrast enhancement processing (step S505).
  • the color balance of the image is adjusted (step S506) and output as a captured image.
  • the concentric lattice patterns 104 and 105 whose pitch is inversely proportional to the radius from the center are defined as follows. A case where a spherical wave close to a plane wave and a plane wave used as reference light are caused to interfere with each other in a laser interferometer or the like.
  • the radius from the reference coordinate that is the center of the concentric circle is r and the phase of the spherical wave is ⁇ (r)
  • this is used as a coefficient ⁇ that determines the magnitude of the wavefront bend
  • the interference fringe intensity distribution is obtained. This is,
  • a plate having such stripes is called a Fresnel zone plate or a Gabor zone plate.
  • a lattice pattern having a transmittance distribution proportional to the intensity distribution defined as described above is used as the lattice patterns 104 and 105 shown in FIG.
  • the fourth term of the unfolding formula creates a straight strip with equal intervals in the direction of displacement of the two gratings over the entire region.
  • a fringe generated at a relatively low spatial frequency by overlapping the fringes is called a moire fringe.
  • Such straight equidistant fringes cause sharp peaks in the spatial frequency distribution obtained by two-dimensional Fourier transform of the detected image.
  • the value of ⁇ that is, the incident angle ⁇ of the light beam can be obtained from the frequency value. It is clear that the moire fringes obtained at such uniform intervals on the entire surface are generated at the same pitch regardless of the direction of displacement, due to the symmetry of the concentric lattice arrangement.
  • Such fringes are obtained because the lattice pattern is formed by a Fresnel zone plate or a Gabor zone plate, and it is considered difficult to obtain uniform stripes on the entire surface with other lattice patterns. .
  • the purpose is to obtain moire fringes that are uniformly spaced on the entire surface, and the lattice pattern is not limited to the Fresnel zone plate or the Gabor zone plate.
  • F represents a Fourier transform operation
  • u and v are spatial frequency coordinates in the x and y directions
  • ⁇ with parentheses is a delta function.
  • FIG. 7 from left to right, there are shown a layout diagram of light beams and a modulator 102, moire fringes, and a schematic diagram of a spatial frequency spectrum.
  • FIG. 7A shows normal incidence
  • FIG. 7B shows a case where a light beam is incident from the left side at an angle ⁇
  • FIG. 7C shows a case where a light beam is incident from the right side at an angle ⁇ .
  • the first grating pattern 104 formed on the front surface side of the modulator 102 and the second grating pattern 105 formed on the back surface side are aligned.
  • FIG. 7A since the shadows of the first lattice pattern 104 and the second lattice pattern 105 coincide with each other, moire fringes do not occur.
  • the same moiré occurs because the shift between the first lattice pattern 104 and the second lattice pattern 105 is the same, and the peak positions of the spatial frequency spectrum also coincide with each other. From the frequency spectrum, it becomes impossible to determine whether the incident angle of the light beam is as shown in FIG. 7B or FIG. 7C.
  • the two grating patterns 104 and 105 are preliminarily placed on the optical axis so that the shadows of the two grating patterns are shifted and overlapped even with respect to the light beam vertically incident on the modulator 102. It is necessary to shift relative to the above.
  • the relative shift of the shadows of the two gratings is ⁇ 0 with respect to the normal incident plane wave on the axis, the shift ⁇ caused by the plane wave at the incident angle ⁇ is
  • the peak of the spatial frequency spectrum of the moire fringes of the light beam with the incident angle ⁇ is on the plus side of the frequency.
  • FIG. 9 is a schematic diagram for explaining the generation of moire fringes and the frequency spectrum when the first grating pattern 104 and the second grating pattern 105 are shifted from each other.
  • the left side shows the arrangement of the light beam and the modulator 102
  • the middle row shows the moire fringes
  • the right side shows the spatial frequency spectrum.
  • 9A shows a case where the light beam is perpendicularly incident
  • FIG. 9B shows a case where the light beam is incident at an angle ⁇ from the left side
  • FIG. 9C shows an angle from the right side. In this case, the incident light is ⁇ .
  • the first lattice pattern 104 and the second lattice pattern 105 are arranged so as to be shifted in advance by ⁇ 0. Therefore, moire fringes are generated in FIG. 9A, and a peak appears in the spatial frequency spectrum.
  • the shift amount ⁇ 0 is set so that the peak position appears at the center of the spectrum range on one side from the origin, as described above.
  • the shift ⁇ is further increased, and in FIG. 9C, the shift ⁇ is decreased. Therefore, unlike FIG. 7, FIG. 9B and FIG. Can be discriminated from the peak position of the spectrum.
  • This peak spectral image is a bright spot showing a light beam at infinity, and is nothing but a photographed image by the imaging device 101 of FIG.
  • the maximum incident angle of parallel light that can be received is ⁇ max,
  • the maximum angle of view that can be received by the imaging apparatus 101 is
  • Equation 13 the angle of view can be changed by the thickness t of the modulator 102 and the coefficient ⁇ of the grating patterns 104 and 105. Therefore, for example, if the modulator 102 has the configuration shown in FIG. 3 and a function capable of changing the length of the support member 102b, it is possible to change the angle of view at the time of shooting.
  • the transmittance distribution of the grating pattern basically has a sinusoidal characteristic, but if such a component exists as a fundamental frequency component of the grating pattern, For example, as shown in FIG. 10, it is also possible to binarize the transmittance of the lattice pattern. Further, as shown in FIG. 11, by changing the duty of the lattice region having the high transmittance and the low region, the transmittance is high. It is conceivable to increase the transmittance by widening the area. As a result, an effect such as suppression of diffraction from the grating pattern can be obtained, and deterioration of the photographed image can be reduced.
  • the incident light beam is only one incident angle at the same time.
  • the imaging apparatus 101 it is assumed that light having a plurality of incident angles is incident simultaneously. There must be.
  • Such light having a plurality of incident angles already overlaps the images of the plurality of front side gratings at the point of incidence on the back side grating pattern. If these cause moiré fringes, there is a concern that the noise may interfere with detection of moiré fringes with the second grating pattern 105, which is a signal component.
  • the overlap between the images of the first lattice pattern 104 does not cause the peak of the moire image, and the peak is caused only by the overlap with the second lattice pattern 105 on the back surface side. The reason will be described below.
  • the major difference is that the overlap between the shadows of the first grating pattern 104 on the surface side due to the light beams having a plurality of incident angles is not a product but a sum.
  • the intensity distribution of the light that is the shadow of the first grating pattern 104 is changed to the intensity distribution of the second grating pattern 105.
  • the overlap of the shadows caused by the light having different angles incident on the first grating pattern 104 on the surface side is not the product but the sum because the light overlaps.
  • the distribution of the original Fresnel zone plate lattice is multiplied by the distribution of moire fringes. Therefore, the frequency spectrum is represented by the overlap integral of the respective frequency spectra. Therefore, even if the moiré spectrum alone has a sharp peak, in effect, only a ghost of the frequency spectrum of the Fresnel zone plate occurs at that position. That is, no sharp peak occurs in the spectrum. Therefore, the spectrum of the moire image detected even when light of a plurality of incident angles is put is always only the moire of the product of the first grating pattern 104 on the front surface side and the second grating pattern 105 on the back surface side, As long as the second grating pattern 105 is single, only one spectrum peak is detected for one incident angle.
  • FIG. 12 is an explanatory diagram for explaining angles formed by the light from each point constituting the object with respect to the image sensor.
  • light from each point constituting the subject 301 is a spherical wave from a point light source, and the modulator 102 and the image sensor 103 (hereinafter, referred to as a grating sensor integrated substrate 1201 in FIG. 12) of the imaging device 101 in FIG. Is incident on.
  • the lattice sensor integrated substrate is sufficiently small or sufficiently distant from the subject 401, it can be considered that the incident angle of light illuminating the lattice sensor integrated substrate is the same from each point.
  • FIG. 14 shows a state of projection onto the back surface of the first lattice pattern 104 on the front surface side at infinity as described above.
  • the spherical wave from the point 1401 constituting the object at infinity becomes a plane wave while propagating a sufficiently long distance, irradiates the first lattice pattern 104 on the surface side, and the projected image 1402 is projected on the lower surface.
  • the projected image has substantially the same shape as the first lattice pattern 104.
  • the transmittance distribution of the back side lattice pattern corresponding to the second lattice pattern 105 in FIG. 1
  • linear moire fringes at equal intervals can be obtained ( FIG. 15).
  • FIG. 16 is an explanatory diagram showing that the projection onto the back surface of the first grid pattern 104 on the front surface side is enlarged from the first grid pattern 104 when the object to be imaged is at a finite distance.
  • a spherical wave from a point 1601 constituting the object irradiates the first lattice pattern 104 on the surface side, and the projected image 1602 is projected on the lower surface, the projected image is almost one. Will be enlarged.
  • the enlargement factor ⁇ is obtained by using the distance f from the first lattice pattern 104 to the point 1601.
  • the first grating pattern 104 and the second grating pattern 105 having the same shape are formed on the front surface and the back surface of the grating substrate 102a so as to be shifted from each other, thereby changing the angle of the incident parallel light to the moiré fringe space.
  • An image was constructed by detecting from the frequency spectrum.
  • the second lattice pattern 105 on the back surface side is an optical element that modulates the intensity of light incident in close contact with the image sensor 103, and is the same lattice pattern regardless of incident light. Therefore, as shown in FIG.
  • a modulator 1901 from which the second lattice pattern 105 is removed is used, and processing corresponding to the second lattice pattern 105 is executed by the intensity modulation unit 1903 in the image processing unit 1902. Also good. Details of the configuration of the modulator 1901 at this time are shown in FIG. With this configuration, one surface of the lattice pattern formed on the lattice substrate 102a can be reduced. Thereby, the manufacturing cost of the modulator can be reduced.
  • FIG. 21 is a flowchart showing an outline of image processing by the image processing unit 1902 of FIG.
  • the flowchart in FIG. 21 differs from the flowchart in FIG. 5 in the processing in step S2101.
  • the intensity modulation unit 1902 described above generates a moiré fringe image corresponding to transmission through the lattice pattern 105 on the back side of the image output from the image sensor 103.
  • the calculation corresponding to Expression 5 only needs to be performed. Therefore, the intensity modulation unit 1903 generates the back side lattice pattern 105 and multiplies the image of the image sensor 103. Further, if the lattice pattern 105 on the back surface side is a binarized pattern as shown in FIGS.
  • the pitch of the pixels 103a included in the image sensor 103 is fine enough to reproduce the pitch of the first lattice pattern 104, or the pitch of the first lattice pattern 104 is reproduced at the pitch of the pixel 103a. It needs to be as rough as possible.
  • the pitch of the lattice pattern does not necessarily need to be resolved by the pixel 103a of the image sensor 103, and only the moire image needs to be resolved.
  • the resolution of the lattice pattern and the image sensor 103 needs to be equal.
  • the processing corresponding to the second grating pattern 105 is realized by the intensity modulation unit 1903, but the second grating pattern 105 is an optical element that modulates the intensity of incident light in close contact with the sensor. It can also be realized by effectively setting the sensitivity of the sensor in consideration of the transmittance of the second grating pattern 105.
  • FIG. 19 What is different from FIG. 19 is an image storage unit 2201, an image processing unit 2202, and a focus setting unit 2203.
  • the image storage unit 2201 is provided to temporarily store an image output from the image sensor 103 in order to enable focus adjustment after shooting.
  • the focus setting unit 2203 can set the focus distance by a knob provided in the imaging apparatus 101 or a GUI (Graphical User Interface) of a smartphone, and outputs the focus distance information to the image processing unit 2202.
  • GUI Graphic User Interface
  • FIG. 23 is a flowchart showing an outline of image processing by the image processing unit 2202 of FIG.
  • the flowchart in FIG. 23 differs from the flowchart in FIG. 21 in the processing in step S2301.
  • the enlargement ratio ⁇ is calculated from Expression 17 based on the focus distance information that is the output of the focus setting unit 2203 described above.
  • Calculation is performed by setting the coefficient ⁇ of the second lattice pattern 105 on the back surface side to ⁇ / ⁇ .
  • S2101 a moire fringe image corresponding to the transmission through the lattice pattern on the back side is generated based on the coefficient.
  • the processing in steps S501 to S506 in FIG. 23 is the same as the processing in FIG.
  • an external object image can be obtained by a simple calculation such as fast Fourier transform (FFT), and the focus can be adjusted to an arbitrary distance after photographing.
  • FFT fast Fourier transform
  • the fast Fourier transform has been described as an example of the method for calculating the spatial frequency spectrum from the moire fringes, but the present invention is not limited to this, and can also be realized using a discrete cosine transform (DCT) or the like. It is also possible to reduce the amount of calculation.
  • DCT discrete cosine transform
  • the grating patterns 104 and 105 have been described as Fresnel zone plates and Gabor zone plates.
  • the present invention is not limited to this, and other embodiments can be used as long as the spatial frequency spectrum can be calculated from moire fringes.
  • a one-dimensional pattern or the like may be used. These can be applied to other embodiments.
  • FIG. 25 is a flowchart showing an outline of autofocus by the focus position calculation unit 2401 in FIG. This autofocus is realized by calculating the position at which the contrast is maximized by developing while shifting the focus position by resolution ⁇ f. This process will be described in detail.
  • an initial value (such as infinity or distance 0) of the focus position is set (S2501)
  • an enlargement factor ⁇ is calculated from the focus position
  • a coefficient ⁇ of the second lattice pattern 105 is calculated (S2301).
  • Steps S2101 to S503 are the same as in FIG. 23, and thereafter, an arbitrary area 2601a in the area 2601 within the imaging range is cut out as shown in FIG. 26 (S2503).
  • This area is an area used for focus adjustment, and may be set by the user using a GUI or automatically by a face recognition technique or the like.
  • the contrast in the area 2601a is
  • the focus position is set by being shifted by ⁇ f (S2502), and the subsequent processing from S2502 to S2505 is carried out until scanning within the preset focus variable range is completed (S2506).
  • the contrast information in the memory is read after completion of the search, as shown in FIG. 27, the relationship between the contrast and the focus position is obtained (S2507). Therefore, the focus position at which the contrast is maximized is searched (S2508) and output. (S2509). If image processing is performed by the image processing unit 2202 based on the focus position information obtained by the focus position calculation unit 2401, photographing with an optimum focus can be performed.
  • focus adjustment can be automated, and unlike conventional cameras, it is possible to shoot with the optimum focus without performing re-shooting.
  • the search with the maximum contrast is performed.
  • the present invention is not limited to this, and a clear image such as an SNR (Signal to Noise Ratio) or an addition value of an HPF (High-Pass Filter) result is obtained. Any method can be used as long as the focus position can be determined. Further, the scanning range of the focus position can be set in advance by the user. Further, although the method of shifting the focus position by ⁇ f has been described, the present invention is not limited to this. The image blur due to the change of the focus position is less sensitive to the position as it is farther, so that the vicinity of the imaging apparatus 101 is finer and the distance is coarsely shifted, so that a higher-accuracy and faster search is possible. These can be applied to other embodiments.
  • This embodiment is different from the first embodiment in that it can acquire not only an image but also distance information in a two-dimensional direction (horizontal and vertical directions).
  • the configuration of this example is shown in FIG. A difference from FIG. 22 of the first embodiment is a distance measurement unit 2801 and a distance information display unit 2802.
  • S2501 to S503 are the same as those in FIG. 25 of the second embodiment. Thereafter, as shown in FIG. 30, an area 2601 within the imaging range is divided (S2901). Since the division size corresponds to the resolution in the two-dimensional direction in the distance measurement, it is preferable that the size is fine. However, if the division size is too fine, there is a problem that a measurement error increases. Therefore, it is also useful that the user can change the division size according to the environment. As an example of the divided area 3001, areas 3001a and 3001b are shown in FIG. Next, for each region, the contrast in the region is determined using the maximum luminance Imax and the minimum luminance Imin in the region,
  • the focus position is set by being shifted by ⁇ f (S2502), and the subsequent processing from S2502 to S2903 is carried out until scanning within the preset focus variable range is completed (S2904).
  • the contrast information in the memory is read after the search is completed, the relationship between the contrast and the focus position is obtained as shown in FIG. 31 (S2905).
  • the region 3001a in which the distant mountain is included in the region has the maximum contrast in the distance
  • the region 3001b in which the nearby person is included in the region has a relatively high contrast in the vicinity. I understand.
  • the focus position where the contrast is maximized for each region is searched (S2906), and a two-dimensional map of distance information is created and output (S2907).
  • the distance information in the two-dimensional direction can be confirmed by displaying this distance information by the distance information display unit 2802.
  • the distance information display unit 2802 is used.
  • it can be applied to obstacle recognition and automatic driving in a device such as an automobile or a drone.
  • the search with the maximum contrast is performed.
  • the present invention is not limited to this, and a clear image such as an SNR (Signal to Noise Ratio) or an addition value of an HPF (High-Pass Filter) result is obtained. Any method can be used as long as the focus position can be determined.
  • an area 2601 in the imaging range can be divided in the horizontal direction as shown in FIG. 32, and distance measurement can be performed in units of divided areas 3001. Thus, only distance measurement in the horizontal direction can be performed, but the SNR of the distance information can be improved by using the information in the vertical direction.
  • the SNR is improved by averaging and using images of a plurality of frames, or averaging and using distance information of a plurality of frames.
  • the distance accuracy can be improved and the resolution in the two-dimensional direction can be improved.
  • the two-dimensional image sensor 103 is used as shown in FIG. 28 even when distance measurement in the one-dimensional direction is performed as in the example of FIG. 32, S501 in FIG. This must be done by conversion, which increases calculation cost and image sensor cost.
  • the first grating pattern 104 of the modulator 1901 is a one-dimensional pattern as shown in FIG. The plurality of straight lines in this pattern have narrower distances between the straight lines in inverse proportion to the reference coordinates. This pattern
  • FIG. A modulator 3401 and a line sensor 3402 are included. Further, the transmittance of the surface of the modulator 3401 is modulated by a lattice pattern 3403 based on Expression 20. According to this configuration, it is possible to suppress the sensor cost by using a one-dimensional line sensor and further reduce the amount of calculation by using a one-dimensional Fourier transform as the Fourier transform.
  • a configuration in which the sensor-side (back surface) lattice pattern is omitted is shown, but of course, a configuration having a back surface lattice pattern may be realized, and this is the same in all discussions.
  • FIG. It consists of a cylindrical lens 3501, a modulator 3502, and a line sensor 3402. Further, the transmittance of the surface of the modulator 3502 is modulated by a lattice pattern 3503 based on Expression 20. Further, the cylindrical lens 3501 is disposed so that the focal position is on the line sensor 3402. According to this configuration, detection can be performed using more light than in FIG. 34, and thus the SNR of distance information can be improved.
  • FIG. It comprises a modulator 3502, an image sensor 103, and a vertical direction addition unit 3601.
  • the vertical direction addition unit 3601 performs an operation of adding luminance in the vertical direction of the image sensor 103. According to this configuration, detection can be performed using more light without using the cylindrical lens 3501 as shown in FIG. 35, so that the SNR of the distance information can be improved.
  • the example in which the pattern in the one-dimensional direction of FIG. 33 is used for distance measurement has been described.
  • photographing limited to the one-dimensional direction can be performed. Processing such as refocusing and autofocusing is possible, and the amount of calculation required for the frequency spectrum can be greatly reduced.
  • the imaging apparatus 101 mainly includes a modulator 1901 and an image sensor 103, and a signal processing unit 3701 includes an image storage unit 2201, an image processing unit 2202, and a distance measurement unit 2801. It is.
  • the signal processing unit 3701 may be performed by a server or the like, and the size of the imaging apparatus 101 is limited. There is nothing to do.
  • FIG. 37 it can be considered that the data capacity of the output of the image sensor 103 is large. Therefore, a method of compressing an image when the focus position is determined as in the second embodiment will be described with reference to FIG.
  • the imaging apparatus 101 mainly includes a modulator 1901, an image sensor 103, an image compression unit 3801, and a focus setting unit 2203.
  • the signal processing unit 3802 performs image processing.
  • Part 106 is included.
  • FIG. 39 is a flowchart showing an outline of image compression by the image compression unit 3801 in FIG.
  • the enlargement ratio ⁇ is calculated from Expression 17, and the coefficient ⁇ of the second lattice pattern 105 on the back surface side is calculated as ⁇ / ⁇ (S3901).
  • a moire fringe image corresponding to the transmission through the lattice pattern on the back side is generated based on the coefficient (S3902).
  • the pitch of the pixels 103a included in the image sensor 103 is fine enough to reproduce the pitch of the first lattice pattern 104, the data capacity is increased.
  • this invention is not limited to said Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • image processing unit 2203 ... focus setting unit, 2401 ... focus position calculation unit, 2601 ... region, 2601a ... region, 2801 ... distance measurement unit, 2802 ... distance information Display unit, 3001... Area, 3001a... Area, 3001b... Area, 3201... Area, 3401 ... modulator, 3402 ... line sensor, 3403 ... grid pattern, 3501. ..Cylindrical lens, 3502... Modulator, 3503... Grating pattern, 3601... Vertical direction adder, 3701... Signal processor, 3801.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置の高機能化が可能な撮像装置を得る。　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置で解決できる。

Description

撮像装置
　本発明は、撮像装置に関し、特に撮像装置の高機能化に有効な技術に関する。
　スマートフォンなどに搭載するデジタルカメラや車載カメラ等は、薄型化・高機能化が必要である。この種のデジタルカメラの薄型化技術としては、例えばレンズを用いることなく物体像を得るものがある（例えば特許文献１参照）。
  この技術は、画像センサに特殊な回折格子基板を貼り付け、回折格子基板を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を逆問題により求めることで、外界の物体の像を得るものである。
米国特許出願公開第２０１４／０２５３７８１号明細書
　上述した特許文献１では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンとなっている。そして、その画像センサにて受光される射影パターンから、像を再生するための逆問題を解くことにより、物体の像を得ているが、この逆問題を解く際の演算が複雑になるという問題がある。またデジタルカメラ、車載カメラは高機能なセンシングが求められるが、特許文献１の技術は高機能化を考慮していない。
  本発明の目的は、簡単な演算を用いた、撮像装置の高機能化を可能とする技術を提供することにある。
　上記課題は、たとえば、特許請求の範囲に記載の発明により解決される。
　本発明によれば、撮影後のフォーカス調整（リフォーカス）、オートフォーカス、測距といった高機能な撮像装置を実現することが可能となる。
基本的な実施例を示す図 基本的な実施例の変調器を示す図 基本的な実施例の変調器を示す図 基本的な実施例により外界の物体を撮影する様子を示す図 基本的な実施例の画像処理部の処理フローを示す図 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図 表面格子と裏面格子の軸をずらして配置する場合の模式図 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図 格子パターンの実施例を示す図 格子パターンの実施例を示す図 物体を構成する各点からの光がセンサに対してなす角を説明する図 物体を撮影した場合の空間周波数スペクトルを示す図 物体が無限距離にある場合に表側格子パターンが投影されることを示す図 物体が無限距離にある場合に生成されるモアレ縞の例を示す図 物体が有限距離にある場合に表側格子パターンが拡大されることを示す図 物体が有限距離にある場合に生成されるモアレ縞の例を示す図 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図 裏側格子パターンを画像処理で実現する実施例を示す図 裏側格子パターンを画像処理で実現する実施例の変調器を示す図 裏側格子パターンを画像処理で実現する実施例の画像処理部の処理フローを示す図 リフォーカスを実現する実施例を示す図 リフォーカスを実現する実施例の画像処理部の処理フローを示す図 オートフォーカスを実現する実施例を示す図 オートフォーカスを実現する実施例のフォーカス位置算出部の処理フローを示す図 オートフォーカスを実現する実施例のコントラスト計算領域を示す図 オートフォーカスを実現する実施例の最適フォーカス位置を示す図 測距を実現する実施例を示す図 測距を実現する実施例の距離計測部の処理フローを示す図 測距を実現する実施例のコントラスト計算領域を示す図 測距を実現する実施例の最適フォーカス位置を示す図 測距を実現する実施例のコントラスト計算領域を示す図 格子パターンの実施例を示す図 １次元方向の測距を実現する実施例の変調器とセンサの構成を示す図 １次元方向の測距を実現する実施例の変調器とセンサの構成を示す図 １次元方向の測距を実現する実施例の変調器とセンサの構成を示す図 処理を分割する方法の実施例を示す図 処理を分割する方法の実施例を示す図 画像データ容量を圧縮する実施例の画像圧縮部の処理フローを示す図
　以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
  また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
  さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
　同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
  また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
  以下、本発明の実施例について図面を用いて説明する。
〈無限遠物体の撮影原理〉
　図１は、本実施の形態１による撮像装置１０１における構成の一例を示す説明図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、変調器１０２、画像センサ１０３、および画像処理部１０６から構成されている。
　図２に変調器１０２の一例を示す。変調器１０２は、画像センサ１０３の受光面に密着して固定されており、格子基板１０２ａに第１の格子パターン１０４、第２の格子パターン１０５がそれぞれ形成された構成からなる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板１０２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この格子パターン１０４、１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン１０４，１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。なお、格子パターン１０４，１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。
　なお、ここでは変調器１０２を実現するために、格子パターン１０４，１０５を格子基板１０２ａに形成する方法について述べたが、図３に示すように格子パターン１０４，１０５を薄膜に形成し、支持部材１０２ｂにより保持する構成などによっても実現できる。
  格子パターン１０４，１０５を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。
　画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。
　図４は、図１の撮像装置１０１による撮影の一例を示す説明図である。この図４では、撮像装置１０１によって被写体４０１を撮影して画像表示部１０７に表示している例を示している。図示するように、被写体４０１を撮影する際には、被写体４０１に対して変調器１０２における表面、具体的には第１の格子パターン１０４が形成されている格子基板１０２ａの面が正対するようにして撮影が行われる。
  続いて、画像処理部１０６による画像処理の概略について説明する。図５は、図１の撮像装置１０１が有する画像処理部１０６による画像処理の概略を示すフローチャートである。
　まず、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとに２次元フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算を行い、周波数スペクトルを求める（ステップＳ５０１）。続いて、ステップＳ５０１の処理による周波数スペクトルの片側周波数のデータを切り出した後（ステップＳ５０２）、該周波数スペクトルの強度計算を行う（ステップＳ５０３）ことによって画像を取得する。そして、得られた画像に対してノイズ除去処理を行い（ステップＳ５０４）、続いてコントラスト強調処理（ステップＳ５０５）などを行う。その後、画像のカラーバランスを調整して（ステップＳ５０６）撮影画像として出力する。以上により、画像処理部１０６による画像処理が終了となる。
　続いて、撮像装置１０１における撮影原理について説明する。まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４，１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、
Figure JPOXMLDOC01-appb-M000001
と表せる。
　球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
Figure JPOXMLDOC01-appb-M000002
のような干渉縞の強度分布が得られる。これは、
Figure JPOXMLDOC01-appb-M000003
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、
Figure JPOXMLDOC01-appb-M000004
が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４，１０５として用いる。
　このような格子パターンが両面に形成された厚さｔの変調器１０２に、図６に示すように角度θ０で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
Figure JPOXMLDOC01-appb-M000005
のような強度分布が得られる。
　この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは困難と考えられる。但し、全面で一様に等間隔なモアレ縞が得ることが目的であり、格子パターンをフレネルゾーンプレートやガボールゾーンプレート
に限定するものではない。
　第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。
  式５から鋭いピークを持つ成分のみを
Figure JPOXMLDOC01-appb-M000006
のように取り出すと、そのフーリエスペクトルは、
Figure JPOXMLDOC01-appb-M000007
のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。
　その様子を図７に示す。図７において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図７（ａ）は、垂直入射、図７（ｂ）は、左側から角度θで光線が入射する場合、図７（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。
  変調器１０２の表面側に形成された第１の格子パターン１０４と裏面側に形成された第２の格子パターン１０５とは、軸がそろっている。図７（ａ）では、第１の格子パターン１０４と第２の格子パターン１０５との影が一致するのでモアレ縞は生じない。
　図７（ｂ）および図７（ｃ）では、第１の格子パターン１０４と第２の格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７（ｂ）の場合なのか、あるいは図７（ｃ）の場合なのかを判別することができなくなる。
　これを避けるためには、例えば図８に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの格子パターン１０４，１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、
Figure JPOXMLDOC01-appb-M000008
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では
Figure JPOXMLDOC01-appb-M000009
の位置となる。画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、
Figure JPOXMLDOC01-appb-M000010
の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、
Figure JPOXMLDOC01-appb-M000011
とするのが妥当である。
　図９は、第１の格子パターン１０４と第２の格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図７と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図９（ａ）は、光線が垂直入射の場合であり、図９（ｂ）は、光線が左側から角度θで入射する場合であり、図９（ｃ）は、光線が右側から角度θで入射する場合である。
　第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図９（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図９（ｂ）では、ずれδがさらに大きくなる方向、図９（ｃ）では、小さくなる方向となっているため、図７と異なり、図９（ｂ）と図９（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。
  受光できる平行光の入射角の最大角度をθｍａｘとすると、
Figure JPOXMLDOC01-appb-M000012
より、撮像装置１０１にて受光できる最大画角は、
Figure JPOXMLDOC01-appb-M000013
で与えられる。
　一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、
Figure JPOXMLDOC01-appb-M000014
に相当すると考えることができる。
  ここで、式１３より画角は変調器１０２の厚さｔ、格子パターン１０４，１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が図３の構成であり支持部材１０２ｂの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
　なお、式２で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図１０に示すように格子パターンの透過率を２値化することも可能であり、さらに図１１のように透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
　以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である第２の格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第１の格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第２の格子パターン１０５との重なりだけになる。その理由について以下に説明する。
　まず、複数の入射角の光線による表面側の第１の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による第１の格子パターン１０４の影と第２の格子パターン１０５との重なりでは、第１の格子パターン１０４の影である光の強度分布に、第２の格子パターン１０５の透過率を乗算することで、裏面側の第２の格子パターン１０５を透過したあとの光強度分布が得られる。
　これに対して、表面側の第１の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
Figure JPOXMLDOC01-appb-M000015
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第１の格子パターン１０４と裏面側の第２の格子パターン１０５との積のモアレだけであり、第２の格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。
　ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図１２を用いて模式的に説明する。図１２は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。被写体３０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１２では格子センサ一体基板１２０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。
　式９から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、
Figure JPOXMLDOC01-appb-M000016
のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能であり、これまでの議論から高速フーリエ変換（ＦＦＴ）によって、図１３に示すような像を得ることができる。
〈有限距離物体の撮影原理〉
　ここで、これまで述べた無限遠の場合における表面側の第１の格子パターン１０４の裏面への射影の様子を図１４に示す。無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第１の格子パターン１０４を照射し、その投影像１４０２が下の面に投影される場合、投影像は第１の格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側の格子パターン（図１の第２の格子パターン１０５に相当）の透過率分布を乗じることにより、等間隔な直線状のモアレ縞を得ることができる（図１５）。
　一方、有限距離の物体に対する撮像について説明する。図１６は、撮像する物体が有限距離にある場合に表面側の第１の格子パターン１０４の裏面への射影が第１の格子パターン１０４より拡大されることを示す説明図である。図１６に示すように、物体を構成する点１６０１からの球面波が表面側の第１の格子パターン１０４を照射し、その投影像１６０２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第１の格子パターン１０４から点１６０１までの距離ｆを用いて、
Figure JPOXMLDOC01-appb-M000017
のように算出できる。
　そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる（図１７）。しかし、一様に拡大された表面側の第１の格子パターン１０４の影に合わせて、第２の格子パターン１０５を拡大するならば、拡大された投影像１６０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる（図１８）。このためには、第２の格子パターン１０５の係数βをβ／αとすることで補正が可能である。
  これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
　次に、変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の第１の格子パターン１０４および第２の格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成していた。この裏面側の第２の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図１９に示すように、第２の格子パターン１０５を除去した変調器１９０１を使用し、第２の格子パターン１０５に相当する処理を画像処理部１９０２内の強度変調部１９０３で実行してもよい。
  この時の変調器１９０１の構成の詳細を図２０に示す。この構成によって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができる。
　図２１は、図１９の画像処理部１９０２による画像処理の概略を示すフローチャートである。この図２１におけるフローチャートが図５のフローチャートと異なるところは、ステップＳ２１０１の処理である。ステップＳ２１０１の処理では、前述した強度変調部１９０２により、画像センサ１０３から出力される画像に対して、裏面側の格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式５に相当する演算が行われればよいので、強度変調部１９０３において裏面側の格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算すればよい。さらに、裏面側の格子パターン１０５が図１０、１１に示すような２値化したパターンであれば、黒に相当する領域の画像センサ１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図２１のステップＳ５０１～Ｓ５０６の処理は、図５の処理と同様であるので、ここでは説明を省略する。
　なお、この場合、画像センサ１０３が有する画素１０３ａのピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは第１の格子パターン１０４のピッチが画素１０３ａのピッチにて再現できる程度に粗い必要である。格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。
  また、以上は強度変調部１９０３により第２の格子パターン１０５に相当する処理を実現したが、第２の格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第２の格子パターン１０５の透過率を加味して設定することによっても実現できる。
　以上で説明した、裏面側の第２の格子パターン１０５を画像処理部で行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図２２に示す。図１９と異なるのは、画像記憶部２２０１、画像処理部２２０２、フォーカス設定部２２０３である。画像記憶部２２０１は、撮影後のフォーカス調整を可能とするため、画像センサ１０３から出力される画像を一時的に格納するために設けられている。また、フォーカス設定部２２０３は、撮像装置１０１に備え付けられたつまみや、スマートフォンのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）などによってフォーカス距離を設定可能であり、フォーカス距離情報を画像処理部２２０２に出力する。
　図２３は、図２２の画像処理部２２０２による画像処理の概略を示すフローチャートである。この図２３におけるフローチャートが図２１のフローチャートと異なるところは、ステップＳ２３０１の処理である。ステップＳ２３０１の処理では、前述したフォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、
裏面側の第２の格子パターン１０５の係数βをβ／αとする計算を行う。その後Ｓ２１０１において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。以降、図２３のステップＳ５０１～Ｓ５０６の処理は、図５の処理と同様であるので、ここでは説明を省略する。
　以上の方法・構成に依れば、高速フーリエ変換（ＦＦＴ）などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、本実施例では１度の撮影しか必要としない。
  なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。
　また、本実施例において格子パターン１０４，１０５はフレネルゾーンプレートやガボールゾーンプレートとして説明したが、これに限定されるものではなく、モアレ縞から空間周波数スペクトルを算出できさえすれば、他の実施例の１次元方向のパターンなどを使用してもよい。これらのことは他の実施例においても適用できる。
　本実施例が実施例１と異なるのは、フォーカス調整を自動化できる点である。本実施例の構成を図２４に示す。実施例１の図２２と異なるのは、フォーカス位置算出部２４０１である。
  図２５は、図２４のフォーカス位置算出部２４０１によるオートフォーカスの概略を示すフローチャートである。本オートフォーカスは、フォーカス位置を分解能Δｆずつシフトさせながら現像処理し、コントラストが最大となる位置を算出することによって実現する。この処理について詳細に説明する。
　まず、フォーカス位置の初期値（無限遠もしくは距離０など）を設定（Ｓ２５０１）、フォーカス位置から拡大率αを算出し、第２の格子パターン１０５の係数βを算出する（Ｓ２３０１）。Ｓ２１０１からＳ５０３までは図２３と同様であり、その後、図２６に示すように撮像範囲内の領域２６０１内の任意の領域２６０１ａを切り出す（Ｓ２５０３）。この領域がフォーカス調整に用いる領域であり、ユーザがＧＵＩで設定するか、顔認識技術等により自動的に設定してもよい。次に、領域２６０１ａ内のコントラストを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
により算出（Ｓ２５０４）、結果をメモリに格納する（Ｓ２５０５）。
　この後、フォーカス位置をΔｆずらして設定（Ｓ２５０２）、以降のＳ２５０２からＳ２５０５までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する（Ｓ２５０６）。探索完了後、メモリ内のコントラスト情報を読み出すと、図２７に示したように、コントラストとフォーカス位置の関係が得られるので（Ｓ２５０７）、コントラストが最大となるフォーカス位置を探索し（Ｓ２５０８）、出力する（Ｓ２５０９）。
  このフォーカス位置算出部２４０１において得られたフォーカス位置情報に基づき、画像処理部２２０２で画像処理を行えば、最適なフォーカスでの撮影が可能となる。
　以上の方法・構成に依れば、フォーカス調整を自動化でき、さらに従来のカメラと異なり、再撮影を行うことなく最適なフォーカスでの撮影が可能となる。
　なお、本実施例においてコントラストが最大となる探索を行ったが、これに限定するものではなく、ＳＮＲ（Ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ　Ｒａｔｉｏ）や、ＨＰＦ（Ｈｉｇｈ－Ｐａｓｓ　Ｆｉｌｔｅｒ）結果の加算値など、鮮明な画像となるフォーカス位置を決定できる方法であればよい。
  また、フォーカス位置の走査範囲はユーザが予め設定することも可能である。
  また、フォーカス位置をΔｆずつシフトする方法について説明したが、これに限定するものではない。フォーカス位置が変わることによる像のボケ方は、遠方ほど位置に対する感度が低くなるため、撮像装置１０１近傍は細かく、遠方は粗くシフトさせることでより高精度・高速な探索が可能となる。
  これらのことは他の実施例においても適用できる。
　本実施例が実施例１と異なるのは、画像のみならず２次元方向（水平ならびに垂直方向）の距離情報を取得できる点である。本実施例の構成を図２８に示す。実施例１の図２２と異なるのは、距離計測部２８０１ならびに距離情報表示部２８０２である。
  図２９は、図２８の距離計測部２８０１による距離計測の概略を示すフローチャートである。本距離計測は、実施例２のオートフォーカスの原理を領域毎に実施することで、最適なフォーカス位置（＝物体が存在する位置）を計測することによって実現する。この処理について詳細に説明する。
　まず、Ｓ２５０１からＳ５０３までは実施例２の図２５と同様である。その後、図３０に示すように撮像範囲内の領域２６０１を分割する（Ｓ２９０１）。この分割サイズが距離計測における２次元方向の分解能に対応するためサイズが細かい方が好ましいが、細かくし過ぎると測定誤差が増大する問題がある。よって、環境に応じてユーザが分割サイズを変更できることも有用である。この分割した領域３００１の例として領域３００１ａと３００１ｂを図３０に示している。次に、領域毎に領域内のコントラストを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
により算出（Ｓ２９０２）、結果をメモリに格納する（Ｓ２９０３）。
　この後、フォーカス位置をΔｆずらして設定（Ｓ２５０２）、以降のＳ２５０２からＳ２９０３までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する（Ｓ２９０４）。探索完了後、メモリ内のコントラスト情報を読み出すと、図３１に示したように、コントラストとフォーカス位置の関係が得られる（Ｓ２９０５）。この例のように、遠方の山が領域内に含まれる領域３００１ａは遠方でコントラストが最大となり、近傍の人が領域内に含まれる領域３００１ｂは比較的近傍でコントラストが最大となっている様子が判る。例では２つの領域の変化のみ図３１に示しているが、実際には図３０における領域３００１の分割数の数だけメモリに格納されていることになる。このように、領域毎にコントラストが最大となるフォーカス位置を探索し（Ｓ２９０６）、距離情報の２次元マップを作成し出力する（Ｓ２９０７）。
　この距離情報を距離情報表示部２８０２により表示することで、２次元方向の距離情報を確認可能となる。ここでは、距離情報表示部２８０２を使用したが、距離計測部２８０１出力を直接用いることにより、自動車やドローンのような機器における、障害物認識、自動運転に適用することもできる。
　以上の方法・構成に依れば、画像のみならず２次元方向（水平ならびに垂直方向）の距離情報を取得することが可能となる。
　なお、本実施例においてコントラストが最大となる探索を行ったが、これに限定するものではなく、ＳＮＲ（Ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ　Ｒａｔｉｏ）や、ＨＰＦ（Ｈｉｇｈ－Ｐａｓｓ　Ｆｉｌｔｅｒ）結果の加算値など、鮮明な画像となるフォーカス位置を決定できる方法であればよい。
  また、２次元の距離測定が不要な場合、図３２に示すように撮像範囲内の領域２６０１を横方向に分割し、分割領域３００１単位で距離測定することもできる。これにより、水平方向のみの距離測定しか行えないが、縦方向の情報を使うことにより距離情報のＳＮＲを向上可能である。もちろん、撮像範囲内の領域２６０１の分割を縦方向に行うことにより、垂直方向のみの距離測定とすることも可能である。
　また、本実施例では単一フレームから距離情報を算出する例について述べたが、複数フレームの画像を平均化して使用する、または複数フレームの距離情報を平均化して使用することによってＳＮＲを向上し、距離精度を向上したり、２次元方向の分解能を向上したりすることが可能である。
　また、フレーム間での距離情報の差分を求めることによって、２次元方向または１次元方向の速度情報を算出することも可能である。
  これらのことは他の実施例においても適用できる。
　実施例３では図３２の例のように１次元方向の測距を行う際にも、図２８のように２次元の画像センサ１０３を使用していることから、図２９のＳ５０１を２次元フーリエ変換により行わなければならず、計算コスト、画像センサコストが増大することになる。
  そこで、本実施例では１次元方向の測距に特化した構成について説明する。本実施例の構成は実施例３における図２８と同一でよいが、変調器１９０１の第１の格子パターン１０４を図３３に示すように１次元方向のパターンとする。このパターンにおける複数の直線は、基準座標に対して直線間距離が反比例して狭くなっている。このパターンは、
Figure JPOXMLDOC01-appb-M000022
により定義できる。このように、垂直方向に同一パターンが連続する格子パターンを使用することによって、水平方向にのみの検出を可能とする。
　この格子パターンを用いた例を図３４に示す。変調器３４０１とラインセンサ３４０２から構成されている。また、変調器３４０１の表面は式２０に基づく格子パターン３４０３により透過率が変調されている。本構成に依れば、１次元のラインセンサを用いることでセンサコストを抑圧し、さらにフーリエ変換を１次元フーリエ変換とすることで演算量を大幅に低減することが可能である。なお、この例ではセンサ側（裏面）の格子パターンを省略した構成を示しているが、もちろん裏面の格子パターンがある構成で実現してもよく、このことは全ての議論でも同様である。
　別の例を図３５に示す。シリンドリカルレンズ３５０１、変調器３５０２、ラインセンサ３４０２から構成されている。また、変調器３５０２の表面は式２０に基づく格子パターン３５０３により透過率が変調されている。さらに、シリンドリカルレンズ３５０１の焦点位置がラインセンサ３４０２上となるように配置されている。本構成に依れば、図３４よりも多くの光を用いて検出することができるため、距離情報のＳＮＲを向上することが可能である。
　さらに別の例を図３６に示す。変調器３５０２、画像センサ１０３、垂直方向加算部３６０１から構成されている。垂直方向加算部３６０１では、画像センサ１０３垂直方向の輝度を加算する演算を行う。本構成に依れば、図３５のようにシリンドリカルレンズ３５０１を用いなくても、よりも多くの光を用いて検出することができるため、距離情報のＳＮＲを向上することが可能である。
　なお、本実施例では図３３の１次元方向のパターンを測距に使用する例について述べたが、他の実施例の格子パターン１０４，１０５として使用することで、１次元方向に限定した撮影、リフォーカス、オートフォーカスなどの処理が可能であり、周波数スペクトルに必要な演算量を大幅に低減することが可能である。
　また、以上の例では水平方向の測距に特化した構成について説明したが、これに限定するものではなく、図３３に示した格子パターンを、
Figure JPOXMLDOC01-appb-M000023
のように、水平方向に同一パターンが連続する格子パターンを使用することによって、垂直方向にのみの検出を可能としたり、任意の角度方向の検出を行ったりすることも可能である。
  これらのことは他の実施例においても適用できる。
　これまでの実施例では、画像処理部２００２や距離計測部２２０１などの演算のため、撮像装置１０１サイズが大きくなってしまう可能性がある。そこで、本実施例では撮像装置１０１サイズを小さくするための処理分割方法について説明する。
　本実施例の構成を図３７に示す。実施例３の図２８と異なり、撮像装置１０１に含まれるのは主に変調器１９０１、画像センサ１０３であり、信号処理部３７０１に画像記憶部２２０１、画像処理部２２０２、距離計測部２８０１が含まれている。
  本構成において、撮像装置１０１出力を有線もしくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介してインターネットに接続するなどすれば、信号処理部３７０１はサーバなどで行っても良く、撮像装置１０１の大きさを制限することが無くなる。
  しかし、図３７の構成では画像センサ１０３出力のデータ容量が大きいことが問題になると考えられる。そこで、実施例２などのように、フォーカス位置が決まっている場合に画像を圧縮する方法について図３８で説明する。
　図３８は、実施例２の図２２と異なり、撮像装置１０１に含まれるのは主に変調器１９０１、画像センサ１０３、画像圧縮部３８０１、フォーカス設定部２２０３であり、信号処理部３８０２に画像処理部１０６が含まれている。
　図３９は、図３８の画像圧縮部３８０１による画像圧縮の概略を示すフローチャートである。フォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、裏面側の第２の格子パターン１０５の係数βをβ／αとする計算を行う（Ｓ３９０１）。その後、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する（Ｓ３９０２）。ここで、画像センサ１０３が有する画素１０３ａのピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいためにデータ容量が増大している。よって、モアレ像が解像できるだけの空間周波数を通過するＬＰＦ（Ｌｏｗ－Ｐａｓｓ　Ｆｉｌｔｅｒ）を作用させた後に（Ｓ３９０３）、ダウンサンプリングを行い（Ｓ３９０４）、データ容量を圧縮する。なお、このダウンサンプルの際のサンプリング周波数がＬＰＦ通過帯域の倍以上であればサンプリング定理上元の信号を復元することが可能であるため望ましいが、限定するものではない。
　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
  また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
　また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
  また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
  また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０１・・・撮像装置、１０２・・・変調器、１０２ａ・・・格子基板、１０２ｂ・・・支持部材、１０３・・・画像センサ、１０３ａ・・・画素、１０６・・・画像処理部、１０７・・・画像表示部、１０４・・・格子パターン（表側）、１０５・・・格子パターン（裏側）、４０１・・・被写体、１２０１・・・格子センサ一体基板、１４０１・・・点、１４０２・・・投影像、１６０１・・・点、１６０２・・・投影像、１９０１・・・変調器、１９０２・・・画像処理部、１９０３・・・強度変調部、２２０１・・・画像記憶部、２２０２・・・画像処理部、２２０３・・・フォーカス設定部、２４０１・・・フォーカス位置算出部、２６０１・・・領域、２６０１ａ・・・領域、２８０１・・・距離計測部、２８０２・・・距離情報表示部、３００１・・・領域、３００１ａ・・・領域、３００１ｂ・・・領域、３２０１・・・領域、３４０１・・・変調器、３４０２・・・ラインセンサ、３４０３・・・格子パターン、３５０１・・・シリンドリカルレンズ、３５０２・・・変調器、３５０３・・・格子パターン、３６０１・・・垂直方向加算部、３７０１・・・信号処理部、３８０１・・・画像圧縮部、３８０２・・・信号処理

Claims (15)

  1. 　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    　前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、
    　前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、
    　を具備し、
    　前記変調器は、複数の同心円から構成される第１の格子パターンを有し、
    　前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　適切なフォーカス位置を推定するフォーカス位置算出部を具備し、
    　前記フォーカス位置算出部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を算出し、前記評価指標のピークを検出することにより適切なフォーカス位置を推定することを特徴とする撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記信号処理部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を分割した領域毎に算出し、前記領域毎に前記評価指標のピークを検出することにより前記領域毎に被写体までの距離を推定することを特徴とする撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記領域は、撮影範囲の水平方向にのみ分割されていることを特徴とする撮像装置。
  5. 　請求項３に記載の撮像装置において、
    　前記領域は、撮影範囲の垂直方向にのみ分割されていることを特徴とする撮像装置。
  6. 　請求項１乃至５に記載の撮像装置において、
    　前記第１の格子パターン及び前記第２の格子パターンにおける前記複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなることを特徴とする撮像装置。
  7. 　請求項１乃至５に記載の撮像装置において、
    　前記信号処理部は、生成した前記モアレ縞画像を２次元フーリエ変換して周波数スペクトルを算出することを特徴とする撮像装置。
  8. 　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    　前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、
    　前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、
    　を具備し、
    　前記変調器は、複数の直線から構成される第１の格子パターンを有し、
    　前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の直線から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、
    　前記信号処理部は、フォーカス位置に応じて前記第２の格子パターンの直線間距離を変更することを特徴とする撮像装置。
  9. 　請求項８に記載の撮像装置において、
    　適切なフォーカス位置を推定するフォーカス位置算出部を具備し、
    　前記フォーカス位置算出部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を算出し、前記評価指標のピークを検出することにより適切なフォーカス位置を推定することを特徴とする撮像装置。
  10. 　請求項８に記載の撮像装置において、
    　被写体までの距離を推定する距離計測部を具備し、
    　前記距離計測部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を分割した領域毎に算出し、前記複数の領域毎に前記評価指標のピークを検出することにより複数の領域毎に被写体までの距離を推定することを特徴とする撮像装置。
  11. 　請求項８乃至１０に記載の撮像装置において、
    　前記第１の格子パターン及び前記第２の格子パターンにおける前記複数の直線は、基準座標に対して直線間距離が反比例して狭くなることを特徴とする撮像装置。
  12. 　請求項８乃至１０に記載の撮像装置において、
    　前記信号処理部は、生成した前記モアレ縞画像を１次元フーリエ変換して周波数スペクトルを算出することを特徴とする撮像装置。
  13. 　撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    　前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、
    　を具備し、
    　前記変調器は、複数の直線から構成される第１の格子パターンと第２の格子パターンを有し、
    　前記変調器は、前記第１の格子パターンを透過する光を前記第２の格子パターンにて強度変調することでモアレ縞画像を生成することを特徴とする撮像装置。
  14. 　請求項１３に記載の撮像装置において、
    　前記第１の格子パターン及び前記第２の格子パターンにおける前記複数の直線は、基準座標に対して直線間距離が反比例して狭くなることを特徴とする撮像装置。
  15. 　請求項１３に記載の撮像装置において、
    　前記信号処理部は、前記画像信号を１次元フーリエ変換して周波数スペクトルを算出することを特徴とする撮像装置。
PCT/JP2016/056323 2016-03-02 2016-03-02 撮像装置 WO2017149687A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/070,355 US10670829B2 (en) 2016-03-02 2016-03-02 Imaging device
CN201680070424.2A CN108370406B (zh) 2016-03-02 2016-03-02 摄像装置
JP2018502932A JP6571266B2 (ja) 2016-03-02 2016-03-02 撮像装置
PCT/JP2016/056323 WO2017149687A1 (ja) 2016-03-02 2016-03-02 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/056323 WO2017149687A1 (ja) 2016-03-02 2016-03-02 撮像装置

Publications (1)

Publication Number Publication Date
WO2017149687A1 true WO2017149687A1 (ja) 2017-09-08

Family

ID=59743613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056323 WO2017149687A1 (ja) 2016-03-02 2016-03-02 撮像装置

Country Status (4)

Country Link
US (1) US10670829B2 (ja)
JP (1) JP6571266B2 (ja)
CN (1) CN108370406B (ja)
WO (1) WO2017149687A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306911A1 (en) * 2016-10-04 2018-04-11 Hitachi, Ltd. Imaging device and imaging method
WO2019078333A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
WO2019078332A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 信号処理装置及び撮像装置
CN109900249A (zh) * 2017-12-11 2019-06-18 株式会社日立制作所 距离测量装置和距离测量方法
WO2019131191A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 ワイドコンバージョンレンズ及び撮像装置
WO2019131382A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 撮像装置
JP2019161574A (ja) * 2018-03-16 2019-09-19 株式会社日立製作所 撮像装置
WO2019182029A1 (ja) * 2018-03-23 2019-09-26 マクセル株式会社 撮像装置および撮像システム
WO2019188536A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JPWO2020261565A1 (ja) * 2019-06-28 2020-12-30
US10951793B2 (en) 2018-02-27 2021-03-16 Hitachi, Ltd. Imaging device, imaging method, and image processing device generating a complex sensor image
CN113409417A (zh) * 2021-07-15 2021-09-17 南京信息工程大学 一种基于小波变换的莫尔条纹信息提取方法
JP2021173874A (ja) * 2020-04-24 2021-11-01 Hoya株式会社 光学素子及び光学装置
US11228705B2 (en) 2018-08-08 2022-01-18 Maxell, Ltd. Imaging device, imaging system, and imaging method which manage a moving image captured by a lensless imaging device in a state in which the capacity of the moving image is reduced
WO2022113365A1 (ja) * 2020-11-30 2022-06-02 株式会社ニコン 合焦方法、観察装置、およびプログラム
US11740468B2 (en) 2018-09-18 2023-08-29 Maxell, Ltd. Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method
US11856281B2 (en) 2019-08-08 2023-12-26 Maxell, Ltd. Imaging device and method
US11991452B2 (en) 2019-07-31 2024-05-21 Maxell, Ltd. Imaging device, portable terminal, and exposure control method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670389B (zh) * 2017-10-16 2023-04-07 富士通株式会社 评价人脸图像中的光照条件的方法和设备
CN109858471A (zh) * 2019-04-03 2019-06-07 深圳市华付信息技术有限公司 基于图像质量的活体检测方法、装置及计算机设备
DE112021001887T5 (de) * 2020-03-27 2023-01-05 Sony Group Corporation Mikroskopsystem, bildgebungsverfahren und bildgebungsvorrichtung
CN115790452B (zh) * 2023-02-06 2023-05-16 西安知象光电科技有限公司 一种齿轮齿面三维形貌莫尔表征与测量方法
CN117804349B (zh) * 2024-03-01 2024-04-30 中国科学技术大学 一种基于莫尔条纹相关计算的光栅位移传感器调试方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145555A (ja) * 2011-01-14 2012-08-02 Canon Inc シアリング干渉測定装置およびその校正方法
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2390072C (en) * 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
CN101995594A (zh) 2005-08-29 2011-03-30 松下电器产业株式会社 衍射光学元件以及使用衍射光学元件的摄像装置
CN101443689B (zh) 2006-05-15 2010-11-17 松下电器产业株式会社 衍射摄像透镜、衍射摄像透镜光学系统及使用其的摄像装置
JP2009055479A (ja) * 2007-08-28 2009-03-12 Panasonic Corp イメージセンサ及び電磁波イメージング装置
US9402067B2 (en) * 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
CN104006765B (zh) 2014-03-14 2016-07-13 中国科学院上海光学精密机械研究所 单幅载频干涉条纹相位提取方法及检测装置
CN107736012B (zh) * 2015-06-17 2021-09-10 麦克赛尔株式会社 摄像装置和图像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145555A (ja) * 2011-01-14 2012-08-02 Canon Inc シアリング干渉測定装置およびその校正方法
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306911A1 (en) * 2016-10-04 2018-04-11 Hitachi, Ltd. Imaging device and imaging method
JPWO2019078333A1 (ja) * 2017-10-19 2020-11-05 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
WO2019078333A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
WO2019078332A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 信号処理装置及び撮像装置
CN111201778B (zh) * 2017-10-19 2022-02-08 索尼公司 成像装置、曝光控制方法、计算机可读存储介质和成像器件
JP7156299B2 (ja) 2017-10-19 2022-10-19 ソニーグループ株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
JPWO2019078332A1 (ja) * 2017-10-19 2020-11-19 ソニー株式会社 信号処理装置及び撮像装置
JP7230821B2 (ja) 2017-10-19 2023-03-01 ソニーグループ株式会社 信号処理装置及び撮像装置
US11431898B2 (en) 2017-10-19 2022-08-30 Sony Corporation Signal processing device and imaging device
JP7552746B2 (ja) 2017-10-19 2024-09-18 ソニーグループ株式会社 撮像装置及び信号処理装置
US11451715B2 (en) 2017-10-19 2022-09-20 Sony Corporation Imaging apparatus, exposure controlling method, and imaging device
CN111201778A (zh) * 2017-10-19 2020-05-26 索尼公司 成像装置、曝光控制方法、程序和成像器件
CN109900249A (zh) * 2017-12-11 2019-06-18 株式会社日立制作所 距离测量装置和距离测量方法
US10887504B2 (en) 2017-12-11 2021-01-05 Hitachi, Ltd. Distance measurement device and distance measurement method
CN109900249B (zh) * 2017-12-11 2021-07-09 株式会社日立制作所 距离测量装置和距离测量方法
JPWO2019131382A1 (ja) * 2017-12-26 2021-01-07 富士フイルム株式会社 撮像装置
CN111527737B (zh) * 2017-12-26 2022-03-25 富士胶片株式会社 摄像装置
CN111527737A (zh) * 2017-12-26 2020-08-11 富士胶片株式会社 摄像装置
US11288780B2 (en) 2017-12-26 2022-03-29 Fujifilm Corporation Imaging apparatus
WO2019131382A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 撮像装置
WO2019131191A1 (ja) * 2017-12-26 2019-07-04 富士フイルム株式会社 ワイドコンバージョンレンズ及び撮像装置
US10951793B2 (en) 2018-02-27 2021-03-16 Hitachi, Ltd. Imaging device, imaging method, and image processing device generating a complex sensor image
CN110278350A (zh) * 2018-03-16 2019-09-24 株式会社日立制作所 摄像装置
CN110278350B (zh) * 2018-03-16 2021-06-15 株式会社日立制作所 摄像装置
JP2019161574A (ja) * 2018-03-16 2019-09-19 株式会社日立製作所 撮像装置
WO2019182029A1 (ja) * 2018-03-23 2019-09-26 マクセル株式会社 撮像装置および撮像システム
US11743480B2 (en) 2018-03-23 2023-08-29 Maxell, Ltd. Imaging apparatus and imaging system
JP7373015B2 (ja) 2018-03-23 2023-11-01 マクセル株式会社 撮像方法
JP2019169879A (ja) * 2018-03-23 2019-10-03 マクセル株式会社 撮像装置および撮像システム
JP7076246B2 (ja) 2018-03-23 2022-05-27 マクセル株式会社 撮像装置および撮像システム
JP2022107641A (ja) * 2018-03-23 2022-07-22 マクセル株式会社 撮像方法
US11388431B2 (en) 2018-03-23 2022-07-12 Maxell, Ltd. Imaging apparatus and imaging system
US11470247B2 (en) 2018-03-29 2022-10-11 Sony Corporation Information processing device, information processing method, program, and information processing system
WO2019188536A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JPWO2019188536A1 (ja) * 2018-03-29 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP7238887B2 (ja) 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
US11228705B2 (en) 2018-08-08 2022-01-18 Maxell, Ltd. Imaging device, imaging system, and imaging method which manage a moving image captured by a lensless imaging device in a state in which the capacity of the moving image is reduced
US11812163B2 (en) 2018-08-08 2023-11-07 Maxell, Ltd. Imaging device having a modulator that includes at least a first grating pattern and a second grating patern having a phase deviating from a phase of the first grating pattern
US11570357B2 (en) 2018-08-08 2023-01-31 Maxell, Ltd. Imaging device and imaging system
US11740468B2 (en) 2018-09-18 2023-08-29 Maxell, Ltd. Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method
JPWO2020261565A1 (ja) * 2019-06-28 2020-12-30
JP7282884B2 (ja) 2019-06-28 2023-05-29 マクセル株式会社 ３次元認証装置、３次元認証システム、携帯型情報端末および３次元認証方法
WO2020261565A1 (ja) * 2019-06-28 2020-12-30 マクセル株式会社 ３次元認証装置、３次元認証システム、携帯型情報端末および３次元認証方法
US11869225B2 (en) 2019-06-28 2024-01-09 Maxell, Ltd. Three-dimensional authentication device, three-dimensional authentication system, portable information terminal, and three-dimensional authentication method
US11991452B2 (en) 2019-07-31 2024-05-21 Maxell, Ltd. Imaging device, portable terminal, and exposure control method
US11856281B2 (en) 2019-08-08 2023-12-26 Maxell, Ltd. Imaging device and method
US11774649B2 (en) 2020-04-24 2023-10-03 Hoya Corporation Optical element and optical apparatus
JP2021173874A (ja) * 2020-04-24 2021-11-01 Hoya株式会社 光学素子及び光学装置
WO2022113365A1 (ja) * 2020-11-30 2022-06-02 株式会社ニコン 合焦方法、観察装置、およびプログラム
CN113409417B (zh) * 2021-07-15 2023-05-30 南京信息工程大学 一种基于小波变换的莫尔条纹信息提取方法
CN113409417A (zh) * 2021-07-15 2021-09-17 南京信息工程大学 一种基于小波变换的莫尔条纹信息提取方法

Also Published As

Publication number Publication date
JP6571266B2 (ja) 2019-09-04
CN108370406A (zh) 2018-08-03
CN108370406B (zh) 2020-11-10
US20190339485A1 (en) 2019-11-07
US10670829B2 (en) 2020-06-02
JPWO2017149687A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6571266B2 (ja) 撮像装置
JP6491332B2 (ja) 撮像装置
JP3481631B2 (ja) 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US10461108B2 (en) Imaging device
CN109804616B (zh) 摄像装置
CN107896292B (zh) 摄像装置和摄像方法
WO2017145348A1 (ja) 撮像装置
US10488561B2 (en) Imaging device
US10887504B2 (en) Distance measurement device and distance measurement method
JP6646619B2 (ja) 撮像装置
JP6807281B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP7097787B2 (ja) 撮像装置および撮像方法
JP7389195B2 (ja) 画像生成方法
JP7183429B2 (ja) 撮像装置および方法
JP4091455B2 (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
JP2000121335A (ja) モアレ測定方法及びそれを用いたモアレ測定装置
CN110278350B (zh) 摄像装置
JP7159118B2 (ja) 撮像装置
JP6636663B2 (ja) 撮像装置及び画像生成方法
JP7065761B2 (ja) 距離計測装置および距離計測方法
Omidi et al. Single-shot detection of 8 unique monochrome fringe patterns representing 4 distinct directions via multispectral fringe projection profilometry

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018502932

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16892530

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16892530

Country of ref document: EP

Kind code of ref document: A1