[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020166349A1 - 受光装置、ヒストグラム生成方法、および測距システム - Google Patents

受光装置、ヒストグラム生成方法、および測距システム Download PDF

Info

Publication number
WO2020166349A1
WO2020166349A1 PCT/JP2020/003342 JP2020003342W WO2020166349A1 WO 2020166349 A1 WO2020166349 A1 WO 2020166349A1 JP 2020003342 W JP2020003342 W JP 2020003342W WO 2020166349 A1 WO2020166349 A1 WO 2020166349A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
unit
bits
bit
light receiving
Prior art date
Application number
PCT/JP2020/003342
Other languages
English (en)
French (fr)
Inventor
鈴木　伸治
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/427,960 priority Critical patent/US20220128660A1/en
Publication of WO2020166349A1 publication Critical patent/WO2020166349A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K23/00—Pulse counters comprising counting chains; Frequency dividers comprising counting chains

Definitions

  • the present technology relates to a light receiving device, a histogram generating method, and a distance measuring system, and particularly to a light receiving device, a histogram generating method, and a distance measuring system that can realize a histogram generating circuit with a small area and low power consumption.
  • the DirectToF sensor (hereinafter, simply referred to as ToF sensor) directly measures the distance from the time when the light is projected toward the subject and the time when the reflected light reflected from the subject is received.
  • the flight time of light from the time when the light is projected to the time when the reflected light is received is converted to distance data (hereinafter referred to as ToF data) by the TDC (time to digital converter).
  • ToF data distance data
  • TDC time to digital converter
  • the ToF sensor outputs ToF data at a high rate from the TDC due to the influence of false light reception reactions due to ambient light, multipath light, or noise, but in order to generate a histogram without missing data, histogram generation is required.
  • the circuit also needs to operate at the same high rate as the output rate from the TDC.
  • the present technology has been made in view of such a situation, and makes it possible to realize a histogram generation circuit with a small area and low power consumption.
  • the light receiving device includes a measurement unit that measures time information from the light emission timing of the light source to the light reception timing when the light receiving element receives light, and based on the time information, accumulates N bits as a frequency value.
  • a histogram generation circuit for generating possible histograms, the histogram generation circuit operating at a first speed, and generating a lower bit of the N bits; And a higher-order bit generation unit that operates at a slower second speed and generates a higher-order bit of the N bits.
  • the histogram generation method includes a measurement unit that measures time information from a light emission timing of a light source to a light reception timing at which a light receiving element receives light, and accumulates N bits as a frequency value based on the time information.
  • the measurement unit measures the time information, and the histogram generation circuit operates at a first speed, and based on the time information. Generating lower bits of the N bits in the histogram, operating at a second speed slower than the first speed, and calculating upper bits of the N bits in the histogram based on the time information. This is a method for generating a histogram.
  • the distance measuring system includes an illuminating device that emits irradiation light and a light receiving device that receives reflected light with respect to the irradiation light.
  • a measurement unit that measures time information up to the received light reception timing, and a histogram generation circuit that generates a histogram capable of accumulating N bits as a frequency value based on the time information, the histogram generation circuit comprising: A low-order bit generation unit that operates at a speed of 1 and generates a low-order bit of the N bits, and a second speed that is slower than the first speed to generate a high-order bit of the N bits And a high-order bit generation unit for
  • the time information from the light emission timing of the light source to the light reception timing of the light received by the light receiving element is measured, and in the histogram generation circuit, based on the time information, N bits are set as the frequency value.
  • a histogram is generated that can store The histogram generation circuit operates at a first speed, a lower bit generation unit that generates a lower bit of the N bits, and a second speed that is slower than the first speed. And a high-order bit generation unit that generates high-order bits of the above.
  • the light receiving device and the distance measuring system may be independent devices, or may be modules incorporated in other devices.
  • FIG. 3 is a block diagram showing a detailed configuration example of a signal processing unit in FIG. 2. It is a figure explaining detection of a carry bit. It is a flow chart explaining distance measurement processing.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a distance measuring system to which the present technology is applied.
  • the distance measuring system 11 is a system that captures a range image using the ToF method, for example.
  • the distance image is an image in which the distance in the depth direction from the distance measuring system 11 to the subject is detected in pixel units, and the signal of each pixel is a distance pixel signal based on the detected distance.
  • the distance measuring system 11 includes a lighting device 21 and an imaging device 22.
  • the lighting device 21 includes a lighting control unit 31 and a light source 32.
  • the illumination control unit 31 controls the pattern in which the light source 32 emits light under the control of the control unit 42 of the imaging device 22. Specifically, the illumination control unit 31 controls the pattern in which the light source 32 emits light according to the irradiation code included in the irradiation signal supplied from the control unit 42.
  • the irradiation code consists of two values, 1 (High) and 0 (Low), and the illumination control unit 31 turns on the light source 32 when the irradiation code has a value of 1, and the light source when the irradiation code has a value of 0. Turn off 32.
  • the light source 32 emits light in a predetermined wavelength range under the control of the illumination control unit 31.
  • the light source 32 is, for example, an infrared laser diode.
  • the type of the light source 32 and the wavelength range of the irradiation light can be arbitrarily set according to the application of the distance measuring system 11 and the like.
  • the image pickup device 22 is a device that receives the reflected light that is the light (illumination light) emitted from the illumination device 21 and reflected by the subject 12 and the subject 13.
  • the imaging device 22 includes an imaging unit 41, a control unit 42, a display unit 43, and a storage unit 44.
  • the image pickup unit 41 includes a lens 51 and a light receiving device 52.
  • the lens 51 forms an image of incident light on the light receiving surface of the light receiving device 52.
  • the configuration of the lens 51 is arbitrary, and for example, the lens 51 can be configured by a plurality of lens groups.
  • the light receiving device 52 includes, for example, a sensor using a SPAD (Single Photon Avalanche Diode) as a light receiving element for each pixel. Under the control of the control unit 42, the light receiving device 52 receives the reflected light from the subject 12, the subject 13, and the like, converts the pixel signal obtained as a result into distance information, and outputs the distance information to the control unit 42. In the light receiving device 52, the light receiving device 52 emits the irradiation light as the pixel value (distance pixel signal) of each pixel of the pixel array in which the pixels are two-dimensionally arranged in a row and column matrix. The distance image in which the digital count value obtained by counting the time until the light is received is stored is supplied to the control unit 42. A light emission timing signal indicating the light emission timing of the light source 32 is also supplied from the control unit 42 to the light receiving device 52.
  • SPAD Single Photon Avalanche Diode
  • the distance measuring system 11 repeats the light emission of the light source 32 and the reception of the reflected light a plurality of times (for example, thousands to tens of thousands of times), so that the imaging unit 41 causes the influence of ambient light, multipath, and the like.
  • the removed distance image is generated and supplied to the control unit 42.
  • the control unit 42 includes, for example, a control circuit such as an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), a processor, or the like.
  • the control unit 42 controls the illumination control unit 31 and the light receiving device 52. Specifically, the control unit 42 supplies an irradiation signal to the illumination control unit 31 and also supplies a light emission timing signal to the light receiving device 52.
  • the light source 32 emits irradiation light according to the irradiation signal.
  • the light emission timing signal may be an irradiation signal supplied to the illumination controller 31.
  • the control unit 42 supplies the distance image acquired from the imaging unit 41 to the display unit 43 and causes the display unit 43 to display the distance image. Further, the control unit 42 causes the storage unit 44 to store the distance image acquired from the imaging unit 41. Further, the control unit 42 outputs the distance image acquired from the image pickup unit 41 to the outside.
  • the display unit 43 is composed of a panel type display device such as a liquid crystal display device or an organic EL (Electro Luminescence) display device.
  • a panel type display device such as a liquid crystal display device or an organic EL (Electro Luminescence) display device.
  • the storage unit 44 can be configured by an arbitrary storage device, storage medium, or the like, and stores a distance image or the like.
  • FIG. 2 is a block diagram showing a configuration example of the light receiving device 52.
  • the light receiving device 52 includes a pixel driving unit 71, a pixel array 72, a MUX (multiplexer) 73, a time measuring unit 74, a signal processing unit 75, and an input/output unit 76.
  • the pixel array 72 has a configuration in which pixels 81 that detect the incidence of photons and output a detection signal indicating the detection result as a pixel signal are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the row direction means the arrangement direction of the pixels 81 in the horizontal direction
  • the column direction means the arrangement direction of the pixels 81 in the vertical direction.
  • the pixel array 72 is shown in a pixel array configuration of 10 rows and 12 columns due to space limitations, but the number of rows and columns of the pixel array 72 is not limited to this and is arbitrary.
  • the pixel drive line 82 is horizontally arranged for each pixel row with respect to the matrix-shaped pixel array of the pixel array 72.
  • the pixel drive line 82 transmits a drive signal for driving the pixel 81.
  • the pixel drive unit 71 drives each pixel 81 by supplying a predetermined drive signal to each pixel 81 via the pixel drive line 82.
  • the pixel driving section 71 has at least a part of the plurality of pixels 81 arranged two-dimensionally in a matrix at a predetermined timing according to a light emission timing signal supplied from the outside via the input/output section 76. Is set as an active pixel, and the remaining pixels 81 are set as inactive pixels. Active pixels are pixels that detect the incidence of photons, and inactive pixels are pixels that do not detect the incidence of photons. Of course, all the pixels 81 of the pixel array 72 may be active pixels. The detailed configuration of the pixel 81 will be described later.
  • the pixel drive line 82 is shown as one wiring in FIG. 2, it may be configured with a plurality of wirings. One end of the pixel drive line 82 is connected to the output end corresponding to each pixel row of the pixel drive unit 71.
  • the MUX 73 selects the output from the active pixel according to the switching between the active pixel and the inactive pixel in the pixel array 72. Then, the MUX 73 outputs the pixel signal input from the selected active pixel to the time measuring unit 74.
  • the time measuring unit 74 based on the pixel signal of the active pixel supplied from the MUX 73 and the light emission timing signal indicating the light emission timing of the light source 32, from the time when the light source 32 emits light until the time when the active pixel receives light. A count value corresponding to the time (light flight time) is generated.
  • the light emission timing signal is supplied from the outside (the control unit 42 of the imaging device 22) via the input/output unit 76.
  • the signal processing unit 75 receives the reflected light based on the light emission of the light source 32 repeatedly executed a predetermined number of times (for example, thousands to tens of thousands of times) and the reception of the reflected light (count value ) Is generated for each pixel. Then, the signal processing unit 75 detects the peak of the histogram to determine the time until the light emitted from the light source 32 is reflected by the subject 12 or the subject 13 and returns. The signal processing unit 75 generates a distance image in which a digital count value obtained by counting the time until the light receiving device 52 receives light is stored in each pixel, and supplies the distance image to the input/output unit 76.
  • the signal processing unit 75 performs a calculation for obtaining the distance to the object based on the determined time and speed of light, generates a distance image in which the calculation result is stored in each pixel, and supplies the distance image to the input/output unit 76. May be.
  • the input/output unit 76 outputs a distance image signal (distance image signal) supplied from the signal processing unit 75 to the outside (control unit 42). Further, the input/output unit 76 acquires the light emission timing signal supplied from the control unit 42 and supplies it to the pixel drive unit 71 and the time measuring unit 74.
  • FIG. 3 shows a circuit configuration example of the pixels 81 arranged in a matrix in the pixel array 72.
  • the pixel 81 in FIG. 3 includes a SPAD 101, a transistor 102, a switch 103, and an inverter 104.
  • the pixel 81 also includes a latch circuit 105 and an inverter 106.
  • the transistor 102 is composed of a P-type MOS transistor.
  • the cathode of the SPAD 101 is connected to the drain of the transistor 102, the input terminal of the inverter 104, and one end of the switch 103.
  • the anode of the SPAD 101 is connected to the power supply voltage VA (hereinafter, also referred to as the anode voltage VA).
  • the SPAD 101 is a photodiode (single photon avalanche photodiode) that avalanche-amplifies the generated electrons and outputs a signal of the cathode voltage VS when incident light is incident.
  • the power supply voltage VA supplied to the anode of the SPAD 101 is, for example, a negative bias (negative potential) of about -20V.
  • the transistor 102 is a constant current source that operates in the saturation region, and acts as a quenching resistor to perform passive quenching.
  • the source of the transistor 102 is connected to the power supply voltage VE, and the drain is connected to the cathode of the SPAD 101, the input terminal of the inverter 104, and one end of the switch 103.
  • the power supply voltage VE is also supplied to the cathode of the SPAD 101.
  • a pull-up resistor can be used instead of the transistor 102 connected in series with the SPAD 101.
  • a voltage larger than the breakdown voltage VBD of the SPAD 101 (hereinafter referred to as excess bias (Excess Bias)) is applied.
  • excess bias Excess Bias
  • the power supply voltage VE supplied to the source of the transistor 102 is set to 3V.
  • the applied voltage applied to the SPAD 101 is controlled (adjusted) according to the change in the breakdown voltage VBD.
  • the power supply voltage VE is a fixed voltage
  • the anode voltage VA is controlled (adjusted).
  • the switch 103 has one end connected to the cathode of the SPAD 101, the input terminal of the inverter 104, and the drain of the transistor 102, and the other end connected to a ground connection line 107 connected to the ground (GND). ..
  • the switch 103 can be composed of, for example, an N-type MOS transistor, and turns on/off the gating control signal VG, which is the output of the latch circuit 105, according to the gating inversion signal VG_I inverted by the inverter 106.
  • the latch circuit 105 supplies the inverter 106 with a gating control signal VG for controlling the pixel 81 to be either an active pixel or an inactive pixel, based on the trigger signal SET supplied from the pixel driving unit 71 and the address data DEC. Supply.
  • the inverter 106 inverts the gating control signal VG to generate a gating inversion signal VG_I, and supplies the gating inversion signal VG_I to the switch 103.
  • the trigger signal SET is a timing signal that indicates the timing of switching the gating control signal VG
  • the address data DEC is for the pixel set as the active pixel among the plurality of pixels 81 arranged in a matrix in the pixel array 72. It is data indicating an address.
  • the trigger signal SET and the address data DEC are supplied from the pixel drive unit 71 via the pixel drive line 82.
  • the latch circuit 105 reads the address data DEC at a predetermined timing indicated by the trigger signal SET. Then, when the pixel address indicated by the address data DEC includes the pixel address of itself (the pixel 81 thereof), the latch circuit 105 sets Hi(1) for setting the pixel 81 of itself to the active pixel. Output the gating control signal VG. On the other hand, when the pixel address indicated by the address data DEC does not include the pixel address of itself (the pixel 81 thereof), the gating control signal of Lo (0) for setting the own pixel 81 to the inactive pixel. Output VG.
  • the switch 103 is turned off (not connected) when the pixel 81 is set as an active pixel, and turned on (connected) when the pixel 81 is set as an inactive pixel.
  • the inverter 104 outputs a Hi detection signal PFout when the cathode voltage VS as an input signal is Lo, and outputs a Lo detection signal PFout when the cathode voltage VS is Hi.
  • the inverter 104 is an output unit that outputs incident photons to the SPAD 101 as a detection signal PFout.
  • FIG. 4 is a graph showing changes in the cathode voltage VS of the SPAD 101 according to the incidence of photons and the detection signal PFout.
  • the switch 103 is set to OFF as described above.
  • the power supply voltage VE for example, 3V
  • the power supply voltage VA for example, -20V
  • the reverse voltage larger than the breakdown voltage VBD is supplied to the SPAD 101.
  • the SPAD 101 is set to Geiger mode. In this state, the cathode voltage VS of the SPAD 101 is the same as the power supply voltage VE at time t0 in FIG. 4, for example.
  • the cathode voltage VS of the SPAD 101 becomes lower than 0V
  • the anode-cathode voltage of the SPAD 101 becomes lower than the breakdown voltage VBD
  • the avalanche amplification stops.
  • the current generated by the avalanche amplification flows through the transistor 102 to cause a voltage drop, and the cathode voltage VS becomes lower than the breakdown voltage VBD due to the generated voltage drop, so that the avalanche amplification is stopped.
  • the operation to be performed is the quench operation.
  • the inverter 104 outputs the Lo detection signal PFout when the cathode voltage VS which is the input voltage is equal to or higher than the predetermined threshold voltage Vth, and outputs the Hi detection signal PFout when the cathode voltage VS is lower than the predetermined threshold voltage Vth.
  • the detection signal PFout is inverted from low level to high level.
  • the cathode voltage VS rises and becomes equal to or higher than the threshold voltage Vth
  • the detection signal PFout is inverted from the high level to the low level.
  • the gating inversion signal VG_I of Hi(1) is supplied to the switch 103, and the switch 103 is turned on.
  • the cathode voltage VS of the SPAD 101 becomes 0V.
  • the voltage between the anode and the cathode of the SPAD 101 becomes lower than the breakdown voltage VBD, so that no reaction occurs even when photons enter the SPAD 101.
  • the signal processing unit 75 creates a histogram of count values corresponding to the time until the reflected light is received, based on the light emission of the light source 32 repeatedly executed a predetermined number of times and the reception of the reflected light. Generate for each pixel.
  • the count value corresponding to the distance information to the subject will also be referred to as ToF data.
  • FIG. 5 shows an example of a histogram of a predetermined pixel 81 generated by the signal processing unit 75.
  • the horizontal axis of the histogram shown in FIG. 5 represents the ToF data value (ToF value), and the vertical axis represents the number of times each ToF value was detected (frequency value).
  • the peak of the histogram is the ToF value indicated by D1, and this ToF value is output as the ToF data of this pixel 81.
  • a histogram as shown in FIG. 5 is calculated for each pixel of the pixel array 72, and a distance image in which ToF data of the peak of the histogram is stored in each pixel is output to the control unit 42 (FIG. 1). To be done.
  • the circuit area of the histogram generation circuit that generates the histogram as shown in Fig. 5 increases as the resolution (spatial resolution or temporal resolution) of the ranging system is increased.
  • the configuration of the signal processing unit applied to the signal processing unit 75 of the light receiving device 52 and capable of suppressing the circuit area of the histogram generation circuit will be described below.
  • a configuration example of the signal processing unit 301 which is a comparative example for comparison with the signal processing unit 75 to which the present technology is applied, will be described, and then the configuration of the signal processing unit 75 of the light receiving device 52. Will be described.
  • FIG. 6 is a block diagram showing a configuration example of the signal processing unit 301 as a comparative example.
  • the signal processing unit 301 in FIG. 6 includes one histogram generation circuit 321 corresponding to one TDC (time to digital converter) 91 provided in the time measuring unit 74.
  • the histogram generation circuit 321 is a circuit that generates one histogram capable of accumulating N bits as a frequency value.
  • the histogram generation circuit 321 includes a decoder 331 and M flip-flop circuits (hereinafter, referred to as FF circuits) 332 1 to 332 M.
  • the M FF circuits 332 1 to 332 M will be simply referred to as FF circuits 332 unless particularly distinguished.
  • the FF circuit 332 is an N-bit memory that stores the frequency value of a predetermined ToF value.
  • One FF circuit 332 corresponds to one bin in the histogram of FIG. 5, and M is a sufficient value (number of bins) for the distance measurable by the ToF sensor.
  • the number of bits N of the FF circuit 332 is a sufficient value for the frequency value that each bin can take.
  • the TDC 91 of the time measuring unit 74 is provided corresponding to one or more pixels 81 of the pixel array 72.
  • the pixel array 72 and the time measuring unit 74 are shown to clarify the correspondence relationship with the histogram generation circuit 321.
  • the TDC 91 of the time measuring unit 74 is provided for one or more pixels 81 of the pixel array 72.
  • the pixels 81 and the TDC 91 are provided in a one-to-one correspondence, and the time measuring unit 74 sets the number of pixels in the pixel array 72 to Equipped with the same number of TDC 91.
  • the time measuring unit 74 includes the same number of TDCs 91 as the pixel rows of the pixel array 72. Therefore, the number of TDCs 91 included in the time measuring unit 74 is determined according to a request such as the number of pixels to be set as active pixels at the same time by receiving light once.
  • the pixel signal of the pixel 81 set as the active pixel that is, the detection signal PFout described above is input to the TDC 91.
  • the TDC 91 counts the time (period) when the Hi detection signal PFout is input, and outputs the count value (ToF value) that is the count result to the histogram generation circuit 321 as ToF data.
  • the TDC 91 corresponds to a measuring unit that measures time information from the light emission timing of the light source 32 to the light reception timing of the light received by the pixel 81.
  • the ToF data from the TDC 91 is decoded by the decoder 331 and stored in any of the FF circuits 332 1 to 332 M corresponding to the ToF value.
  • the decoder 33 depending on the ToF data input, select one of the FF circuits 332 1 to 332 M, counts up the frequency value of the FF circuit 332 selected.
  • FIG. 7 is a block diagram showing a detailed configuration example of the signal processing unit 75 of FIG. 2, which is a signal processing unit to which the present technology is applied.
  • the signal processing unit 75 of FIG. 7 includes one histogram generation circuit 121 corresponding to one TDC 91 provided in the time measuring unit 74.
  • the histogram generation circuit 121 is a circuit that generates one histogram capable of accumulating N bits as a frequency value.
  • the relationship between the pixel 81 of the pixel array 72 and the TDC 91 of the time measuring section 74 is the same as that in the case of FIG.
  • the lower bit generation unit 122A includes a decoder 131, M flip-flop circuits (hereinafter referred to as FF circuits) 132 1 to 132 M , and M carry bits 133 1 to 133 M.
  • FF circuits M flip-flop circuits
  • the M FF circuits 132 1 to 132 M and the M carry bits 133 1 to 133 M have a one-to-one correspondence.
  • the M FF circuits 132 1 to 132 M are simply referred to as the FF circuits 132, and the M carry bits 133 1 to 133 M are simply referred to as the carry bits 133, respectively. ..
  • the upper bit generation unit 122B includes a control unit 141 and an Nb bit memory unit 142.
  • the decoder 131 performs the same operation as the decoder 331 of FIG. That is, the decoder 131 selects any of the FF circuits 132 1 to 132 M corresponding to the ToF value of the input ToF data, and counts up the lower Na bits of the frequency value of the selected FF circuit 332.
  • the M FF circuits 132 store the lower Na bits of the frequency value of each ToF value.
  • the carry bit 133 detects the carry of the Na bit of the corresponding FF circuit 132, and turns on (“1”) the bit (hereinafter referred to as carry bit) when the carry occurs. After the carry bit is turned on (“1”), it is detected by the control unit 141 of the higher bit generation unit 122B and then reset to be turned off (“0”).
  • the control unit 141 of the upper bit generation unit 122B controls the memory unit 142 based on the M carry bits 133 1 to 133 M of the lower bit generation unit 122A. For example, the control unit 141 periodically checks the bit state of the M carry bits 133 1 to 133 M , that is, ON (“1”) or OFF (“0”), and the carry bit in which ON is detected. The frequency value of the upper Nb bits of the bin of the memory unit 142 corresponding to 133 is counted up.
  • the trigger signal TR indicating that may be supplied to the control unit 141.
  • the control unit 141 acquires the trigger signal TR, the control unit 141 confirms the bit states of the M carry bits 133 1 to 133 M , and the upper Nb bits of the bin of the memory unit 142 corresponding to the carry bit 133 of which ON is detected. Count up the frequency value of.
  • a trigger signal generation unit 135 including a plurality of stages of OR circuits 134 is provided, and the trigger signal generation unit 135 triggers by the logical sum of detection signals indicating that M carry bits 133 are turned on.
  • the signal TR may be generated and supplied to the control unit 141, and the control unit 141 may confirm the bit state of each carry bit 133 by the M signal lines 136.
  • the control unit 141 resets the bit state of the carry bit 133, which has updated the frequency value of a predetermined bin in the memory unit 142, from ON to OFF.
  • the memory unit 142 is composed of, for example, SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), etc., and stores the upper Nb bits of the frequency value of each of the M ToF values.
  • the lower bit generation unit 122A needs to be able to process the count operation of the frequency value at the timing of ToF data supplied from the TDC 91, in other words, at the output rate of ToF data. Therefore, the lower bit generation unit 122A counts and stores the frequency value of the lower Na bits by using the FF circuit 132 capable of high speed operation.
  • the memory unit 142 on the side of higher bits does not need to operate as fast as the output rate of ToF data.
  • the high-order bits will operate at a throughput of 1 MHz. Good. Therefore, the high-order bit generation unit 122B that stores the high-order Nb bits can be configured by SRAM or DRAM.
  • the FF circuit can operate at high speed, but the wiring density is low.
  • SRAMs and DRAMs cannot operate as fast as FF circuits, but can have a high wiring density. Therefore, the signal processing unit 75 can be realized in a small area, as compared with the case where the memory for storing the frequency value of N bits is all configured by the FF circuit like the histogram generation circuit 321 in FIG. .. Further, since the high-order bit generation unit 122B can operate at low speed, it is possible to suppress power consumption.
  • the histogram generation circuit 121 of the signal processing unit 75 of FIG. 7 can be realized with a small area and low power consumption as compared with the histogram generation circuit 321 of the signal processing unit 301 of FIG.
  • step S11 the control unit 42 of the imaging device 22 supplies an irradiation signal to the lighting control unit 31 of the lighting device 21 to cause the light source 32 to emit light.
  • the light source 32 emits light in a predetermined wavelength range according to the irradiation code included in the irradiation signal.
  • a light emission timing signal indicating the light emission timing of the light source 32 is also supplied from the control unit 42 to the light receiving device 52.
  • step S12 the light receiving device 52 sets at least a part of the plurality of pixels 81 of the pixel array 72 as active pixels, and receives the light emitted by the light source 32 and reflected by the subject.
  • the pixel 81 set as the active pixel detects the incidence of photons on the SPAD 101 and outputs a Hi detection signal PFout to the TDC 91.
  • step S13 the TDC 91 measures time information from the light emission timing of the light source 32 to the light reception timing of the light received by the active pixel. Specifically, the TDC 91 counts the time (period) when the Hi detection signal PFout is input, and outputs the count value that is the count result to the histogram generation circuit 121 as ToF data.
  • step S14 the decoder 131 counts up the lower bit Na of the bin corresponding to the ToF data (ToF value) input from the TDC 91. That is, the decoder 131 selects one of the FF circuits 132 1 to 132 M corresponding to the ToF value of the input ToF data and counts up the frequency value of the selected FF circuit 332.
  • step S15 the M carry bits 133 detect the carry of the lower bit Na of the corresponding FF circuit 132. That is, carry bit 133 determines whether or not carry of lower bit Na of corresponding FF circuit 132 has occurred.
  • step S15 If it is determined in step S15 that a carry has occurred, the process proceeds to step S16, and the carry bit 133 that has detected a carry turns on its own bit (carry bit).
  • step S17 the control unit 141 detects ON of a predetermined carry bit among the M carry bits 133 1 to 133 M , and updates the memory unit 142. That is, the control unit 141 counts up the frequency value of the upper Nb bits of the bin of the memory unit 142 corresponding to the carry bit 133 of which ON is detected.
  • step S15 determines whether carry has occurred. If it is determined in step S15 that no carry has occurred, the processes of steps S16 and S17 are skipped, and the process proceeds to step S18.
  • step S18 the histogram generation circuit 121 determines whether the measurement has been performed a predetermined number of times (for example, thousands to tens of thousands).
  • step S18 If it is determined in step S18 that the measurement has not been performed the predetermined number of times, the process returns to step S11, and steps S11 to S18 described above are repeated. That is, the generation (update) of the histogram based on the input ToF data is continued.
  • step S18 determines the frequency of the histogram of the histogram holding circuit 151 for each pixel 81 set as the active pixel.
  • the control unit 42 outputs the distance image acquired from the imaging unit 41 to the outside, and ends the distance measurement processing.
  • the signal processing unit 75 In the process of step S18 described above, the signal processing unit 75 generates a histogram of ToF values in pixel units, and outputs to the control unit 42 a range image in which the ToF value of the peak is stored in each pixel.
  • the signal processing unit 75 may generate a distance image in which the distance to the object calculated based on the time (ToF value) and the speed of light is stored as a pixel value in each pixel and output the distance image to the control unit 42. Good.
  • the signal processing unit 75 may directly output the histogram generated by the histogram generation circuit 121 in pixel units to the control unit 42. In this case, N-bit data composed of the upper Nb bits and the lower Na bits may be output, or only the upper Nb bits may be output because the lower Na bits are assumed to be a noise component. ..
  • the light receiving device 52 can be configured by, for example, one chip (semiconductor chip) having a laminated structure in which three substrates (dies) are laminated.
  • FIG. 10 shows an arrangement example of each part when the light receiving device 52 is configured by one chip having a laminated structure of three substrates.
  • the light receiving device 52 is configured by stacking a first substrate 192A, a second substrate 192B, and a third substrate 192C.
  • the first substrate 192A and the second substrate 192B are electrically connected by a through via or a Cu-Cu metal joint
  • the second substrate 192B and the third substrate 192C are electrically connected by a through via or a Cu-Cu metal joint. Connected to.
  • the pixel array 72 is formed on the first substrate 192A.
  • the MUX 73, the time measuring unit 74, and a part of the signal processing unit 75 are arranged on the second substrate 192B.
  • the decoder 131, the M FF circuits 132 1 to 132 M , the M carry bits 133 1 to 133 M, and the like of the signal processing unit 75 are arranged on the second substrate 192B.
  • the illustration of the decoder 131 is omitted.
  • the remaining signal processing units 75 not arranged on the second substrate 192B such as the control unit 141 and the Nb bit memory unit 142, are arranged.
  • the output terminals of the M carry bits 133 1 to 133 M of the second substrate 192B and the control unit 141 of the third substrate 192C are connected by TSV (Through Silicon Via) or the like.
  • the frequency value of N bits is divided into two, that is, the lower Na bits and the upper Nb bits has been described.
  • the memory unit storing the lower Na bits is an FF circuit
  • the memory unit storing the middle Nb bits is an SRAM
  • the memory unit storing the upper Nc bits is a DRAM. can do.
  • the present technology is not limited to the application to the ranging system. That is, the present technology can be applied to general electronic devices such as smartphones, tablet terminals, mobile phones, personal computers, game machines, television sets, wearable terminals, digital still cameras, digital video cameras, and the like.
  • the above-mentioned imaging unit 41 may have a modular form in which the lens 51 and the light receiving device 52 are packaged together, or the lens 51 and the light receiving device 52 are separately configured, and only the light receiving device 52 is a single chip. You may comprise as.
  • FIG. 11 is a diagram showing a usage example of the distance measuring system 11 or the light receiving device 52 described above.
  • the distance measuring system 11 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
  • -A device that captures images used for viewing, such as a digital camera or a mobile device with camera function.
  • Devices used for traffic such as in-vehicle sensors that photograph the rear, surroundings, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, ranging sensors that measure the distance between vehicles, etc.
  • Devices used for home appliances such as TVs, refrigerators, and air conditioners to take images and operate the devices according to the gestures ⁇ Endoscopes, devices that take blood vessels by receiving infrared light, etc.
  • ⁇ Security devices such as surveillance cameras for crime prevention and cameras for person authentication
  • ⁇ Skin measuring device for skin and scalp A device used for beauty, such as a microscope, a device used for sports, such as an action camera or wearable camera for sports, etc.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown as the functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjustment and a control device such as a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives input of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes a function of ADAS (Advanced Driver Assistance System) that includes collision avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 13 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the front images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 13 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100).
  • the closest three-dimensional object on the traveling path of the vehicle 12100 which travels in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as a preceding vehicle by determining it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the distance measuring system 11 of FIG. 1 can be applied to the image capturing unit 12031.
  • the imaging unit 12031 is, for example, a LIDAR, and is used to detect an object around the vehicle 12100 and a distance to the object.
  • the detection accuracy of the object around the vehicle 12100 and the distance to the object is improved.
  • a vehicle collision warning can be given at an appropriate timing, and a traffic accident can be prevented.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present technology may have the following configurations.
  • a measuring unit that measures time information from the light emitting timing of the light source to the light receiving timing when the light receiving element receives light,
  • a histogram generation circuit for generating a histogram capable of accumulating N bits as a frequency value based on the time information, The histogram generation circuit,
  • a lower bit generation unit that operates at a first speed and generates a lower bit of the N bits;
  • An upper bit generation unit that operates at a second speed lower than the first speed and that generates an upper bit of the N bits.
  • the lower bit generation unit has an FF circuit that stores the lower bit
  • the light-receiving device wherein the higher-order bit generation unit includes an SRAM or a DRAM that stores the higher-order bit.
  • the higher-order bit generation unit includes a control unit and a memory unit that stores the higher-order bit
  • the control unit periodically checks the bit and updates a frequency value of the memory unit corresponding to the carry of the lower bit.
  • the control unit acquires a trigger signal indicating that the bit is turned on, the control unit checks the bit and updates the frequency value corresponding to the carry of the lower bit in the memory unit.
  • apparatus (6)
  • the light receiving device according to any one of (1) to (5), which is configured by one chip having a laminated structure of three substrates.
  • the three substrates are A first substrate having a pixel array formed thereon; A second substrate on which the lower bit generator is formed; And a third substrate on which the upper bit generation unit is formed, the light receiving device according to (6).
  • a measuring unit that measures time information from the light emitting timing of the light source to the light receiving timing when the light receiving element receives light, A histogram generation circuit for generating a histogram capable of accumulating N bits as a frequency value based on the time information; The measuring unit measures the time information, The histogram generation circuit operates at a first speed to generate a lower bit of the N bits in the histogram based on the time information, and operates at a second speed slower than the first speed.
  • a lighting device that emits irradiation light, A light receiving device for receiving reflected light with respect to the irradiation light, The light receiving device, A measuring unit that measures time information from the light emitting timing of the light source to the light receiving timing when the light receiving element receives light, A histogram generation circuit for generating a histogram capable of accumulating N bits as a frequency value based on the time information, The histogram generation circuit, A lower bit generation unit that operates at a first speed and generates a lower bit of the N bits; A higher-order bit generation unit that operates at a second speed slower than the first speed and that generates a higher-order bit of the N bits.
  • 11 distance measuring system 21 illumination device, 22 imaging device, 31 illumination control unit, 32 light source, 41 imaging unit, 42 control unit, 52 light receiving device, 71 pixel drive unit, 72 pixel array, 73 MUX, 74 time measurement unit, 75 signal processing unit, 76 input/output unit, 81 pixel, 91 TDC, 101 SPAD, 121 histogram generation circuit, 122A lower bit generation unit, 122B upper bit generation unit, 131 decoder, 132 1 to 132 M FF circuit, 133 1 to 133 133 M carry bit, 134 OR circuit, 135 trigger signal generation unit, 136 signal line, 141 control unit, 142 memory unit, 192A first substrate, 192B second substrate, 192C third substrate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにする受光装置、ヒストグラム生成方法、および測距システムに関する。 受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備える。ヒストグラム生成回路は、第１の速度で動作し、Nビットのうちの下位ビットを生成する下位ビット生成部と、第１の速度よりも遅い第２の速度で動作し、Nビットのうちの上位ビットを生成する上位ビット生成部とを備える。本技術は、例えば、例えば、被写体までの奥行き方向の距離を検出する測距システム等に適用できる。

Description

受光装置、ヒストグラム生成方法、および測距システム
　本技術は、受光装置、ヒストグラム生成方法、および測距システムに関し、特に、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにした受光装置、ヒストグラム生成方法、および測距システムに関する。
　被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある（例えば、特許文献１参照）。Direct ToFセンサ（以下、単にToFセンサと称する。）は、被写体に向けて光を投射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。
　ToFセンサでは、光を投射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離データ（以下、ToFデータと称する。）に変換されるが、外乱光やマルチパスの影響を除去するために、光の投射と受信が複数回に渡って実施される。そして、複数回分のToFデータのヒストグラムが生成され、頻度値が最も大きいToFデータが、最終的なToFデータとして出力される。
　ToFセンサでは、外乱光やマルチパス光、または、ノイズによる偽の受光反応の影響により、TDCから高レートでToFデータが出力されるが、データの取りこぼしなくヒストグラムを生成するためには、ヒストグラム生成回路も、TDCからの出力レートと同じ高レートで動作させる必要がある。
特開２０１０－９１３７７号公報
　しかしながら、ヒストグラム生成回路を、TDCからの出力レートに対応する高レートで動作させる場合、ヒストグラム生成回路の面積および動作電力が増大する。この問題は、今後、ToFセンサの解像度が向上していくと、より顕著になる。
　本技術は、このような状況に鑑みてなされたものであり、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにするものである。
　本技術の第１の側面の受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備え、前記ヒストグラム生成回路は、第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部とを備える。
　本技術の第２の側面のヒストグラム生成方法は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備える受光装置の、前記計測部が、前記時間情報を計測し、前記ヒストグラム生成回路が、第１の速度で動作して、前記時間情報に基づいて前記ヒストグラムにおける前記Nビットのうちの下位ビットを生成し、前記第１の速度よりも遅い第２の速度で動作して、前記時間情報に基づいて前記ヒストグラムにおける前記Nビットのうちの上位ビットを生成するヒストグラム生成方法である。
　本技術の第３の側面の測距システムは、照射光を照射する照明装置と、前記照射光に対する反射光を受光する受光装置とを備え、前記受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路とを備え、前記ヒストグラム生成回路は、第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部とを備える。
　本技術の第１乃至第３の側面においては、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報が計測され、ヒストグラム生成回路において、前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムが生成される。前記ヒストグラム生成回路は、第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部とで構成される。
　受光装置及び測距システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。 図１の受光装置の構成例を示すブロック図である。 画素の回路構成例を示す図である。 図３の画素の動作を説明する図である。 信号処理部が生成するヒストグラムの例を示す図である。 比較例としての信号処理部の構成例を示すブロック図である。 図２の信号処理部の詳細構成例を示すブロック図である。 キャリービットの検出を説明する図である。 測距処理を説明するフローチャートである。 ３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示す平面図である。 測距システムの使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距システムの構成例
２．受光装置の構成例
３．画素回路の構成例
４．比較例としての信号処理部の構成例
５．本技術の信号処理部の詳細構成例
６．測距システムによる測距処理
７．チップ構成例
８．測距システムの使用例
９．移動体への応用例
＜１．測距システムの構成例＞
　図１は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
　測距システム１１は、例えば、ToF法を用いて距離画像の撮影を行うシステムである。ここで、距離画像とは、測距システム１１から被写体までの奥行き方向の距離を画素単位で検出し、各画素の信号が、検出した距離に基づく距離画素信号からなる画像のことである。
　測距システム１１は、照明装置２１及び撮像装置２２を備える。
　照明装置２１は、照明制御部３１及び光源３２を備える。
　照明制御部３１は、撮像装置２２の制御部４２の制御の下に、光源３２が光を照射するパターンを制御する。具体的には、照明制御部３１は、制御部４２から供給される照射信号に含まれる照射コードに従って、光源３２が光を照射するパターンを制御する。例えば、照射コードは、１（High）と０（Low）の２値からなり、照明制御部３１は、照射コードの値が１のとき光源３２を点灯させ、照射コードの値が０のとき光源３２を消灯させる。
　光源３２は、照明制御部３１の制御の下に、所定の波長域の光を発する。光源３２は、例えば、赤外線レーザダイオードからなる。なお、光源３２の種類、及び、照射光の波長域は、測距システム１１の用途等に応じて任意に設定することが可能である。
　撮像装置２２は、照明装置２１から照射された光（照射光）が被写体１２及び被写体１３等により反射された反射光を受光する装置である。撮像装置２２は、撮像部４１、制御部４２、表示部４３、及び、記憶部４４を備える。
　撮像部４１は、レンズ５１、及び、受光装置５２を備える。
　レンズ５１は、入射光を受光装置５２の受光面に結像させる。なお、レンズ５１の構成は任意であり、例えば、複数のレンズ群によりレンズ５１を構成することも可能である。
　受光装置５２は、例えば、各画素に受光素子としてSPAD（Single Photon Avalanche Diode）を用いたセンサからなる。受光装置５２は、制御部４２の制御の下に、被写体１２及び被写体１３等からの反射光を受光し、その結果得られた画素信号を距離情報に変換して制御部４２に出力する。受光装置５２は、行方向及び列方向の行列状に画素が２次元配置された画素アレイの各画素の画素値（距離画素信号）として、照明装置２１が照射光を照射してから受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が格納された距離画像を、制御部４２に供給する。光源３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。
　なお、測距システム１１は、光源３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、撮像部４１が、外乱光やマルチパス等の影響を除去した距離画像を生成し、制御部４２に供給する。
　制御部４２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等の制御回路やプロセッサ等により構成される。制御部４２は、照明制御部３１、及び、受光装置５２の制御を行う。具体的には、制御部４２は、照明制御部３１に照射信号を供給するとともに、発光タイミング信号を受光装置５２に供給する。光源３２は、照射信号に応じて照射光を発光する。発光タイミング信号は、照明制御部３１に供給される照射信号でもよい。また、制御部４２は、撮像部４１から取得した距離画像を表示部４３に供給し、表示部４３に表示させる。さらに、制御部４２は、撮像部４１から取得した距離画像を記憶部４４に記憶させる。また、制御部４２は、撮像部４１から取得した距離画像を外部に出力する。
　表示部４３は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等のパネル型表示装置からなる。
　記憶部４４は、任意の記憶装置や記憶媒体等により構成することができ、距離画像等を記憶する。
＜２．受光装置の構成例＞
　図２は、受光装置５２の構成例を示すブロック図である。
　受光装置５２は、画素駆動部７１、画素アレイ７２、MUX(マルチプレクサ)７３、時間計測部７４、信号処理部７５、および、入出力部７６を備える。
　画素アレイ７２は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素８１が行方向及び列方向の行列状に２次元配置された構成となっている。ここで、行方向とは水平方向の画素８１の配列方向を言い、列方向とは垂直方向の画素８１の配列方向を言う。図２では、紙面の制約上、画素アレイ７２が１０行１２列の画素配列構成で示されているが、画素アレイ７２の行数および列数は、これに限定されず、任意である。
　画素アレイ７２の行列状の画素配列に対して、画素行ごとに画素駆動線８２が水平方向に配線されている。画素駆動線８２は、画素８１の駆動を行うための駆動信号を伝送する。画素駆動部７１は、画素駆動線８２を介して所定の駆動信号を各画素８１に供給することにより、各画素８１を駆動する。具体的には、画素駆動部７１は、入出力部７６を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の画素８１の少なくとも一部をアクティブ画素とし、残りの画素８１を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。勿論、画素アレイ７２の全ての画素８１をアクティブ画素としてもよい。画素８１の詳細構成については後述する。
　なお、図２では、画素駆動線８２を１本の配線として示しているが、複数の配線で構成してもよい。画素駆動線８２の一端は、画素駆動部７１の各画素行に対応した出力端に接続されている。
　MUX７３は、画素アレイ７２内のアクティブ画素と非アクティブ画素の切替えにしたがい、アクティブ画素からの出力を選択する。そして、MUX７３は、選択したアクティブ画素から入力される画素信号を時間計測部７４へ出力する。
　時間計測部７４は、MUX７３から供給されるアクティブ画素の画素信号と、光源３２の発光タイミングを示す発光タイミング信号とに基づいて、光源３２が光を発光してからアクティブ画素が光を受光するまでの時間（光の飛行時間）に対応するカウント値を生成する。発光タイミング信号は、入出力部７６を介して外部（撮像装置２２の制御部４２）から供給される。
　信号処理部７５は、所定の回数（例えば、数千乃至数万回）繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間（カウント値）のヒストグラムを画素ごとに生成する。そして、信号処理部７５は、ヒストグラムのピークを検出することで、光源３２から照射された光が被写体１２または被写体１３で反射して戻ってくるまでの時間を判定する。信号処理部７５は、受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。
　入出力部７６は、信号処理部７５から供給される距離画像の信号（距離画像信号）を、外部（制御部４２）に出力する。また、入出力部７６は、制御部４２から供給される発光タイミング信号を取得し、画素駆動部７１および時間計測部７４に供給する。
＜３．画素回路の構成例＞
　図３は、画素アレイ７２に行列状に複数配置された画素８１の回路構成例を示している。
　図３の画素８１は、SPAD１０１、トランジスタ１０２、スイッチ１０３、及び、インバータ１０４を備える。また、画素８１は、ラッチ回路１０５とインバータ１０６も備える。トランジスタ１０２は、P型のMOSトランジスタで構成される。
　SPAD１０１のカソードは、トランジスタ１０２のドレインに接続されるとともに、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。SPAD１０１のアノードは、電源電圧VA（以下では、アノード電圧VAとも称する。）に接続されている。
　SPAD１０１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１０１のアノードに供給される電源電圧VAは、例えば、-２０V程度の負バイアス（負の電位）とされる。
　トランジスタ１０２は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ１０２のソースは電源電圧VEに接続され、ドレインがSPAD１０１のカソード、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。これにより、SPAD１０１のカソードにも、電源電圧VEが供給される。SPAD１０１と直列に接続されたトランジスタ１０２の代わりに、プルアップ抵抗を用いることもできる。
　SPAD１０１には、十分な効率で光（フォトン）を検出するため、SPAD１０１の降伏電圧VBDよりも大きな電圧（以下、過剰バイアス（ExcessBias）と称する。）が印加される。例えば、SPAD１０１の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、トランジスタ１０２のソースに供給される電源電圧VEは、３Vとされる。
　なお、SPAD１０１の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD１０１に印加する印加電圧が制御（調整）される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御（調整）される。
　スイッチ１０３は、両端の一端がSPAD１０１のカソード、インバータ１０４の入力端子、および、トランジスタ１０２のドレインに接続され、他端が、グランド（GND）に接続されているグランド接続線１０７に接続されている。スイッチ１０３は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路１０５の出力であるゲーティング制御信号VGを、インバータ１０６で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
　ラッチ回路１０５は、画素駆動部７１から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素８１をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ１０６に供給する。インバータ１０６は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ１０３に供給する。
　トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ７２内の行列状に配置された複数の画素８１のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線８２を介して画素駆動部７１から供給される。
　ラッチ回路１０５は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路１０５は、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれている場合には、自身の画素８１をアクティブ画素に設定するためのHi（1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれていない場合には、自身の画素８１を非アクティブ画素に設定するためのLo（0)のゲーティング制御信号VGを出力する。これにより、画素８１がアクティブ画素とされる場合には、インバータ１０６によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。一方、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。したがって、スイッチ１０３は、画素８１がアクティブ画素に設定される場合にオフし（非接続とされ）、非アクティブ画素に設定される場合にオンされる（接続される）。
　インバータ１０４は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ１０４は、SPAD１０１への光子の入射を検出信号PFoutとして出力する出力部である。
　次に、図４を参照して、画素８１がアクティブ画素に設定された場合の動作について説明する。
　図４は、光子の入射に応じたSPAD１０１のカソード電圧VSの変化と検出信号PFoutを示すグラフである。
　まず、画素８１がアクティブ画素である場合、上述したように、スイッチ１０３はオフに設定される。
　SPAD１０１のカソードには電源電圧VE（例えば、３V）が供給され、アノードには電源電圧VA（例えば、－２０V）が供給されることから、SPAD１０１に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１０１がガイガーモードに設定される。この状態では、SPAD１０１のカソード電圧VSは、例えば図４の時刻t0のように、電源電圧VEと同じである。
　ガイガーモードに設定されたSPAD１０１に光子が入射すると、アバランシェ増倍が発生し、SPAD１０１に電流が流れる。
　図４の時刻t1において、アバランシェ増倍が発生し、SPAD１０１に電流が流れたとすると、時刻t1以降、SPAD１０１に電流が流れることにより、トランジスタ１０２にも電流が流れ、トランジスタ１０２の抵抗成分により電圧降下が発生する。
　時刻t2において、SPAD１０１のカソード電圧VSが0Vよりも低くなると、SPAD１０１のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ１０２に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
　アバランシェ増幅が停止するとトランジスタ１０２の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。
　インバータ１０４は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD１０１に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD１０１のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。
　なお、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給され、スイッチ１０３がオンされる。スイッチ１０３がオンされると、SPAD１０１のカソード電圧VSが０Vとなる。その結果、SPAD１０１のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD１０１に光子が入ってきても反応しない状態となる。
　上述したように、信号処理部７５は、所定の回数繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間に対応するカウント値のヒストグラムを画素ごとに生成する。なお、以下では、被写体までの距離情報に相当するカウント値を、ToFデータとも称する。
　図５は、信号処理部７５によって生成された所定の画素８１のヒストグラムの例を示している。
　図５に示されるヒストグラムの横軸はToFデータの値（ToF値）を表し、縦軸は、各ToF値が検出された回数（頻度値）を表す。この例では、ヒストグラムのピークは、D1で示されるToF値であり、このToF値が、この画素８１のToFデータとして、出力される。
　信号処理部７５では、図５に示されるようなヒストグラムが画素アレイ７２の各画素について計算され、ヒストグラムのピークのToFデータが各画素に格納された距離画像が制御部４２（図１）に出力される。
　図５に示したようなヒストグラムを生成するヒストグラム生成回路の回路面積は、測距システムの解像度（空間解像度や時間解像度）を上げようとすると、増大する。
　そこで、以下では、受光装置５２の信号処理部７５に適用された、ヒストグラム生成回路の回路面積を抑制することが可能な信号処理部の構成について説明する。ただし、以下では、初めに、本技術を適用した信号処理部７５と比較するための比較例である、信号処理部３０１の構成例について説明し、その後、受光装置５２の信号処理部７５の構成について説明する。
＜４．比較例としての信号処理部の構成例＞
　図６は、比較例としての信号処理部３０１の構成例を示すブロック図である。
　図６の信号処理部３０１は、時間計測部７４に設けられた１つのTDC(time to digital converter)９１に対応して１つのヒストグラム生成回路３２１を備える。ヒストグラム生成回路３２１は、頻度値としてNビットの蓄積が可能な１つのヒストグラムを生成する回路である。ヒストグラム生成回路３２１は、デコーダ３３１と、M個のフリップフロップ回路（以下、FF回路と称する。）３３２１乃至３３２Ｍとで構成される。
　以下では、M個のFF回路３３２１乃至３３２Ｍを特に区別しない場合、単に、FF回路３３２と称する。FF回路３３２は、所定のToF値の頻度値を記憶するNビットのメモリである。１個のFF回路３３２は、図５のヒストグラムの１つのビンに対応し、Mは、ToFセンサが測定可能な距離に対して十分な値（ビンの数）である。FF回路３３２のビット数Nは、各ビンが取り得る頻度値に対して十分な値である。
　時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対応して設けられる。図６において、画素アレイ７２と時間計測部７４については、ヒストグラム生成回路３２１との対応関係を明確にするため示している。
　すなわち、時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対して設けられる。例えば、行列状に２次元配置された全ての画素８１を同時にアクティブ画素として動作させる場合には、画素８１とTDC９１が１対１に設けられ、時間計測部７４は、画素アレイ７２の画素数と同数のTDC９１を備える。また例えば、画素アレイ７２の１行を構成する複数の画素８１に対して１個のTDC９１が設けられる場合には、時間計測部７４は、画素アレイ７２の画素行と同数のTDC９１を備える。したがって、時間計測部７４に含まれるTDC９１の個数は、１回の受光で同時にアクティブ画素に設定する画素数などの要求に応じて決定される。
　MUX７３において、アクティブ画素に設定された画素８１の出力が適切に選択されたとして、アクティブ画素に設定された画素８１の画素信号、即ち、上述した検出信号PFoutが、TDC９１に入力される。TDC９１は、Hiの検出信号PFoutが入力された時間（期間）をカウントし、カウントした結果であるカウント値（ToF値）を、ToFデータとして、ヒストグラム生成回路３２１に出力する。TDC９１は、光源３２の発光タイミングから画素８１が受光した受光タイミングまでの時間情報を計測する計測部に相当する。
　TDC９１からのToFデータは、デコーダ３３１によってデコードされ、ToF値に対応する FF回路３３２１乃至３３２Ｍのいずれかに記憶される。換言すれば、デコーダ３３１は、入力されるToFデータに応じて、FF回路３３２１乃至３３２Ｍのいずれかを選択し、選択したFF回路３３２の頻度値をカウントアップする。
＜５．本技術の信号処理部の詳細構成例＞
　図７は、本技術を適用した信号処理部であって、図２の信号処理部７５の詳細構成例を示すブロック図である。
　なお、図７においても、図６と同様に、画素アレイ７２と時間計測部７４の対応する構成も示されている。
　図７の信号処理部７５は、時間計測部７４に設けられた１つのTDC９１に対応して１つのヒストグラム生成回路１２１を備える。ヒストグラム生成回路１２１は、頻度値としてNビットの蓄積が可能な１つのヒストグラムを生成する回路である。画素アレイ７２の画素８１と、時間計測部７４のTDC９１との関係は、図５における場合と同様である。
　ヒストグラム生成回路１２１は、Nビットの頻度値を、下位Naビットと上位Nbビットに分割し（N＝Na+Nb）、下位Naビットを生成して記憶する下位ビット生成部１２２Aと、上位Nbビットを生成して記憶する上位ビット生成部１２２Bとで構成される。例えば、頻度値全体のビット数Nを２４ビットとした場合、下位ビットのビット数Naが８（Na=８）、上位ビットのビット数Nbが１６（Nb＝１６）などとされる。
　下位ビット生成部１２２Aは、デコーダ１３１、M個のフリップフロップ回路（以下、FF回路と記述する。）１３２１乃至１３２Ｍ、および、M個のキャリービット１３３１乃至１３３Ｍを備える。M個のFF回路１３２１乃至１３２Ｍと、M個のキャリービット１３３１乃至１３３Ｍとは、１対１に対応している。
　以下では、M個のFF回路１３２１乃至１３２Ｍを特に区別しない場合、単に、FF回路１３２と称し、M個のキャリービット１３３１乃至１３３Ｍを特に区別しない場合、単に、キャリービット１３３と称する。
　上位ビット生成部１２２Bは、制御部１４１と、Nbビットのメモリ部１４２とで構成される。
　デコーダ１３１は、図６のデコーダ３３１と同様の動作を行う。すなわち、デコーダ１３１は、入力されるToFデータのToF値に対応するFF回路１３２１乃至１３２Ｍのいずれかを選択し、選択したFF回路３３２の頻度値の下位Naビットをカウントアップする。
　M個のFF回路１３２は、各ToF値の頻度値の下位Naビットを記憶する。
　キャリービット１３３は、対応するFF回路１３２のNaビットの繰り上がりを検出し、繰り上がりが発生した場合にビット（以下、キャリービットと称する。）をオン（“１”）する。キャリービットのオン（“１”）は、その後、上位ビット生成部１２２Bの制御部１４１によって検出された後、オフ（“０”）にリセットされる。
　上位ビット生成部１２２Bの制御部１４１は、下位ビット生成部１２２AのM個のキャリービット１３３１乃至１３３Ｍに基づいて、メモリ部１４２を制御する。例えば、制御部１４１は、M個のキャリービット１３３１乃至１３３Ｍのビット状態、すなわち、オン（“１”）またはオフ（“０”）を定期的にチェックし、オンが検出されたキャリービット１３３に対応するメモリ部１４２のビンの上位Nbビットの頻度値をカウントアップする。
　あるいはまた、M個のキャリービット１３３のいずれかがオンになった場合、そのことを示すトリガ信号TRが制御部１４１に供給されるようにしてもよい。制御部１４１は、トリガ信号TRを取得した場合、M個のキャリービット１３３１乃至１３３Ｍのビット状態を確認し、オンが検出されたキャリービット１３３に対応するメモリ部１４２のビンの上位Nbビットの頻度値をカウントアップする。例えば、図８に示されるように、複数段のOR回路１３４からなるトリガ信号生成部１３５を設け、トリガ信号生成部１３５が、M個のキャリービット１３３のオンを示す検出信号の論理和によりトリガ信号TRを生成して制御部１４１に供給し、制御部１４１が、M本の信号線１３６により、各キャリービット１３３のビット状態を確認する構成とすることができる。
　制御部１４１は、メモリ部１４２内の所定のビンの頻度値を更新したキャリービット１３３のビット状態を、オンからオフにリセットする。
　メモリ部１４２は、例えば、SRAM (Static Random Access Memory)や、DRAM (Dynamic Random Access Memory)などで構成され、M個の各ToF値の頻度値の上位Nbビットを記憶する。
　下位ビット生成部１２２Aは、頻度値のカウント動作を、TDC９１から供給されるToFデータのタイミング、換言すれば、ToFデータの出力レートで処理できる必要がある。そのため、下位ビット生成部１２２Aは、高速動作な可能なFF回路１３２を用いて、下位Naビットの頻度値をカウントおよび記憶する。
　一方、上位ビットになるほどトグル率が１／２になるので、上位ビット側のメモリ部１４２はToFデータの出力レートほど高速に動作する必要はない。例えば、高速動作を行う下位ビットのビット数Naを８ビット（Na＝８）とし、ToFデータの出力レートが２５６MHz(３．９nsec間隔)とすると、上位ビット側は、１MHｚのスループットで動作すればよい。そのため、上位Nbビットを記憶する上位ビット生成部１２２Bは、SRAMやDRAMで構成することができる。
　一般に、FF回路は、高速動作が可能であるが、配線密度が低密度になる。一方、SRAMおよびDRAMは、FF回路ほど高速には動作できないが、配線密度を高密度にすることができる。したがって、図６のヒストグラム生成回路３２１のように、Nビットの頻度値を記憶するメモリを、全てFF回路で構成した場合と比較して、信号処理部７５は、小面積で実現することができる。また、上位ビット生成部１２２Bは低速動作が可能であるため、消費電力も抑制することができる。
　以上より、図７の信号処理部７５のヒストグラム生成回路１２１は、図６の信号処理部３０１のヒストグラム生成回路３２１と比較して、小面積、低消費電力で実現することができる。
＜６．測距システムによる測距処理＞
　図９のフローチャートを参照して、測距システム１１による測距処理について説明する。この処理は、この処理は、例えば、測距システム１１の撮像装置２２に対して測距処理の開始が指示されたときに開始される。
　初めに、ステップＳ１１において、撮像装置２２の制御部４２は、照明装置２１の照明制御部３１に照射信号を供給し、光源３２を発光させる。光源３２は、照射信号に含まれる照射コードに従って、所定の波長域の光を発する。光源３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。
　ステップＳ１２において、受光装置５２は、画素アレイ７２の複数の画素８１の少なくとも一部をアクティブ画素に設定し、光源３２が照射した光が被写体により反射された反射光を受光する。アクティブ画素に設定された画素８１は、SPAD１０１への光子の入射を検出し、Hiの検出信号PFoutをTDC９１へ出力する。
　ステップＳ１３において、TDC９１は、光源３２の発光タイミングからアクティブ画素が受光した受光タイミングまでの時間情報を計測する。具体的には、TDC９１は、Hiの検出信号PFoutが入力された時間（期間）をカウントし、カウントした結果であるカウント値を、ToFデータとして、ヒストグラム生成回路１２１に出力する。
　ステップＳ１４において、デコーダ１３１は、TDC９１から入力されたToFデータ（ToF値）に対応するビンの下位ビットNaをカウントアップする。すなわち、デコーダ１３１は、入力されたToFデータのToF値に対応するFF回路１３２１乃至１３２Ｍのいずれかを選択し、選択したFF回路３３２の頻度値をカウントアップする。
　ステップＳ１５において、M個のキャリービット１３３は、対応するFF回路１３２の下位ビットNaの繰り上がりを検出する。すなわち、キャリービット１３３は、対応するFF回路１３２の下位ビットNaの繰り上がりが発生したか否かを判定する。
　ステップＳ１５で、繰り上がりが発生したと判定された場合、処理はステップＳ１６に進み、繰り上がりを検出したキャリービット１３３は、自身のビット（キャリービット）をオンする。
　そして、ステップＳ１７において、制御部１４１は、M個のキャリービット１３３１乃至１３３Ｍのなかの所定のキャリービットのオンを検出し、メモリ部１４２を更新する。すなわち、制御部１４１は、オンが検出されたキャリービット１３３に対応するメモリ部１４２のビンの上位Nbビットの頻度値をカウントアップする。
　一方、ステップＳ１５で、繰り上がりが発生していないと判定された場合、ステップＳ１６，Ｓ１７の処理はスキップされ、処理はステップＳ１８に進む。
　ステップＳ１８において、ヒストグラム生成回路１２１は、予め決定された所定回数（例えば、数千乃至数万回）の測定を行ったかを判定する。
　ステップＳ１８で、所定回数の測定をまだ行っていないと判定された場合、処理はステップＳ１１に戻り、上述したステップＳ１１乃至Ｓ１８が繰り返される。すなわち、入力されるToFデータに基づくヒストグラムの生成（更新）が継続される。
　一方、ステップＳ１８で、所定回数の測定を行ったと判定された場合、処理はステップＳ１９に進み、信号処理部７５は、アクティブ画素に設定された各画素８１について、ヒストグラム保持回路１５１のヒストグラムの頻度値を参照し、ピークのToF値を画素値として格納した距離画像を生成し、入出力部７６を介して、制御部４２に出力する。制御部４２は、撮像部４１から取得した距離画像を外部に出力して、測距処理を終了する。
　上述したステップＳ１８の処理において、信号処理部７５は、画素単位にToF値のヒストグラムを生成し、ピークのToF値を各画素に格納した距離画像を制御部４２に出力するものとした。しかしながら、信号処理部７５は、時間（ToF値）と光速に基づいて算出した物体までの距離を各画素に画素値として格納した距離画像を生成して、制御部４２に出力するようにしてもよい。あるいはまた、信号処理部７５は、ヒストグラム生成回路１２１が画素単位で生成したヒストグラムを、そのまま制御部４２に出力するようにしてもよい。この場合、上位Nbビットと下位NaビットとからなるNビットのデータを出力してもよいし、下位Naビットはノイズ成分であることが想定されるため、上位Nbビットのみを出力してもよい。
＜７．チップ構成例＞
　受光装置５２は、例えば、３枚の基板（ダイ）を積層した積層構造による１チップ（半導体チップ）で構成することができる。
　図１０は、受光装置５２が３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示している。
　受光装置５２は、第１基板１９２A、第２基板１９２B、および、第３基板１９２Cを積層して構成される。第１基板１９２Aと第２基板１９２Bは、貫通ビアやCu-Cuの金属接合により電気的に接続され、第２基板１９２Bと第３基板１９２Cは、貫通ビアやCu-Cuの金属接合により電気的に接続される。
　第１基板１９２Aには、画素アレイ７２が形成される。第２基板１９２Bには、MUX７３、時間計測部７４、および、信号処理部７５の一部が配置される。例えば、信号処理部７５の、デコーダ１３１、M個のFF回路１３２１乃至１３２Ｍ、M個のキャリービット１３３１乃至１３３Ｍなどが第２基板１９２Bに配置される。図１０では、デコーダ１３１の図示が省略されている。
　第３基板１９２Cには、第２基板１９２Bに配置されない残りの信号処理部７５、例えば、制御部１４１と、Nbビットのメモリ部１４２などが配置される。例えば、第２基板１９２BのM個のキャリービット１３３１乃至１３３Ｍの出力端子と、第３基板１９２Cの制御部１４１とが、TSV（Through Silicon Via）などで接続される。
　上述した例では、Nビットの頻度値を下位Naビットと上位Nbビットに２分割する例について説明したが、２分割に限らず、例えば、下位Naビット、中位Nbビット、上位Ncビット（N=Na＋Nb+Nc）のように３分割してもよい。この場合、例えば、下位Naビットを記憶するメモリ部をFF回路、中位Nbビットを記憶するメモリ部をSRAM、上位Ncビットを記憶するメモリ部をDRAMにように、それぞれを異なるメモリ回路で構成することができる。
＜８．測距システムの使用例＞
　本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の撮像部４１は、レンズ５１及び受光装置５２がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ５１と受光装置５２とが別に構成され、受光装置５２のみをワンチップとして構成してもよい。
　図１１は、上述の測距システム１１または受光装置５２の使用例を示す図である。
　上述した測距システム１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
　・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜９．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１３は、撮像部１２０３１の設置位置の例を示す図である。
　図１３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、例えば、図１の測距システム１１は、撮像部１２０３１に適用することができる。撮像部１２０３１は、例えばＬＩＤＡＲであり、車両１２１００の周囲の物体及び物体までの距離の検出に用いられる。撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
　前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
　を備え、
　前記ヒストグラム生成回路は、
　　第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
　　前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
　を備える
　受光装置。
（２）
　前記下位ビット生成部は、前記下位ビットを記憶するFF回路を有し、
　前記上位ビット生成部は、前記上位ビットを記憶するSRAMまたはDRAMを有する
　前記（１）に記載の受光装置。
（３）
　前記上位ビット生成部は、制御部と、前記上位ビットを記憶するメモリ部とを有し、
　前記制御部は、前記下位ビット生成部の前記下位ビットの繰り上げを示すビットに基づいて、前記メモリ部を制御する
　前記（１）または（２）に記載の受光装置。
（４）
　前記制御部は、前記ビットを定期的にチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
　前記（３）に記載の受光装置。
（５）
　前記制御部は、前記ビットのオンを示すトリガ信号を取得した場合、前記ビットをチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
　前記（３）に記載の受光装置。
（６）
　３枚の基板の積層構造による１チップで構成される
　前記（１）乃至（５）のいずれかに記載の受光装置。
（７）
　前記３枚の基板は、
　　画素アレイが形成された第１の基板と、
　　前記下位ビット生成部が形成された第２の基板と、
　　前記上位ビット生成部が形成された第３の基板と
　を含む
　前記（６）に記載の受光装置。
（８）
　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
　前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
　を備える受光装置の、
　前記計測部が、前記時間情報を計測し、
　前記ヒストグラム生成回路が、第１の速度で動作して、前記時間情報に基づいて前記ヒストグラムにおける前記Nビットのうちの下位ビットを生成し、前記第１の速度よりも遅い第２の速度で動作して、前記時間情報に基づいて前記ヒストグラムにおける前記Nビットのうちの上位ビットを生成する
　ヒストグラム生成方法。
（９）
　照射光を照射する照明装置と、
　前記照射光に対する反射光を受光する受光装置と
　を備え、
　前記受光装置は、
　　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
　　前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
　を備え、
　前記ヒストグラム生成回路は、
　　第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
　　前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
　を備える
　測距システム。
　１１　測距システム，　２１　照明装置，　２２　撮像装置，　３１　照明制御部，　３２　光源，　４１　撮像部，　４２　制御部，　５２　受光装置，　７１　画素駆動部，　７２　画素アレイ，　７３　MUX，　７４　時間計測部，　７５　信号処理部，　７６　入出力部，　８１　画素，　９１　TDC，　１０１　SPAD，　１２１　ヒストグラム生成回路，　１２２A　下位ビット生成部，　１２２B　上位ビット生成部，　１３１　デコーダ，　１３２１乃至１３２Ｍ　FF回路，　１３３１乃至１３３Ｍ　キャリービット，　１３４　OR回路，　１３５　トリガ信号生成部，　１３６　信号線，　１４１　制御部，　１４２　メモリ部，　１９２A　第１基板，　１９２B　第２基板，　１９２C　第３基板

Claims (9)

  1. 　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    　前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
    　を備え、
    　前記ヒストグラム生成回路は、
    　　第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
    　　前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
    　を備える
    　受光装置。
  2. 　前記下位ビット生成部は、前記下位ビットを記憶するFF回路を有し、
    　前記上位ビット生成部は、前記上位ビットを記憶するSRAMまたはDRAMを有する
    　請求項１に記載の受光装置。
  3. 　前記上位ビット生成部は、制御部と、前記上位ビットを記憶するメモリ部とを有し、
    　前記制御部は、前記下位ビット生成部の前記下位ビットの繰り上げを示すビットに基づいて、前記メモリ部を制御する
    　請求項１に記載の受光装置。
  4. 　前記制御部は、前記ビットを定期的にチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
    　請求項３に記載の受光装置。
  5. 　前記制御部は、前記ビットのオンを示すトリガ信号を取得した場合、前記ビットをチェックし、前記メモリ部の、前記下位ビットの繰り上げに対応する頻度値を更新する
    　請求項３に記載の受光装置。
  6. 　３枚の基板の積層構造による１チップで構成される
    　請求項１に記載の受光装置。
  7. 　前記３枚の基板は、
    　　画素アレイが形成された第１の基板と、
    　　前記下位ビット生成部が形成された第２の基板と、
    　　前記上位ビット生成部が形成された第３の基板と
    　を含む
    　請求項６に記載の受光装置。
  8. 　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    　前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
    　を備える受光装置の、
    　前記計測部が、前記時間情報を計測し、
    　前記ヒストグラム生成回路が、第１の速度で動作して、前記時間情報に基づいて前記ヒストグラムにおける前記Nビットのうちの下位ビットを生成し、前記第１の速度よりも遅い第２の速度で動作して、前記時間情報に基づいて前記ヒストグラムにおける前記Nビットのうちの上位ビットを生成する
    　ヒストグラム生成方法。
  9. 　照射光を照射する照明装置と、
    　前記照射光に対する反射光を受光する受光装置と
    　を備え、
    　前記受光装置は、
    　　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    　　前記時間情報に基づいて、頻度値としてNビットの蓄積が可能なヒストグラムを生成するヒストグラム生成回路と
    　を備え、
    　前記ヒストグラム生成回路は、
    　　第１の速度で動作し、前記Nビットのうちの下位ビットを生成する下位ビット生成部と、
    　　前記第１の速度よりも遅い第２の速度で動作し、前記Nビットのうちの上位ビットを生成する上位ビット生成部と
    　を備える
    　測距システム。
PCT/JP2020/003342 2019-02-13 2020-01-30 受光装置、ヒストグラム生成方法、および測距システム WO2020166349A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/427,960 US20220128660A1 (en) 2019-02-13 2020-01-30 Light receiving device, histogram generation method, and distance measurement system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-023663 2019-02-13
JP2019023663A JP2020134171A (ja) 2019-02-13 2019-02-13 受光装置および測距システム

Publications (1)

Publication Number Publication Date
WO2020166349A1 true WO2020166349A1 (ja) 2020-08-20

Family

ID=72044960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003342 WO2020166349A1 (ja) 2019-02-13 2020-01-30 受光装置、ヒストグラム生成方法、および測距システム

Country Status (3)

Country Link
US (1) US20220128660A1 (ja)
JP (1) JP2020134171A (ja)
WO (1) WO2020166349A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210165084A1 (en) * 2018-07-27 2021-06-03 Sony Semicoductor Solution Corporation Light receiving apparatus and distance measuring apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160353A (ja) * 2006-12-22 2008-07-10 International Manufacturing & Engineering Services Co Ltd 高速プログラマブル同期カウンタ回路およびカウント方法
JP2010091377A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 光学式測距装置及び方法
JP2014107793A (ja) * 2012-11-29 2014-06-09 Fujitsu Ltd カウンタ装置およびカウント方法
JP2017147692A (ja) * 2016-02-19 2017-08-24 株式会社東芝 ヒストグラムカウンタ及び放射線検出回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160353A (ja) * 2006-12-22 2008-07-10 International Manufacturing & Engineering Services Co Ltd 高速プログラマブル同期カウンタ回路およびカウント方法
JP2010091377A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 光学式測距装置及び方法
JP2014107793A (ja) * 2012-11-29 2014-06-09 Fujitsu Ltd カウンタ装置およびカウント方法
JP2017147692A (ja) * 2016-02-19 2017-08-24 株式会社東芝 ヒストグラムカウンタ及び放射線検出回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210165084A1 (en) * 2018-07-27 2021-06-03 Sony Semicoductor Solution Corporation Light receiving apparatus and distance measuring apparatus
US12061292B2 (en) * 2018-07-27 2024-08-13 Sony Semiconductor Solutions Corporation Light receiving apparatus and distance measuring apparatus

Also Published As

Publication number Publication date
US20220128660A1 (en) 2022-04-28
JP2020134171A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
US20240264309A1 (en) Light receiving element and ranging system
TWI821381B (zh) 受光元件及測距系統
WO2019087783A1 (ja) 撮像装置及び撮像システム
JP7427613B2 (ja) 受光装置および測距システム
WO2020045124A1 (ja) 受光素子および測距システム
WO2020045125A1 (ja) 受光素子および測距システム
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
WO2020162129A1 (ja) 光源装置および電子機器
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
US11566939B2 (en) Measurement device, distance measurement device, electronic device, and measurement method
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2022054494A1 (ja) 光検出装置
WO2020162128A1 (ja) 光源装置および電子機器
WO2024135122A1 (ja) 撮像装置、制御装置およびスパイキングニューラルネットワーク
WO2023085040A1 (ja) 測距装置、測距システム及び測距方法
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20756039

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20756039

Country of ref document: EP

Kind code of ref document: A1