WO2021153428A1 - 撮像装置、電子機器及び撮像方法 - Google Patents
撮像装置、電子機器及び撮像方法 Download PDFInfo
- Publication number
- WO2021153428A1 WO2021153428A1 PCT/JP2021/002113 JP2021002113W WO2021153428A1 WO 2021153428 A1 WO2021153428 A1 WO 2021153428A1 JP 2021002113 W JP2021002113 W JP 2021002113W WO 2021153428 A1 WO2021153428 A1 WO 2021153428A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- potential
- reference potential
- unit
- side reference
- signal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/709—Circuitry for control of the power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Definitions
- the present disclosure relates to an imaging device, an electronic device, and an imaging method.
- a synchronous image sensor that images image data (frames) in synchronization with a synchronization signal such as a vertical synchronization signal.
- This type of synchronous image sensor is not suitable for applications in which image data is acquired at a higher speed because image data can be acquired only every synchronization signal cycle (for example, 1/60 second). Therefore, an asynchronous image sensor has been proposed for each pixel address, in which an event detection circuit for detecting in real time that the amount of light of the pixel exceeds a threshold value as an event is provided for each pixel (see, for example, Patent Document 1). .).
- a photodiode and a plurality of transistors for detecting an event are arranged for each pixel.
- the above-mentioned asynchronous type image sensor can generate and output data at a much higher speed than the synchronous type image sensor. Therefore, for example, in the field of transportation, it is possible to improve safety by executing a process of recognizing an image of a person or an obstacle at high speed.
- the reverse bias of the photodiode becomes low due to voltage fluctuations such as a decrease in the power supply voltage or an increase in the ground voltage, the sensitivity of the photodiode may decrease and the dark current may increase. Therefore, there is a problem that the signal quality is deteriorated due to the lack of sensitivity and the dark current.
- Increasing the area of the photodiode can improve sensitivity and reduce dark current, but this is not desirable because it reduces the number of pixels per unit area. Further, the sensitivity can be improved and the dark current can be reduced by sufficiently increasing the power supply voltage, but this is not preferable because the power consumption increases.
- the present disclosure provides an imaging device, an electronic device, and an imaging method capable of improving sensitivity and reducing dark current and reducing power consumption.
- a photoelectric conversion unit having a plurality of photoelectric conversion elements, each of which photoelectrically converts incident light to generate an electric signal, and a photoelectric conversion unit.
- a detection unit that outputs a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
- a pixel signal generator that generates a pixel signal based on the electrical signal,
- a transfer control unit that controls the transfer of the electric signal to the pixel signal generation unit, and
- An analog-to-digital converter that converts the pixel signal into a digital signal is provided.
- the off potential of the transfer control unit is an imaging device that includes three or more potentials having different potential levels.
- the low potential side reference potential of the photoelectric conversion unit may have a lower potential level than the low potential side reference potential of the detection unit.
- the low potential side reference potential of the photoelectric conversion unit may have a higher potential level than the off potential of the transfer control unit.
- the low potential side reference potential of the photoelectric conversion unit may have a lower potential level than the low potential side reference potential of at least one of the pixel signal generation unit and the analog-digital converter.
- At least one of the off-potentials of is a ground potential, and at least one of the other is a first reference potential having a potential level lower than the ground potential, and at least one of the other is a ground potential lower than the first reference potential. It may be a second reference potential having a low potential level.
- the low potential side reference potential of the photoelectric conversion unit is the second reference potential.
- the low potential side reference potential of the detection unit, the pixel signal generation unit, and the analog-digital converter is the ground potential.
- the off potential of the transfer control unit may be the second reference potential.
- the ground potential is 0 V, and the ground potential is 0 V.
- the first reference potential is a negative potential.
- the second reference potential may be a negative potential whose potential level is lower than that of the first reference potential.
- the low potential side reference potential of the photoelectric conversion unit, the pixel signal generation unit, and the analog-digital converter may be substantially equal.
- At least one of the off-potentials of is a ground potential, and at least one of the other is a first reference potential having a potential level higher than the ground potential, and at least one of the other is a potential level higher than the ground potential. May be a low second reference potential.
- the low potential side reference potential of the photoelectric conversion unit, the pixel signal generation unit, and the analog-digital converter is the ground potential.
- the low potential side reference potential of the detection unit is the first reference potential.
- the off potential of the transfer control unit may be the second reference potential.
- the ground potential is 0 V, and the ground potential is 0 V.
- the first reference potential is a positive potential.
- the second reference potential may be a negative potential.
- a photoelectric conversion unit having a plurality of photoelectric conversion elements, each of which photoelectrically converts incident light to generate an electric signal, and a photoelectric conversion unit.
- a detection unit that outputs a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
- a pixel signal generator that generates a pixel signal based on the electrical signal,
- a transfer control unit that controls the transfer of the electric signal to the pixel signal generation unit, and
- An analog-to-digital converter that converts the pixel signal into a digital signal,
- An image pickup apparatus is provided that includes a potential selection unit that switches the low potential side reference potential of the photoelectric conversion unit.
- the analog-digital converter converts the pixel signal into the digital signal.
- the potential selection unit selects a first reference potential within a period in which the detection unit detects whether or not the amount of change exceeds the predetermined threshold value, and the analog-digital converter converts the pixel signal into the digital. During the period of conversion to a signal, a second reference potential having a potential level higher than that of the first reference potential may be selected.
- the first reference potential is a negative potential.
- the second reference potential may be the ground potential.
- the off potential of the transfer control unit may include two or more potentials having different potential levels.
- the low potential side reference potential of the detection unit, the low potential side reference potential of the pixel signal generation unit, and the low potential side reference potential of the analog-digital converter are ground potentials.
- the off potential of the transfer control unit may be a negative potential.
- a potential generation unit that generates at least one of the first reference potential and the second reference potential may be provided.
- At least the detection unit may be arranged on a second substrate laminated on a first substrate on which the photoelectric conversion unit is arranged.
- the back gate of the transistor in the transfer control unit may be set to a potential of the same potential level as the low potential side reference potential of the photoelectric conversion unit.
- an imaging device that outputs captured image data and A processor that performs predetermined signal processing on the image data.
- the image pickup device A photoelectric conversion unit having a plurality of photoelectric conversion elements, each of which photoelectrically converts incident light to generate an electric signal.
- a detection unit that outputs a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
- a pixel signal generator that generates a pixel signal based on the electrical signal,
- a transfer control unit that controls the transfer of the electric signal to the pixel signal generation unit, and
- An analog-to-digital converter that converts the pixel signal into a digital signal is provided.
- the low potential side reference potential of the photoelectric conversion unit the low potential side reference potential of the detection unit, the low potential side reference potential of the pixel signal generation unit, the low potential side reference potential of the analog digital converter, and the above.
- An electronic device is provided in which the off potential of the transfer control unit includes three or more potentials having different potential levels.
- a step of photoelectrically converting incident light to generate an electric signal by a plurality of photoelectric conversion elements A step of outputting a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value, and The step of transferring the electric signal and The step of generating a pixel signal based on the transferred electric signal, and The step of converting the pixel signal into a digital signal is provided.
- the low potential side reference potential at the time of photoelectric conversion, the low potential side reference potential at the time of outputting the detection signal, the low potential side reference potential at the time of generating the pixel signal, and the pixel signal as a digital signal.
- the low potential side reference potential at the time of conversion and the off potential at the time of transferring the electric signal include three or more potentials having different potential levels, and these electric signals are used to generate the electric signal.
- an imaging method in which a step of generating, a step of outputting the detection signal, a step of transferring the electric signal, a step of generating the pixel signal, and a step of converting into the digital signal are performed. ..
- the timing chart which shows an example of the operation of the solid-state image sensor in 1st Embodiment.
- the flowchart which shows an example of the operation of the solid-state image sensor in 1st Embodiment.
- the figure which shows an example of the potential level when the transfer transistor of 1st Embodiment is turned on The figure which shows the low potential side reference potential and the off potential used by each part in the image pickup apparatus by 2nd Embodiment.
- the block diagram which shows the schematic configuration example of the vehicle control system which is an example of a moving body control system.
- an imaging device an electronic device, and an imaging method
- the main components of the image pickup device and the electronic device will be mainly described, but the image pickup device and the electronic device may have components and functions not shown or described.
- the following description does not exclude components or functions not shown or described.
- FIG. 1 is a block diagram showing a configuration example of the image pickup apparatus 100 according to the first embodiment of the present disclosure.
- the image pickup device 100 includes an image pickup lens 110, a solid-state image pickup element 200, a recording unit 120, and a control unit 130.
- As the image pickup device 100 a camera mounted on an industrial robot, an in-vehicle camera, or the like is assumed.
- the image pickup lens 110 collects the incident light and guides it to the solid-state image sensor 200.
- the solid-state image sensor 200 captures image data by photoelectrically converting incident light.
- the solid-state image sensor 200 performs predetermined signal processing such as image recognition processing on the captured image data, and transmits the data indicating the processing result and the detection signal of the address event to the recording unit 120 as a signal line 209. Output via.
- predetermined signal processing such as image recognition processing
- the method of generating the detection signal will be described later.
- the recording unit 120 records data from the solid-state image sensor 200.
- the control unit 130 controls the solid-state image sensor 200 to capture image data.
- FIG. 2 is a diagram showing an example of a laminated structure of the solid-state image sensor 200 according to the first embodiment of the present disclosure.
- the solid-state image sensor 200 includes a detection chip 202 and a light receiving chip 201 laminated on the detection chip 202. These chips are electrically connected via a connection such as a via. In addition to vias, it can also be connected by Cu-Cu bonding or bumps.
- FIG. 3 is a block diagram showing a configuration example of the solid-state image sensor 200 according to the first embodiment of the present disclosure.
- the solid-state image sensor 200 includes a drive circuit 211, a signal processing unit 212, an arbiter 213, a column ADC 220, and a pixel array unit 300.
- a plurality of pixels are arranged in a two-dimensional grid pattern in the pixel array unit 300. Further, the pixel array unit 300 is divided into a plurality of pixel blocks, each of which is composed of a predetermined number of pixels.
- a set of pixels or pixel blocks arranged in the horizontal direction is referred to as a "row”
- a set of pixels or pixel blocks arranged in a direction perpendicular to the row is referred to as a "column”.
- Each pixel generates an analog signal with a voltage corresponding to the photocurrent as a pixel signal. Further, each of the pixel blocks detects the presence or absence of an address event depending on whether or not the amount of change in the photocurrent exceeds a predetermined threshold value. Then, when the address event occurs, the pixel block outputs the request to the arbiter 213.
- the drive circuit 211 drives each of the pixels to output a pixel signal to the column ADC 220.
- the arbiter 213 arbitrates the request from each pixel block and transmits a response to the pixel block based on the arbitration result.
- the pixel block that has received the response supplies a detection signal indicating the detection result to the drive circuit 211 and the signal processing unit 212.
- the column ADC 220 converts an analog pixel signal from a row of pixel blocks into a digital signal for each row of pixel blocks.
- the column ADC 220 supplies a digital signal to the signal processing unit 212.
- the signal processing unit 212 executes predetermined signal processing such as CDS (Correlated Double Sampling) processing and image recognition processing on the digital signal from the column ADC 220.
- the signal processing unit 212 supplies the data indicating the processing result and the detection signal to the recording unit 120 via the signal line 209.
- FIG. 4 is a block diagram showing a configuration example of the pixel array unit 300 according to the first embodiment of the present disclosure.
- the pixel array unit 300 is divided into a plurality of pixel blocks 310.
- a plurality of pixels are arranged in rows I ⁇ columns J (I and J are integers).
- the pixel block 310 includes a pixel signal generation unit 320, a plurality of light receiving units 330 of rows I ⁇ columns J, and an address event detection unit 400.
- the plurality of light receiving units 330 in the pixel block 310 share the pixel signal generation unit 320 and the address event detection unit 400.
- a circuit including a light receiving unit 330 at a certain coordinate, a pixel signal generation unit 320, and an address event detection unit 400 functions as a pixel at that coordinate.
- a vertical signal line VSL is wired for each row of the pixel blocks 310. Assuming that the number of columns of the pixel block 310 is m (m is an integer), m vertical signal lines VSL are arranged.
- the light receiving unit 330 photoelectrically converts the incident light to generate a photocurrent.
- the light receiving unit 330 supplies an photocurrent to either the pixel signal generation unit 320 or the address event detection unit 400 according to the control of the drive circuit 211.
- the pixel signal generation unit 320 generates a signal having a voltage corresponding to the photocurrent as a pixel signal SIG.
- the pixel signal generation unit 320 supplies the generated pixel signal SIG to the column ADC 220 via the vertical signal line VSL.
- the address event detection unit 400 detects the presence or absence of an address event depending on whether or not the amount of change in the photocurrent from each of the light receiving units 330 exceeds a predetermined threshold value.
- This address event includes, for example, an on-event indicating that the amount of change has exceeded the upper limit threshold value and an off-event indicating that the amount of change has fallen below the lower limit threshold value.
- the address event detection signal is composed of, for example, one bit indicating an on-event detection result and one bit indicating an off-event detection result.
- the address event detection unit 400 can also detect only on-events.
- the address event detection unit 400 supplies the arbiter 213 with a request for transmitting a detection signal. Then, when the response to the request is received from the arbiter 213, the address event detection unit 400 supplies the detection signal to the drive circuit 211 and the signal processing unit 212.
- the address event detection unit 400 is an example of the detection unit described in the claims.
- FIG. 5 is a circuit diagram showing a configuration example of the pixel block 310 according to the first embodiment of the present disclosure.
- the pixel signal generation unit 320 includes a reset transistor 321, an amplification transistor 322, a selection transistor 323, and a floating diffusion layer 324.
- a plurality of light receiving units 330 in the pixel block 310 are commonly connected to the address event detection unit 400 via the connection node 340.
- each of the light receiving units 330 includes a transfer transistor 331, an OFG (OverFlow Gate) transistor 332, and a photoelectric conversion element 333.
- N is an integer
- N transfer transistors 331, OFG transistors 332, and photoelectric conversion elements 333 are arranged.
- the transfer signal TRGn is supplied by the drive circuit 211 to the gate of the nth transfer transistor 331 (n is an integer of 1 to N) in the pixel block 310.
- a control signal OFGn is supplied to the gate of the nth OFG transistor 332 by the drive circuit 211.
- the transfer transistor 331 and the OFG transistor 332 are collectively referred to as a transfer control unit 335, and the photoelectric conversion element is referred to as a photoelectric conversion unit 334.
- an N-type MOS (Metal-Oxide-Semiconductor) transistor is used as the reset transistor 321 and the amplification transistor 322 and the selection transistor 323, for example.
- an N-type MOS transistor is used for the transfer transistor 331 and the OFG transistor 332.
- each of the photoelectric conversion elements 333 is arranged on the light receiving chip 201. All of the elements other than the photoelectric conversion element 333 are arranged on the detection chip 202. A modified example in which a part of the elements other than the photoelectric conversion element 333 is arranged on the light receiving chip 201 is also conceivable.
- the photoelectric conversion element 333 photoelectrically converts the incident light to generate an electric charge.
- the transfer transistor 331 transfers an electric charge from the corresponding photoelectric conversion element 333 to the floating diffusion layer 324 according to the transfer signal TRGn.
- the OFG transistor 332 supplies the electric signal generated by the corresponding photoelectric conversion element 333 to the connection node 340 according to the control signal OFGn.
- the supplied electric signal is a photocurrent composed of electric charges.
- the floating diffusion layer 324 accumulates electric charges and generates a voltage according to the amount of the accumulated electric charges.
- the reset transistor 321 initializes the charge amount of the floating diffusion layer 324 according to the reset signal from the drive circuit 211.
- the amplification transistor 322 amplifies the voltage of the floating diffusion layer 324.
- the selection transistor 323 outputs a signal of the amplified voltage as a pixel signal SIG to the column ADC 220 via the vertical signal line VSL according to the selection signal SEL from the drive circuit 211.
- the drive circuit 211 drives the OFG transistors 332 of all the pixels by the control signal OFGn to supply the photocurrent to the connection node 340.
- the address event detection unit 400 is supplied with a current that is the sum of the photocurrents of all the light receiving units 330 in the pixel block 310.
- the drive circuit 211 turns off all the OFG transistors 332 of that block and stops the supply of photocurrent to the address event detection unit 400.
- the drive circuit 211 drives each transfer transistor 331 in order by the transfer signal TRGn to transfer the electric charge to the floating diffusion layer 324.
- the pixel signals of the plurality of pixels in the pixel block 310 are sequentially output.
- the solid-state image sensor 200 outputs only the pixel signal of the pixel block 310 in which the address event is detected to the column ADC 220.
- the power consumption of the solid-state image sensor 200 and the amount of image processing can be reduced as compared with the case where the pixel signals of all the pixels are output regardless of the presence or absence of the address event.
- the circuit scale of the solid-state image sensor 200 can be reduced as compared with the case where the address event detection unit 400 is arranged for each pixel.
- FIG. 6 is a block diagram showing a first configuration example of the address event detection unit 400 according to the first embodiment of the present disclosure.
- the address event detection unit 400 includes a current-voltage conversion unit 410, a buffer 420, a subtractor 430, a quantizer 440, and a transfer unit 450.
- the current-voltage conversion unit 410 converts the photocurrent from the corresponding light-receiving unit 330 into a logarithmic voltage signal.
- the current-voltage conversion unit 410 supplies a voltage signal to the buffer 420.
- the buffer 420 corrects the voltage signal from the current-voltage conversion unit 410.
- the buffer 420 outputs the corrected voltage signal to the subtractor 430.
- the subtractor 430 lowers the level of the voltage signal from the buffer 420 according to the row drive signal from the drive circuit 211.
- the subtractor 430 supplies the lowered voltage signal to the quantizer 440.
- the quantizer 440 quantizes the voltage signal from the subtractor 430 into a digital signal and outputs it to the transfer unit 450 as a detection signal.
- the transfer unit 450 transfers the detection signal from the quantizer 440 to the signal processing unit 212 or the like.
- the transfer unit 450 supplies the arbiter 213 with a request to transmit a detection signal. Then, when the transfer unit 450 receives the response to the request from the arbiter 213, the transfer unit 450 supplies the detection signal to the drive circuit 211 and the signal processing unit 212.
- FIG. 7 is a circuit diagram showing a configuration example of the current-voltage conversion unit 410 according to the first embodiment of the present disclosure.
- the current-voltage conversion unit 410 includes N-type transistors 411 and 413 and a P-type transistor 412. As these transistors, for example, MOS transistors are used.
- the source of the N-type transistor 411 is connected to the light receiving unit 330, and the drain is connected to the power supply terminal.
- the P-type transistor 412 and the N-type transistor 413 are connected in series between the power supply terminal and the ground terminal. Further, the connection nodes of the P-type transistor 412 and the N-type transistor 413 are connected to the gate of the N-type transistor 411 and the input terminal of the buffer 420. Further, a predetermined bias voltage Vbias is applied to the gate of the P-type transistor 412.
- the drains of the N-type transistors 411 and 413 are connected to the power supply side, and such a circuit is called a source follower.
- the two source followers connected in a loop convert the photocurrent from the light receiving unit 330 into its logarithmic voltage signal.
- the P-type transistor 412 supplies a constant current to the N-type transistor 413.
- FIG. 8 is a circuit diagram showing a configuration example of the subtractor 430 and the quantizer 440 according to the first embodiment of the present disclosure.
- the subtractor 430 includes capacitors 431 and 433, an inverter 432, and a switch 434.
- the quantizer 440 includes a comparator 441.
- One end of the capacitor 431 is connected to the output terminal of the buffer 420, and the other end is connected to the input terminal of the inverter 432.
- the capacitor 433 is connected in parallel with the inverter 432.
- the switch 434 opens and closes the path connecting both ends of the capacitor 433 according to the row drive signal.
- the inverter 432 inverts the voltage signal input via the capacitor 431.
- the inverter 432 outputs the inverted signal to the non-inverting input terminal (+) of the comparator 441.
- Equation (5) represents the subtraction operation of the voltage signal, and the gain of the subtraction result is C1 / C2. Since it is usually desired to maximize the gain, it is preferable to design the capacitance C1 of the capacitor 431 to be large and the capacitance C2 of the capacitor 433 to be small. On the other hand, if C2 is too small, kTC noise may increase and noise characteristics may deteriorate. Therefore, the capacity reduction of C2 is limited to a range in which noise can be tolerated. Further, since the address event detection unit 400 including the subtractor 430 is mounted on each pixel block, the capacitances C1 and C2 have restrictions on the area. In consideration of these, the values of the capacitances C1 and C2 are determined.
- the comparator 441 compares the voltage signal from the subtractor 430 with the predetermined threshold voltage Vth applied to the inverting input terminal ( ⁇ ). The comparator 441 outputs a signal indicating the comparison result to the transfer unit 450 as a detection signal.
- the gain A of the entire address event detection unit 400 described above is expressed by the following equation, where the conversion gain of the current-voltage conversion unit 410 is CGlog and the gain of the buffer 420 is “1”.
- iphoto_n is the photocurrent of the nth pixel, and the unit is, for example, ampere (A).
- N is the number of pixels in the pixel block 310.
- FIG. 9 is a block diagram showing a configuration example of the column ADC 220 according to the first embodiment of the present disclosure.
- the column ADC 220 includes an ADC 230 for each row of pixel blocks 310. Further, the column ADC 220 includes a reference signal generation unit 223 and an output unit 222.
- the reference signal generation unit 223 generates a reference signal such as a lamp signal and supplies it to each of the ADC 230s.
- a DAC Digital to Analog Converter
- the output unit 222 supplies the digital signal from the ADC 230 to the signal processing unit 212.
- the ADC 230 converts the analog pixel signal SIG supplied via the vertical signal line VSL into a digital signal.
- the ADC 230 includes a comparator 236, a counter 237, a switch 238 and a memory 239.
- the comparator 236 compares the reference signal with the pixel signal SIG, and the counter 237 counts the count value over a period until the comparison result is inverted.
- the switch 238 supplies and holds the count value to the memory 239 according to the control of a timing control circuit (not shown) or the like.
- the memory 239 supplies a digital signal indicating a count value to the output unit 222 under the control of a horizontal drive unit (not shown) or the like.
- the pixel signal SIG is converted into a digital signal having a larger number of bits than the detection signal. For example, if the detection signal is 2 bits, the pixel signal is converted into a digital signal of 3 bits or more (16 bits or the like).
- the ADC 230 is an example of the analog-to-digital converter described in the claims.
- FIG. 10 is a timing chart showing an example of the operation of the solid-state image sensor 200 according to the first embodiment of the present disclosure.
- the drive circuit 211 sets all the control signals OFGn to a high level and turns on the OFG transistors 332 of all pixels.
- the sum of the photocurrents of all the pixels is supplied to the address event detection unit 400.
- the transfer signals TRGn are all low level, and the transfer transistors 331 of all pixels are in the off state.
- the address event detection unit 400 detects the address event and outputs a high-level detection signal.
- the detection signal is a 1-bit signal indicating the on-event detection result.
- the drive circuit 211 When the drive circuit 211 receives the detection signal, it sets all the control signals OFGn to the low level at the timing T2 and stops the supply of the photocurrent to the address event detection unit 400. Further, the drive circuit 211 initializes the floating diffusion layer 324 by setting the selection signal SEL to a high level and the reset signal RST to a high level over a certain pulse period.
- the pixel signal generation unit 320 outputs the voltage at the time of initialization as a reset level, and the ADC 230 converts the reset level into a digital signal.
- the drive circuit 211 supplies a high level transfer signal TRG1 over a certain pulse period, and causes the first pixel to output a voltage as a signal level.
- the ADC 230 converts its signal level into a digital signal.
- the signal processing unit 212 obtains the difference between the reset level and the signal level as a net pixel signal. This process is called a CDS process.
- the drive circuit 211 supplies the high level transfer signal TRG2 over a certain pulse period to output the signal level to the second pixel.
- the signal processing unit 212 obtains the difference between the reset level and the signal level as a net pixel signal.
- the same processing is executed, and the pixel signals of each pixel in the pixel block 310 are output in order.
- the drive circuit 211 sets all the control signals OFGn to a high level and turns on the OFG transistors 332 of all the pixels.
- FIG. 11 is a flowchart showing an example of the operation of the solid-state image sensor 200 according to the first embodiment of the present disclosure. This operation is started, for example, when a predetermined application for detecting an address event is executed.
- Each of the pixel blocks 310 detects the presence or absence of an address event (step S901).
- the drive circuit 211 determines whether or not there is an address event in any of the pixel blocks 310 (step S902). When there is an address event (step S902: Yes), the drive circuit 211 sequentially outputs the pixel signals of each pixel in the pixel block 310 in which the address event has occurred (step S903).
- the address event detection unit 400 detects the amount of change in the photocurrent of each of the plurality (N) photoelectric conversion elements 333 (pixels), so that the address event
- the number of detection units 400 arranged can be one for each N pixels.
- N 1
- the low potential side reference potential and the off potential used by each part in the image pickup apparatus 100 include three or more types of potentials having different potential levels.
- the low potential side reference potential and the off potential are typically the ground potential GND, but in the present embodiment, it is assumed that a potential of a potential level other than the ground potential GND is used by each part in the imaging device 100. ing.
- the off potential of the transfer control unit 335 includes three or more potentials having different potential levels.
- the low potential side reference potential of the photoelectric conversion unit 334 may have a lower potential level than the low potential side reference potential of the address event detection unit 400. Further, the low potential side reference potential of the photoelectric conversion unit 334 may have a higher potential level than the off potential of the transfer control unit 335. Further, the low potential side reference potential of the photoelectric conversion unit 334 may have a lower potential level than the low potential side reference potential of at least one of the pixel signal generation unit 320 and the column ADC 220.
- FIG. 12 is a diagram showing a low potential side reference potential and an off potential used by each part in the image pickup apparatus 100 according to the first embodiment.
- FIG. 12 shows an example in which the low potential side reference potential and the off potential used by each part in the image pickup apparatus 100 include three potentials having different potential levels.
- these three potentials are the ground potential, the first reference potential, and the second reference potential.
- the ground potential is, for example, 0 V
- the first reference potential is a negative potential whose potential level is lower than the ground potential GND
- the second reference potential is a negative potential whose potential level is even lower than the second reference potential.
- the first reference potential and the second reference potential are supplied from the negative potential supply unit 235.
- the negative potential supply unit 235 uses, for example, a charge pump to generate a first reference potential and a second reference potential lower than the ground potential GND.
- the low potential side reference potential of the photoelectric conversion unit 334 is the first reference potential. Further, the low potential side reference potential of the address event detection unit 400, the pixel signal generation unit 320, and the column ADC 220 is the ground potential GND.
- the off potential of the transfer control unit 335 is the second reference potential.
- the transfer control unit 335 is composed of a transfer transistor 331 and an OFG transistor 332, and the off potential of the transfer control unit 335 refers to a potential for turning off the gates of the transfer transistor 331 and the OFG transistor 332.
- the low potential side reference potential of the photoelectric conversion unit 334 is set to the second reference potential which is a negative potential
- the low potential side reference potential of the photoelectric conversion unit 334 is set to the ground potential GND.
- the reverse bias of the photodiode (photoelectric conversion element) in the photoelectric conversion unit 334 becomes large. As a result, the sensitivity of the photodiode 311 is increased, and the dark current can be reduced.
- the back gates of the transfer transistor 331 and the OFG transistor 332 in the transfer control unit 335 may be set to the negative potential Vn. This prevents the threshold voltage of each transistor from becoming higher due to the substrate bias effect and the gate-source voltage of those transistors from becoming 0 or less as compared with the case where those potentials are used as the reference potential. be able to.
- the gate-source voltage becomes 0 or less, a normal output cannot be obtained due to the circuit configuration of the pixel signal generation unit 320. Therefore, such a situation can be suppressed by supplying the negative potential Vn to the back gate. can.
- the signal quality of the detection signal can be improved by improving the sensitivity of the photodiode 311, lowering the dark current, and raising the threshold voltage.
- the low potential side reference potential (first reference potential) of the address event detection unit 400 is set to a higher potential level than the low potential side reference potential (first reference potential) of the photoelectric conversion unit 334. If the low potential side reference potential of the address event detection unit 400 is made lower than the low potential side reference potential of the photoelectric conversion unit 334, the photodiode in the photoelectric conversion unit 334 will not be sufficiently reverse biased and a leakage current will occur. The response may be slow due to increased or increased noise. As shown in FIG. 12, by setting the low potential side reference potential of the address event detection unit 400 to a potential level higher than the low potential side reference potential of the photoelectric conversion unit 334, a sufficient reverse bias can be applied to the photodiode. , Noise can be reduced and response speed can be improved.
- the OFG transistor 332 in the transfer control unit 335 is turned on when the address event detection unit 400 performs the address event detection process. At this time, the transfer transistor 331 must be turned off. When the address event detection unit 400 detects an address event, the OFG transistor 332 is turned off and the transfer transistor 331 is turned on. When the transfer transistor 331 is turned on, the electric signal (optical current) photoelectrically converted by the photodiode is sent to the pixel signal generator 320 via the transfer transistor 331 to generate a pixel signal, and then sent to the column ADC 220 to be a digital signal. Is generated.
- the OFG transistor 332 and the transfer transistor 331 are exclusively turned on / off.
- a positive potential is given to the gate of the on-transistor and a negative potential is given to the gate of the off-transistor. Is desirable. Therefore, in FIG. 12, the off potential of the transfer control unit 335 is set to the second reference potential, which is a negative potential.
- FIGS. 13A and 13B are examples of specific potential levels of the low potential side reference potential and the off potential given to each part in the image pickup apparatus 100 according to the first embodiment.
- FIG. 13A is a potential level when the transfer transistor is turned off
- FIG. 13B is a potential level when the transfer transistor is turned on. When performing address event detection, it is set to the potential level of FIG. 13A.
- the potential levels in FIGS. 13A and 13B are examples, and various modifications can be considered.
- the transfer transistor when the transfer transistor is turned off, the anode of the photodiode is set to a negative potential of -0.6V. Further, the gate of the transfer transistor is set to a negative potential of -1.8V. This ensures that the transfer transistor is turned off.
- the gate of the reset transistor in the pixel signal generation unit 320 is set to 2.2V. As a result, the reset transistor is turned on, and the amount of charge in the floating diffusion layer 324 is initialized.
- the positive potential side reference potential of the pixel signal generation unit 320 is set to 2.8 V.
- the gate of the OFG transistor is set to about 2.2 to 2.8V.
- the low potential side reference potential of the address event detection unit 400 is set to a ground potential GND (0V) higher than the anode potential of the photodiode.
- the positive potential side reference potential of the address event detection unit 400 is set to 2.2V.
- the transfer transistor when the transfer transistor is turned on, the anode of the photodiode is also set to -0.6V. Further, the gate of the transfer transistor is set to 2.2V. The gate of the reset transistor in the pixel signal generation unit 320 is set to -0.6V, which is a negative potential. The drain of the reset transistor is set to 2.2V. The drain of the amplification transistor 322 in the pixel signal generation unit 320 is set to 2.8V.
- the gate of the OFG transistor is set to -1.8V.
- the low potential side reference potential of the address event detection unit 400 is the ground potential GND (0V) as in FIG. 13A.
- the low potential side reference potential and the off potential used by each part in the image pickup apparatus 100 include three or more kinds of potentials having different potential levels. Thereby, the operation of each part in the image pickup apparatus 100 can be optimized. For example, since the low potential side reference potential of the photoelectric conversion unit 334 is set as the reference potential, the sensitivity of the photodiode can be improved and the dark current can be reduced. Further, by making the low potential side reference potential of the address event detection unit 400 higher than the low potential side reference potential of the photoelectric conversion unit 334, a sufficient reverse bias is applied to the photodiode, and noise reduction and response speed are achieved. Can be improved. Further, by setting the off potential of the transfer control unit 335 to a negative potential, the transfer transistor and the OFG transistor can be reliably and exclusively operated.
- FIG. 14 is a diagram showing a low potential side reference potential and an off potential used by each part in the image pickup apparatus 100 according to the second embodiment. Also in the example of FIG. 14, three types of reference potentials having different potential levels are used as the low potential side reference potential and the off potential used by each part in the image pickup apparatus 100, but the potential levels of these three types of reference potentials are different. It is different from FIG. More specifically, the first reference potential in FIG. 14 has a potential level higher than the ground potential GND, and the second reference potential has a potential level lower than the ground potential GND.
- the second reference potential is supplied from the negative potential supply unit 235.
- the first reference potential is supplied from a power supply unit (not shown).
- the low potential side reference potential of the photoelectric conversion unit 334, the pixel signal generation unit 320, and the column ADC 220 is the ground potential GND (0V).
- the low potential side reference potential of the address event detection unit 400 is a first reference potential which is a positive potential.
- the off potential of the transfer control unit 335 is a second reference potential which is a negative potential lower than the first reference potential.
- the inverse bias of the photodiode in the photoelectric conversion unit 334 can be sufficiently increased. , Noise reduction and response speed improvement can be achieved. Further, since the off potential of the transfer control unit 335 is set to the second reference potential, which is a negative potential lower than the first reference potential, the transfer transistor and the OFG transistor can be reliably operated exclusively.
- FIG. 15A and 15B are examples of specific potential levels of the low potential side reference potential and the off potential given to each part in the image pickup apparatus 100 according to the second embodiment.
- FIG. 15A shows the potential level when the transfer transistor is turned off
- FIG. 15B shows the potential level when the transfer transistor is turned on.
- the transfer transistor when the transfer transistor is turned off, the anode of the photodiode is set to the ground potential GND (0V), which is a negative potential. Further, the gate of the transfer transistor is set to -1.2V, which is a negative potential. This ensures that the transfer transistor is turned off.
- the gate of the reset transistor in the pixel signal generation unit 320 is set to 2.8V. As a result, the reset transistor is turned on, and the amount of charge in the floating diffusion layer 324 is initialized.
- the positive potential side reference potential of the pixel signal generation unit 320 is set to 2.8 V.
- the low potential side reference potential of the address event detection unit 400 is set to 0.6 V, which is higher than the anode potential of the photodiode.
- the positive potential side reference potential of the address event detection unit 400 is set to 2.8V.
- the transfer transistor when the transfer transistor is turned on, the anode of the photodiode is also set to the ground potential GND (0V). Further, the gate of the transfer transistor is set to 2.8V. The gate of the reset transistor in the pixel signal generation unit 320 is set to the ground potential GND (0V). The drain of the reset transistor is set to 2.8V. The drain of the amplification transistor 322 in the pixel signal generation unit 320 is set to 2.8V.
- FIGS. 13A, 13B, 15A, and 15B 2.2V and 2.8V are mixed as the positive potential side reference potential, but this is an example and may be aligned to a specific potential.
- the first reference potential of the positive potential and the second reference potential of the negative potential are provided as the low potential side reference potential and the off potential in the image pickup apparatus 100.
- the low potential side reference potential of the optimum voltage level can be set for each part in the image pickup apparatus 100, and the operation of each part can be optimized.
- a sufficient reverse bias is applied to the photodiode, and noise reduction and response speed are achieved. Can be improved.
- the off potential of the transfer control unit 335 to a negative potential, the transfer transistor and the OFG transistor can be reliably and exclusively operated.
- the circuit configuration of the negative potential supply unit 235 can be simplified.
- FIG. 16 is a diagram showing a low potential side reference potential and an off potential used by each part in the image pickup apparatus 100 according to the third embodiment.
- the image pickup apparatus 100 includes a potential selection unit 336 that switches the low potential side reference potential of the photoelectric conversion unit 334.
- the potential selection unit 336 is within a period in which the address event detection unit 400 detects whether or not the amount of change in the electric signal (photocurrent) photoelectrically converted by the photodiode exceeds a predetermined threshold value in the address event detection unit 400.
- the first reference potential is selected, and the second reference potential having a higher potential level than the first reference potential is selected during the period in which the analog-digital converter converts the pixel signal into a digital signal.
- the low potential side reference potential and the off potential used by each part of the image pickup apparatus 100 according to the third embodiment are the first reference potential and the second reference potential having different potential levels, respectively. That is, the third embodiment has one less reference potential than the first and second embodiments.
- the second reference potential in the third embodiment is, for example, the ground potential GND (0V), and the first reference potential is a negative potential whose potential level is lower than that of the ground potential GND.
- the first reference potential is supplied from the negative potential supply unit 235.
- the low potential side reference potential of the address event detection unit 400, the pixel signal generation unit 320, and the column ADC 220 is the ground potential GND (second reference potential).
- the off potential of the transfer control unit 335 is a negative potential (first reference potential).
- the address event detection unit 400 needs to detect an address event as soon as possible based on the electrical signal photoelectrically converted by the photodiode in the photoelectric conversion unit 334. Therefore, during the period when the address event detection unit 400 performs the address event detection operation, the low potential side reference potential of the photoelectric conversion unit 334 is lowered to a negative potential to improve the sensitivity of the photodiode and reduce the dark current. On the other hand, when the address event detection unit 400 detects an address event, the pixel signal generation unit 320 performs an operation of generating a pixel signal. However, since it is not necessary to improve the sensitivity of the photodiode during this period, it is not necessary to improve the sensitivity of the photodiode.
- the low potential side reference potential of the receiving unit is set to the ground potential GND to reduce power consumption.
- the low potential side reference potential of the photoelectric conversion unit 334 is switched between the case of performing address event detection and the case of generating a pixel signal, the sensitivity of the photodiode at the time of address event detection. In addition to improving and reducing dark current, power consumption during pixel signal generation can be reduced.
- FIG. 17 is a block diagram showing a second configuration example of the address event detection unit 400.
- the address event detection unit 400 according to this configuration example includes a storage unit 460 and a storage unit 460 in addition to the current-voltage conversion unit 410, the buffer 420, the subtractor 430, the quantizer 440, and the transfer unit 450. It is configured to have a control unit 470.
- the storage unit 460 is provided between the quantizer 440 and the transfer unit 450, and is based on the sample signal supplied from the control unit 470, and is the output of the quantizer 440, that is, in the quantizer 440.
- the comparison result of the comparator 441 is accumulated.
- the storage unit 460 may be a sampling circuit such as a switch, plastic, or capacitance, or may be a digital memory circuit such as a latch or flip-flop.
- the control unit 470 supplies a predetermined threshold voltage V th to the inverting ( ⁇ ) input terminal of the comparator 441.
- the threshold voltage V th supplied from the control unit 470 to the comparator 441 may have different voltage values in time division.
- the control unit 470 sets the threshold voltage V th1 corresponding to the on-event indicating that the amount of change in the optical current exceeds the upper limit threshold value and the off-event indicating that the amount of change has fallen below the lower limit threshold value.
- one comparator 441 can detect a plurality of types of address events.
- the storage unit 460 uses, for example, the threshold voltage V th1 corresponding to the on-event during the period in which the threshold voltage V th2 corresponding to the off-event is supplied from the control unit 470 to the inverting (-) input terminal of the comparator 441.
- the comparison result of the comparator 441 that has been used may be accumulated.
- the storage unit 460 may be inside the pixel 30 or outside the pixel 30. Further, the storage unit 460 is not an essential component of the address event detection unit 400. That is, the storage unit 460 may be omitted.
- Imaging device 100 (scanning method) according to the second configuration example
- the image pickup device 10020 provided with the first configuration example of the address event detection unit 400 shown in FIG. 6 described above is an asynchronous image pickup device 100 that reads out an event by an asynchronous read-out method.
- the event reading method is not limited to the asynchronous reading method, and may be a synchronous reading method.
- the imaging device 100 to which the synchronous reading method is applied is the scanning type imaging device 100, which is the same as the normal imaging device 100 that performs imaging at a predetermined frame rate.
- FIG. 18 is a block diagram showing an example of the configuration of the imaging device 100 according to the second configuration example, that is, the scanning type imaging device 100, which is used as the imaging device 10020 in the imaging system 10 to which the technique according to the present disclosure is applied. Is.
- the image pickup device 10020 includes a pixel array unit 21, a drive unit 22, a signal processing unit 25, a read area selection unit 27, and a signal generation. It is configured to include a unit 221.
- the pixel array unit 21 includes a plurality of pixels 30.
- the plurality of pixels 30 output an output signal in response to the selection signal of the read area selection unit 27.
- Each of the plurality of pixels 30 may have a quantizer in the pixel, as shown in FIG. 7, for example.
- the plurality of pixels 30 output an output signal corresponding to the amount of change in light intensity. As shown in FIG. 18, the plurality of pixels 30 may be two-dimensionally arranged in a matrix.
- the drive unit 22 drives each of the plurality of pixels 30 to output the pixel signal generated by each pixel 30 to the signal processing unit 25.
- the drive unit 22 and the signal processing unit 25 are circuit units for acquiring gradation information. Therefore, when only the event information is acquired, the drive unit 22 and the signal processing unit 25 may be omitted.
- the read area selection unit 27 selects a part of the plurality of pixels 30 included in the pixel array unit 21. For example, the read area selection unit 27 selects any one or a plurality of rows included in the structure of the two-dimensional matrix corresponding to the pixel array unit 21. The read area selection unit 27 sequentially selects one or a plurality of rows according to a preset cycle. Further, the read area selection unit 27 may determine the selection area in response to a request from each pixel 30 of the pixel array unit 21.
- the signal generation unit 221 generates an event signal corresponding to the active pixel that has detected an event among the selected pixels, based on the output signal of the pixel selected by the read area selection unit 27.
- An event is an event in which the intensity of light changes.
- An active pixel is a pixel in which the amount of change in light intensity corresponding to an output signal exceeds or falls below a preset threshold value. For example, the signal generation unit 221 compares the output signal of a pixel with a reference signal, detects an active pixel that outputs an output signal when it is larger or smaller than the reference signal, and generates an event signal corresponding to the active pixel. ..
- the signal generation unit 221 can be configured to include, for example, a column selection circuit that arbitrates the signal entering the signal generation unit 221. Further, the signal generation unit 221 can be configured to output not only the information of the active pixel that detected the event but also the information of the inactive pixel that does not detect the event.
- the signal generation unit 221 outputs the address information and the time stamp information (for example, (X, Y, T)) of the active pixel that detected the event through the output line 15.
- the data output from the signal generation unit 221 may be not only address information and time stamp information but also frame format information (for example, (0, 0, 1, 0, ...)). ..
- the laminated chip structure As the chip (semiconductor integrated circuit) structure of the image pickup apparatus 10020 according to the first configuration example or the second configuration example described above, as shown in FIG. 2, a laminated chip structure can be adopted.
- the laminated chip structure the so-called laminated structure, has a structure in which at least two chips of the light receiving chip 201, which is the first chip, and the detection chip 202, which is the second chip, are laminated. Then, in the circuit configuration of the pixel 30 shown in FIG. 4, each of the light receiving portions 330 is arranged on the light receiving chip 201, and all the elements other than the light receiving element 311 and the elements of the other circuit parts of the pixel 30 are detected chips. Placed on 202.
- the light receiving chip 201 and the detection chip 202 are electrically connected via a connecting portion such as a via (VIA), a Cu—Cu junction, or a bump.
- VIP via
- each element of the light receiving unit 330, the reset transistor 321 of the pixel signal generation unit 32032, and the floating diffusion layer 324 are arranged on the light receiving chip 201, and other elements are detected. It can be configured to be placed on the chip 202. Alternatively, a part of the elements constituting the address event detection unit 400 may be arranged on the light receiving chip 201 together with the elements of the light receiving unit 330 and the like.
- FIG. 9 a configuration example in which the analog-to-digital converter (ADC) 230 is arranged in the column ADC 220 in a one-to-one correspondence with the pixel array of the pixel array unit 21 has been illustrated. It is not limited.
- the analog-to-digital converter (ADC) 230 may be arranged in units of a plurality of pixel rows, and the analog-to-digital converter (ADC) 230 may be used in a time division manner among the plurality of pixel rows.
- the analog-to-digital converter (ADC) 230 converts the analog pixel signal SIG supplied via the vertical signal line VSL into a digital signal having a larger number of bits than the above-mentioned address event detection signal. For example, if the detection signal of the address event is 2 bits, the pixel signal is converted into a digital signal of 3 bits or more (16 bits or the like).
- the analog-to-digital converter (ADC) 230 supplies the digital signal generated by the analog-to-digital conversion to the signal processing unit 25.
- the image pickup apparatus 10020 has a detection unit (that is, an address event detection unit 400) that detects in real time as an address event that the amount of light of the pixel exceeds a predetermined threshold value for each pixel address. It is an asynchronous type imaging device 100 called DVS provided for each pixel 30.
- the image pickup apparatus 100 In the image pickup apparatus 100 according to the first configuration example of the asynchronous type, originally, when some event (that is, a true event) occurs in the scene, the data caused by the occurrence of the true event is acquired. However, in the asynchronous type image pickup apparatus 100, even in a scene where a true event does not occur, data may be unnecessarily acquired due to a noise event (false event) such as sensor noise. This not only reads out the noise signal, but also reduces the throughput of the signal output.
- a noise event false event
- the technology according to the present disclosure can be applied to various products. A more specific application example will be described below.
- the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a distance measuring device mounted on the body.
- FIG. 19 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
- the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
- the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
- the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- Each control unit drives a microcomputer (processor) that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetics, and various control target devices. It is equipped with a drive circuit.
- Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is provided by wired communication or wireless communication with devices or sensors inside or outside the vehicle. A communication I / F for performing communication is provided. In FIG.
- control unit 7600 the microcomputer 7610, the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, the audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
- Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
- the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
- the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
- the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
- the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. Includes at least one of the sensors for detecting angular velocity, engine speed, wheel speed, and the like.
- the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a braking device, and the like.
- the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as head lamps, back lamps, brake lamps, blinkers or fog lamps.
- the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
- the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
- the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals to control the temperature of the secondary battery 7310 or the cooling device provided in the battery device.
- the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
- the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
- the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the vehicle exterior information detection unit 7420 is used to detect, for example, the current weather or an environmental sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
- the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
- the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
- the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
- FIG. 20 shows an example of the installation positions of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
- the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
- the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
- the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
- the image pickup unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
- the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
- FIG. 20 shows an example of the photographing range of each of the imaging units 7910, 7912, 7914, 7916.
- the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
- the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
- the imaging range d indicates the imaging range d.
- the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
- the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
- the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
- These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
- the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
- the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
- the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
- the vehicle outside information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
- the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
- the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
- the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
- the in-vehicle information detection unit 7500 detects the in-vehicle information.
- a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
- the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
- the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
- the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
- the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
- the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
- An input unit 7800 is connected to the integrated control unit 7600.
- the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
- the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
- the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
- the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- ROM Read Only Memory
- RAM Random Access Memory
- the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
- General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi).
- GSM Global System of Mobile communications
- WiMAX Wireless F
- LTE Long Term Evolution
- LTE-A Long Term Evolution-A
- Wi-Fi wireless LAN
- Other wireless communication protocols such as (also referred to as (registered trademark)) and Bluetooth (registered trademark) may be implemented.
- the general-purpose communication I / F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via, for example, a base station or an access point. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian, or a store, or an MTC (Machine Type Communication) terminal). May be connected with.
- P2P Peer To Peer
- MTC Machine Type Communication
- the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
- the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE802.11p and upper layer IEEE1609. May be implemented.
- the dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
- the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
- the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
- the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
- the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
- the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
- the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
- a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
- the in-vehicle device I / F7660 is connected via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
- a wired connection such as High-definition Link may be established.
- the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or an information device carried or attached to the vehicle.
- the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
- the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
- the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
- the vehicle-mounted network I / F7680 transmits and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
- the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the information acquired in the above, the vehicle control system 7000 is controlled according to various programs. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
- the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
- the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control for the purpose of driving or the like may be performed.
- ADAS Advanced Driver Assistance System
- the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and may generate a warning signal.
- the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
- the audio image output unit 7670 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
- an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
- the display unit 7720 may include, for example, at least one of an onboard display and a heads-up display.
- the display unit 7720 may have an AR (Augmented Reality) display function.
- the output device may be other devices other than these devices, such as headphones, wearable devices such as eyeglass-type displays worn by passengers, and projectors or lamps.
- the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
- the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs it audibly.
- At least two control units connected via the communication network 7010 may be integrated as one control unit.
- each control unit may be composed of a plurality of control units.
- the vehicle control system 7000 may include another control unit (not shown).
- the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
- a sensor or device connected to one of the control units may be connected to the other control unit, and the plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
- the techniques according to the present disclosure include, for example, the imaging unit 7910, 7912, 7914, 7916, 7918, the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930, and the driver state detection. It can be applied to the part 7510 and the like. Specifically, the image pickup system 10 of FIG. 1 having the image pickup apparatus 100 of the present disclosure can be applied to these image pickup units and detection units.
- the influence of noise events such as sensor noise can be mitigated, and the occurrence of true events can be detected reliably and quickly, thus realizing safe vehicle driving. It becomes possible to do.
- the present disclosure may have the following structure.
- a photoelectric conversion unit having a plurality of photoelectric conversion elements, each of which photoelectrically converts incident light to generate an electric signal.
- a detection unit that outputs a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
- a pixel signal generator that generates a pixel signal based on the electrical signal,
- a transfer control unit that controls the transfer of the electric signal to the pixel signal generation unit, and
- An analog-to-digital converter that converts the pixel signal into a digital signal is provided.
- the off potential of the transfer control unit is an imaging device that includes three or more potentials having different potential levels.
- the low potential side reference potential of the photoelectric conversion unit has a lower potential level than the low potential side reference potential of at least one of the pixel signal generation unit and the analog-digital converter, according to (1) to (3).
- the imaging apparatus according to any one item.
- At least one of the off potentials of the transfer control unit is the ground potential, the other at least one is the first reference potential whose potential level is lower than the ground potential, and the other at least one is the first reference.
- the imaging apparatus according to any one of (1) to (4), which is a second reference potential having a potential level lower than the potential.
- the low potential side reference potential of the photoelectric conversion unit is the second reference potential.
- the low potential side reference potential of the detection unit, the pixel signal generation unit, and the analog-digital converter is the ground potential.
- the imaging device according to (5), wherein the off potential of the transfer control unit is the second reference potential.
- the ground potential is 0 V, and the ground potential is 0 V.
- the first reference potential is a negative potential.
- the imaging device according to (5) or (6), wherein the second reference potential is a negative potential whose potential level is lower than that of the first reference potential.
- the imaging apparatus according to any one of (1) to (3), wherein the photoelectric conversion unit, the pixel signal generation unit, and the analog-digital converter have substantially the same low potential side reference potential.
- At least one of the off potentials of the transfer control unit is the ground potential, the other at least one is the first reference potential having a potential level higher than the ground potential, and the other at least one is from the ground potential.
- the imaging apparatus according to any one of (1) to (3) and (8), which is also a second reference potential having a low potential level.
- the low potential side reference potential of the photoelectric conversion unit, the pixel signal generation unit, and the analog-digital converter is the ground potential.
- the low potential side reference potential of the detection unit is the first reference potential.
- the imaging device according to (9), wherein the off potential of the transfer control unit is the second reference potential.
- the ground potential is 0 V, and the ground potential is 0 V.
- the first reference potential is a positive potential.
- a photoelectric conversion unit having a plurality of photoelectric conversion elements, each of which photoelectrically converts incident light to generate an electric signal.
- a detection unit that outputs a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
- a pixel signal generator that generates a pixel signal based on the electrical signal
- a transfer control unit that controls the transfer of the electric signal to the pixel signal generation unit
- An analog-to-digital converter that converts the pixel signal into a digital signal
- An imaging device including a potential selection unit that switches the low potential side reference potential of the photoelectric conversion unit. (13)
- the analog-digital converter converts the pixel signal into the digital signal.
- the potential selection unit selects a first reference potential within a period in which the detection unit detects whether or not the amount of change exceeds the predetermined threshold value, and the analog-digital converter converts the pixel signal into the digital.
- the imaging apparatus according to (12) wherein a second reference potential having a potential level higher than that of the first reference potential is selected during the period of converting into a signal.
- the first reference potential is a negative potential.
- the imaging device according to (13), wherein the second reference potential is a ground potential.
- the imaging device according to any one of (12) to (14), wherein the off potential of the transfer control unit includes two or more potentials having different potential levels.
- the low potential side reference potential of the detection unit, the low potential side reference potential of the pixel signal generation unit, and the low potential side reference potential of the analog-digital converter are ground potentials.
- the imaging device according to any one of (12) to (15), wherein the off potential of the transfer control unit is a negative potential.
- a detection unit that outputs a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value.
- a pixel signal generator that generates a pixel signal based on the electrical signal,
- a transfer control unit that controls the transfer of the electric signal to the pixel signal generation unit, and
- An analog-to-digital converter that converts the pixel signal into a digital signal is provided.
- the off potential of the transfer control unit is an electronic device containing three or more potentials having different potential levels.
- a step of photoelectrically converting incident light with a plurality of photoelectric conversion elements to generate an electric signal A step of outputting a detection signal indicating whether or not the amount of change in the electric signal of each of the plurality of photoelectric conversion elements exceeds a predetermined threshold value, and The step of transferring the electric signal and The step of generating a pixel signal based on the transferred electric signal, and The step of converting the pixel signal into a digital signal is provided.
- the low potential side reference potential at the time of photoelectric conversion, the low potential side reference potential at the time of outputting the detection signal, the low potential side reference potential at the time of generating the pixel signal, and the pixel signal as a digital signal.
- the low potential side reference potential at the time of conversion and the off potential at the time of transferring the electric signal include three or more potentials having different potential levels, and these electric signals are used to generate the electric signal.
- An imaging method in which a step of generating, a step of outputting the detection signal, a step of transferring the electric signal, a step of generating the pixel signal, and a step of converting into the digital signal are performed.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
[課題]感度向上と暗電流の減少を図るとともに、消費電力を低減する。 [解決手段]撮像装置は、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、複数の光電変換素子のそれぞれの電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、電気信号に基づいて画素信号を生成する画素信号生成部と、電気信号を画素信号生成部に転送する制御を行う転送制御部と、画素信号をデジタル信号に変換するアナログデジタル変換器と、を備える。光電変換部の低電位側基準電位と、検出部の低電位側基準電位と、画素信号生成部の低電位側基準電位と、アナログデジタル変換器の低電位側基準電位と、転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる。
Description
本開示は、撮像装置、電子機器及び撮像方法に関する。
従来の撮像装置では、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の撮像素子を用いるのが一般的である。この種の同期型の撮像素子は、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、画像データをより高速に取得する用途には適さない。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をイベントとしてリアルタイムに検出するイベント検出回路を画素毎に設けた非同期型の撮像素子が提案されている(例えば、特許文献1参照。)。この撮像素子では、フォトダイオードと、イベントを検出するための複数のトランジスタとが画素毎に配置される。
上述の非同期型の撮像素子では、同期型の撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、電源電圧の低下や接地電圧の上昇などの電圧変動によりフォトダイオードの逆バイアスが低くなると、そのフォトダイオードの感度が低下し、暗電流が増大するおそれがある。このため、これらの感度の不足や暗電流に起因して、信号品質が低下するという問題がある。フォトダイオードの面積を大きくすれば、感度を向上させ、暗電流を低減することができるが、単位面積当たりの画素数が減少するため望ましくない。また、電源電圧を充分に高くすることによっても感度を向上させ、暗電流を低減することができるが、消費電力が増大するため好ましくない。
本開示は、感度向上と暗電流の減少を図るとともに、消費電力を低減可能な撮像装置、電子機器及び撮像方法を提供するものである。
上記の課題を解決するために、本開示によれば、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。
前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低くてもよい。
前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高くてもよい。
前記光電変換部の低電位側基準電位は、前記画素信号生成部及び前記アナログデジタル変換器の少なくとも一方の低電位側基準電位よりも電位レベルが低くてもよい。
前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第1基準電位であり、かつその他の少なくとも一つは前記第1基準電位よりも電位レベルが低い第2基準電位であってもよい。
前記光電変換部の低電位側基準電位は前記第2基準電位であり、
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位であってもよい。
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位であってもよい。
前記接地電位は0Vであり、
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位であってもよい。
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位であってもよい。
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しくてもよい。
前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位であってもよい。
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位であってもよい。
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位であってもよい。
前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位であってもよい。
前記第1基準電位は正電位であり、
前記第2基準電位は負電位であってもよい。
本開示によれば、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置が提供される。
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置が提供される。
前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択してもよい。
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択してもよい。
前記第1基準電位は負電位であり、
前記第2基準電位は接地電位であってもよい。
前記第2基準電位は接地電位であってもよい。
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいてもよい。
前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位であってもよい。
前記転送制御部のオフ電位は負電位であってもよい。
前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備えてもよい。
少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置されてもよい。
前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定されてもよい。
本開示の他の一態様によれば、撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器が提供される。
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器が提供される。
本開示の他の一態様によれば、複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法が提供される。
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法が提供される。
以下、図面を参照して、撮像装置、電子機器及び撮像方法の実施形態について説明する。以下では、撮像装置及び電子機器の主要な構成部分を中心に説明するが、撮像装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
<1.第1の実施形態>
[撮像装置の構成例]
図1は、本開示の第1の実施形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、固体撮像素子200、記録部120および制御部130を備える。撮像装置100としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
[撮像装置の構成例]
図1は、本開示の第1の実施形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、固体撮像素子200、記録部120および制御部130を備える。撮像装置100としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
撮像レンズ110は、入射光を集光して固体撮像素子200に導くものである。固体撮像素子200は、入射光を光電変換して画像データを撮像するものである。この固体撮像素子200は、撮像した画像データに対して、画像認識処理などの所定の信号処理を行って、その処理結果とアドレスイベントの検出信号とを示すデータを記録部120に信号線209を介して出力する。検出信号の生成方法については後述する。
記録部120は、固体撮像素子200からのデータを記録するものである。制御部130は、固体撮像素子200を制御して画像データを撮像させるものである。
[固体撮像素子の構成例]
図2は、本開示の第1の実施形態における固体撮像素子200の積層構造の一例を示す図である。この固体撮像素子200は、検出チップ202と、その検出チップ202に積層された受光チップ201とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。
図2は、本開示の第1の実施形態における固体撮像素子200の積層構造の一例を示す図である。この固体撮像素子200は、検出チップ202と、その検出チップ202に積層された受光チップ201とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。
図3は、本開示の第1の実施形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、駆動回路211、信号処理部212、アービタ213、カラムADC220および画素アレイ部300を備える。
画素アレイ部300には、複数の画素が二次元格子状に配列される。また、画素アレイ部300は、それぞれが所定数の画素からなる複数の画素ブロックに分割される。以下、水平方向に配列された画素または画素ブロックの集合を「行」と称し、行に垂直な方向に配列された画素または画素ブロックの集合を「列」と称する。
画素のそれぞれは、光電流に応じた電圧のアナログ信号を画素信号として生成する。また、画素ブロックのそれぞれは、光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素ブロックは、リクエストをアービタ213に出力する。
駆動回路211は、画素のそれぞれを駆動して画素信号をカラムADC220に出力させるものである。
アービタ213は、それぞれの画素ブロックからのリクエストを調停し、調停結果に基づいて応答を画素ブロックに送信するものである。応答を受け取った画素ブロックは、検出結果を示す検出信号を駆動回路211および信号処理部212に供給する。
カラムADC220は、画素ブロックの列ごとに、その列からのアナログの画素信号をデジタル信号に変換するものである。このカラムADC220は、デジタル信号を信号処理部212に供給する。
信号処理部212は、カラムADC220からのデジタル信号に対し、CDS(Correlated Double Sampling)処理や画像認識処理などの所定の信号処理を実行するものである。この信号処理部212は、処理結果を示すデータと検出信号とを信号線209を介して記録部120に供給する。
[画素アレイ部の構成例]
図4は、本開示の第1の実施形態における画素アレイ部300の一構成例を示すブロック図である。画素アレイ部300は、複数の画素ブロック310に分割される。画素ブロック310のそれぞれには、I行×J列(IおよびJは整数)に複数の画素が配列される。
図4は、本開示の第1の実施形態における画素アレイ部300の一構成例を示すブロック図である。画素アレイ部300は、複数の画素ブロック310に分割される。画素ブロック310のそれぞれには、I行×J列(IおよびJは整数)に複数の画素が配列される。
また、画素ブロック310は、画素信号生成部320と、I行×J列の複数の受光部330と、アドレスイベント検出部400とを備える。画素ブロック310内の複数の受光部330は、画素信号生成部320およびアドレスイベント検出部400を共有している。そして、ある座標の受光部330と画素信号生成部320およびアドレスイベント検出部400とからなる回路が、その座標の画素として機能する。また、画素ブロック310の列ごとに、垂直信号線VSLが配線される。画素ブロック310の列数をm(mは整数)とすると、m本の垂直信号線VSLが配列される。
受光部330は、入射光を光電変換して光電流を生成するものである。この受光部330は、駆動回路211の制御に従って、画素信号生成部320およびアドレスイベント検出部400のいずれかに光電流を供給する。
画素信号生成部320は、光電流に応じた電圧の信号を画素信号SIGとして生成するものである。この画素信号生成部320は、生成した画素信号SIGを垂直信号線VSLを介してカラムADC220に供給する。
アドレスイベント検出部400は、受光部330のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出するものである。このアドレスイベントは、例えば、変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとからなる。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す1ビットと、オフイベントの検出結果を示す1ビットからなる。なお、アドレスイベント検出部400は、オンイベントのみを検出することもできる。
アドレスイベントが発生した際に、アドレスイベント検出部400は、検出信号の送信を要求するリクエストをアービタ213に供給する。そして、リクエストに対する応答をアービタ213から受け取ると、アドレスイベント検出部400は、検出信号を駆動回路211および信号処理部212に供給する。なお、アドレスイベント検出部400は、特許請求の範囲に記載の検出部の一例である。
[画素ブロックの構成例]
図5は、本開示の第1の実施形態における画素ブロック310の一構成例を示す回路図である。画素ブロック310において、画素信号生成部320は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および浮遊拡散層324を備える。画素ブロック310内の複数の受光部330は、接続ノード340を介してアドレスイベント検出部400に共通に接続されている。
図5は、本開示の第1の実施形態における画素ブロック310の一構成例を示す回路図である。画素ブロック310において、画素信号生成部320は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および浮遊拡散層324を備える。画素ブロック310内の複数の受光部330は、接続ノード340を介してアドレスイベント検出部400に共通に接続されている。
また、受光部330のそれぞれは、転送トランジスタ331、OFG(OverFlow Gate)トランジスタ332および光電変換素子333を備える。画素ブロック310内の画素数をN(Nは整数)とすると、転送トランジスタ331、OFGトランジスタ332および光電変換素子333は、それぞれN個ずつ配置される。画素ブロック310内のn(nは1乃至Nの整数)個目の転送トランジスタ331のゲートには、駆動回路211により転送信号TRGnが供給される。n個目のOFGトランジスタ332のゲートには、駆動回路211により制御信号OFGnが供給される。本明細書では、転送トランジスタ331とOFGトランジスタ332を合わせて転送制御部335と呼び、光電変換素子を光電変換部334と呼ぶ。
また、リセットトランジスタ321、増幅トランジスタ322および選択トランジスタ323として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。転送トランジスタ331およびOFGトランジスタ332についても、同様にN型のMOSトランジスタが用いられる。
また、光電変換素子333のそれぞれは、受光チップ201に配置される。光電変換素子333以外の素子の全ては、検出チップ202に配置される。なお、光電変換素子333以外の素子の一部を、受光チップ201に配置する変形例も考えられる。
光電変換素子333は、入射光を光電変換して電荷を生成するものである。転送トランジスタ331は、転送信号TRGnに従って、対応する光電変換素子333から浮遊拡散層324へ電荷を転送するものである。OFGトランジスタ332は、制御信号OFGnに従って、対応する光電変換素子333により生成された電気信号を接続ノード340に供給するものである。ここで、供給される電気信号は、電荷からなる光電流である。
浮遊拡散層324は、電荷を蓄積して蓄積した電荷の量に応じた電圧を生成するものである。リセットトランジスタ321は、駆動回路211からのリセット信号に従って浮遊拡散層324の電荷量を初期化するものである。増幅トランジスタ322は、浮遊拡散層324の電圧を増幅するものである。選択トランジスタ323は、駆動回路211からの選択信号SELに従って、増幅された電圧の信号を画素信号SIGとして垂直信号線VSLを介してカラムADC220へ出力するものである。
駆動回路211は、制御部130によりアドレスイベントの検出開始が指示されると、全ての画素のOFGトランジスタ332を制御信号OFGnにより駆動して接続ノード340に光電流を供給させる。これにより、アドレスイベント検出部400には、画素ブロック310内の全ての受光部330の光電流の和の電流が供給される。
そして、ある画素ブロック310においてアドレスイベントが検出されると、駆動回路211は、そのブロックの全てのOFGトランジスタ332をオフ状態にしてアドレスイベント検出部400への光電流の供給を停止させる。次いで駆動回路211は、転送信号TRGnにより、それぞれの転送トランジスタ331を順に駆動して、電荷を浮遊拡散層324に転送させる。これにより、画素ブロック310内の複数の画素のそれぞれの画素信号が順に出力される。
このように、固体撮像素子200は、アドレスイベントが検出された画素ブロック310の画素信号のみをカラムADC220に出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、固体撮像素子200の消費電力や、画像処理の処理量を低減することができる。
また、複数の画素がアドレスイベント検出部400を共有するため、画素毎にアドレスイベント検出部400を配置する場合と比較して固体撮像素子200の回路規模を削減することができる。
[アドレスイベント検出部400の構成例]
図6は、本開示の第1の実施形態におけるアドレスイベント検出部400の第1構成例を示すブロック図である。このアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440および転送部450を備える。
図6は、本開示の第1の実施形態におけるアドレスイベント検出部400の第1構成例を示すブロック図である。このアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440および転送部450を備える。
電流電圧変換部410は、対応する受光部330からの光電流を、その対数の電圧信号に変換するものである。この電流電圧変換部410は、電圧信号をバッファ420に供給する。
バッファ420は、電流電圧変換部410からの電圧信号を補正するものである。このバッファ420は、補正後の電圧信号を減算器430に出力する。
減算器430は、駆動回路211からの行駆動信号に従ってバッファ420からの電圧信号のレベルを低下させるものである。この減算器430は、低下後の電圧信号を量子化器440に供給する。
量子化器440は、減算器430からの電圧信号をデジタル信号に量子化して検出信号として転送部450に出力するものである。
転送部450は、量子化器440からの検出信号を信号処理部212等に転送するものである。この転送部450は、アドレスイベントが検出された際に、検出信号の送信を要求するリクエストをアービタ213に供給する。そして、転送部450は、リクエストに対する応答をアービタ213から受け取ると、検出信号を駆動回路211および信号処理部212に供給する。
[電流電圧変換部の構成例]
図7は、本開示の第1の実施形態における電流電圧変換部410の一構成例を示す回路図である。この電流電圧変換部410は、N型トランジスタ411および413とP型トランジスタ412とを備える。これらのトランジスタとして、例えば、MOSトランジスタが用いられる。
図7は、本開示の第1の実施形態における電流電圧変換部410の一構成例を示す回路図である。この電流電圧変換部410は、N型トランジスタ411および413とP型トランジスタ412とを備える。これらのトランジスタとして、例えば、MOSトランジスタが用いられる。
N型トランジスタ411のソースは、受光部330に接続され、ドレインは電源端子に接続される。P型トランジスタ412およびN型トランジスタ413は、電源端子と接地端子との間において、直列に接続される。また、P型トランジスタ412およびN型トランジスタ413の接続ノードは、N型トランジスタ411のゲートとバッファ420の入力端子とに接続される。また、P型トランジスタ412のゲートには、所定のバイアス電圧Vbiasが印加される。
N型トランジスタ411および413のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部330からの光電流は、その対数の電圧信号に変換される。また、P型トランジスタ412は、一定の電流をN型トランジスタ413に供給する。
[減算器および量子化器の構成例]
図8は、本開示の第1の実施形態における減算器430および量子化器440の一構成例を示す回路図である。減算器430は、コンデンサ431および433と、インバータ432と、スイッチ434とを備える。また、量子化器440は、コンパレータ441を備える。
図8は、本開示の第1の実施形態における減算器430および量子化器440の一構成例を示す回路図である。減算器430は、コンデンサ431および433と、インバータ432と、スイッチ434とを備える。また、量子化器440は、コンパレータ441を備える。
コンデンサ431の一端は、バッファ420の出力端子に接続され、他端は、インバータ432の入力端子に接続される。コンデンサ433は、インバータ432に並列に接続される。スイッチ434は、コンデンサ433の両端を接続する経路を行駆動信号に従って開閉するものである。
インバータ432は、コンデンサ431を介して入力された電圧信号を反転するものである。このインバータ432は反転した信号をコンパレータ441の非反転入力端子(+)に出力する。
スイッチ434をオンした際にコンデンサ431のバッファ420側に電圧信号Vinitが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ431に蓄積されている電位Qinitは、コンデンサ431の容量をC1とすると、次の式により表される。一方、コンデンサ433の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Qinit=C1×Vinit ・・・(1)
Qinit=C1×Vinit ・・・(1)
次に、スイッチ434がオフされて、コンデンサ431のバッファ420側の電圧が変化してVafterになった場合を考えると、コンデンサ431に蓄積される電荷Qafterは、次の式により表される。
Qafter=C1×Vafter ・・・(2)
Qafter=C1×Vafter ・・・(2)
一方、コンデンサ433に蓄積される電荷Q2は、出力電圧をVoutとすると、次の式により表される。
Q2=-C2×Vout ・・・(3)
Q2=-C2×Vout ・・・(3)
このとき、コンデンサ431および433の総電荷量は変化しないため、次の式が成立する。
Qinit=Qafter+Q2 ・・・(4)
Qinit=Qafter+Q2 ・・・(4)
式(4)に式(1)乃至式(3)を代入して変形すると、次の式が得られる。
Vout=-(C1/C2)×(Vafter-Vinit) ・・・(5)
Vout=-(C1/C2)×(Vafter-Vinit) ・・・(5)
式(5)は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、コンデンサ431の容量C1を大きく、コンデンサ433の容量C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロックごとに減算器430を含むアドレスイベント検出部400が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1およびC2の値が決定される。
コンパレータ441は、減算器430からの電圧信号と、反転入力端子(-)に印加された所定の閾値電圧Vthとを比較するものである。コンパレータ441は、比較結果を示す信号を検出信号として転送部450に出力する。
上式において、iphoto_nは、n番目の画素の光電流であり、単位は例えば、アンペア(A)である。Nは、画素ブロック310内の画素数である。
[カラムADC220の構成例]
図9は、本開示の第1の実施形態におけるカラムADC220の一構成例を示すブロック図である。このカラムADC220は、画素ブロック310の列ごとにADC230を備える。また、カラムADC220は、参照信号生成部223および出力部222を備える。参照信号生成部223は、ランプ信号などの参照信号を生成してADC230のそれぞれに供給するものである。参照信号生成部223として、DAC(Digital to Analog Converter)などが用いられる。出力部222は、ADC230からのデジタル信号を信号処理部212に供給するものである。
図9は、本開示の第1の実施形態におけるカラムADC220の一構成例を示すブロック図である。このカラムADC220は、画素ブロック310の列ごとにADC230を備える。また、カラムADC220は、参照信号生成部223および出力部222を備える。参照信号生成部223は、ランプ信号などの参照信号を生成してADC230のそれぞれに供給するものである。参照信号生成部223として、DAC(Digital to Analog Converter)などが用いられる。出力部222は、ADC230からのデジタル信号を信号処理部212に供給するものである。
ADC230は、垂直信号線VSLを介して供給されたアナログの画素信号SIGをデジタル信号に変換するものである。このADC230は、比較器236、カウンタ237、スイッチ238およびメモリ239を備える。比較器236は、参照信号と画素信号SIGとを比較し、カウンタ237は、比較結果が反転するまでの期間に亘って計数値を計数する。スイッチ238は、タイミング制御回路(不図示)などの制御に従って、計数値をメモリ239に供給して保持させる。メモリ239は、計数値を示すデジタル信号を水平駆動部(不図示)などの制御に従って出力部222に供給する。この構成により、画素信号SIGは、検出信号よりもビット数の多いデジタル信号に変換される。例えば、検出信号を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。なお、ADC230は、特許請求の範囲に記載のアナログデジタル変換器の一例である。
[固体撮像素子の動作例]
図10は、本開示の第1の実施形態における固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT0において、制御部130によりアドレスイベントの検出開始が指示されると、駆動回路211は、制御信号OFGnを全てハイレベルにして、全画素のOFGトランジスタ332をオン状態にする。これにより、全画素の光電流の和がアドレスイベント検出部400に供給される。一方、転送信号TRGnは全てローレベルであり、全画素の転送トランジスタ331はオフ状態である。
図10は、本開示の第1の実施形態における固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT0において、制御部130によりアドレスイベントの検出開始が指示されると、駆動回路211は、制御信号OFGnを全てハイレベルにして、全画素のOFGトランジスタ332をオン状態にする。これにより、全画素の光電流の和がアドレスイベント検出部400に供給される。一方、転送信号TRGnは全てローレベルであり、全画素の転送トランジスタ331はオフ状態である。
そして、タイミングT1において、アドレスイベント検出部400がアドレスイベントを検出し、ハイレベルの検出信号を出力したものとする。ここで、検出信号は、オンイベントの検出結果を示す1ビットの信号であるものとする。
駆動回路211は、検出信号を受け取ると、タイミングT2において制御信号OFGnを全てローレベルにしてアドレスイベント検出部400への光電流の供給を停止させる。また、駆動回路211は、選択信号SELをハイレベルにし、リセット信号RSTを一定のパルス期間に亘ってハイレベルにして浮遊拡散層324の初期化を行う。この初期化時の電圧を画素信号生成部320は、リセットレベルとして出力し、ADC230は、そのリセットレベルをデジタル信号に変換する。
リセットレベルの変換後のタイミングT3において、駆動回路211は、一定のパルス期間に亘ってハイレベルの転送信号TRG1を供給して、1つ目の画素に電圧を信号レベルとして出力させる。ADC230は、その信号レベルをデジタル信号に変換する。信号処理部212は、リセットレベルと信号レベルとの差分を正味の画素信号として求める。この処理は、CDS処理と呼ばれる。
信号レベルの変換後のタイミングT4において、駆動回路211は、一定のパルス期間に亘ってハイレベルの転送信号TRG2を供給して、2つ目の画素に信号レベルを出力させる。信号処理部212は、リセットレベルと信号レベルとの差分を正味の画素信号として求める。以下、同様の処理が実行されて、画素ブロック310内のそれぞれの画素の画素信号が順に出力される。
全ての画素信号が出力されると、駆動回路211は、制御信号OFGnを全てハイレベルにして、全画素のOFGトランジスタ332をオン状態にする。
図11は、本開示の第1の実施形態における固体撮像素子200の動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントを検出するための所定のアプリケーションが実行されたときに開始される。
画素ブロック310のそれぞれは、アドレスイベントの有無の検出を行う(ステップS901)。駆動回路211は、いずれかの画素ブロック310においてアドレスイベントがあったか否かを判断する(ステップS902)。アドレスイベントがあった場合に(ステップS902:Yes)、駆動回路211は、アドレスイベントの生じた画素ブロック310内のそれぞれの画素の画素信号を順に出力させる(ステップS903)。
アドレスイベントが無い場合(ステップS902:No)、または、ステップS903の後に固体撮像素子200は、ステップS901以降を繰り返す。
このように、本開示の第1の実施形態によれば、複数(N個)の光電変換素子333(画素)のそれぞれの光電流の変化量をアドレスイベント検出部400が検出するため、アドレスイベント検出部400の配置数を、N画素ごとに1つにすることができる。このようにN画素で1つのアドレスイベント検出部400を共有することにより、アドレスイベント検出部400を共有せずに画素毎に設ける構成と比較して回路規模を削減することができる。
このように、本開示の第1の実施形態によれば、複数(N個)の光電変換素子333(画素)のそれぞれの光電流の変化量をアドレスイベント検出部400が検出するため、アドレスイベント検出部400の配置数を、N画素ごとに1つにすることができる。このようにN画素で1つのアドレスイベント検出部400を共有することにより、アドレスイベント検出部400を共有せずに画素毎に設ける構成と比較して回路規模を削減することができる。
なお、上述したNの値は任意である。例えば、回路規模の削減を考慮しなくてよい場合には、N=1として、画素ごとにアドレスイベント検出部400を設けてもよい。
第1の実施形態では、撮像装置100内の各部が使用する低電位側基準電位とオフ電位が、電位レベルがそれぞれ異なる3種類以上の電位を含んでいる。低電位側基準電位とオフ電位は、典型的には接地電位GNDであるが、本実施形態では、撮像装置100内の各部によって、接地電位GND以外の電位レベルの電位を使用することを想定している。
より具体的には、光電変換部334の低電位側基準電位と、検出部の低電位側基準電位と、画素信号生成部320の低電位側基準電位と、カラムADC220の低電位側基準電位と、転送制御部335のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる。
例えば、光電変換部334の低電位側基準電位は、アドレスイベント検出部400の低電位側基準電位よりも電位レベルが低くてもよい。また、光電変換部334の低電位側基準電位は、転送制御部335のオフ電位よりも電位レベルが高くてもよい。また、光電変換部334の低電位側基準電位は、画素信号生成部320及びカラムADC220の少なくとも一方の低電位側基準電位よりも電位レベルが低くてもよい。
図12は第1の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。図12では、撮像装置100内の各部が使用する低電位側基準電位とオフ電位が、電位レベルがそれぞれ異なる3つの電位を含む例を示している。図12の例では、これら3つの電位を接地電位、第1基準電位、第2基準電位としている。接地電位は例えば0Vであり、第1基準電位は接地電位GNDよりも電位レベルが低い負電位、第2基準電位は第2基準電位よりもさらに電位レベルが低い負電位である。
第1基準電位及び第2基準電位は、負電位供給部235から供給される。負電位供給部235は、例えばチャージポンプを用いて、接地電位GNDよりも低い第1基準電位と第2基準電位を生成する。
図12の例では、光電変換部334の低電位側基準電位は第1基準電位である。また、アドレスイベント検出部400、画素信号生成部320及びカラムADC220の低電位側基準電位は接地電位GNDである。転送制御部335のオフ電位は第2基準電位である。転送制御部335は、転送トランジスタ331とOFGトランジスタ332で構成されており、転送制御部335のオフ電位とは、転送トランジスタ331とOFGトランジスタ332のゲートをオフするための電位を指す。
図12において、光電変換部334の低電位側基準電位を負電位である第2基準電位に設定することで、光電変換部334の低電位側基準電位を接地電位GNDにする場合と比較して、光電変換部334内のフォトダイオード(光電変換素子)の逆バイアスが大きくなる。これにより、フォトダイオード311の感度が高くなり、暗電流を低減することができる。
また、転送制御部335内の転送トランジスタ331とOFGトランジスタ332のバックゲートを負電位Vnにしてもよい。これにより、それらの電位を基準電位とする場合と比較して、基板バイアス効果により、それぞれのトランジスタの閾値電圧が高くなり、それらのトランジスタのゲート-ソース間電圧が0以下になることを防止することができる。ゲート-ソース間電圧が0以下になると、画素信号生成部320の回路構成上、正常な出力が得られなくなるため、バックゲートへの負電位Vnの供給により、そのような事態を抑制することができる。このように、フォトダイオード311の感度向上、暗電流の低下や、閾値電圧の上昇により、検出信号の信号品質を向上させることができる。
図12では、アドレスイベント検出部400の低電位側基準電位(第1基準電位)を光電変換部334の低電位側基準電位(第1基準電位)よりも高い電位レベルにしている。仮に、アドレスイベント検出部400の低電位側基準電位を光電変換部334の低電位側基準電位よりも低くすると、光電変換部334内のフォトダイオードに十分な逆バイアスがかからず、リーク電流が増加したり、ノイズが増えたりして、応答が遅くなるおそれがある。図12のように、アドレスイベント検出部400の低電位側基準電位を光電変換部334の低電位側基準電位よりも高い電位レベルにすることで、フォトダイオードに十分な逆バイアスをかけることができ、ノイズの低減や応答速度の向上が図れる。
転送制御部335内のOFGトランジスタ332は、アドレスイベント検出部400でアドレスイベント検出処理を行う場合にオンする。このとき、転送トランジスタ331はオフしていなければならない。また、アドレスイベント検出部400でアドレスイベントが検出されると、OFGトランジスタ332がオフして、転送トランジスタ331がオンする。転送トランジスタ331がオンすると、フォトダイオードで光電変換した電気信号(光電流)が転送トランジスタ331を介して画素信号生成部320に送られて画素信号が生成され、その後カラムADC220に送られてデジタル信号が生成される。
このように、OFGトランジスタ332と転送トランジスタ331は排他的にオン/オフする。OFGトランジスタ332と転送トランジスタ331に対して、排他的動作を確実に行わせるには、オンする方のトランジスタのゲートには正電位を与え、オフする方のトランジスタのゲートには負電位を与えるのが望ましい。このため、図12では、転送制御部335のオフ電位を、負電位である第2基準電位に設定している。
図13A及び図13Bは第1の実施形態による撮像装置100内の各部に与える低電位側基準電位とオフ電位の具体的な電位レベルの一例である。図13Aは転送トランジスタをオフする場合の電位レベル、図13Bは転送トランジスタをオンする場合の電位レベルである。アドレスイベント検出を行う場合は、図13Aの電位レベルに設定される。なお、図13A及び図13Bの電位レベルは一例であり、種々の変形例が考えられる。
図13Aに示すように、転送トランジスタをオフする場合、フォトダイオードのアノードは負電位である-0.6Vに設定される。また、転送トランジスタのゲートは負電位である-1.8Vに設定される。これにより、転送トランジスタは確実にオフする。画素信号生成部320内のリセットトランジスタのゲートは2.2Vに設定される。これにより、リセットトランジスタがオンし、浮遊拡散層324の電荷量が初期化される。画素信号生成部320の正電位側基準電位は2.8Vに設定される。
図13Aでは省略しているが、アドレスイベント検出を行う場合、OFGトランジスタのゲートは2.2~2.8V程度に設定される。また、アドレスイベント検出部400の低電位側基準電位は、フォトダイオードのアノード電位よりも高い接地電位GND(0V)に設定される。アドレスイベント検出部400の正電位側基準電位は2.2Vに設定される。
図13Bに示すように、転送トランジスタをオンする場合、フォトダイオードのアノードは同じく-0.6Vに設定される。また、転送トランジスタのゲートは2.2Vに設定される。画素信号生成部320内のリセットトランジスタのゲートは負電位である-0.6Vに設定される。リセットトランジスタのドレインは2.2Vに設定される。画素信号生成部320内の増幅トランジスタ322のドレインは2.8Vに設定される。
図13Aでは省略しているが、OFGトランジスタのゲートは-1.8Vに設定される。アドレスイベント検出部400の低電位側基準電位は図13Aと同じく接地電位GND(0V)である。
このように、第1の実施形態では、撮像装置100内の各部が使用する低電位側基準電位とオフ電位が、電位レベルがそれぞれ異なる3種類以上の電位を含んでいる。これにより、撮像装置100内の各部の動作を最適化することができる。例えば、光電変換部334の低電位側基準電位を基準電位に設定するため、フォトダイオードの感度を向上できるとともに、暗電流を低減できる。また、光電変換部334の低電位側基準電位よりも、アドレスイベント検出部400の低電位側基準電位を高くすることで、フォトダイオードに十分な逆バイアスがかかるようにして、ノイズ低減と応答速度の向上を図ることができる。さらに、転送制御部335のオフ電位を負電位にすることで、転送トランジスタとOFGトランジスタを確実に排他的に動作させることができる。
(第2の実施形態)
図14は第2の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。図14の例でも、撮像装置100内の各部が使用する低電位側基準電位とオフ電位として、それぞれ電位レベルが異なる3種類の基準電位を使用するが、これら3種類の基準電位の電位レベルが図12とは異なっている。より具体的には、図14の第1基準電位は接地電位GNDよりも高い電位レベルであり、第2基準電位は接地電位GNDよりも低い電位レベルである。
図14は第2の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。図14の例でも、撮像装置100内の各部が使用する低電位側基準電位とオフ電位として、それぞれ電位レベルが異なる3種類の基準電位を使用するが、これら3種類の基準電位の電位レベルが図12とは異なっている。より具体的には、図14の第1基準電位は接地電位GNDよりも高い電位レベルであり、第2基準電位は接地電位GNDよりも低い電位レベルである。
第2基準電位は、負電位供給部235から供給される。第1基準電位は、不図示の電源部から供給される。
図14の例では、光電変換部334、画素信号生成部320、及びカラムADC220の低電位側基準電位は接地電位GND(0V)である。また、アドレスイベント検出部400の低電位側基準電位は、正電位である第1基準電位である。また、転送制御部335のオフ電位は第1基準電位より低い負電位である第2基準電位である。
図14の場合、光電変換部334の低電位側基準電位を、アドレスイベント検出部400の低電位側基準電位よりも低くするため、光電変換部334内のフォトダイオードの逆バイアスを十分に大きくでき、ノイズ低減と応答速度の向上が図れる。また、転送制御部335のオフ電位を第1基準電位より低い負電位である第2基準電位に設定するため、転送トランジスタとOFGトランジスタを確実に排他的動作させることができる。
図15A及び図15Bは第2の実施形態による撮像装置100内の各部に与える低電位側基準電位とオフ電位の具体的な電位レベルの一例である。図15Aは転送トランジスタをオフする場合の電位レベル、図15Bは転送トランジスタをオンする場合の電位レベルである。
図15Aに示すように、転送トランジスタをオフする場合、フォトダイオードのアノードは負電位である接地電位GND(0V)に設定される。また、転送トランジスタのゲートは負電位である-1.2Vに設定される。これにより、転送トランジスタは確実にオフする。画素信号生成部320内のリセットトランジスタのゲートは2.8Vに設定される。これにより、リセットトランジスタがオンし、浮遊拡散層324の電荷量が初期化される。画素信号生成部320の正電位側基準電位は2.8Vに設定される。アドレスイベント検出部400の低電位側基準電位は、フォトダイオードのアノード電位よりも高い0.6Vに設定される。アドレスイベント検出部400の正電位側基準電位は2.8Vに設定される。
図15Bに示すように、転送トランジスタをオンする場合、フォトダイオードのアノードは同じく接地電位GND(0V)に設定される。また、転送トランジスタのゲートは2.8Vに設定される。画素信号生成部320内のリセットトランジスタのゲートは接地電位GND(0V)に設定される。リセットトランジスタのドレインは2.8Vに設定される。画素信号生成部320内の増幅トランジスタ322のドレインは2.8Vに設定される。
図13A、図13B、図15A、図15Bでは、正電位側基準電位として、2.2Vと2.8Vが混在しているが、これは一例であり、特定の電位に揃えてもよい。
このように、第2の実施形態では、撮像装置100内の低電位側基準電位とオフ電位として、接地電位GND以外に、正電位の第1基準電位と負電位の第2基準電位を設けるため、撮像装置100内の各部に最適な電圧レベルの低電位側基準電位を設定することができ、各部の動作を最適化することができる。特に、光電変換部334の低電位側基準電位よりも、アドレスイベント検出部400の低電位側基準電位を高くすることで、フォトダイオードに十分な逆バイアスがかかるようにして、ノイズ低減と応答速度の向上を図ることができる。さらに、転送制御部335のオフ電位を負電位にすることで、転送トランジスタとOFGトランジスタを確実に排他的に動作させることができる。
また、第2の実施形態では、低電位側基準電位及びオフ電位として、1種類の負電位のみを使用するため、負電位供給部235の回路構成を簡略化できる。
(第3の実施形態)
図16は第3の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。
図16は第3の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。
図16に示すように、第3の実施形態による撮像装置100は、光電変換部334の低電位側基準電位を切り替える電位選択部336を備えている。電位選択部336は、アドレスイベント検出部400にてフォトダイオードが光電変換した電気信号(光電流)の変化量が所定の閾値を超えたか否かをアドレスイベント検出部400が検出する期間内には第1基準電位を選択し、アナログデジタル変換器が画素信号をデジタル信号に変換する期間内は、第1基準電位よりも電位レベルが高い第2基準電位を選択する。
第3の実施形態による撮像装置100の各部が使用する低電位側基準電位とオフ電位は、それぞれ電位レベルが異なる第1基準電位と第2基準電位である。すなわち、第3の実施形態は、第1及び第2の実施形態と比べて、基準電位の数が一つ少ない。
第3の実施形態における第2基準電位は例えば接地電位GND(0V)であり、第1基準電位は接地電位GNDより電位レベルが低い負電位である。第1基準電位は、負電位供給部235から供給される。
図16の撮像装置100では、アドレスイベント検出部400と、画素信号生成部320と、カラムADC220の低電位側基準電位は、接地電位GND(第2基準電位)である。転送制御部335のオフ電位は負電位(第1基準電位)である。
アドレスイベント検出部400は、光電変換部334内のフォトダイオードが光電変換した電気信号に基づいて、いち早くアドレスイベントを検出する必要がある。よって、アドレスイベント検出部400がアドレスイベント検出動作を行う期間内は、光電変換部334の低電位側基準電位を負電位に下げて、フォトダイオードの感度向上と暗電流の低下を図る。一方、アドレスイベント検出部400でアドレスイベントが検出されると、画素信号生成部320で画素信号を生成する動作が行われるが、この期間内はフォトダイオードの感度を向上させる必要がないことから、受信部の低電位側基準電位は接地電位GNDにし、消費電力の削減を図る。
このように、第3の実施形態では、光電変換部334の低電位側基準電位を、アドレスイベント検出を行う場合と画素信号を生成する場合とで切り替えるため、アドレスイベント検出時のフォトダイオードの感度向上や暗電流の減少を図れるとともに、画素信号生成時の消費電力を削減できる。
(第4の実施形態)
上述した第1~第3の実施形態では、図6のアドレスイベント検出部400を備えた撮像装置100について説明したが、アドレスイベント検出部400の内部構成は、必ずしも図6に限定されない。図17はアドレスイベント検出部400の第2構成例を示すブロック図である。図17に示すように、本構成例に係るアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440、及び、転送部450の他に、記憶部460及び制御部470を有する構成となっている。
上述した第1~第3の実施形態では、図6のアドレスイベント検出部400を備えた撮像装置100について説明したが、アドレスイベント検出部400の内部構成は、必ずしも図6に限定されない。図17はアドレスイベント検出部400の第2構成例を示すブロック図である。図17に示すように、本構成例に係るアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440、及び、転送部450の他に、記憶部460及び制御部470を有する構成となっている。
記憶部460は、量子化器440と転送部450との間に設けられており、制御部470から供給されるサンプル信号に基づいて、量子化器440の出力、即ち、量子化器440内のコンパレータ441の比較結果を蓄積する。記憶部460は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。
制御部470は、コンパレータ441の反転(-)入力端子に対して所定の閾値電圧Vthを供給する。制御部470からコンパレータ441に供給される閾値電圧Vthは、時分割で異なる電圧値であってもよい。例えば、制御部470は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Vth1、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Vth2を異なるタイミングで供給することで、1つのコンパレータ441で複数種類のアドレスイベントの検出が可能になる。
記憶部460は、例えば、制御部470からコンパレータ441の反転(-)入力端子に、オフイベントに対応する閾値電圧Vth2が供給されている期間に、オンイベントに対応する閾値電圧Vth1を用いたコンパレータ441の比較結果を蓄積するようにしてもよい。尚、記憶部460は、画素30の内部にあってもよいし、画素30の外部にあってもよい。また、記憶部460は、アドレスイベント検出部400の必須の構成要素ではない。すなわち、記憶部460は、無くてもよい。
[第2構成例に係る撮像装置100(スキャン方式)]
上述した図6に示すアドレスイベント検出部400の第1構成例を備えた撮像装置10020は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置100である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置100は、所定のフレームレートで撮像を行う通常の撮像装置100と同じ、スキャン方式の撮像装置100である。
上述した図6に示すアドレスイベント検出部400の第1構成例を備えた撮像装置10020は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置100である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置100は、所定のフレームレートで撮像を行う通常の撮像装置100と同じ、スキャン方式の撮像装置100である。
図18は、本開示に係る技術が適用される撮像システム10における撮像装置10020として用いられる、第2構成例に係る撮像装置100、即ち、スキャン方式の撮像装置100の構成の一例を示すブロック図である。
図18に示すように、本開示の撮像装置100としての第2構成例に係る撮像装置10020は、画素アレイ部21、駆動部22、信号処理部25、読出し領域選択部27、及び、信号生成部221を備える構成となっている。
画素アレイ部21は、複数の画素30を含む。複数の画素30は、読出し領域選択部27の選択信号に応答して出力信号を出力する。複数の画素30のそれぞれについては、例えば図7に示すように、画素内に量子化器を持つ構成とすることもできる。複数の画素30は、光の強度の変化量に対応する出力信号を出力する。複数の画素30は、図18に示すように、行列状に2次元配置されていてもよい。
駆動部22は、複数の画素30のそれぞれを駆動して、各画素30で生成された画素信号を信号処理部25に出力させる。尚、駆動部22及び信号処理部25については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部22及び信号処理部25は無くてもよい。
読出し領域選択部27は、画素アレイ部21に含まれる複数の画素30のうちの一部を選択する。例えば、読出し領域選択部27は、画素アレイ部21に対応する2次元行列の構造に含まれる行のうちのいずれか1つもしくは複数の行を選択する。読出し領域選択部27は、予め設定された周期に応じて1つもしくは複数の行を順次選択する。また、読出し領域選択部27は、画素アレイ部21の各画素30からのリクエストに応じて選択領域を決定してもよい。
信号生成部221は、読出し領域選択部27によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素である。例えば、信号生成部221は、画素の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。
信号生成部221については、例えば、信号生成部221に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部221については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報も出力する構成とすることができる。
信号生成部221からは、出力線15を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報(例えば、(X,Y,T))が出力される。但し、信号生成部221から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報(例えば、(0,0,1,0,・・・))であってもよい。
[チップ構造の構成例]
上述した第1構成例又は第2構成例に係る撮像装置10020のチップ(半導体集積回路)構造としては、図2に示したように、積層型のチップ構造を採ることができる。積層型のチップ構造、所謂、積層構造は、第1のチップである受光チップ201、及び、第2のチップである検出チップ202の少なくとも2つのチップが積層された構造となっている。そして、図4に示す画素30の回路構成において、受光部330のそれぞれが受光チップ201上に配置され、受光素子311以外の素子の全てや、画素30の他の回路部分の素子などが検出チップ202上に配置される。受光チップ201と検出チップ202とは、ビア(VIA)、Cu-Cu接合、バンプなどの接続部を介して電気的に接続される。
上述した第1構成例又は第2構成例に係る撮像装置10020のチップ(半導体集積回路)構造としては、図2に示したように、積層型のチップ構造を採ることができる。積層型のチップ構造、所謂、積層構造は、第1のチップである受光チップ201、及び、第2のチップである検出チップ202の少なくとも2つのチップが積層された構造となっている。そして、図4に示す画素30の回路構成において、受光部330のそれぞれが受光チップ201上に配置され、受光素子311以外の素子の全てや、画素30の他の回路部分の素子などが検出チップ202上に配置される。受光チップ201と検出チップ202とは、ビア(VIA)、Cu-Cu接合、バンプなどの接続部を介して電気的に接続される。
尚、ここでは、受光素子311を受光チップ201に配置し、受光素子311以外の素子や画素30の他の回路部分の素子などを検出チップ202に配置する構成例を例示したが、この構成例に限られるものではない。
例えば、図4に示す画素30の回路構成において、受光部330の各素子、及び、画素信号生成部32032のリセットトランジスタ321、浮遊拡散層324を受光チップ201に配置し、それ以外の素子を検出チップ202に配置する構成とすることができる。あるいは、アドレスイベント検出部400を構成する素子の一部を、受光部330の各素子などと共に受光チップ201に配置する構成とすることができる。
[カラム処理部の構成例]
図9では、カラムADC220内に、画素アレイ部21の画素列に対して、1対1の対応関係でアナログ-デジタル変換器(ADC)230を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ-デジタル変換器(ADC)230を配置し、当該アナログ-デジタル変換器(ADC)230を複数の画素列間で時分割で用いる構成とすることもできる。
図9では、カラムADC220内に、画素アレイ部21の画素列に対して、1対1の対応関係でアナログ-デジタル変換器(ADC)230を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ-デジタル変換器(ADC)230を配置し、当該アナログ-デジタル変換器(ADC)230を複数の画素列間で時分割で用いる構成とすることもできる。
アナログ-デジタル変換器(ADC)230は、垂直信号線VSLを介して供給されるアナログの画素信号SIGを、先述したアドレスイベントの検出信号よりもビット数の多いデジタル信号に変換する。例えば、アドレスイベントの検出信号を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。アナログ-デジタル変換器(ADC)230は、アナログ-デジタル変換で生成したデジタル信号を信号処理部25に供給する。
[ノイズイベントについて]
ところで、第1構成例に係る撮像装置10020は、画素アドレス毎に、その画素の光量が所定の閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出部(即ち、アドレスイベント検出部400)を画素30毎に備えたDVSと呼ばれる非同期型の撮像装置100である。
ところで、第1構成例に係る撮像装置10020は、画素アドレス毎に、その画素の光量が所定の閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出部(即ち、アドレスイベント検出部400)を画素30毎に備えたDVSと呼ばれる非同期型の撮像装置100である。
この非同期型の第1構成例に係る撮像装置100では、本来、シーンの中で何らかのイベント(即ち、真イベント)が発生したとき、当該真イベントの発生に起因するデータの取得が行われる。しかし、非同期型の撮像装置100では、真イベントの発生の無いシーンでも、センサノイズ等のノイズイベント(偽イベント)に起因して、無駄に、データの取得が行われる場合がある。これにより、ノイズ信号が読み出されてしまうだけでなく、信号出力のスループットを低下させることになる。
<本開示に係る技術の適用例>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
[移動体]
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータ(プロセッサ)と、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図19では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図20は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
尚、図20には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図19に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図19の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
尚、図19に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7910,7912,7914,7916,7918や、車外情報検出部7920,7922,7924,7926,7928,7930や、運転者状態検出部7510等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置100を有する図1の撮像システム10を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
なお、本開示は以下のような構成を取ることができる。
(1)それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。
(2)前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低い、(1)に記載の撮像装置。
(3)前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高い、(1)又は(2)に記載の撮像装置。
(4)前記光電変換部の低電位側基準電位は、前記画素信号生成部及び前記アナログデジタル変換器の少なくとも一方の低電位側基準電位よりも電位レベルが低い、(1)乃至(3)のいずれか一項に記載の撮像装置。
(5)前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第1基準電位であり、かつその他の少なくとも一つは前記第1基準電位よりも電位レベルが低い第2基準電位である、(1)乃至(4)のいずれか一項に記載の撮像装置。
(6)前記光電変換部の低電位側基準電位は前記第2基準電位であり、
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、(5)に記載の撮像装置。
(7)前記接地電位は0Vであり、
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位である、(5)又は(6)に記載の撮像装置。
(8)前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しい、(1)乃至(3)のいずれか一項に記載の撮像装置。
(9)前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位である、(1)乃至(3)、及び(8)のいずれか一項に記載の撮像装置。
(10)前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、(9)に記載の撮像装置。
(11)前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位である、(9)又は(10)に記載の撮像装置。
(12)それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置。
(13)前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択する、(12)に記載の撮像装置。
(14)前記第1基準電位は負電位であり、
前記第2基準電位は接地電位である、(13)に記載の撮像装置。
(15)前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいる、(12)乃至(14)のいずれか一項に記載の撮像装置。
(16)前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位である、(12)乃至(15)のいずれか一項に記載の撮像装置。
(17)前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備える、(5)乃至(7)、(9)乃至(11)、及び(13)のいずれか一項に記載の撮像装置。
(18)少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置される、(1)乃至(17)のいずれか一項に記載の撮像装置。
(19)前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定される、(1)乃至(18)のいずれか一項に記載の撮像装置。
(20)撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器。
(21)複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法。
(1)それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。
(2)前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低い、(1)に記載の撮像装置。
(3)前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高い、(1)又は(2)に記載の撮像装置。
(4)前記光電変換部の低電位側基準電位は、前記画素信号生成部及び前記アナログデジタル変換器の少なくとも一方の低電位側基準電位よりも電位レベルが低い、(1)乃至(3)のいずれか一項に記載の撮像装置。
(5)前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第1基準電位であり、かつその他の少なくとも一つは前記第1基準電位よりも電位レベルが低い第2基準電位である、(1)乃至(4)のいずれか一項に記載の撮像装置。
(6)前記光電変換部の低電位側基準電位は前記第2基準電位であり、
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、(5)に記載の撮像装置。
(7)前記接地電位は0Vであり、
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位である、(5)又は(6)に記載の撮像装置。
(8)前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しい、(1)乃至(3)のいずれか一項に記載の撮像装置。
(9)前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位である、(1)乃至(3)、及び(8)のいずれか一項に記載の撮像装置。
(10)前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、(9)に記載の撮像装置。
(11)前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位である、(9)又は(10)に記載の撮像装置。
(12)それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置。
(13)前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択する、(12)に記載の撮像装置。
(14)前記第1基準電位は負電位であり、
前記第2基準電位は接地電位である、(13)に記載の撮像装置。
(15)前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいる、(12)乃至(14)のいずれか一項に記載の撮像装置。
(16)前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位である、(12)乃至(15)のいずれか一項に記載の撮像装置。
(17)前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備える、(5)乃至(7)、(9)乃至(11)、及び(13)のいずれか一項に記載の撮像装置。
(18)少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置される、(1)乃至(17)のいずれか一項に記載の撮像装置。
(19)前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定される、(1)乃至(18)のいずれか一項に記載の撮像装置。
(20)撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器。
(21)複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
100 撮像装置、110 撮像レンズ、120 記録部、130 制御部、200 固体撮像素子、201 受光チップ、202 検出チップ、211 駆動回路、212 信号処理部、213 アービタ、220 カラムADC、221 信号生成部、223 参照信号生成部、222 出力部、230 ADC、235 負電位供給部、236 比較器、237 カウンタ、238 スイッチ、239 メモリ、240 差動増幅回路、241、242、412 P型トランジスタ、243、244、245、411、413 N型トランジスタ、250 カウンタ、300 画素アレイ部、310 画素ブロック、311 画素、312 通常画素、313 アドレスイベント検出画素、320 画素信号生成部、321 リセットトランジスタ、322 増幅トランジスタ、323 選択トランジスタ、324 浮遊拡散層、330 受光部、331 転送トランジスタ、332 OFGトランジスタ、333 光電変換素子、334 光電変換部、335 転送制御部、400 アドレスイベント検出部、410 電流電圧変換部、420 バッファ、430 減算器、431、433 コンデンサ、432 インバータ、434 スイッチ、440 量子化器、441 コンパレータ、450 転送部、12031 撮像部
Claims (21)
- それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。 - 前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低い、請求項1に記載の撮像装置。
- 前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高い、請求項1に記載の撮像装置。
- 前記光電変換部の低電位側基準電位は、前記画素信号生成部及び前記アナログデジタル変換器の少なくとも一方の低電位側基準電位よりも電位レベルが低い、請求項1に記載の撮像装置。
- 前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第1基準電位であり、かつその他の少なくとも一つは前記第1基準電位よりも電位レベルが低い第2基準電位である、請求項1に記載の撮像装置。
- 前記光電変換部の低電位側基準電位は前記第2基準電位であり、
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、請求項5に記載の撮像装置。 - 前記接地電位は0Vであり、
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位である、請求項5に記載の撮像装置。 - 前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しい、請求項1に記載の撮像装置。
- 前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位である、請求項1に記載の撮像装置。
- 前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、請求項9に記載の撮像装置。 - 前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位である、請求項9に記載の撮像装置。 - それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置。 - 前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択する、請求項12に記載の撮像装置。 - 前記第1基準電位は負電位であり、
前記第2基準電位は接地電位である、請求項13に記載の撮像装置。 - 前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいる、請求項12に記載の撮像装置。
- 前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位である、請求項12に記載の撮像装置。 - 前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備える、請求項5に記載の撮像装置。
- 少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置される、請求項1に記載の撮像装置。
- 前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定される、請求項1に記載の撮像装置。
- 撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器。 - 複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/785,187 US20230008577A1 (en) | 2020-01-29 | 2021-01-21 | Imaging device, electronic apparatus, and imaging method |
EP21747210.9A EP4099683A4 (en) | 2020-01-29 | 2021-01-21 | IMAGING DEVICE, ELECTRONIC APPARATUS AND IMAGING METHOD |
KR1020227025307A KR20220133194A (ko) | 2020-01-29 | 2021-01-21 | 촬상 장치, 전자 기기 및 촬상 방법 |
CN202180010618.4A CN115004688A (zh) | 2020-01-29 | 2021-01-21 | 成像装置、电子装置和成像方法 |
JP2021573982A JPWO2021153428A1 (ja) | 2020-01-29 | 2021-01-21 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-012841 | 2020-01-29 | ||
JP2020012841 | 2020-01-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021153428A1 true WO2021153428A1 (ja) | 2021-08-05 |
Family
ID=77079707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/002113 WO2021153428A1 (ja) | 2020-01-29 | 2021-01-21 | 撮像装置、電子機器及び撮像方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230008577A1 (ja) |
EP (1) | EP4099683A4 (ja) |
JP (1) | JPWO2021153428A1 (ja) |
KR (1) | KR20220133194A (ja) |
CN (1) | CN115004688A (ja) |
TW (1) | TW202147824A (ja) |
WO (1) | WO2021153428A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020072316A (ja) * | 2018-10-30 | 2020-05-07 | ソニーセミコンダクタソリューションズ株式会社 | 電子回路、固体撮像素子、および、電子回路の制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319684A (ja) * | 2005-05-13 | 2006-11-24 | Sony Corp | 撮像装置と撮像装置用の電源供給方法 |
JP2014209696A (ja) * | 2012-07-23 | 2014-11-06 | ソニー株式会社 | 固体撮像装置、信号読み出し方法、および電子機器 |
WO2017013806A1 (ja) * | 2015-07-23 | 2017-01-26 | オリンパス株式会社 | 固体撮像装置 |
JP2019195135A (ja) * | 2018-05-02 | 2019-11-07 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子および撮像装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2923701A1 (en) | 2013-09-16 | 2015-03-19 | Chronocam | Dynamic, single photodiode pixel circuit and operating method thereof |
JP6094511B2 (ja) * | 2014-02-25 | 2017-03-15 | ソニー株式会社 | 撮像素子および撮像装置 |
TW202408216A (zh) * | 2018-01-23 | 2024-02-16 | 日商索尼半導體解決方案公司 | 光檢測裝置 |
JP2020088724A (ja) * | 2018-11-29 | 2020-06-04 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
-
2021
- 2021-01-21 EP EP21747210.9A patent/EP4099683A4/en active Pending
- 2021-01-21 JP JP2021573982A patent/JPWO2021153428A1/ja active Pending
- 2021-01-21 KR KR1020227025307A patent/KR20220133194A/ko unknown
- 2021-01-21 CN CN202180010618.4A patent/CN115004688A/zh active Pending
- 2021-01-21 WO PCT/JP2021/002113 patent/WO2021153428A1/ja unknown
- 2021-01-21 US US17/785,187 patent/US20230008577A1/en active Pending
- 2021-01-22 TW TW110102415A patent/TW202147824A/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006319684A (ja) * | 2005-05-13 | 2006-11-24 | Sony Corp | 撮像装置と撮像装置用の電源供給方法 |
JP2014209696A (ja) * | 2012-07-23 | 2014-11-06 | ソニー株式会社 | 固体撮像装置、信号読み出し方法、および電子機器 |
WO2017013806A1 (ja) * | 2015-07-23 | 2017-01-26 | オリンパス株式会社 | 固体撮像装置 |
JP2019195135A (ja) * | 2018-05-02 | 2019-11-07 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子および撮像装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4099683A4 |
Also Published As
Publication number | Publication date |
---|---|
CN115004688A (zh) | 2022-09-02 |
EP4099683A4 (en) | 2023-05-24 |
TW202147824A (zh) | 2021-12-16 |
US20230008577A1 (en) | 2023-01-12 |
KR20220133194A (ko) | 2022-10-04 |
EP4099683A1 (en) | 2022-12-07 |
JPWO2021153428A1 (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11863911B2 (en) | Imaging system, method of controlling imaging system, and object recognition system | |
US12131552B2 (en) | Imaging system, method for controlling imaging system, and object recognition system | |
WO2022009664A1 (ja) | 撮像装置及び撮像方法 | |
US11895398B2 (en) | Imaging device and imaging system | |
WO2021256095A1 (ja) | 撮像装置及び撮像方法 | |
US11683606B2 (en) | Imaging device and electronic equipment | |
EP4099684A1 (en) | Imaging device and imaging method | |
CN113647089B (zh) | 成像系统 | |
US20230179879A1 (en) | Imaging device and imaging method | |
US20230108884A1 (en) | Imaging device and imaging method | |
WO2021153428A1 (ja) | 撮像装置、電子機器及び撮像方法 | |
WO2021235323A1 (ja) | 撮像装置及び撮像方法 | |
WO2022065032A1 (ja) | 撮像装置及び撮像方法 | |
WO2024106169A1 (ja) | 光検出素子及び電子機器 | |
WO2023248855A1 (ja) | 光検出装置及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21747210 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021573982 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021747210 Country of ref document: EP Effective date: 20220829 |