[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024004644A1 - センサ装置 - Google Patents

センサ装置 Download PDF

Info

Publication number
WO2024004644A1
WO2024004644A1 PCT/JP2023/022007 JP2023022007W WO2024004644A1 WO 2024004644 A1 WO2024004644 A1 WO 2024004644A1 JP 2023022007 W JP2023022007 W JP 2023022007W WO 2024004644 A1 WO2024004644 A1 WO 2024004644A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
dummy
area
sub
Prior art date
Application number
PCT/JP2023/022007
Other languages
English (en)
French (fr)
Inventor
和俊 児玉
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024004644A1 publication Critical patent/WO2024004644A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to a sensor device.
  • Image sensors are used in a wide range of fields. Pixels in the image sensor are configured to acquire gradation information. Recently, in addition to pixels that acquire this gradation information, pixels that acquire event detection information may be mixed. Additionally, in sensors using CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor), processing such as noise reduction is realized based on the output from optical black pixels, which are pixels that do not receive light.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • an ADC Analog to Digital Converter
  • the output of effective pixels is There is a method to obtain the pixel value by subtracting the optical black output value from the value.
  • an event detection pixel is mixed with a gradation pixel, when an event is detected in an event detection pixel, the voltage may fluctuate greatly, and the event detection pixel that detected this event may There is a possibility that a signal shift of the gray scale signal may occur due to signal interference between the optical black signal line and the optical black dedicated signal line.
  • the present disclosure provides a sensor device in which dummy pixels, gradation pixels, and event detection pixels are appropriately arranged and connected.
  • the sensor device includes a pixel array.
  • the pixel array includes a dummy pixel that does not receive incident light, a sub-gradation pixel that receives incident light and obtains gradation information, and the sub-gradation pixel and the sub-gradation pixel that receive incident light.
  • sub-event detection pixels for detecting changes in gradation information obtained by The dummy pixel belonging to a line different from the line to which the pixel belongs is accessed at the same timing to obtain a signal.
  • the pixel array may include a first dummy area where the dummy pixels are arranged, and a light receiving area where the gray scale pixels and the event detection pixels are arranged.
  • the dummy pixel may be a light-shielding pixel in which the light-receiving surface of the gradation pixel or the event detection pixel is shielded from light.
  • the first dummy region may be provided at an edge of the pixel array at least in the line direction.
  • the dummy pixels arranged in the first dummy region and the event detection sub-pixels belonging to the light receiving region may output for each column via the same signal line.
  • the dummy pixels may be composed of pixels arranged in the first dummy region in an arrangement different from the arrangement of the gradation pixels and the event detection pixels in the light receiving region, and shielded from light from the pixels arranged in the first dummy region.
  • the dummy pixel may not include a sub-pixel in which the sub-event detection pixel in the event detection pixel is shielded from light.
  • the pixel array may include a plurality of the gradation pixels and the event detection pixel, and which sub-pixel in each pixel acquires and outputs a signal may be switched by a trigger signal, and the trigger signal Therefore, it is not necessary to connect the sub-event detection pixel to the light-shielded dummy pixel.
  • a plurality of column signal lines may be provided that propagate signals output from pixels belonging to one column, and one of the plurality of column signal lines may be connected only to the dummy pixel.
  • the column signal line may include a column signal line, in which pixels belonging to the same line and having the same arrangement in the unit pixel group are provided at the same relative position among the plurality of column signal lines. It may be connected to a wire.
  • a plurality of unit pixels propagating a signal output from the unit pixel group belonging to the column direction
  • the column signal line may include a column signal line, and pixels belonging to the same line and having the same arrangement in the unit pixel group are provided at different relative positions among the plurality of column signal lines. It may be connected to a wire.
  • the unit pixel group may include eight pixels: two pixels continuous in the line direction and four pixels continuous in the column direction.
  • a second dummy area having the dummy pixel that shields pixels having the same configuration as the line in the light receiving area may be provided;
  • a reference value for correcting the signal value output from the pixel belonging to the light receiving area may be calculated from the signal value output from the dummy pixel belonging to the second dummy area.
  • the signal value output from the first dummy area and the reference value may be compared to obtain a correction area that is a pixel area for correcting the signal value output from the light receiving area.
  • the gradation information in the correction area may be corrected based on the signal value output from the first dummy area.
  • a third dummy area may be provided in which the dummy pixels are provided in the column direction so as not to overlap with the first dummy area at the edge of the pixel array, and the third dummy area is provided with the dummy pixels that are output from the pixels belonging to the light receiving area.
  • the reference value for correcting the signal value may be calculated from the signal value output from the dummy pixel belonging to the third dummy area.
  • the signal value output from the first dummy area and the reference value may be compared to obtain a correction area that is a pixel area for correcting the signal value output from the light receiving area.
  • the gradation information in the correction area may be corrected based on the signal value output from the first dummy area.
  • the dummy pixel may be an analog dummy pixel that outputs a predetermined analog voltage.
  • FIG. 1 is a block diagram schematically showing an example of a sensor device according to an embodiment.
  • FIG. 2 is a block diagram schematically showing an example of a first signal processing circuit according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel array according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of the configuration of a pixel array according to an embodiment.
  • FIG. 3 is a diagram schematically showing an example of a connection between a pixel and a signal line according to an embodiment.
  • 5 is a flowchart showing correction processing according to an embodiment.
  • FIG. 3 is a diagram schematically showing an example of a connection between a pixel and a signal line according to an embodiment.
  • FIG. 3 is a diagram schematically showing an example of a connection between a pixel and a signal line according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of a light-shielding pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of a light-shielding pixel according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of a light-shielding pixel according to an embodiment.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 2 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • FIG. 1 is a block diagram schematically showing a non-limiting example of a sensor device according to an embodiment.
  • the sensor device 1 includes a pixel array 10 , a timing control circuit 12 , an access control circuit 14 , a first readout circuit 16 , a first signal processing circuit 18 , a second readout circuit 20 , and a second signal processing circuit 22 , a timestamp generation circuit 24 , and an output interface (hereinafter referred to as output I/F 26 ).
  • the sensor device 1 is included in, for example, an electronic device such as a solid-state imaging device.
  • the pixel array 10 includes a plurality of pixels 100.
  • the pixels 100 are arranged in at least a plurality of columns (line direction).
  • the pixels 100 are preferably also arranged in at least a plurality of lines (in the column direction) and arranged in a two-dimensional array.
  • the pixel array 10 has a path for outputting the signal output from the pixel 100 to the readout circuit, and a path for outputting the detection of the event to the access control circuit 14 when an event is detected at the pixel 100. It includes at least a path through which a signal indicating which pixel 100 information is to be read is input from the access control circuit 14 .
  • Each pixel 100 includes a light receiving element capable of acquiring gradation information.
  • Each pixel 100 includes a pixel circuit that drives a light receiving element and appropriately obtains an output from the light receiving element.
  • the pixel circuit includes, for example, a circuit that converts a signal obtained from a light receiving element into a signal indicating gradation information and outputs it, and a circuit that detects a change in the signal obtained from the light receiving element and converts it into a signal indicating event detection information. It may also include one or both of the following.
  • pixel 100 may be used as a circuit that outputs a signal indicating event detection information, which fires when the difference in gradation value from the previous frame exceeds a predetermined value; 100 may fire if the contrast ratio exceeds the threshold.
  • firing indicates a state in which an event is detected at pixel 100.
  • the timing control circuit 12 and the access control circuit 14 constitute a control circuit that controls the timing of access to the pixel 100, reading of the signal from the pixel 100, and signal processing of the read signal. Further, this control circuit may control the output timing of the processed signal.
  • the timing control circuit 12 outputs a frame synchronization signal and a horizontal direction synchronization signal to the access control circuit 14 based on the input clock signal, for example. Furthermore, the timing control circuit 12 may generate timing for executing signal processing based on the signal received from the access control circuit 14 according to the firing status of the pixel 100, and may output this timing to the signal processing circuit. .
  • the access control circuit 14 outputs an operation signal for selecting the pixel 100 to be accessed based on the horizontal synchronization signal obtained from the timing control circuit 12, and outputs event information from the pixel 100 to the second readout circuit 20. to control the That is, event detection in the present disclosure is achieved by manipulating the pixels 100 for each frame based on frame information output from the timing control circuit 12 .
  • the first readout circuit 16 converts into a digital signal based on the analog signal from the pixel 100 that outputs gradation information.
  • the first readout circuit 16 outputs the converted digital signal to the first signal processing circuit 18.
  • the first readout circuit 16 may include an ADC (Analog to Digital Converter) that converts analog signals to digital signals.
  • This ADC may be a column ADC provided for each column, or a pixel ADC provided for each pixel.
  • the first signal processing circuit 18 is a circuit that performs signal processing to convert the acquired gradation information into appropriate image information.
  • the first signal processing circuit 18 may perform at least one of linear matrix processing, filter processing, image processing, or machine learning processing, and converts the input digital signal into an image signal and outputs it. do. Further, the first signal processing circuit 18 executes a process of correcting the gradation information based on the reference value. The reference value will be explained in detail later.
  • the first signal processing circuit 18 outputs the processed signal to the outside as image data via the output I/F 26, for example, to a processor of an externally provided electronic device.
  • the second readout circuit 20 appropriately converts the information acquired from the pixel 100 that detects event information, and outputs it to the second signal processing circuit 22.
  • the second readout circuit 20 may operate as an AFE (Analog Front End), for example.
  • the second readout circuit 20 may include, for example, a latch for each column that temporarily stores event detection information output from each pixel 100.
  • the second signal processing circuit 22 converts the event information output from the second readout circuit 20 based on the access information of the pixel 100 controlled by the access control circuit 14 acquired via the timing control circuit 12 and outputs it. /F 26 is output as event data to the outside, for example, to a processor of an external electronic device.
  • the second signal processing circuit 22 may rearrange the order of the acquired event information or adjust the format and output the acquired event information, as necessary. Further, as described above, the second signal processing circuit 22 may perform signal processing at the synchronized timing generated by the timing control circuit 12 based on the output of the access control circuit 14 .
  • the timestamp generation circuit 24 outputs timestamp information, for example simply time information, to the first signal processing circuit 18 and the second signal processing circuit 22.
  • the first signal processing circuit 18 and the second signal processing circuit 22 add appropriate timestamps to the data and output the data. In this way, by appropriately adding a time stamp, it is possible to appropriately obtain the order of output data with respect to time, etc., and perform signal processing, etc., using an external processor or the like.
  • the output I/F 26 is an interface that outputs the gradation information and event detection information acquired and converted in the sensor device 1 to the outside.
  • the output I/F 26 may be, for example, an interface such as MIPI (registered trademark).
  • MIPI registered trademark
  • the same synchronization signal can be used for access control in the readout circuit of the pixel array 10 and signal processing control in the signal processing circuit. Therefore, even if the data output speed of the sensor device 1 is determined by the data bus, high speed can be achieved.
  • the timing control circuit 12 is not an essential configuration. For example, if either the timing of accessing and reading out the pixel 100 or the timing of data transfer from the readout circuit to the signal processing circuit is not variable, the synchronization signal can be fixed, so the sensor The device 1 can also realize the operation of the sensor device 1 without having the timing control circuit 12 .
  • the sensor device 1 may include a frame memory (not shown).
  • the frame memory is a memory that can temporarily store gradation information and event detection information in a frame.
  • FIG. 2 is a block diagram schematically showing an example of the first signal processing circuit 18.
  • the first signal processing circuit 18 can perform signal processing based on the gradation data, shaded pixel data, and reference value data obtained from the first readout circuit 16.
  • the gradation data is data acquired by ADC.
  • the shaded pixel data is data output from the shaded pixels (optical black) provided in the pixel array 10.
  • the reference value data is data for calculating a reference value. The shaded pixel data and reference value data will be explained in detail later.
  • the first signal processing circuit 18 performs preprocessing on the input data.
  • This preprocessing is a process of converting each data into appropriate data.
  • the preprocessing may include, for example, performing linear matrix processing on the gradation data to calculate image data that appropriately indicates the gradation value of each pixel.
  • the first signal processing circuit 18 calculates a reference value based on the reference value data. Along with this processing, the first signal processing circuit 18 determines the area to be corrected based on the shaded pixel data. The first signal processing circuit 18 acquires the output from which pixel 100 and at what level to correct from the reference value and correction area information, and based on this information, the gradation level within the correction area in the image data is determined. Correct the data using the correction level.
  • the first signal processing circuit 18 After this processing, the first signal processing circuit 18 performs various filter processing etc. on the corrected image data and outputs it. By processing in this way, the sensor device 1 can output image data that has undergone appropriate gradation processing.
  • the pixel array 10 includes dummy pixels that do not receive incident light, gradation pixels that receive incident light and output gradation information, and gradation pixels that receive incident light and output gradation information or output gradation information.
  • Event detection pixels that detect a change and output event detection information are arranged in an array in a line direction and a column direction. These pixels are configured with a plurality of sub-pixels.
  • FIG. 3 is a diagram schematically showing a non-limiting example of a pixel configuration.
  • a plurality of pixels 100 are arranged in an array in the light receiving area of the pixel array 10 .
  • Each pixel 100 indicated by a dotted line, comprises multiple sub-pixels.
  • the sub-pixels include, for example, the sub-gradation pixel 1020 and the sub-event detection pixel 1040.
  • the sub-gradation pixel 1020 is a sub-pixel that outputs an analog signal photoelectrically converted in the light receiving element via a pixel circuit that outputs it as gradation information.
  • the pixel circuit that outputs the photoelectrically converted analog signal as gradation information may be any circuit that outputs gradation information as an analog signal.
  • R, G, and B shown within sub-gradation pixel 1020 each represent the color that receives light.
  • the sub-gradation pixels 1020 indicated by R, G, and B each include an element, such as a photodiode, that appropriately receives light in the red wavelength region, green wavelength region, and blue wavelength region.
  • the sub-event detection pixel 1040 is represented by the sub-pixel where Ev is indicated.
  • the sub-event detection pixel 1040 is a sub-pixel that outputs via a pixel circuit that detects a change in gradation information, which is an analog signal photoelectrically converted in a light receiving element.
  • the pixel circuit that outputs event detection information from a photoelectrically converted analog signal may be any circuit that outputs event detection information as an analog signal.
  • sub-gradation pixels 1020 and sub-event detection pixels 1040 form gradation pixels 102 and event detection pixels 104.
  • All sub-pixels of the gradation pixel 102 may be composed of sub-gradation pixels 1020. With this configuration, the gradation pixel 102 outputs gradation information at any timing.
  • event detection pixel 104 some sub-pixels, for example, sub-pixels belonging to half of all sub-pixels, are composed of sub-event detection pixels 1040, and other sub-pixels are composed of sub-gradation pixels 1020. It's okay. With this configuration, whether the event detection pixel 104 outputs gradation information or event detection information is controlled depending on the timing.
  • Pixel 100 outputs gradation information or event detection information at appropriate timing by sequentially connecting multiple sub-pixels.
  • pixels 100 belonging to the same line of pixel array 10 may access sub-pixels having the same relative arrangement within the pixel at the same timing.
  • the sub-gradation pixel 1020 to the left of the green gradation pixel 102 , the sub-event detection pixel 104 to the left of the blue event detection pixel 104 , and the sub-gradation pixel 104 to the left of the red event detection pixel 104 may be driven at the same timing to obtain respective gradation signals or event detection signals.
  • a unit pixel group is set as shown by the broken line in the figure.
  • An appropriate path may be connected to each unit pixel group via a signal line extending in the column direction.
  • the unit pixel group may be, for example, a set of 2 ⁇ 4 pixels, such as 2 consecutive pixels in the line direction and 4 consecutive pixels in the column direction. This connection will be explained later using a specific example.
  • the color arrangement of the gradation pixels 102 and the event detection pixels 104 is a Bayer arrangement, but the arrangement is not limited to this.
  • the pixels may include complementary colors such as cyan, yellow, and magenta, or may include pixels that receive white light.
  • a pixel that receives infrared light, another multispectral compatible pixel, a pixel that includes a plasmon filter, or the like may be provided.
  • the illustration shows a configuration in which the sub-event detection pixel 1040 is not provided in the G pixel 100, the configuration is not limited to this, and the G pixel 100 is configured as an event detection pixel 104 that includes the sub-event detection pixel 1040. You can leave it there.
  • event detection pixels for example, APD (Avalanche Photo Diode) and SPAD (Single Photon Avalanche Diode) are provided, and instead of event detection, ToF (Time of Flight) information and depth information are acquired. It may be a configuration.
  • FIG. 4 is a diagram showing another example configuration of the pixel 100. As shown in FIG. 4, one pixel 100 may include four sub-pixels. In this configuration as well, sub-pixels at the same relative position can be accessed at the same timing in the gradation pixel 102 and the event detection pixel 104.
  • FIG. 5 is a diagram showing yet another configuration example of the pixel 100.
  • one pixel 100 may include eight sub-pixels.
  • the gradation pixel 102 includes, for example, eight sub-gradation pixels 1020.
  • the event detection pixel 104 includes, for example, four sub-event detection pixels 1040 and four sub-gradation pixels 1020.
  • the unit pixel group may be defined as a set of eight pixels, similar to FIGS. 3 and 4.
  • the sub-pixels that are accessed at the same timing may be controlled based on the relative arrangement within the pixel 100.
  • FIG. 6 is a diagram showing an example of the configuration of a dummy pixel (light-shielding pixel).
  • the light-shielding pixel 106 includes sub-pixels having the same number of divisions as the pixels shown in FIG. 3, FIG. 4, or FIG. 5 above.
  • FIG. 6 is a top view showing an example of the pixel array 10 from the direction in which light is incident. From the top row, cases in which pixel 100 is composed of 2 sub-pixels, 4 sub-pixels, and 8 sub-pixels are shown, respectively.
  • the sub-pixel indicated by the diagonal line upward to the right and provided in the light-shielding pixel 106 is a sub-light-shielding pixel in which the light-receiving surface of the sub-gradation pixel 1020 is light-shielded.
  • the light-shielding pixel may be formed by a sub-shading pixel in which the light-receiving surface of the sub-gradation pixel 1020 is shielded from light.
  • FIG. 7 is a diagram showing another example of the configuration of a light-shielding pixel.
  • a sub-pixel indicated by an upward-left diagonal line provided in the light-shielding pixel 106 is a sub-light-shielding pixel in which the light-receiving surface of the sub-event detection pixel 1040 is light-shielded.
  • the light-shielding pixel 106 is formed by including the sub-gradation pixel 1020, the sub-event detection pixel 1040, and the sub-shading pixel whose light-receiving surface is light-shielded, similar to the arrangement of other pixels in the pixel array 10. It's okay.
  • FIG. 8 is a diagram showing a light receiving pixel area and a dummy area in the pixel array 10.
  • the dummy area in which the light-shielding pixels 106 are provided is provided, for example, across the edge line of the pixel array 10 .
  • Each dummy region is formed, for example, by a plurality of lines, and the pixels in this dummy region are formed as light-shielding pixels 106 with their light-receiving surfaces shielded from light.
  • the pixel array 10 includes, for example, a first dummy area 120, a second dummy area 122, and a light receiving area as other areas.
  • the first dummy area 120 is provided with light-shielding pixels 106 for calculating the influence of signal interference between signal lines and pixels on an image formed based on signals acquired within the light-receiving area in the pixel array 10. It is an area.
  • the first dummy region 120 may include, for example, a light-shielding pixel 106 having a pixel configuration different from that of the light-receiving region, as shown in FIG. 7.
  • the second dummy area 122 is an area provided with a light-shielding pixel 106 that outputs data for calculating a reference value for correcting gradation values based on signals in dark areas for signals acquired in the light-receiving area of the pixel array 10. It is.
  • the second dummy area 124 may be provided with a light-shielding pixel 106 having the same pixel configuration as the light-receiving area, as shown in FIG. 6, for example.
  • the light-shielding pixels 106 provided in this second dummy area 122 perform the same operation as so-called optical black in a general sense.
  • FIG. 9 is a diagram showing another example of the light-receiving pixel area and the dummy area in the pixel array 10.
  • the dummy area provided with the light-shielding pixels 106 may include, for example, a first dummy area 120 spanning a line, a second dummy area 122, and a third dummy area 124 spanning a column at the edge of the pixel array 10.
  • the third dummy region 124 is a region in which light-shielding pixels 106 are provided across columns at the edge of the pixel array 10 .
  • the area is provided on the left and right sides, but the area may be provided on either the left or right edge.
  • the configuration of the light-shielding pixels 106 provided in the third dummy area 124 may be formed in the same arrangement as the configuration of the pixels 100 in the light-receiving area, as shown in FIG. 6, for example.
  • the third dummy region 124 is arranged so as not to overlap with the first dummy region 120 and the second dummy region 124.
  • the third dummy area 124 is an area that includes all the shaded pixels 106 belonging to the column direction in the pixel array 10, and the first dummy area 120 and the second dummy area 122 are the third dummy area along the line. It may be defined as an area that does not overlap with area 124 .
  • the third dummy area 124 may output data for calculating the reference value instead of the second dummy area 122.
  • the gradation pixel 102 is accessed at the same timing as the light-shielded pixel 106 belonging to any dummy area to obtain a signal.
  • the gradation pixel 102 and the shaded pixel 106 may belong to the same column. That is, in the sensor device 1 , for example, the gradation pixel 102 and the light-shielding pixel 106 that belong to the same column and different lines may be driven at the same timing to output a signal.
  • FIG. 10 is a diagram schematically showing an example of a connection between a pixel and a signal line according to an embodiment.
  • Signal lines 140 , 142 , 144 , and 146 are signal lines commonly used by unit pixel groups belonging to the same column. A signal output from each pixel, more specifically each sub-pixel, is transmitted to the readout circuit via one of these signal lines.
  • the signal from the sub-pixel indicated by the arrow is output via any of the signal lines 140, 142, 144, or 146. .
  • signals are output at the same timing from two pixels belonging to cyclically adjacent lines in a unit pixel group.
  • pixel 100 of the unit pixel group at the top of the figure is connected to either signal line 144 or 146
  • pixel 100 of the unit pixel group at the bottom of the figure is connected to either signal line 140 or 142.
  • a signal line for the shaded pixels 106 may be separately provided by a general connection, or by using any general method.
  • the signal value of the shaded pixel may be output using the signal line 140 or the like.
  • Figure 10 shows two columns and four unit pixel groups 110A, 110B, 110C, and 110D.
  • event detection occurs in grayscale pixels 102A, 102B of unit pixel group 110A, event detection pixels 104A, 104B of unit pixel group 110B, grayscale pixels 102C, 102D, and unit pixel group 110D of unit pixel group 110A.
  • Pixels 104C and 104D are selected, and each pixel is controlled to output a signal from the sub-pixel located at the lower left.
  • each unit pixel group light shielding pixels 106A, 106B, 106C, and 106D belonging to the dummy area are provided in the same column at the edge of the pixel array 10.
  • the lower left sub-shaded pixel of the shaded pixel 106 belonging to any line is connected to any signal line belonging to the column.
  • the connection between this light shielding pixel 106 and the signal line may be switchable. That is, the light-shielding pixel 106B may be controlled to be connected to any of the signal lines 140, 142, 144, and 146 depending on the timing, for example.
  • the selected gradation pixels 102A and 102B output signals from the sub-pixel located at the lower left via signal lines 146 and 144, respectively.
  • the selected event detection pixels 104A and 104B output signals from the sub-pixel located at the lower left via signal lines 140 and 142.
  • the gradation pixels 102A, 102B and the event detection pixel 104A output gradation signals, and the event detection pixel 104B outputs event detection information.
  • the shaded pixel 106B may be connected to the signal line 142 that outputs event detection information.
  • the cycle of acquiring event detection information is very short. Therefore, there is no particular problem even if the data of the shaded pixel 106 at the timing when event information is not acquired uses the same signal line as the pixel that acquires event detection information.
  • event detection information when an event is detected, by outputting event detection information using the same signal line as the output of the shaded pixel 106 , it is possible to detect the event detection information on the signal line that outputs the signal value of the shaded pixel 106 to which position it belongs. Information on whether signal value interference may be occurring can be obtained.
  • the first signal processing circuit 18 shown in FIG. 2 corrects the signal value output from each sub-gradation pixel 1020 based on the flowchart shown in FIG.
  • the first signal processing circuit 18 first obtains reference value data (S100).
  • the reference value data is data for calculating a reference value for correction, for example, for removing thermal noise and the like.
  • This reference value data can be obtained, for example, from the output from the light-shielding pixel 106 belonging to the second dummy area 122 .
  • the reference value data can be obtained from the output from the shaded pixel 106 belonging to the third dummy region 124 .
  • the first signal processing circuit 18 calculates a reference value from the reference value data (S102).
  • the first signal processing circuit 18 calculates, for example, the average value of the output data of the shaded pixel 106 in the line acquired in S100 or the output data of the shaded pixel 106 belonging to the second dummy area 122 in the column. Calculate the value.
  • the processing in this step is the same as in a configuration with general optical black in the line and column directions, so any method for obtaining the correction value (corresponding to the reference value) from the optical black may be used. good.
  • the interference information may be shaded pixel data that is output from the shaded pixel 106 belonging to the first dummy area 120 .
  • the first signal processing circuit 18 extracts the column area to be corrected (S106).
  • the first signal processing circuit 18 extracts a correction area based on the shaded pixel data from the first dummy area 120 acquired in S104. For example, the first signal processing circuit 18 compares the reference value calculated in S102 with the shaded pixel data acquired in S104 for the line being scanned, and removes the area where the shaded pixel data exceeds the reference value by interference. It is determined that this is an area where this occurs and is extracted.
  • the first signal processing circuit 18 calculates the correction level in the correction area obtained in S106 (S108).
  • the first signal processing circuit 18 may use, for example, the difference between the shaded pixel data acquired for each column and the reference value as the correction value.
  • the first signal processing circuit 18 may use the difference between the average value of the shaded pixel data in the correction area and the reference value as the correction value.
  • the first signal processing circuit 18 corrects the gradation value of the pixel in the area obtained in S106 using the correction value obtained in S108 (S110). Similarly to this correction, the first signal processing circuit 18 corrects thermal noise, etc. in this correction area and other areas based on the data acquired from the second dummy area and/or the third dummy area 124. may also be executed together.
  • the sensor device by using a light shielding pixel whose output path is the same as that of an event detection pixel, the state of interference with a signal line due to the output of an event detection pixel is appropriately extracted. This makes it possible to appropriately correct the gradation value for the area where this interference occurs.
  • FIG. 12 is a diagram illustrating an example of connections between pixels and signal lines according to one embodiment.
  • the relative connections between the plurality of signal lines and the pixels are the same for the unit pixel groups provided along the line.
  • aspects of the present disclosure are not limited thereto.
  • connection states between pixels and signal lines in the unit pixel groups 110A and 110B and the unit pixel groups 110C and 110D may be different.
  • the unit pixel group 110A and the grayscale pixel 102A and grayscale pixel 102C that belong to the same relative position of the unit pixel 110C may be connected to signal lines arranged at different relative positions.
  • the gradation pixel 102A is connected to the third signal line 144A from the left in the signal line of the column to which the unit pixel group 110A belongs.
  • the gradation pixel 102C may be connected to the fourth signal line 146B from the left in the signal line of the column to which the unit pixel group 110C belongs.
  • connection relationship is maintained as in FIG. 10.
  • the relative positions of the signal lines connecting the sub-event detection pixels in the event detection pixels 104B and 104C that are performing event detection may also change.
  • the connection status of the light-shielding pixels 106 belonging to the first dummy region 120 also changes appropriately.
  • the shaded pixel 106B is connected to the same signal line 142A as the event detection pixel 104B which performs event detection in the unit pixel group belonging to the same column, while the shaded pixel 106D is connected to the same signal line 142A in the unit pixel group belonging to the same column. It is connected to the same signal line 144B as the event detection pixel 104D that is performing event detection, and its relative position to the signal line in the column is different.
  • FIG. 13 is a diagram illustrating an example of connections between pixels and signal lines according to one embodiment.
  • the sensor device 1 may include a signal line 148 dedicated to the light-shielded pixel 106 belonging to the first dummy region 120 in a column for each unit pixel group.
  • the connection of the signal lines in the above-mentioned form will result in either There is a possibility that the signal line indicating the gradation value and the shaded pixel 106 belonging to the first dummy area 120 are connected to the same signal line, making it impossible to obtain an appropriate gradation value.
  • FIG. 14 is a diagram showing an example of the gradation pixel 102 , the event detection pixel 104 , and the light-shielding pixel 106 in the first dummy region 120 according to an embodiment.
  • the configuration of the light-shielding pixel 106 may be such that the light-receiving surface of the light-receiving element is light-shielded, similar to the arrangement of the gradation pixel 102 and the event detection pixel 104 .
  • Diagonal lines indicate sub-pixels that are shaded.
  • each gradation pixel 102 and event detection pixel 104 by appropriately controlling the trigger signals TRG0 to TRG7, sub-pixels at the same relative position within the pixel are driven.
  • the corresponding trigger signal TRG0 and the sub-shading pixel indicated by the arrow are driven, and the interference area is detected using the output from this sub-shading pixel. It becomes possible to obtain it.
  • the sub-shading pixel 106 is equipped with a sub-shading pixel so as to be connected only to trigger signals TRG2, TRG3, TRG6, and TRG7. Good too.
  • the sub-event detection pixel is selected by the trigger signal, the sub-shaded pixel in the shaded pixel 106 in the first dummy area 120 and the sub-event detection pixel can be appropriately connected. becomes possible.
  • FIG. 15 is a diagram showing another example.
  • the light-shielding pixel 106 in the first dummy region 120 may be one in which the light-receiving surface of the gradation pixel 102 is shielded from light.
  • the sub-event detection pixel and the sub-shading pixel can be appropriately connected by driving the sub-shading pixel corresponding to each trigger signal.
  • FIG. 16 is a diagram showing another example.
  • an analog voltage source 169 can be used instead of the light-shielding pixel.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
  • FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting these plurality of control units is, for example, a communication network based on any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various controlled devices. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication.
  • a communication I/F is provided for communication. In FIG.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine rotational speed, wheel rotational speed, etc. is included.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted. For example, at least one of an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 18 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 18 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices.
  • These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
  • the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the external information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, etc., and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, characters on the road surface, etc., based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
  • the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
  • the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
  • the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. It's okay.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Further, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices existing in the external environment 7750.
  • the general-purpose communication I/F7620 supports cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced). , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal). You can also connect it with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • P2P Peer To Peer
  • a terminal located near the vehicle for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal. You can also connect it with
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEE17609, DSRC (Dedicated Short Range Communications), or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 typically supports vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) communications, a concept that includes one or more of the following:
  • the positioning unit 7640 performs positioning by receiving, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), and determines the latitude, longitude, and altitude of the vehicle. Generate location information including. Note that the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 connects to USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
  • the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display section 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
  • the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
  • control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be provided to another control unit.
  • predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • the pixel array is A dummy pixel that does not receive incident light, a gradation pixel including a sub-gradation pixel that receives incident light and obtains gradation information; an event detection pixel comprising the sub-gradation pixel and a sub-event detection pixel that detects a change in gradation information obtained by receiving incident light; are arranged in an array in the line direction and column direction, accessing the sub-gradation pixel and the dummy pixel belonging to a line different from the line to which the sub-gradation pixel belongs at the same timing to obtain a signal; sensor device.
  • the pixel array is a first dummy area in which the dummy pixels are arranged; a light receiving area in which the gradation pixels and the event detection pixels are arranged; Equipped with The sensor device described in (1).
  • the dummy pixel is a light-blocking pixel that blocks light from the light-receiving surface of the gradation pixel or the event detection pixel, The sensor device described in (2).
  • the first dummy region is provided at an edge of the pixel array at least in the line direction, The sensor device described in (2) or (3).
  • the dummy pixels are configured of pixels arranged in a configuration different from the arrangement of the gradation pixels and the event detection pixels in the light-receiving region, and are light-shielded pixels arranged in the first dummy region.
  • the sensor device described in (5) The sensor device described in (5).
  • the dummy pixel does not include a sub-pixel that has shaded the sub-event detection pixel in the event detection pixel.
  • the pixel array includes a plurality of the gradation pixels and the event detection pixel, and in each pixel, which sub-pixel acquires and outputs a signal can be switched by a trigger signal, The trigger signal does not connect the sub-event detection pixel to the light-shielded dummy pixel;
  • the sensor device described in (6) The sensor device described in (6).
  • a unit pixel group comprising two pixels continuous in the line direction and a plurality of pixels continuous in the column direction, comprising a plurality of column signal lines that propagate signals output from the unit pixel groups belonging to the column direction, Pixels belonging to the same line and having the same arrangement in the unit pixel group are connected to the column signal line provided at the same relative position among the plurality of column signal lines;
  • the sensor device according to any one of (3) to (8).
  • a unit pixel group comprising two pixels continuous in the line direction and a plurality of pixels continuous in the column direction, comprising a plurality of column signal lines that propagate signals output from the unit pixel groups belonging to the column direction, Pixels belonging to the same line and having the same arrangement in the unit pixel group are connected to the column signal lines provided at different relative positions among the plurality of column signal lines.
  • the sensor device according to any one of (3) to (8).
  • the unit pixel group is two pixels continuous in the line direction; four pixels consecutive in the column direction; with 8 pixels, The sensor device according to (10) or (11).
  • the dummy pixel is an analog dummy pixel that outputs a predetermined analog voltage;
  • the sensor device described in (2) The sensor device described in (2).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

［課題］ダミー画素と、イベント検出画素と、を適切に配置、接続する。 ［解決手段］センサ装置は、画素アレイを備える。前記画素アレイは、入射光を受光しない、ダミー画素と、入射光を受光して階調情報を取得するサブ階調画素を備える、階調画素と、前記サブ階調画素と、入射光を受光して取得した階調情報の変化を検出するサブイベント検出画素と、を有する、イベント検出画素と、がライン方向及びカラム方向にアレイ状に配置され、前記サブ階調画素と、前記サブ階調画素が属するラインとは異なるラインに属する前記ダミー画素と、に同じタイミングでアクセスして、信号を取得する。

Description

センサ装置
　本開示は、センサ装置に関する。
　イメージセンサは、広い分野で用いられている。イメージセンサにおける画素は、階調情報を取得する構成とされている。今日では、この階調情報を取得する画素に加え、イベント検出情報を取得する画素が混合されていることがある。また、 CCD (Charge Coupled Device) や CMOS (Complementary Metal Oxide Semiconductor) を用いたセンサでは、受光しない画素であるオプティカルブラックからの出力に基づいて、ノイズの削減等の処理が実現される。
　有効画素からの出力に対してカラム方向におけるオプティカルブラックからの出力に反映して画像における横筋を削減する手法として、 ADC (Analog to Digital Converter) をカラム方向に対して別途配置し、有効画素の出力値からオプティカルブラックの出力値を減算して画素値を取得する方法がある。このような構成において、階調画素にイベント検出画素を混合した構成とすると、イベント検出画素においてイベントを検出した場合には、電圧が大きく変動する可能性があり、このイベントを検出したイベント検出画素と、オプティカルブラック専用の信号線との間で信号の干渉により階調信号の信号ズレを発生させる可能性がある。
特開2020-161992号公報 特開2011-040807号公報
　そこで、本開示では、ダミー画素と、階調画素と、イベント検出画素と、を適切に配置、接続するセンサ装置を提供する。
　一実施形態によれば、センサ装置は、画素アレイを備える。前記画素アレイは、入射光を受光しない、ダミー画素と、入射光を受光して階調情報を取得するサブ階調画素を備える、階調画素と、前記サブ階調画素と、入射光を受光して取得した階調情報の変化を検出するサブイベント検出画素と、を有する、イベント検出画素と、がライン方向及びカラム方向にアレイ状に配置され、前記サブ階調画素と、前記サブ階調画素が属するラインとは異なるラインに属する前記ダミー画素と、に同じタイミングでアクセスして、信号を取得する。
　前記画素アレイは、前記ダミー画素が配置される、第 1 ダミー領域と、前記階調画素及び前記イベント検出画素が配置される、受光領域と、を備えていてもよい。
　前記ダミー画素は、前記階調画素又は前記イベント検出画素の受光面を遮光した遮光画素であってもよい。
　前記第 1 ダミー領域は、前記画素アレイの縁部において、少なくとも前記ライン方向に亘り備えられてもよい。
　前記第 1 ダミー領域に配置される前記ダミー画素と、前記受光領域に属する前記イベント検出サブ画素と、が同じ信号線を介して前記カラムごとの出力を行ってもよい。
　前記ダミー画素は、前記受光領域における前記階調画素及び前記イベント検出画素の配列と異なる構成の配列で前記第 1 ダミー領域に配置される画素を遮光した画素で構成されてもよい。
　前記ダミー画素は、前記イベント検出画素における前記サブイベント検出画素を遮光したサブ画素を含まなくてもよい。
　前記画素アレイは、複数の前記階調画素及び前記イベント検出画素を備え、トリガー信号により、それぞれの画素においていずれのサブ画素が信号を取得して出力するかを切り替えられてもよく、前記トリガー信号により、前記サブイベント検出画素を遮光した前記ダミー画素に接続しなくてもよい。
　 1 つの前記カラムに属する画素から出力される信号を伝播する、複数のカラム信号線を備えてもよく、前記複数のカラム信号線のうち 1 つを、前記ダミー画素のみと接続してもよい。
　前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する複数の画素と、を備える、単位画素群において、前記カラム方向に属する前記単位画素群から出力される信号を伝搬する、複数のカラム信号線を備えてもよく、同一の前記ラインに属する画素であって、前記単位画素群における配置が同一の画素が、前記複数のカラム信号線のうち、同じ相対位置に備えられる前記カラム信号線と接続されてもよい。
　前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する複数の画素と、を備える、単位画素群において、前記カラム方向に属する前記単位画素群から出力される信号を伝搬する、複数のカラム信号線を備えてもよく、同一の前記ラインに属する画素であって、前記単位画素群における配置が同一の画素が、前記複数のカラム信号線のうち、異なる相対位置に備えられる前記カラム信号線と接続されてもよい。
　前記単位画素群は、前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する 4 つの画素と、の 8 つの画素を備えてもよい。
　前記画素アレイの縁部の前記第 1 ダミー領域とは別の前記ラインにおいて、前記受光領域におけるラインと同じ構成を有する画素を遮光した前記ダミー画素を有する第 2 ダミー領域、を備えてもよく、前記受光領域に属する画素から出力される信号値を補正する基準値を、前記第 2 ダミー領域に属する前記ダミー画素から出力される信号値から算出してもよい。
　前記第 1 ダミー領域から出力される信号値と、前記基準値とを比較して、前記受光領域から出力される信号値を補正する画素の領域である補正領域を取得してもよい。
　前記補正領域における階調情報を、前記第 1 ダミー領域から出力される信号値に基づいて補正してもよい。
　前記画素アレイの縁部において前記第 1 ダミー領域と重ならないように前記カラム方向に亘り前記ダミー画素が備えられる、第 3 ダミー領域、を備えてもよく、前記受光領域に属する画素から出力される信号値を補正する基準値を、前記第 3 ダミー領域に属する前記ダミー画素から出力される信号値から算出してもよい。
　前記第 1 ダミー領域から出力される信号値と、前記基準値とを比較して、前記受光領域から出力される信号値を補正する画素の領域である補正領域を取得してもよい。
　前記補正領域における階調情報を、前記第 1 ダミー領域から出力される信号値に基づいて補正してもよい。
　前記ダミー画素は、所定のアナログ電圧が出力される、アナログダミー画素であってもよい。
一実施形態に係るセンサ装置の一例を模式的に示すブロック図。 一実施形態に係る第 1 信号処理回路の一例を模試的に示すブロック図。 一実施形態に係る画素の構成の一例を模式的に示す図。 一実施形態に係る画素の構成の一例を模式的に示す図。 一実施形態に係る画素の構成の一例を模式的に示す図。 一実施形態に係る画素の構成の一例を模式的に示す図。 一実施形態に係る画素の構成の一例を模式的に示す図。 一実施形態に係る画素アレイの構成の一例を模式的に示す図。 一実施形態に係る画素アレイの構成の一例を模式的に示す図。 一実施形態に係る画素と信号線との接続の一例を模式的に示す図。 一実施形態に係る補正処理を示すフローチャート。 一実施形態に係る画素と信号線との接続の一例を模式的に示す図。 一実施形態に係る画素と信号線との接続の一例を模式的に示す図。 一実施形態に係る遮光画素の一例を模式的に示す図。 一実施形態に係る遮光画素の一例を模式的に示す図。 一実施形態に係る遮光画素の一例を模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図1は、一実施形態に係るセンサ装置の限定されない一例を模式的に示すブロック図である。センサ装置 1 は、画素アレイ 10 と、タイミング制御回路 12 と、アクセス制御回路 14 と、第 1 読出回路 16 と、第 1 信号処理回路 18 と、第 2 読出回路 20 と、第 2 信号処理回路 22 と、タイムスタンプ生成回路 24 と、出力インタフェース (以下、出力 I/F 26 と記載する。) と、を備える。センサ装置 1 は、例えば、固体撮像装置等の電子機器に備えられる。
　画素アレイ 10 には、複数の画素 100 が備えられる。画素 100 は、少なくとも複数のカラム (ライン方向) において配置される。画素 100 は、望ましくは、少なくとも複数のライン (カラム方向) においても配置され、 2 次元のアレイ状に配置される。
　画素アレイ 10 は、画素 100 から出力される信号を読出回路へと出力する経路と、画素 100 においてイベントが検出された場合に、イベントを検出したことをアクセス制御回路 14 へと出力する経路と、アクセス制御回路 14 から、いずれの画素 100 の情報を読み出すかを示す信号が入力される経路と、を少なくとも備える。
　それぞれの画素 100 は、階調情報を取得することが可能な受光素子を備える。それぞれの画素 100 は、受光素子を駆動させ、この受光素子からの出力を適切に取得する画素回路を備える。画素回路は、例えば、受光素子から取得する信号を、階調情報を示す信号に変換して出力する回路と、受光素子から取得する信号の変化を検知してイベント検出情報を示す信号に変換して出力する回路と、の一方又は双方を備えていてもよい。
　一例として、画素 100 は、イベント検出情報を示す信号を出力する回路として、前フレームとの階調値の差分が所定の値を超えた場合に発火するとしてもよいし、別の例として、画素 100 は、コントラスト比がしきい値を超えた場合に発火するとしてもよい。ここで、発火は、画素 100 においてイベントを検知した状態を示す。
　なお、本開示における詳細な画素 100 の構成については、後述にて説明する。
　タイミング制御回路 12 及びアクセス制御回路 14 は、画素 100 へのアクセス、画素 100 からの信号の読み出し及び読み出した信号の信号処理のタイミングを制御する、制御回路を構成する。また、この制御回路は、信号処理した信号の出力タイミングを制御してもよい。
　タイミング制御回路 12 は、例えば、入力されるクロック信号に基づいて、フレーム同期信号、水平方向同期信号をアクセス制御回路 14 に出力する。また、タイミング制御回路 12 は、アクセス制御回路 14 から受信した画素 100 の発火状況に応じた信号に基づいて、信号処理を実行するタイミングを生成し、このタイミングを信号処理回路に出力してもよい。
　アクセス制御回路 14 は、タイミング制御回路 12 から取得した水平方向同期信号に基づいて、アクセスする画素 100 を選択する操作信号を出力し、当該画素 100 からのイベント情報を第 2 読出回路 20 へと出力させる制御をする。すなわち、本開示におけるイベント検出は、タイミング制御回路 12 から出力されるフレーム情報に基づいて、フレームごとに画素 100 を操作することで実現される。
　第 1 読出回路 16 は、階調情報を出力する画素 100 からのアナログ信号に基づいて、デジタル信号へと変換する。第 1 読出回路 16 は、変換したデジタル信号を第 1 信号処理回路 18 へと出力する。第 1 読出回路 16 は、アナログ信号からデジタル信号に変換する ADC (Analog to Digital Converter) を備えてもよい。この ADC は、カラムごとに備えられるカラム ADC であってもよいし、画素ごとに備えられる画素 ADC であってもよい。
　第 1 信号処理回路 18 は、取得した階調情報を、適切な画像情報に変換する信号処理を実行する回路である。第 1 信号処理回路 18 は、例えば、リニアマトリクス処理、フィルタ処理、画像処理又は機械学習に関する処理のうち少なくとも 1 つを実行してもよく、入力されたデジタル信号を画像信号へと変換して出力する。また、第 1 信号処理回路 18 は、基準値に基づいて階調情報を補正する処理を実行する。基準値については、後述にて詳しく説明する。第 1 信号処理回路 18 は、処理された信号を、出力 I/F 26 を介して画像データとして外部、例えば、外部に備えられる電子機器のプロセッサ等へと出力する。
　第 2 読出回路 20 は、イベント情報を検出する画素 100 から取得した情報を適切に変換し、第 2 信号処理回路 22 へと出力する。第 2 読出回路 20 は、例えば、 AFE (Analog Front End) として動作してもよい。第 2 読出回路 20 は、それぞれの画素 100 から出力されたイベント検出情報を一時的に格納するラッチを、例えば、カラムごとに備えてもよい。
　第 2 信号処理回路 22 は、第 2 読出回路 20 から出力されるイベント情報を、タイミング制御回路 12 を介して取得するアクセス制御回路 14 が制御した画素 100 のアクセス情報に基づいて変換し、出力 I/F 26 を介してイベントデータとして外部、例えば、外部に備えられる電子機器のプロセッサ等へと出力する。第 2 信号処理回路 22 は、必要に応じて、取得したイベント情報の順序を入れ替え、又は、フォーマットを整えて出力してもよい。また、上述したように、タイミング制御回路 12 がアクセス制御回路 14 の出力に基づいて生成した同期タイミングで、第 2 信号処理回路 22 は、信号処理を実行してもよい。
　タイムスタンプ生成回路 24 は、タイムスタンプ情報、例えば、単純には時刻情報を第 1 信号処理回路 18 及び第 2 信号処理回路 22 に出力する。第 1 信号処理回路 18 及び第 2 信号処理回路 22 は、データに対して適切なタイムスタンプを付与して出力する。このように、タイムスタンプを適切に付与することで、出力されたデータの時刻に関する順序等を外部のプロセッサ等で適切に取得して信号処理等を実行することができる。
　出力 I/F 26 は、センサ装置 1 において取得、変換された階調情報及びイベント検出情報を外部へと出力するインタフェースである。出力 I/F 26 は、例えば、 MIPI (登録商標) 等のインタフェースであってもよい。センサ装置 1 は、取得したイベント情報をこの出力 I/F 26 を介して外部へと出力する。
　このような構成を用いることで、取得するデータ量に併せて水平方向におけるアクセス及び水平方向の同期信号のタイミングを適切に制御することが可能となる。
　この構成においては、特に、画素アレイ 10 の読出回路におけるアクセス制御及び信号処理回路における信号処理制御の同期信号に、同一の同期信号を用いることができる。このため、センサ装置 1 がデータの出力速度がデータバスに律速する場合においても、高速かを実現することができる。
　なお、タイミング制御回路 12 は、必須の構成ではない。例えば、画素 100 へのアクセス及び読出のタイミングと、読出回路から信号処理回路へのデータ転送のタイミングと、のいずれか一方を可変としない場合には、同期信号を固定することができるので、センサ装置 1 は、タイミング制御回路 12 を備えることなくセンサ装置 1 の動作を実現することもできる。
　また、センサ装置 1 は、図示しないフレームメモリを備えていてもよい。フレームメモリは、フレームにおける階調情報及びイベント検出情報を一時的に格納することが可能なメモリである。
　次に、第 1 信号処理回路 18 における画素値の補正について説明する。図2は、第 1 信号処理回路 18 の一例を模式的に示すブロック図である。
　第 1 信号処理回路 18 は、第 1 読出回路 16 から取得する階調データ、遮光画素データ及び基準値データに基づいて信号処理を実行することができる。階調データは、 ADC により取得されたデータである。遮光画素データは、画素アレイ 10 に備えられる遮光画素 (オプティカルブラック) から出力されたデータである。基準値データは、基準値を算出するためのデータである。遮光画素データ及び基準値データについては、後述にて詳しく説明する。
　第 1 信号処理回路 18 は、入力されたデータに前処理を施す。この前処理は、それぞれのデータを適切なデータへと変換する処理である。前処理は、例えば、階調データに対してリニアマトリクス処理を施し、画素ごとの階調値を適切に示す画像データを算出する処理を含んでもよい。
　第 1 信号処理回路 18 は、基準値データに基づいて、基準値を算出する。この処理とともに、第 1 信号処理回路 18 は、遮光画素データに基づいて、補正をする領域を判定する。第 1 信号処理回路 18 は、基準値及び補正領域の情報から、どの画素 100 からの出力を、どのレベルで補正するかを取得し、この情報に基づいて、画像データにおける補正領域内の階調データを、補正レベルを用いて補正する。
　この処理の後に、第 1 信号処理回路 18 は、補正した画像データに対して種々のフィルタ処理等を実行し、出力する。このように処理することで、センサ装置 1 は、適切な階調処理がされた画像データを出力することができる。
　続いて、画素アレイ 10 における画素 100 の配置と、画素 100 から信号を出力する信号線の配置と、について説明する。本開示においては、画素アレイ 10 における画素 100 の配置と、この画素配置におけるカラムごとに備えられる信号線の接続について詳しく説明する。
　画素アレイ 10 は、入射光を受光しないダミー画素と、入射光を受光して階調情報を出力する階調画素と、入射光を受光して階調情報を出力し、又は、階調情報の変化を検出してイベント検出情報を出力する、イベント検出画素と、をライン方向及びカラム方向にアレイ状に配置される。これらの画素は、複数のサブ画素を備えて構成される。
　図3は、画素の構成の限定されない一例を模式的に示す図である。画素アレイ 10 の受光領域には、複数の画素 100 がアレイ状に配置される。点線で示されるそれぞれの画素 100 は、複数のサブ画素を備える。サブ画素は、例えば、サブ階調画素 1020 と、サブイベント検出画素 1040 とがある。
　サブ階調画素 1020 は、受光素子において光電変換されたアナログ信号を階調情報として出力する画素回路を介して出力するサブ画素である。光電変換されたアナログ信号を階調情報として出力する画素回路は、階調情報をアナログ信号として出力する任意の回路であってもよい。サブ階調画素 1020 内に示されている R 、 G 及び B は、それぞれ受光する色を表す。 R 、 G 及び B が示されているサブ階調画素 1020 は、それぞれ、赤色の波長領域、緑色の波長領域及び青色の波長領域の光を適切に受光する素子、例えば、フォトダイオード等を備える。
　サブイベント検出画素 1040 は、 Ev が示されているサブ画素で表される。サブイベント検出画素 1040 は、受光素子において光電変換されたアナログ信号である階調情報の変化を検出する画素回路を介して出力するサブ画素である。光電変換されたアナログ信号からイベント検出情報を出力する画素回路は、イベント検出情報をアナログ信号として出力する任意の回路であってもよい。
　これらのサブ階調画素 1020 及びサブイベント検出画素 1040 により、階調画素 102 と、イベント検出画素 104 と、が形成される。
　階調画素 102 は、全てのサブ画素がサブ階調画素 1020 で構成されてもよい。この構成により、階調画素 102 は、どのタイミングにおいても階調情報を出力する。
　イベント検出画素 104 は、一部のサブ画素、例えば、全てのサブ画素の半分の領域に属するサブ画素が、サブイベント検出画素 1040 で構成され、他のサブ画素がサブ階調画素 1020 で構成されてもよい。この構成により、イベント検出画素 104 は、タイミングによって、階調情報を出力するか、イベント検出情報を出力するか、が制御される。
　画素 100 は、複数のサブ画素を順次接続することで、階調情報又はイベント検出情報を適切なタイミングで出力する。一例として、画素アレイ 10 の同一のラインに属する画素 100 は、同一のタイミングにおいて、画素内における同じ相対配置であるサブ画素にアクセスしてもよい。
　例えば、図3において、緑の階調画素 102 の左側のサブ階調画素 1020 、青のイベント検出画素 104 の左側のサブイベント検出画素 104 、及び、赤のイベント検出画素 104 の左側のサブ階調画素 1020 を同じタイミングで駆動し、それぞれの階調信号又はイベント検出信号を取得してもよい。
　上記のアクセス例によれば、適切な階調情報を取得するとともに、精度の高いイベント検出を実現することができる。
　一例として、図に破線で示すように、単位画素群が設定される。カラム方向に延伸する信号線を介して、この単位画素群ごとに適切な経路が接続されてもよい。単位画素群は、例えば、ライン方向の連続した 2 画素、カラム方向の連続した 4 画素の 2 × 4 画素の集合であってもよい。この接続については、後述にて具体例を挙げながら説明する。
　なお、図3においては、階調画素 102 及びイベント検出画素 104 の色の配置がベイヤ配列であるが、これに限定されるものではない。例えば、シアン、イエロー、マゼンダといった補色系が少なくとも一部に含まれていてもよいし、白色を受光する画素が含まれていてもよい。この他、赤外光を受光する画素やその他のマルチスペクトル対応の画素、又は、プラズモンフィルタを備える画素等が備えられていてもよい。また、 G の画素 100 においてはサブイベント検出画素 1040 が備えられない構成を図示しているが、これに限定されず、 G の画素 100 がサブイベント検出画素 1040 を備えるイベント検出画素 104 として構成されていてもよい。
　また、イベント検出画素には限定されず、例えば、 APD (Avalanche Photo Diode) 、 SPAD (Single Photon Avalanche Diode) が備えられ、イベント検出の代わりに、 ToF (Time of Flight) 情報やデプス情報を取得する構成であってもよい。
　図4は、画素 100 の別の構成例を示す図である。この図4に示すように、 1 つの画素 100 に、 4 つのサブ画素が備えられる構成であってもよい。この構成の場合も、階調画素 102 及びイベント検出画素 104 において、同じタイミングで同じ相対位置のサブ画素にアクセスすることもできる。
　図5は、画素 100 のさらに別の構成例を示す図である。この図5に示すように、 1 つの画素 100 に、 8 つのサブ画素が備えられる構成であってもよい。階調画素 102 は、例えば、 8 つのサブ階調画素 1020 を備える。イベント検出画素 104 は、例えば、 4 つのサブイベント検出画素 1040 と、 4 つのサブ階調画素 1020 を備える。図示しないが、単位画素群は、図3及び図4と同様に、 8 つの画素の集合として定義されてもよい。
　 4 つのサブ画素又は 8 つのサブ画素を備えて画素 100 が構成される場合においても、画素 100 内における相対的な配置に基づいて、同じタイミングでアクセスするサブ画素が制御されてもよい。
　図6は、ダミー画素 (遮光画素) の構成の一例を示す図である。遮光画素 106 は、一例として、上記の図3、図4又は図5で示した画素と同じ分割数のサブ画素を備える。この図6は、画素アレイ 10 の一例を光が入射する方向から示す上面図である。上段から、画素 100 が 2 つのサブ画素、 4 つのサブ画素、及び 8 つのサブ画素で構成される場合をそれぞれ示す。
　遮光画素 106 に備えられる右上がりの斜線で示されるサブ画素は、サブ階調画素 1020 の受光面を遮光したサブ遮光画素である。この図6に示すように、遮光画素は、サブ階調画素 1020 の受光面を遮光したサブ遮光画素により形成されていてもよい。
　図7は、遮光画素の構成の別の例を示す図である。遮光画素 106 に備えられる左上がりの斜線で示されるサブ画素は、サブイベント検出画素 1040 の受光面を遮光したサブ遮光画素である。このように、遮光画素 106 は、画素アレイ 10 における他の画素の配列と同様に、サブ階調画素 1020 と、サブイベント検出画素 1040 と、の受光面を遮光したサブ遮光画素を備えて形成されてもよい。
　図8は、画素アレイ 10 における受光画素領域と、ダミー領域と、を示す図である。遮光画素 106 が備えられるダミー領域は、例えば、画素アレイ 10 において縁部のラインに亘り備えられる。それぞれのダミー領域は、例えば、複数のラインにより形成され、このダミー領域内における画素は、遮光画素 106 として、受光面が遮光された状態で形成される。画素アレイ 10 は、例えば、第 1 ダミー領域 120 と、第 2 ダミー領域 122 と、その他の領域として受光領域と、を備える。
　第 1 ダミー領域 120 は、画素アレイ 10 において受光領域内で取得した信号に基づいて形成された画像について、信号線と画素間における信号の干渉等の影響を算出するための遮光画素 106 が備えられる領域である。第 1 ダミー領域 120 には、例えば、図7に示す、受光領域とは異なる画素の構成を有する遮光画素 106 が備えられてもよい。
　第 2 ダミー領域 122 は、画素アレイ 10 において受光領域内で取得した信号に対して、暗部の信号に基づいて階調値を補正する基準値を算出するデータを出力する遮光画素 106 が備えられる領域である。第 2 ダミー領域 124 には、例えば、図6に示す、受光領域と同一の画素の構成を有する遮光画素 106 が備えられてもよい。この第 2 ダミー領域 122 に備えられる遮光画素 106 は、一般的な意味での所謂オプティカルブラックと同様の動作を実行する。
　図9は、画素アレイ 10 における受光画素領域と、ダミー領域との別の例を示す図である。遮光画素 106 が備えられるダミー領域は、例えば、画素アレイ 10 の縁部において、ラインに亘る第 1 ダミー領域 120 、第 2 ダミー領域 122 及びカラムに亘る第 3 ダミー領域 124 を備えてもよい。
　第 3 ダミー領域 124 は、画素アレイ 10 の縁部において、カラムに亘り遮光画素 106 が備えられる領域である。図9においては、左右のサイドに備えられているが、左右のいずれか一方の縁部に備えられる領域であってもよい。また、第 3 ダミー領域 124 に備えられる遮光画素 106 の構成は、例えば、図6に示すように受光領域の画素 100 の構成と同様の配置により形成されていてもよい。
　図に示すように、第 3 ダミー領域124 は、第 1 ダミー領域 120 及び第 2 ダミー領域 124 と重畳しないように配置されている。別の例として、第 3 ダミー領域 124 が、画素アレイ 10 においてカラム方向に属する全ての遮光画素 106 を含む領域であり、第 1 ダミー領域 120 及び第 2 ダミー領域 122 がラインに沿って第 3 ダミー領域 124 と重ならない領域として定義されていてもよい。
　第 3 ダミー領域 124 は、第 2 ダミー領域 122 の代わりに基準値を算出するデータを出力してもよい。
　以上のような構成において、階調画素 102 は、いずれかのダミー領域に属する遮光画素 106 と同じタイミングでアクセスされて、信号を取得する。この階調画素 102 と、遮光画素 106 とは、同じカラムに属する画素であってもよい。すなわち、センサ装置 1 において、例えば、同じカラムに属し、異なるラインに属する階調画素 102 と、遮光画素 106 とが、同じタイミングで駆動して信号を出力する構成であってもよい。
　画素と信号線との接続について説明する。
　図10は、一実施形態に係る画素と信号線との接続の一例を模式的に示す図である。信号線 140 、 142 、 144 、 146 は、同一のカラムに属する単位画素群に共通して用いられる信号線である。それぞれの画素、より具体的にはそれぞれのサブ画素から出力される信号は、これらの信号線のいずれかを介して、読出回路へと伝達される。
　例えば、画素 100 における右下のサブ画素を用いて信号を出力するタイミングにおいては、矢印で示されるサブ画素からの信号が、信号線 140 、 142 、 144 、 146 のいずれかを介して出力される。
　一例として、単位画素群におけるサイクリックに隣接するラインに属する 2 つの画素から同じタイミングで信号が出力される。このような構成の場合、単位画素群について 2 本の信号線を用いて信号を出力することが可能である。隣接するライン同士は、異なる信号線に接続される。カラムに沿って連続する単位画素群は、上記の 2 本とは異なる信号線を用いてサブ画素からの出力をしてもよい。
　例えば、図の上部にある単位画素群の画素 100 は、信号線 144 、 146 のいずれかと接続し、図の下部にある単位画素群の画素 100 は、信号線 140 、 142 のいずれかと接続する。
　なお、第 2 ダミー領域 122 及び第 3 ダミー領域 124 に属する遮光画素 106 については、一般的な接続により別途、遮光画素 106 用の信号線が備えられていてもよいし、一般的な任意の手法で信号線 140 等を用いて遮光画素の信号値を出力してもよい。
　図10には、 2 つのカラムと、 4 つの単位画素群 110A 、 110B 、 110C 、 110D が示されている。あるタイミングにおいては、単位画素群 110A の階調画素 102A 、 102B 、単位画素群 110B のイベント検出画素 104A 、 104B 、単位画素群 110A の階調画素 102C 、 102D 、及び、単位画素群 110D のイベント検出画素 104C 、 104D が選択され、さらに、それぞれの画素において、左下に位置するサブ画素から、信号が出力される制御がされている。
　それぞれの単位画素群は、画素アレイ 10 の縁部において、ダミー領域に属する遮光画素 106A 、 106B 、 106C 、 106D が同じカラムに備えられる。遮光画素 106 においても同様に、いずれかのラインに属する遮光画素 106 の左下のサブ遮光画素が、カラムに属するいずれかの信号線と接続される。この遮光画素 106 と、信号線との接続は、切り替え可能であってもよい。すなわち、遮光画素 106B は、例えば、タイミングに応じて、信号線 140 、 142 、 144 、 146 のいずれかに接続されるかを切り替え可能に制御されてもよい。
　上記の様な構成において、信号線の接続例について説明する。一例として、選択されている階調画素 102A 、 102B は、それぞれ信号線 146 、 144 を介して左下に位置するサブ画素から信号が出力される。同様に、選択されているイベント検出画素 104A 、 104B は、信号線 140 、 142 を介して左下に位置するサブ画素から信号が出力される。
　階調画素 102A 、 102B 及びイベント検出画素 104A は、階調信号を出力し、イベント検出画素 104B は、イベント検出情報を出力する。この構成の場合、遮光画素 106B は、イベント検出情報を出力する信号線 142 と接続されてもよい。このように接続することで、遮光画素 106 からの出力と階調信号とを混合することなく、イベント検出画素と信号線との間の干渉の影響、すなわち、カラムごとの信号値の干渉の影響を出力することができる。
　一般的に階調情報を取得する周期と比較して、イベント検出情報を取得する周期は、非常に短い。このため、イベント情報を取得しないタイミングにおける遮光画素 106 のデータは、イベント検出情報を取得する画素と同じ信号線を用いても特に問題は無い。また、イベント検出した場合において、イベント検出情報を遮光画素 106 の出力と同じ信号線を用いて出力することで、どの位置に属する遮光画素 106 の信号値を出力する信号線においてイベント検出に起因する信号値の干渉が発生している可能性があるかの情報を取得することができる。
　図2に示す第 1 信号処理回路 18 は、図11に示すフローチャートに基づいて、それぞれのサブ階調画素 1020 から出力された信号値を補正する。
　第 1 信号処理回路 18 は、まず、基準値データを取得する (S100) 。基準値データは、補正をするため、例えば、熱ノイズ等を除去するための基準値を算出するデータである。この基準値データは、例えば、第 2 ダミー領域 122 に属する遮光画素 106 からの出力により取得できる。別の例として、基準値データは、第 3 ダミー領域 124 に属する遮光画素 106 からの出力により取得できる。第 2 ダミー領域 122 及び第 3 ダミー領域 124 における遮光する画素の構成を受光領域における画素の構成と同様の構成とすることで、受光領域により近い特性を有する基準値データを取得することができる。
　次に、第 1 信号処理回路 18 は、基準値データから基準値を算出する (S102) 。第 1 信号処理回路 18 は、例えば、 S100 で取得したラインにおける遮光画素 106 の出力データ、又は、カラムにおける第 2 ダミー領域 122 に属する遮光画素 106 の出力データの平均値を計算することで、基準値を算出する。本ステップにおける処理は、ライン方向及びカラム方向における一般的なオプティカルブラックを備える構成と同様の処理であるので、オプティカルブラックから補正値 (基準値に対応する) を取得する任意の手法を用いてもよい。
　次に、第 1 信号処理回路 18 は、干渉情報を取得する (S104) 。干渉情報は、第 1 ダミー領域 120 に属する遮光画素 106 からの出力である遮光画素データであってもよい。
　次に、第 1 信号処理回路 18 は、補正するカラムの領域を抽出する (S106) 。第 1 信号処理回路 18 は、 S104 で取得した第 1 ダミー領域 120 からの遮光画素データに基づいて、補正領域を抽出する。第 1 信号処理回路 18 は、例えば、走査しているラインについて、 S102 で算出した基準値と、 S104 で取得した遮光画素データとを比較して、遮光画素データが基準値を超える領域を、干渉が発生している領域であると判定して抽出する。
　次に、第 1 信号処理回路 18 は、 S106 で取得した補正領域における補正レベルを算出する (S108) 。第 1 信号処理回路 18 は、例えば、カラムごとに取得した遮光画素データと、基準値との差分を補正値としてもよい。別の例として、第 1 信号処理回路 18 は、補正領域における遮光画素データの平均値と、基準値との差分を補正値としてもよい。
　次に、第 1 信号処理回路 18 は、 S106 で取得した領域における画素の階調値を、 S108 で取得した補正値により補正する (S110) 。なお、この補正と同様に、第 1 信号処理回路 18 は、第 2 ダミー領域及び／又は第 3 ダミー領域 124 から取得したデータに基づいて、この補正領域領域及び他の領域の熱ノイズ等の補正を併せて実行してもよい。
　なお、上記の処理は、演算結果に影響のない範囲で任意に入れ替えが可能である。
　以上のように、本実施形態に係るセンサ装置によれば、イベント検出画素と出力経路が同じである遮光画素を用いることで、イベント検出画素の出力による信号線への干渉の状態を適切に抽出することが可能となり、この干渉が発生している領域に対する適切な階調値の補正をすることができる。
　以下、画素と信号線の接続関係について、いくつかの例を挙げて説明する。
　図12は、一実施形態に係る画素と信号線との接続の一例を示す図である。図10においては、ラインに沿って備えられる単位画素群について、複数の信号線と、画素との接続の相対的な関係は同一であった。しかしながら、本開示における態様は、これに限定されるものではない。
　この図12に示すように、単位画素群 110A 、 110B と、単位画素群 110C 、 110D とにおける画素と信号線との接続状態が異なっていてもよい。
　具体的には、単位画素群 110A と、単位画素分 110C の同じ相対位置に属する階調画素 102A と、階調画素 102C とは、異なる相対位置に配置される信号線と接続されてもよい。例えば、階調画素 102A は、単位画素群 110A が属するカラムの信号線において、左から 3 番目の信号線 144A と接続される。一方で、階調画素 102C は、単位画素群 110C が属するカラムの信号線において、左から 4 番目の信号線 146B と接続されてもよい。
　カラム方向については、図10と同様に、接続関係が保たれる。もちろん、イベント検出を行っているイベント検出画素 104B 、 104C におけるサブイベント検出画素の接続する信号線の相対位置も変わる可能性がある。
　この場合、図12に示すように、適切に、第 1 ダミー領域 120 に属する遮光画素 106 の接続状況も変化する。例えば、遮光画素 106B は、同じカラムに属する単位画素群においてイベント検出を行っているイベント検出画素 104B と同じ信号線 142A と接続され、一方で、遮光画素 106D は、同じカラムに属する単位画素群においてイベント検出を行っているイベント検出画素 104D と同じ信号線 144B と接続され、カラムにおける信号線との相対位置の関係が異なっている。
　図12の態様によれば、信号線の配線の位置で干渉量が異なる場合に、より精度の高い緩衝領域の抽出を実現することができる。
　図13は、一実施形態に係る画素と信号線との接続の一例を示す図である。センサ装置 1 は、単位画素群ごとのカラムにおいて、第 1 ダミー領域 120 に属する遮光画素 106 専用の信号線 148 を備えてもよい。
　画素アレイ 10 において、サブイベント検出画素の密度が疎であり、 R 、 G 、 B の信号値を同じタイミングで取得することが可能である場合、前述の形態における信号線の接続では、いずれかの階調値を示す信号線と、第 1 ダミー領域 120 に属する遮光画素 106 とが同じ信号線に接続され、適切な階調値が取得できない可能性がある。
　この場合に、図13に示すように、第 1 ダミー領域 120 の遮光領域 106 とのみ接続される信号線 148 を備えることで、より高精度な階調情報を取得することが可能となる。
　図14は、一実施形態に係る階調画素 102 、イベント検出画素 104 、及び、第 1 ダミー領域 120 における遮光画素 106 の一例を示す図である。この図に示すように、例えば、遮光画素 106 の構成は、階調画素 102 及びイベント検出画素 104 の配列と同様の受光素子の受光面を遮光したものであってもよい。斜線は、遮光されたサブ画素であることを示す。
　この場合、それぞれの階調画素 102 及びイベント検出画素 104 においては、トリガー信号 TRG0 ～ TRG7 を適切に制御することで、画素内における同じ相対位置のサブ画素を駆動させる。
　例えば、矢印で示されるサブイベント検出画素によりイベント検出待機状態となる場合、対応するトリガー信号 TRG0 と矢印で示されるサブ遮光画素が駆動し、このサブ遮光画素からの出力を用いて、干渉領域を取得することが可能となる。
　一方で、サブイベント検出画素と接続されるサブ遮光画素を適切に選択するために、遮光画素 106 においては、トリガー信号 TRG2 、 TRG3 、 TRG6 、 TRG7 のみと接続するようにサブ遮光画素が備えられてもよい。このように構成することで、トリガー信号によりサブイベント検出画素が選択された場合に、適切に第 1 ダミー領域 120 内の遮光画素 106 におけるサブ遮光画素と、サブイベント検出画素と、を接続させることが可能となる。
　図15は、別の例を示す図である。この図においては、第 1 ダミー領域 120 内の遮光画素 106 は、階調画素 102 の受光面を遮光したものであってもよい。この場合、それぞれのトリガー信号に対応するサブ遮光画素を駆動させることで、適切にサブイベント検出画素と、サブ遮光画素とを接続することができる。
　図16は、別の例を示す図である。第 1 ダミー領域 120 において、遮光画素の代わりに、アナログの電圧源 169 を用いることもできる。
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図17では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図18は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図18には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図17に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥ17６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図17の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図17に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　前述した実施形態は、以下のような形態としてもよい。
　(1)
　画素アレイを備え、
　前記画素アレイは、
　　入射光を受光しない、ダミー画素と、
　　入射光を受光して階調情報を取得するサブ階調画素を備える、階調画素と、
　　前記サブ階調画素と、入射光を受光して取得した階調情報の変化を検出するサブイベント検出画素と、を有する、イベント検出画素と、
　がライン方向及びカラム方向にアレイ状に配置され、
　前記サブ階調画素と、前記サブ階調画素が属するラインとは異なるラインに属する前記ダミー画素と、に同じタイミングでアクセスして、信号を取得する、
　センサ装置。
　(2)
　前記画素アレイは、
　　前記ダミー画素が配置される、第 1 ダミー領域と、
　　前記階調画素及び前記イベント検出画素が配置される、受光領域と、
　を備える、
　(1)に記載のセンサ装置。
　(3)
　前記ダミー画素は、前記階調画素又は前記イベント検出画素の受光面を遮光した遮光画素である、
　(2)に記載のセンサ装置。
　(4)
　前記第 1 ダミー領域は、前記画素アレイの縁部において、少なくとも前記ライン方向に亘り備えられる、
　(2)又は(3)に記載のセンサ装置。
　(5)
　前記第 1 ダミー領域に配置される前記ダミー画素と、前記受光領域に属する前記イベント検出サブ画素と、が同じ信号線を介して前記カラムごとの出力を行う、
　(4)に記載のセンサ装置。
　(6)
　前記ダミー画素は、前記受光領域における前記階調画素及び前記イベント検出画素の配列と異なる構成の配列で前記第 1 ダミー領域に配置される画素を遮光した画素で構成される、
　(5)に記載のセンサ装置。
　(7)
　前記ダミー画素は、前記イベント検出画素における前記サブイベント検出画素を遮光したサブ画素を含まない、
　(6)に記載のセンサ装置。
　(8)
　前記画素アレイは、複数の前記階調画素及び前記イベント検出画素を備え、トリガー信号により、それぞれの画素においていずれのサブ画素が信号を取得して出力するかを切り替えられ、
　前記トリガー信号により、前記サブイベント検出画素を遮光した前記ダミー画素に接続しない、
　(6)に記載のセンサ装置。
　(9)
　 1 つの前記カラムに属する画素から出力される信号を伝播する、複数のカラム信号線を備え、
　前記複数のカラム信号線のうち 1 つを、前記ダミー画素のみと接続する、
　(3)から(8)のいずれかに記載のセンサ装置。
　(10)
　前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する複数の画素と、を備える、単位画素群において、
　前記カラム方向に属する前記単位画素群から出力される信号を伝搬する、複数のカラム信号線を備え、
　同一の前記ラインに属する画素であって、前記単位画素群における配置が同一の画素が、前記複数のカラム信号線のうち、同じ相対位置に備えられる前記カラム信号線と接続される、
　(3)から(8)のいずれかに記載のセンサ装置。
　(11)
　前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する複数の画素と、を備える、単位画素群において、
　前記カラム方向に属する前記単位画素群から出力される信号を伝搬する、複数のカラム信号線を備え、
　同一の前記ラインに属する画素であって、前記単位画素群における配置が同一の画素が、前記複数のカラム信号線のうち、異なる相対位置に備えられる前記カラム信号線と接続される、
　(3)から(8)のいずれかに記載のセンサ装置。
　(12)
　前記単位画素群は、
　　前記ライン方向に連続する 2 つの画素と、
　　前記カラム方向に連続する 4 つの画素と、
　の 8 つの画素を備える、
　(10)又は(11)に記載のセンサ装置。
　(13)
　前記画素アレイの縁部の前記第 1 ダミー領域とは別の前記ラインにおいて、前記受光領域におけるラインと同じ構成を有する画素を遮光した前記ダミー画素を有する第 2 ダミー領域、
　を備え、
　前記受光領域に属する画素から出力される信号値を補正する基準値を、前記第 2 ダミー領域に属する前記ダミー画素から出力される信号値から算出する、
　(4)に記載のセンサ装置。
　(14)
　前記第 1 ダミー領域から出力される信号値と、前記基準値とを比較して、前記受光領域から出力される信号値を補正する画素の領域である補正領域を取得する、
　(13)に記載のセンサ装置。
　(15)
　前記補正領域における階調情報を、前記第 1 ダミー領域から出力される信号値に基づいて補正する、
　(14)に記載のセンサ装置。
　(16)
　前記画素アレイの縁部において前記第 1 ダミー領域と重ならないように前記カラム方向に亘り前記ダミー画素が備えられる、第 3 ダミー領域、
　を備え、
　前記受光領域に属する画素から出力される信号値を補正する基準値を、前記第 3 ダミー領域に属する前記ダミー画素から出力される信号値から算出する、
　(4)又は(13)に記載のセンサ装置。
　(17)
　前記第 1 ダミー領域から出力される信号値と、前記基準値とを比較して、前記受光領域から出力される信号値を補正する画素の領域である補正領域を取得する、
　(16)に記載のセンサ装置。
　(18)
　前記補正領域における階調情報を、前記第 1 ダミー領域から出力される信号値に基づいて補正する、
　(17)に記載のセンサ装置。
　(19)
　前記ダミー画素は、所定のアナログ電圧が出力される、アナログダミー画素である、
　(2)に記載のセンサ装置。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
　1: センサ装置、
　 10: 画素アレイ、
　  100: 画素、
　   1020: サブ階調画素、
　   1040: サブイベント検出画素、
　  102: 階調画素、
　  104: イベント検出画素、
　  106: 遮光画素、
　  110: 単位画素群、
　  120: 第 1 ダミー領域、
　  122: 第 2 ダミー領域、
　  124: 第 3 ダミー領域、
　  140、142、144、146、148: 信号線、
　  160: 電圧源、
　 12: タイミング制御回路、
　 14: アクセス制御回路、
　 16: 第 1 読出回路、
　 18: 第 1 信号処理回路、
　 20: 第 2 読出回路、
　 22: 第 2 信号処理回路、
　 24: タイムスタンプ生成回路、
　 26: 出力 I/F

Claims (19)

  1. 　画素アレイを備え、
    　前記画素アレイは、
    　　入射光を受光しない、ダミー画素と、
    　　入射光を受光して階調情報を取得するサブ階調画素を備える、階調画素と、
    　　前記サブ階調画素と、入射光を受光して取得した階調情報の変化を検出するサブイベント検出画素と、を有する、イベント検出画素と、
    　がライン方向及びカラム方向にアレイ状に配置され、
    　前記サブ階調画素と、前記サブ階調画素が属するラインとは異なるラインに属する前記ダミー画素と、に同じタイミングでアクセスして、信号を取得する、
    　センサ装置。
  2. 　前記画素アレイは、
    　　前記ダミー画素が配置される、第 1 ダミー領域と、
    　　前記階調画素及び前記イベント検出画素が配置される、受光領域と、
    　を備える、
    　請求項1に記載のセンサ装置。
  3. 　前記ダミー画素は、前記階調画素又は前記イベント検出画素の受光面を遮光した遮光画素である、
    　請求項2に記載のセンサ装置。
  4. 　前記第 1 ダミー領域は、前記画素アレイの縁部において、少なくとも前記ライン方向に亘り備えられる、
    　請求項2に記載のセンサ装置。
  5. 　前記第 1 ダミー領域に配置される前記ダミー画素と、前記受光領域に属する前記イベント検出サブ画素と、が同じ信号線を介して前記カラムごとの出力を行う、
    　請求項4に記載のセンサ装置。
  6. 　前記ダミー画素は、前記受光領域における前記階調画素及び前記イベント検出画素の配列と異なる構成の配列で前記第 1 ダミー領域に配置される画素を遮光した画素で構成される、
    　請求項5に記載のセンサ装置。
  7. 　前記ダミー画素は、前記イベント検出画素における前記サブイベント検出画素を遮光したサブ画素を含まない、
    　請求項6に記載のセンサ装置。
  8. 　前記画素アレイは、複数の前記階調画素及び前記イベント検出画素を備え、トリガー信号により、それぞれの画素においていずれのサブ画素が信号を取得して出力するかを切り替えられ、
    　前記トリガー信号により、前記サブイベント検出画素を遮光した前記ダミー画素に接続しない、
    　請求項6に記載のセンサ装置。
  9. 　 1 つの前記カラムに属する画素から出力される信号を伝播する、複数のカラム信号線を備え、
    　前記複数のカラム信号線のうち 1 つを、前記ダミー画素のみと接続する、
    　請求項3に記載のセンサ装置。
  10. 　前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する複数の画素と、を備える、単位画素群において、
    　前記カラム方向に属する前記単位画素群から出力される信号を伝搬する、複数のカラム信号線を備え、
    　同一の前記ラインに属する画素であって、前記単位画素群における配置が同一の画素が、前記複数のカラム信号線のうち、同じ相対位置に備えられる前記カラム信号線と接続される、
    　請求項3に記載のセンサ装置。
  11. 　前記ライン方向に連続する 2 つの画素と、前記カラム方向に連続する複数の画素と、を備える、単位画素群において、
    　前記カラム方向に属する前記単位画素群から出力される信号を伝搬する、複数のカラム信号線を備え、
    　同一の前記ラインに属する画素であって、前記単位画素群における配置が同一の画素が、前記複数のカラム信号線のうち、異なる相対位置に備えられる前記カラム信号線と接続される、
    　請求項3に記載のセンサ装置。
  12. 　前記単位画素群は、
    　　前記ライン方向に連続する 2 つの画素と、
    　　前記カラム方向に連続する 4 つの画素と、
    　の 8 つの画素を備える、
    　請求項10に記載のセンサ装置。
  13. 　前記画素アレイの縁部の前記第 1 ダミー領域とは別の前記ラインにおいて、前記受光領域におけるラインと同じ構成を有する画素を遮光した前記ダミー画素を有する第 2 ダミー領域、
    　を備え、
    　前記受光領域に属する画素から出力される信号値を補正する基準値を、前記第 2 ダミー領域に属する前記ダミー画素から出力される信号値から算出する、
    　請求項4に記載のセンサ装置。
  14. 　前記第 1 ダミー領域から出力される信号値と、前記基準値とを比較して、前記受光領域から出力される信号値を補正する画素の領域である補正領域を取得する、
    　請求項13に記載のセンサ装置。
  15. 　前記補正領域における階調情報を、前記第 1 ダミー領域から出力される信号値に基づいて補正する、
    　請求項14に記載のセンサ装置。
  16. 　前記画素アレイの縁部において前記第 1 ダミー領域と重ならないように前記カラム方向に亘り前記ダミー画素が備えられる、第 3 ダミー領域、
    　を備え、
    　前記受光領域に属する画素から出力される信号値を補正する基準値を、前記第 3 ダミー領域に属する前記ダミー画素から出力される信号値から算出する、
    　請求項4に記載のセンサ装置。
  17. 　前記第 1 ダミー領域から出力される信号値と、前記基準値とを比較して、前記受光領域から出力される信号値を補正する画素の領域である補正領域を取得する、
    　請求項16に記載のセンサ装置。
  18. 　前記補正領域における階調情報を、前記第 1 ダミー領域から出力される信号値に基づいて補正する、
    　請求項17に記載のセンサ装置。
  19. 　前記ダミー画素は、所定のアナログ電圧が出力される、アナログダミー画素である、
    　請求項2に記載のセンサ装置。
PCT/JP2023/022007 2022-06-28 2023-06-14 センサ装置 WO2024004644A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-104009 2022-06-28
JP2022104009 2022-06-28

Publications (1)

Publication Number Publication Date
WO2024004644A1 true WO2024004644A1 (ja) 2024-01-04

Family

ID=89382071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022007 WO2024004644A1 (ja) 2022-06-28 2023-06-14 センサ装置

Country Status (1)

Country Link
WO (1) WO2024004644A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093610A (ja) * 2019-12-10 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093610A (ja) * 2019-12-10 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置

Similar Documents

Publication Publication Date Title
US11743604B2 (en) Imaging device and image processing system
US20220166958A1 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US12108172B2 (en) Vehicle control system using imaging device capable of object detection
KR102392221B1 (ko) 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
US12136345B2 (en) Motion vector imaging alert system
WO2020080383A1 (ja) 撮像装置及び電子機器
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2018042815A1 (ja) 画像処理装置と画像処理方法
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2024004644A1 (ja) センサ装置
WO2024034271A1 (ja) 光検出素子及び電子機器
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2024048292A1 (ja) 光検出素子、撮像装置、及び車両制御システム
WO2024018812A1 (ja) 固体撮像装置
WO2024150690A1 (ja) 固体撮像装置
WO2024057471A1 (ja) 光電変換素子、固体撮像素子、測距システム
WO2023136093A1 (ja) 撮像素子、および電子機器
WO2023195392A1 (en) Light detection device
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2024070673A1 (ja) 固体撮像装置、電子機器及びプログラム
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2024162109A1 (ja) 光検出装置及び測距システム
WO2023248346A1 (ja) 撮像装置
WO2021229983A1 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831092

Country of ref document: EP

Kind code of ref document: A1