[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021241360A1 - 検出装置、検出システム及び検出方法 - Google Patents

検出装置、検出システム及び検出方法 Download PDF

Info

Publication number
WO2021241360A1
WO2021241360A1 PCT/JP2021/018999 JP2021018999W WO2021241360A1 WO 2021241360 A1 WO2021241360 A1 WO 2021241360A1 JP 2021018999 W JP2021018999 W JP 2021018999W WO 2021241360 A1 WO2021241360 A1 WO 2021241360A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection unit
detection
distance
image
unit
Prior art date
Application number
PCT/JP2021/018999
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021241360A1 publication Critical patent/WO2021241360A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a detection device, a detection system and a detection method.
  • a detection system that captures images at a higher speed than usual has been proposed for the purpose of detecting abnormalities (see Patent Document 1).
  • this type of detection system an object is detected by extracting a specific color, brightness, or the like in a captured image.
  • the images of the plurality of objects are overlapped in the captured image, so that the objects are separated even if the actual distance between the objects is large. It may not be possible to distinguish between them. For this reason, for example, even if an attempt is made to track a moving object when the object is a moving object, if the moving objects overlap each other and then separate from each other, the tracking target may be mistaken.
  • the present disclosure provides a detection device, a detection system, and a detection method that can accurately identify a plurality of objects having similar colors, brightness, feature points, and the like.
  • a first detection unit that detects the distance to the object based on the light reflected by the object and the first detection unit.
  • An image of the object included in the captured image captured at a predetermined angle of view is extracted based on at least one of the color, brightness and feature points of the object and the distance detected by the first detection unit.
  • a detection device including a second detection unit for detecting the coordinate information of the extracted image is provided.
  • a grouping control unit for grouping the object based on the distance detected by the first detection unit and at least one of the color, luminance, and feature point of the object detected by the second detection unit is provided. You may.
  • the second detection unit may detect the coordinate information of the image of the object for each group grouped by the grouping control unit.
  • the grouping control unit At least a part of images of a plurality of the objects in which at least one of the color, luminance, and feature points of the object is the same or similar overlaps, and is detected by the first detection unit.
  • the plurality of objects may be classified into different groups.
  • the grouping control unit sets the distance detected by the first detection unit and the object.
  • the plurality of objects may be regrouped based on at least one of the color, brightness and feature points of the object.
  • a tracking unit that tracks the image of the object in the captured image according to the movement of the object may be provided.
  • the grouping control unit determines the distance detected by the first detection unit.
  • the plurality of objects are regrouped based on at least one of the color, brightness and feature points of the object.
  • the tracking unit may track the image of the object after regrouping.
  • the first detection unit receives light from a predetermined range, detects the distance to the object existing within the predetermined range, and detects the distance to the object.
  • the grouping control unit groups the objects extracted based on at least one of color, brightness, and feature points based on the distance to the object detected by the first detection unit.
  • the second detection unit may detect the coordinate information of the image of the object for each group grouped by the grouping control unit.
  • the first detection unit detects a distance from the captured image within a limited range corresponding to the image position of the object extracted based on at least one of color, luminance or feature point. Instruct the detector and The first detection unit detects the distance to the object included in the limited range, and detects the distance to the object.
  • the grouping control unit groups the objects based on the image position of the object detected by the second detection unit and the distance to the object detected by the first detection unit. May be good.
  • the second detection unit may output image data in a predetermined imaging range including an image of the object together with the coordinate information.
  • the second detection unit may output information including at least one of the area, the direction of movement, and the position of the center of gravity of the object together with the coordinate information.
  • the first semiconductor device having the first detection unit and A second semiconductor device having the second detection unit may be provided.
  • the grouping control unit may be provided in the first semiconductor device or the second semiconductor device.
  • a semiconductor device having the first detection unit and the second detection unit may be provided.
  • a first detection unit that detects the distance to the object based on the light reflected by the object, and An image of the object included in the captured image captured at a predetermined angle of view is extracted based on at least one of the color, brightness and feature points of the object and the distance detected by the first detection unit. Then, the second detection unit that detects the coordinate information of the extracted image, A detection system including the first detection unit and the control unit that controls the second detection unit is provided.
  • the first semiconductor device having the first detection unit and The second semiconductor device having the second detection unit and A third semiconductor device having the control unit may be provided.
  • a grouping control unit for grouping the objects based on at least one of the feature points may be provided.
  • the distance to the object is detected by the first detection unit based on the light reflected by the object.
  • a detection method is provided in which an image of the included object is extracted and the coordinate information of the extracted image is detected.
  • a block diagram showing a schematic configuration of a detection system including a detection device according to an embodiment.
  • the figure explaining the 1st grouping method The flowchart which shows the processing procedure of the 1st grouping method.
  • the figure explaining the 2nd grouping method The flowchart which shows the processing procedure of the 2nd grouping method.
  • FIG. 3 is a block diagram of a detection system including a detection device having a direct ToF type ToF sensor.
  • FIG. 3 is a block diagram showing a schematic configuration of a detection system including a detection device having a ToF sensor that integrates the functions of the high-speed vision sensor and the ToF sensor of FIG. 1.
  • the block diagram which shows the schematic configuration example of the vehicle control system which is an example of a moving body control system.
  • FIG. 1 is a block diagram showing a schematic configuration of a detection system 2 including a detection device 1 according to an embodiment.
  • the detection system 2 of FIG. 1 includes a ToF (Time of Flight) sensor (first detection unit) 3, a high-speed vision sensor (second detection unit) 4, and an application processor (hereinafter, also referred to as AP or control unit) 5. It is equipped with. Of these, the ToF sensor 3 and the high-speed vision sensor 4 are included in the detection device 1.
  • ToF Time of Flight
  • AP application processor
  • the ToF sensor 3 detects the distance to the object based on the light reflected by the object.
  • the distance detection method of the ToF sensor 3 includes a direct ToF method that directly measures the flight time of a pulsed optical signal and an indirect ToF method that indirectly measures the distance by using the phase difference of the received light signal.
  • the ToF sensor 3 according to the present embodiment can be adopted by either method.
  • the high-speed vision sensor 4 captures an image of an object included in an image captured at a predetermined angle of view based on at least one of the color, brightness, and feature points of the object and the distance detected by the ToF sensor 3. Extract and detect at least the coordinate information of the image of the extracted object.
  • the high-speed vision sensor 4 may output image data in a predetermined imaging range including an image of an object together with coordinate information.
  • the predetermined imaging range is a partial pixel region including an image of an object in an captured image captured at a predetermined angle of view.
  • the high-speed vision sensor 4 can detect and track an object at a speed of, for example, 1000 frames per second.
  • the high-speed vision sensor 4 may output at least one information of the area of the object, the direction of movement, and the position of the center of gravity of the object together with the coordinate information of the image of the object.
  • the application processor 5 controls the operation of the high-speed vision sensor 4 and the ToF sensor 3. Further, the application processor 5 receives the sensing result from the high-speed vision sensor 4 and the ToF sensor 3 and performs various signal processing.
  • the high-speed vision sensor 4 and the ToF sensor 3 can be made into chips, respectively.
  • the detection device 1 can be configured by mounting the first semiconductor device having the function of the high-speed vision sensor 4 and the second semiconductor device having the function of the ToF sensor 3 on, for example, a base substrate.
  • a circuit that realizes the function of the high-speed vision sensor 4 and a circuit that realizes the function of the ToF sensor 3 may be formed on a laminated chip in which a plurality of semiconductor layers are laminated.
  • a circuit for projecting and receiving a part of the high-speed vision sensor 4 and the ToF sensor 3 specifically, an optical signal is formed on the upper chip side of the laminated chip, and the remaining portion is formed on the lower chip side.
  • a control circuit or the like may be formed.
  • the circuit that projects the optical signal may have a separate chip configuration.
  • the high-speed vision sensor 4 of FIG. 1 includes a pixel array unit 11, an image processing unit 12, an ISP (Image Signal Processor) 13, a color detection unit 14, a point detection unit 15, and a tracking unit 16. It has an output interface (I / F) unit 17, a grouping control unit 18, and a communication & overall control unit 19.
  • ISP Image Signal Processor
  • the pixel array unit 11 has a plurality of pixels arranged vertically and horizontally, and outputs a pixel signal photoelectrically converted by each pixel.
  • the image processing unit 12 generates digital image data by, for example, A / D converting a pixel signal.
  • the ISP 13 performs various signal processing on the image data after the A / D conversion.
  • the specific content of the signal processing performed by the ISP 13 is not limited, but is, for example, a clamping process, a defect correction process, a lens shading process, or the like.
  • the color detection unit 14 detects an image of an object having a specific color or brightness from the image data output from the ISP 13.
  • the specific color or luminance to be detected by the color detection unit 14 is specified by, for example, the application processor 5.
  • the color detection unit 14 transmits the coordinate information or the like of the detected object to the grouping control unit 18.
  • the color detection unit 14 may detect an image of a plurality of objects having a specific color or brightness. In this case, the color detection unit 14 distinguishes the coordinate information of the image of each object and transmits it to the grouping control unit 18. More specifically, the color detection unit 14 performs binarization processing, moment calculation processing, center of gravity calculation processing, motion vector processing, animal body detection processing, and the like.
  • the point detection unit 15 detects feature points from the image data output from the ISP 13.
  • the feature point is pixel data that characterizes the image of the object included in the captured image.
  • the point detection unit 15 extracts feature points by, for example, performing a predetermined filter process.
  • the filter processing is, for example, noise removal processing by a moving average filter, a median filter, or the like, contour detection processing by a Sobel filter, edge detection processing by a Laplacian filter, or the like.
  • the point detection unit 15 may obtain the number of Eulers of the image data and calculate the number of objects.
  • the Euler number is the number of components minus the number of holes.
  • the application processor 5 notifies the point detection unit 15 of the information necessary for detecting the feature point.
  • the tracking unit 16 identifies an object to be tracked based on the detection results of the color detection unit 14 and the point detection unit 15, and tracks the object according to the movement of the object. More specifically, the tracking unit 16 continues to track the image of the object included in the captured image within the range of the captured image, and outputs the latest coordinate information of the image of the object and the like.
  • the output I / F unit 17 outputs the coordinate information of the image of the object.
  • the output I / F unit 17 outputs coordinate information of an image of an object as a serial signal according to a standard such as MIPI (Mobile Industry Processor Interface) or SPI (Serial Peripheral Interface). This serial signal is sent to the application processor 5.
  • MIPI Mobile Industry Processor Interface
  • SPI Serial Peripheral Interface
  • the grouping control unit 18 obtains an image of the object in the captured image based on the distance detected by the ToF sensor 3 and at least one of the color, luminance and feature points of the object detected by the high-speed vision sensor 4. Group.
  • the high-speed vision sensor 4 detects the coordinate information of the image of the object for each group grouped by the grouping control unit 18.
  • the grouping control unit 18 has a plurality of objects detected by the ToF sensor 3 in which at least a part of images of a plurality of objects having at least one of the same or similar colors, luminance and feature points of the objects overlaps. When the distances of objects are different, multiple objects are classified into different groups.
  • the grouping control unit 18 determines the distance detected by the ToF sensor 3 and the distance. Multiple objects are regrouped based on the color, brightness, and at least one of the feature points of the object. This is referred to herein as a regrouping process.
  • the communication & overall control unit 19 controls communication with the ToF sensor 3 and the application processor 5, and also controls the operation of each unit in the high-speed vision sensor 4. More specifically, the communication & overall control unit 19 receives a control signal from the application processor 5 according to a standard such as I2C (Inter-Integrated Circuit) or SPI, and based on the control signal, the high-speed vision sensor 4 Control the operation of each part in. For example, the communication & overall control unit 19 may set information on a specific color or luminance to be detected by the color detection unit 14 in the color detection unit 14 or the point detection unit 15 based on a control signal from the application processor 5. Information about the feature points to be detected in is set in the point detection unit 15.
  • I2C Inter-Integrated Circuit
  • the communication & overall control unit 19 controls to send and receive various signals to and from the ToF sensor 3.
  • the high-speed vision sensor 4 and the ToF sensor 3 perform serial communication according to a standard such as SPI.
  • the communication & overall control unit 19 transmits a signal instructing the ToF sensor 3 to detect the distance of the object, and also receives information on the distance to the object detected by the ToF sensor 3 to receive the grouping control unit 19. Send to 18.
  • the ToF sensor 3 in FIG. 1 shows a schematic block configuration of an indirect ToF method.
  • the ToF sensor 3 includes a communication & overall control unit 21, a light emission timing control unit 22, a pixel modulation unit 23, a pixel control unit 24, a pixel array unit 25, an A / D converter (ADC) 26, and data processing. It has a unit 27, an output I / F unit 28, and a distance measurement start control unit 29.
  • ADC A/ D converter
  • the communication & overall control unit 21 controls communication with the high-speed vision sensor 4 and the application processor 5, and also controls the operation of each unit in the ToF sensor 3. More specifically, the communication & overall control unit 21 receives a control signal from the application processor 5 according to a standard such as I2C or SPI, and controls the operation of each unit in the ToF sensor 3 based on the control signal. do. Further, the communication & overall control unit 21 receives the distance detection instruction signal from the high-speed vision sensor 4 and transmits it to the light emission timing control unit 22, and also acquires information indicating the distance detection result from the data processing unit 27. It is transmitted to the high-speed vision sensor 4.
  • a standard such as I2C or SPI
  • the light emission timing control unit 22 controls the timing at which the light signal for distance measurement is emitted based on the distance detection instruction signal from the high-speed vision sensor 4.
  • a light emitting element (not shown) that emits an optical signal for distance measurement is externally attached to the ToF sensor.
  • the pixel modulation unit 23 controls the timing of reading a pixel signal from the pixel array unit 25.
  • the pixel modulation unit 23 controls the read timing of the pixel signal.
  • the pixel control unit 24 controls a pixel area to be read, such as a process of thinning out pixels to be read from the pixel array unit 25, by a control signal from the communication & overall control unit 21.
  • the pixel signal read from the pixel array unit 25 is converted into digital pixel data by the ADC 26, then subjected to various signal processing by the data processing unit 27, and output from the output I / F unit 28.
  • the data processing unit 27 detects the distance information to the object based on the pixel data corresponding to the optical signals received in different phases. The detected distance information is transmitted to the communication & overall control unit 21.
  • the distance measurement start control unit 29 controls the distance measurement start timing based on the distance measurement start trigger signal input from the outside.
  • the distance measurement start trigger signal is input from other than the high-speed vision sensor 4, it is necessary to synchronize the distance measurement start timing with the operation of the high-speed vision sensor 4.
  • the distance measurement start control unit 29 can be omitted because the distance measurement may be started in synchronization with the distance measurement start trigger signal.
  • FIG. 2 is a diagram showing an example in which a plurality of objects having the same or similar colors or brightness exist within the angle of view captured by the high-speed vision sensor 4. More specifically, as shown in FIG. 2A, an example is shown in which the object A exists at a position near the high-speed vision sensor 4 and the object B exists at a position far away. As shown in FIG. 2B, when the objects A and B are imaged at positions overlapping each other in the front and back within the angle of view of the high-speed vision sensor 4, the colors of the objects A and B are the same or similar. Therefore, it is difficult to distinguish the objects A and B with the high-speed vision sensor 4 alone, and there is a risk of erroneously recognizing the objects as the same object.
  • the tracking unit 16 in the high-speed vision sensor 4 attempts to perform tracking processing based on the position of the center of gravity of the image obtained by combining the image of the object A and the image of the object B. After that, as shown in FIG. 2 (c), when the object A moves and the relative distance between the objects A and B is separated, the tracking process of the object A cannot be performed with reference to the position of the center of gravity described above. ..
  • 3A and 3B are diagrams showing an example in which only a part of the plurality of objects overlapping in the front-rear direction within the angle of view of the high-speed vision sensor 4 moves.
  • 3A and 3B show an example in which a person D located at the rear reaches for the front side and is waving the card C.
  • the human D and the card C are imaged on the high-speed vision sensor 4 so as to overlap each other. Since the feature points exist in both the human D and the card C, the high-speed vision sensor 4 alone cannot handle the card C and the human D separately, and there is a possibility that the movement of the card C cannot be accurately tracked.
  • the detection device 1 and the detection system 2 according to the present embodiment are characterized in that an object can be accurately extracted and tracked even in the situations shown in FIGS. 2 and 3A to 3B.
  • the grouping control unit 18 according to the present embodiment groups the images of a plurality of objects included in the captured image of the high-speed vision sensor 4 based on the distance detection result by the ToF sensor 3.
  • FIG. 4 is a diagram illustrating the first grouping method
  • FIG. 5 is a flowchart showing a processing procedure of the first grouping method.
  • the high-speed vision sensor 4 takes an image at a predetermined angle of view
  • the ToF sensor 3 measures the distance to the object within the same or similar angle of view as the image taken by the high-speed vision sensor 4.
  • Detect step S1 That is, the ToF sensor 3 detects the distance to the object within the range including the imaging range of the high-speed vision sensor 4.
  • the ToF sensor 3 classifies the objects according to the distances of the objects existing within the above range and transmits them to the grouping control unit 18 (step S2). For example, the distance to the object is classified into, for example, short distance, medium distance, and long distance, and the classification result is transmitted to the grouping control unit 18. Alternatively, it may be classified by a finer distance.
  • the grouping control unit 18 extracts an image of an object from the captured image of the high-speed vision sensor 4 based on the classification result of the ToF sensor 3 and performs grouping (step S3). For example, in the example of FIG. 4, the grouping control unit 18 classifies the objects A and B existing in the angle of view of the high-speed vision sensor 4 into separate groups based on the distance detection result of the ToF sensor 3. As described above, in the high-speed vision sensor 4, even if the images of the overlapping objects A and B are present in the captured image, the object A and the object B are grouped separately based on the classification result by the ToF sensor 3. Can be grouped into.
  • the tracking unit 16 calculates the positions of the centers of gravity of the grouped objects A and B, respectively, and tracks the objects A and B with reference to the positions of the centers of gravity.
  • FIG. 6 is a diagram illustrating the second grouping method
  • FIG. 7 is a flowchart showing a processing procedure of the second grouping method.
  • the high-speed vision sensor 4 first captures an image at a predetermined angle of view (step S11), detects an object by detecting color, luminance or feature point based on the captured image, and extracts an object, and then a ToF sensor. 3 specifies the range r1 to be distance measured (step S12).
  • the specified range r1 is a range including an object.
  • the range r1 specified by the high-speed vision sensor 4 is transmitted to the ToF sensor 3 (step S13).
  • the ToF sensor 3 measures the distance within the range r1 specified by the high-speed vision sensor 4 and detects the distance to the object (step S14).
  • the grouping control unit 18 classifies the distance to the object detected by the ToF sensor 3 into, for example, a close distance, a medium distance, or a long distance based on the distance detection result of the ToF sensor 3 (step S15). Then, the grouping control unit 18 groups the images of the objects included in the captured image of the high-speed vision sensor 4 based on the classified distance information (step S16). Thereby, even if the images of the overlapping objects are present in the captured image, the object A and the object B can be grouped into different groups based on the distance detection result by the ToF sensor 3.
  • step S16 for example, when the high-speed vision sensor 4 detects a plurality of feature points in a close area, if the distances to these feature points are similar, these feature points may be classified into the same group. good. Further, when the ToF sensor 3 detects that a plurality of objects having different distances exist within the range r1 specified by the high-speed vision sensor 4 in step S12, the grouping control unit 18 performs high-speed vision in step S16. The sensor 4 decomposes the range specified in step S12 and classifies each object into separate groups.
  • the grouping control unit 18 sets these ranges in step S16. Integrate into two groups.
  • a plurality of objects belonging to different groups grouped by the first grouping method or the second grouping method can be individually tracked by the tracking unit 16.
  • the tracking unit 16 when the relative distances of a plurality of objects belonging to different groups are close to each other, the images of the plurality of objects in the captured image may overlap at least partially.
  • the grouping control unit 18 performs the re-crouping process.
  • FIG. 8A and 8B are diagrams illustrating the regrouping process when the first grouping method is adopted.
  • a plurality of objects in the captured image of the high-speed vision sensor 4 are grouped by the processing procedure shown in FIG.
  • the tracking process of the object in each group is performed for each group.
  • the tracking process of the corresponding object for each group can be accurately continued based on the information grouped in the first frame.
  • the grouping control unit 18 in the high-speed vision sensor 4 Again, the ToF sensor 3 is instructed to detect the distance to the object within the same or similar angle of view as the high-speed vision sensor 4. In response to this instruction, the ToF sensor 3 detects the distance of each object and transmits the detection result to the grouping control unit 18.
  • the grouping control unit 18 again includes the distance information detected by the ToF sensor 3 and at least one information of the color, brightness and feature points detected by the color detection unit 14 and the point detection unit 15 in the high-speed vision sensor 4. Based on the above, the images of each object in the captured image captured by the high-speed vision sensor 4 are grouped. As a result, after the N + 1 frame, the tracking process of the corresponding object can be accurately performed again for each group.
  • FIG. 9A and 9B are diagrams illustrating the regrouping process when the second grouping method is adopted.
  • the ToF sensor 3 detects the distance of the object within the range r1 designated from the high-speed vision sensor 4 by the processing procedure shown in FIG. 7, and the distance is detected.
  • the grouping control unit 18 groups the objects within the range r1 designated by the high-speed vision sensor 4.
  • the tracking process of the object in each group is performed for each group. As long as a plurality of objects in the captured image do not overlap, the information grouped in the first frame is effective, and the tracking process of the corresponding objects for each group can be continued.
  • the high-speed vision sensor 4 again within the specified range r1. Instruct the ToF sensor 3 to detect the distance.
  • the ToF sensor 3 re-detects the distance of the object within the range r1 designated by the high-speed vision sensor 4, and the grouping control unit 18 again groups the objects within each range based on the distance detection result. I do.
  • the first grouping method and the second grouping method may be carried out in any combination.
  • grouping is performed by the first grouping method in the first frame, and then grouping is performed by the second grouping method when the regrouping process is performed. You may.
  • the grouping may be performed by the second grouping method, and then when the regrouping process is performed, the grouping may be performed by the first grouping method.
  • FIG. 10 is a block diagram of a detection system 2a including a detection device 1a provided with a grouping control unit 18 in the ToF sensor 3a.
  • the grouping control unit 18 in the ToF sensor 3a of FIG. 10 detects the distance information of the object detected by the ToF sensor 3a and the color detection unit 14 in the high-speed vision sensor 4a. Grouping of each object in the captured image is performed based on the color or luminance information of the object and the information of the feature points detected by the point detection unit 15.
  • the grouping control unit 18 in the ToF sensor 3a of FIG. 10 adopts the second grouping method, the result of the ToF sensor 3a detecting the distance of the object within the range specified by the high-speed vision sensor 4a. Based on the above, grouping of objects in the captured image is performed.
  • the information grouped by the grouping control unit 18 (hereinafter referred to as grouping information) is transmitted to the high-speed vision sensor 4a.
  • the tracking unit 16 in the high-speed vision sensor 4a tracks the object in the group for each group based on the grouping information transmitted from the grouping control unit 18 in the ToF sensor 3a.
  • the detection device 1 has a ToF sensor 3 that detects a distance by an indirect ToF method has been described, but the detection device 1 includes a ToF sensor 3 that detects a distance by a direct ToF method. You may.
  • FIG. 11 is a block diagram of a detection system 2b provided with a detection device 1b having a direct ToF type ToF sensor 3b.
  • the ToF sensor 3b of FIG. 11 includes a communication & overall control unit 31, a SPAD (Single Photon Avalanche Diode) control unit 32, a SPAD array & read circuit 33, a sampling circuit 34, a distance measuring processing unit 35, and light emission timing. It includes a control unit 36, an output I / F unit 37, and a clock generation unit 38.
  • SPAD Single Photon Avalanche Diode
  • the SPAD array in the SPAD array & read circuit 33 has a plurality of SPADs arranged vertically and horizontally. Each SPAD outputs an electrical signal corresponding to the incident single photon. This electric signal is output via a read circuit.
  • the readout circuit performs a quenching operation to return the voltage across the SPAD to the initial voltage after the optical pulse signal is received.
  • the electric signal output from the SPAD array & read circuit 33 is sampled by the sampling circuit 34.
  • the distance measurement processing unit 35 has a histogram generation unit 35a and a distance calculation unit 35b.
  • the histogram generation unit 35a generates a histogram showing the relationship between the light reception time of the plurality of light pulse signals received and the number of light pulse signals received.
  • the distance calculation unit 35b performs FIR filter processing, echo determination processing, peak detection processing, distance calculation processing, and the like.
  • the distance information calculated by the distance calculation unit 35b is output via the output I / F unit 37.
  • the light emission timing control unit 36 controls the light emission timing of a light emitting element (not shown).
  • the light emitting trigger signal sent to the light emitting element is also sent to the distance measuring processing unit 35.
  • the distance calculation unit 35b in the distance measurement processing unit 35 detects the light reception timing based on the histogram generated by the histogram generation unit 35a, and the time difference between the light emission timing and the light reception timing when the light emission trigger signal is output is used to determine the object. Detect the distance to.
  • the detection device 1b of FIG. 11 has a grouping control unit 18 in the high-speed vision sensor 4, similar to the detection device 1 of FIG.
  • the ToF sensor 3b transmits the distance measurement result to the high-speed vision sensor 4, and the grouping control unit 18 in the high-speed vision sensor 4 groups each object in the distance image.
  • the detection device 1b in FIG. 11 has a grouping control unit 18 in the high-speed vision sensor 4, but the grouping control unit 18 may be provided in a place other than the high-speed vision sensor 4.
  • FIG. 12 is a block diagram showing a schematic configuration of the detection system 2c according to a modification of FIG. 11.
  • the detection system 2c of FIG. 12 is provided with a grouping control unit 18 directly in the ToF sensor 3c of the ToF system.
  • the grouping control unit 18 in the ToF sensor 3c of FIG. 12 has the color or luminance information detected by the color detection unit 14 in the high-speed vision sensor 4a, similarly to the grouping control unit 18 in the ToF sensor 3a of FIG.
  • the information of the feature points detected by the point detection unit 15 is received, and the grouping of each object is performed based on the distance information detected by the ToF sensor 3.
  • FIGS. 1 to 12 described above an example in which the high-speed vision sensor 4 (4a) and the ToF sensor 3 (3a, 3b, 3c) are provided in the detection device 1 (1a, 1b, 1c) has been described.
  • a sensor in which the sensor 4 (4a) and the ToF sensor 3 (3a, 3b, 3c) are integrated may be provided in the detection device 1.
  • the integrated sensor can be realized by one semiconductor device (chip).
  • FIG. 13 is a block diagram showing a schematic configuration of a detection system 2 including a detection device 1d having a ToF sensor 3d that integrates the functions of the high-speed vision sensor 4 and the ToF sensor 3 of FIG.
  • the ToF sensor 3d of FIG. 13 has a block configuration of the high-speed vision sensor 4 of FIG. 1 in addition to the block configuration of the indirect ToF method similar to the ToF sensor 3 of FIG.
  • the parts corresponding to the respective parts in the detection device 1 of FIG. 1 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the integrated sensor of FIG. 13 may perform distance detection by the direct ToF method instead of the indirect ToF method.
  • the high-speed vision sensor 4 is integrated with the ToF sensor 3b of FIG.
  • the high-speed vision sensor 4 and the ToF sensor 3 perform serial communication in accordance with standards such as SPI via the respective communication & overall control units 19 and 21, but in FIG. 13, the inside of one ToF sensor 3d is used. Since it has the function of the high-speed vision sensor 4, it is possible to send and receive various signals via, for example, a wiring pattern, and high-speed communication becomes possible. Further, as compared with the case of performing serial communication between a plurality of semiconductor devices, the S / N ratio can be improved and the signal level can be reduced, so that the power consumption can be reduced.
  • FIGS. 1 to 12 an example in which the grouping control unit 18 is provided in either the high-speed vision sensor 4 (4a) or the ToF sensor 3 (3a, 3b, 3c) is shown, but the grouping is provided inside the application processor 5.
  • the control unit 18 may be provided.
  • FIG. 14 is a block diagram of the detection system 2e in which the grouping control unit 18 is provided inside the application processor 5a.
  • the grouping control unit 18 of FIG. 14 obtains at least one information of the color, luminance, and feature point of the object in the captured image detected by the high-speed vision sensor 4 in the high-speed vision sensor 4.
  • the distance information of each object is received from the ToF sensor 3 and the grouping of each object is performed based on the received information.
  • the grouping control unit 18 of FIG. 14 when the second grouping method is adopted, the information that the ToF sensor 3 has detected the distance within the range instructed by the high-speed vision sensor 4 and the high-speed vision sensor 4 are used. Grouping of each object is performed based on at least one information of the color, brightness, and feature point of the object in the detected captured image. The grouped information is transmitted to the high-speed vision sensor 4, and the tracking unit 16 in the high-speed vision sensor 4 performs tracking processing.
  • the detection device 1 in FIG. 14 has an indirect ToF type ToF sensor 3, but may have a direct ToF type ToF sensor 3 as in FIG. 11.
  • grouping of each object in the captured image of the high-speed vision sensor 4 (4a) is performed.
  • the tracking unit 16 performs tracking processing of an object for each grouped group. If images of a plurality of objects overlap each other in the captured image during the tracking process, the color, brightness, and characteristics of the objects detected by the high-speed vision sensor 4 (4a) again.
  • the regrouping process is performed based on at least one of the points and the distance information of the object detected by the ToF sensor 3 (3a to 3d).
  • the color and brightness which are difficult to identify with the high-speed vision sensor 4 (4a), are achieved. It is possible to accurately identify a plurality of objects that are the same or similar to each other and track each object.
  • the technology according to the present disclosure (the present technology) can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 16 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the vehicle 12100 has an imaging unit 12101, 12102, 12103, 12104, 12105 as an imaging unit 12031.
  • the image pickup units 12101, 12102, 12103, 12104, 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided in the front nose and the image pickup section 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the image pickup units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 16 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object in the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the image pickup unit 12031 among the configurations described above.
  • the image pickup device according to the present disclosure can be mounted on the image pickup unit 12031.
  • the present technology can have the following configurations.
  • a first detection unit that detects the distance to the object based on the light reflected by the object, and An image of the object included in the captured image captured at a predetermined angle of view is extracted based on at least one of the color, brightness and feature points of the object and the distance detected by the first detection unit.
  • a detection device including a second detection unit that detects the coordinate information of the extracted image.
  • Grouping control for grouping the object based on the distance detected by the first detection unit and at least one of the color, luminance and feature points of the object detected by the second detection unit.
  • the detection device according to (1) comprising a unit.
  • the detection device wherein the second detection unit detects the coordinate information of the image of the object for each group grouped by the grouping control unit.
  • the grouping control unit In the grouping control unit, at least a part of images of a plurality of the objects in which at least one of the color, luminance, and feature points of the object is the same or similar overlaps, and the first detection unit.
  • the detection device according to (2) or (3), wherein when the distances of the plurality of objects detected in the above are different, the plurality of objects are classified into different groups.
  • the grouping control unit determines the distance detected by the first detection unit.
  • the detection device according to any one of (2) to (4), wherein the plurality of objects are grouped again based on at least one of the color, brightness and feature points of the object.
  • the detection device comprising a tracking unit that tracks the image of the object in the captured image according to the movement of the object.
  • the grouping control unit is detected by the first detection unit when at least a part of the images of the plurality of objects overlap in the captured image while the tracking unit is tracking.
  • the plurality of objects are regrouped based on the distance and at least one of the color, brightness and feature points of the object.
  • the detection device according to (6), wherein the tracking unit tracks an image of the object after regrouping.
  • the first detection unit receives light from a predetermined range, detects the distance to the object existing within the predetermined range, and detects the distance to the object.
  • the grouping control unit groups the objects extracted based on at least one of color, brightness, and feature points based on the distance to the object detected by the first detection unit.
  • the detection device according to any one of (2) to (7), wherein the second detection unit detects the coordinate information of the image of the object for each group grouped by the grouping control unit.
  • the second detection unit detects a distance from the captured image within a limited range corresponding to the image position of the object extracted based on at least one of color, luminance or feature point.
  • the first detection unit detects the distance to the object included in the limited range, and detects the distance to the object.
  • the grouping control unit groups the objects based on the image position of the object detected by the second detection unit and the distance to the object detected by the first detection unit.
  • the detection device according to any one of (2) to (7).
  • the detection device according to any one of (1) to (9), wherein the second detection unit outputs image data in a predetermined imaging range including an image of the object together with the coordinate information. .. (11)
  • the second detection unit outputs information including at least one of the area, the moving direction, and the position of the center of gravity of the object together with the coordinate information, according to any one of (1) to (9).
  • a first detection unit that detects the distance to the object based on the light reflected by the object, and An image of the object included in the captured image captured at a predetermined angle of view is extracted based on at least one of the color, brightness and feature points of the object and the distance detected by the first detection unit. Then, the second detection unit that detects the coordinate information of the extracted image, A detection system including a first detection unit and a control unit that controls the second detection unit. (16) A first semiconductor device having the first detection unit and The second semiconductor device having the second detection unit and The detection system according to (15), comprising a third semiconductor device having the control unit.
  • the distance to the object is detected by the first detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

［課題］色や輝度、特徴点等が類似する複数の物体を精度よく識別する。 ［解決手段］検出装置は、対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える。

Description

検出装置、検出システム及び検出方法
　本開示は、検出装置、検出システム及び検出方法に関する。
　異常を検知する目的等のために、通常よりも高速で撮像する検知システムが提案されている（特許文献１参照）。この種の検知システムでは、撮像画像中の特定の色や輝度等を抽出して対象物を検出している。
特開２０１８－９３４３７号公報
　しかしながら、従来の検知システムでは、色や輝度が類似する複数の物体が前後に重なり合っている場合、撮像画像では複数の物体の画像が重なり合うために、物体間の実距離が離れていても、物体同士を識別できないおそれがある。このため、例えば、物体が移動体である場合に移動体を追尾しようとしても、移動体同士が重なり合ってから別れる場合には、追尾対象を誤ってしまうおそれがある。
　そこで、本開示では、色や輝度、特徴点等が類似する複数の物体を精度よく識別できる検出装置、検出システム及び検出方法を提供するものである。
　上記の課題を解決するために、本開示によれば、対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
　前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える、検出装置が提供される。
　前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備えてもよい。
　前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出してもよい。
　前記グルーピング制御部は、前記対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の前記対象物の画像の少なくとも一部が重なり合っており、かつ前記第１検出部で検出された前記複数の対象物の距離がそれぞれ異なる場合には、前記複数の対象物をそれぞれ異なるグループに分類してもよい。
　前記グルーピング制御部は、前記対象物のグルーピングを行った後に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングしてもよい。
　前記対象物の移動に応じて前記撮像画像内で前記対象物の画像を追跡する追跡部を備えてもよい。
　前記グルーピング制御部は、前記追跡部で追跡している最中に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングし、
　前記追跡部は、再度グルーピングした後の前記対象物の画像を追跡してもよい。
　前記第１検出部は、所定の範囲からの光を受光して、前記所定の範囲内に存在する前記対象物までの距離を検出し、
　前記グルーピング制御部は、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物を、前記第１検出部で検出された前記対象物までの距離に基づいてグルーピングし、
　前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出してもよい。
　前記第２検出部は、前記撮像画像から、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物の画像位置に対応する制限範囲内で距離を検出するように前記第１検出部に指示し、
　前記第１検出部は、前記制限範囲内に含まれる前記対象物までの距離を検出し、
　前記グルーピング制御部は、前記第２検出部で検出された前記対象物の画像位置と、前記第１検出部で検出された前記対象物までの距離とに基づいて、前記対象物をグルーピングしてもよい。
　前記第２検出部は、前記座標情報とともに、前記対象物の画像を含む所定の撮像範囲の画像データを出力してもよい。
　前記第２検出部は、前記座標情報とともに、前記対象物の面積、動き方向及び重心位置の少なくとも一つを含む情報を出力してもよい。
　前記第１検出部を有する第１半導体装置と、
　前記第２検出部を有する第２半導体装置と、を備えてもよい。
　前記第１検出部を有する第１半導体装置と、
　前記第２検出部を有する第２半導体装置と、を備え、
　前記グルーピング制御部は、前記第１半導体装置又は前記第２半導体装置に設けられてもよい。
　前記第１検出部及び前記第２検出部を有する半導体装置を備えてもよい。
　本開示の他の一態様によれば、対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
　前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、
　前記第１検出部及び前記第２検出部を制御する制御部と、を備える検出システムが提供される。
　前記第１検出部を有する第１半導体装置と、
　前記第２検出部を有する第２半導体装置と、
　前記制御部を有する第３半導体装置と、を備えてもよい。
　前記第１半導体装置、前記第２半導体装置又は前記第３半導体装置に設けられ、前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備えてもよい。
　本開示の他の一態様によれば、対象物で反射された光に基づいて、前記対象物までの距離を第１検出部で検出し、
　第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つと、前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する、検出方法が提供される。
一実施形態による検出装置を備えた検出システムの概略構成を示すブロック図。 高速ビジョンセンサが撮像する画角内に、同一又は類似する色又は輝度の複数の対象物が存在する例を示す図。 高速ビジョンセンサの画角内で前後に重なる複数の対象物のうち、一部の対象物のみが移動する例を示す図。 図３Ａの撮影画像の一例を示す図。 第１グルーピング手法を説明する図。 第１グルーピング手法の処理手順を示すフローチャート。 第２グルーピング手法を説明する図。 第２グルーピング手法の処理手順を示すフローチャート。 第１グルーピング手法を採用したときの再グループ化処理を説明する図。 図８Ａに続く図。 第２グルーピング手法を採用したときの再グループ化処理を説明する図。 図９Ａに続く図。 ＴｏＦセンサ内にグルーピング制御部を設けた検出装置を備えた検出システムのブロック図。 直接ＴｏＦ方式のＴｏＦセンサを有する検出装置を備えた検出システムのブロック図。 図１１の一変形例による検出システムの概略構成を示すブロック図。 図１の高速ビジョンセンサとＴｏＦセンサの機能を統合したＴｏＦセンサを有する検出装置を備えた検出システムの概略構成を示すブロック図。 アプリケーションプロセッサの内部にグルーピング制御部を設けた検出システムのブロック図。 移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部の設置位置の例を示す図。
　以下、図面を参照して、検出装置、検出システム及び検出方法の実施形態について説明する。以下では、検出装置及び検出システムの主要な構成部分を中心に説明するが、検出装置及び検出システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　図１は一実施形態による検出装置１を備えた検出システム２の概略構成を示すブロック図である。図１の検出システム２は、ＴｏＦ（Time of Flight）センサ（第１検出部）３と、高速ビジョンセンサ（第２検出部）４と、アプリケーションプロセッサ（以下、ＡＰ又は制御部とも呼ぶ）５とを備えている。このうち、ＴｏＦセンサ３と高速ビジョンセンサ４は検出装置１に含まれている。
　ＴｏＦセンサ３は、対象物で反射された光に基づいて、対象物までの距離を検出する。ＴｏＦセンサ３の距離検出手法には、パルス状の光信号の飛行時間を直接計測する直接ＴｏＦ方式と、受光信号の位相差を利用して間接的に距離を計測する間接ＴｏＦ方式があるが、本実施形態によるＴｏＦセンサ３は、どちらの方式でも採用可能である。
　高速ビジョンセンサ４は、対象物の色、輝度及び特徴点の少なくとも一つとＴｏＦセンサ３で検出された距離とに基づいて、所定の画角で撮像された撮像画像に含まれる対象物の画像を抽出して、抽出した対象物の画像の座標情報を少なくとも検出する。高速ビジョンセンサ４は、座標情報とともに、対象物の画像を含む所定の撮像範囲の画像データを出力してもよい。所定の撮像範囲とは、所定の画角で撮像された撮像画像中の対象物の画像を含む部分的な画素領域である。
　高速ビジョンセンサ４は、１秒間に例えば１０００フレームの速度で対象物の検出と追跡を行うことができる。高速ビジョンセンサ４は、対象物の画像の座標情報とともに、対象物の面積、動きの方向、及び対象物の重心位置の少なくとも一つの情報を出力してもよい。
　アプリケーションプロセッサ５は、高速ビジョンセンサ４とＴｏＦセンサ３の動作を制御する。また、アプリケーションプロセッサ５は、高速ビジョンセンサ４とＴｏＦセンサ３からセンシング結果を受信して、種々の信号処理を行う。
　高速ビジョンセンサ４とＴｏＦセンサ３は、それぞれチップ化することができる。高速ビジョンセンサ４の機能を有する第１半導体装置と、ＴｏＦセンサ３の機能を有する第２半導体装置とを例えばベース基板上に実装して検出装置１を構成することができる。あるいは、複数の半導体層を積層した積層チップに、高速ビジョンセンサ４の機能を実現する回路とＴｏＦセンサ３の機能を実現する回路を形成してもよい。この場合、例えば、積層チップの上チップ側に、高速ビジョンセンサ４とＴｏＦセンサ３の一部、具体的には光信号を投光及び受光する回路を形成し、下チップ側に、残りの部分、具体的には制御回路などを形成してもよい。また、光信号を投光する回路は、別チップ構成にしてもよい。
　図１の高速ビジョンセンサ４は、画素アレイ部１１と、画像処理部１２と、ＩＳＰ（Image Signal Processor）１３と、色検出部１４と、点検出部１５と、追跡（トラッキング）部１６と、出力インタフェース（Ｉ／Ｆ）部１７と、グルーピング制御部１８と、通信＆全体制御部１９と、を有する。
　画素アレイ部１１は、縦横に配置された複数の画素を有し、各画素で光電変換された画素信号を出力する。画像処理部１２は、例えば画素信号をＡ／Ｄ変換して、デジタルの画像データを生成する。ＩＳＰ１３は、Ａ／Ｄ変換後の画像データに対して、種々の信号処理を行う。ＩＳＰ１３が行う信号処理の具体的な内容は問わないが、例えば、クランプ処理、欠陥補正処理、レンズシェーディング処理などである。
　色検出部１４は、ＩＳＰ１３から出力された画像データから、特定の色又は輝度を有する対象物の画像を検出する。色検出部１４が検出するべき特定の色又は輝度は、例えばアプリケーションプロセッサ５により指定される。色検出部１４は、特定の色又は輝度を有する対象物が検出されると、検出された対象物の座標情報等をグルーピング制御部１８に送信する。色検出部１４は、特定の色又は輝度を有する複数の対象物の画像を検出してもよい。この場合、色検出部１４は、各対象物の画像の座標情報等を区別して、グルーピング制御部１８に送信する。より具体的には、色検出部１４は、２値化処理、モーメント算出処理、重心算出処理、動きベクトル処理、及び動物体検出処理などを行う。
　点検出部１５は、ＩＳＰ１３から出力された画像データから、特徴点を検出する。特徴点とは、撮像画像に含まれる対象物の画像を特徴づける画素データである。点検出部１５は、例えば所定のフィルタ処理を施して特徴点を抽出する。フィルタ処理は、例えば、移動平均フィルタやメディアンフィルタなどによるノイズ除去処理、Ｓｏｂｅｌフィルタなどの輪郭検出処理、ラプラシアンフィルタなどによるエッジ検出処理などである。また、点検出部１５は、画像データのオイラー数を求めて、対象物の個数を算出してもよい。オイラー数とは、成分数から孔の数を引いた数である。アプリケーションプロセッサ５は、点検出部１５に対して、特徴点を検出するのに必要な情報を通知する。
　追跡部１６は、色検出部１４及び点検出部１５の検出結果に基づいて、追跡するべき対象物を特定し、対象物の移動に合わせて対象物を追跡する。より詳細には、追跡部１６は、撮像画像に含まれる対象物の画像を、撮像画像の範囲内で追跡し続け、対象物の画像の最新の座標情報等を出力する。
　出力Ｉ／Ｆ部１７は、対象物の画像の座標情報等を出力する。出力Ｉ／Ｆ部１７は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）、ＳＰＩ（Serial Peripheral Interface）などの規格に従って、対象物の画像の座標情報等をシリアル信号として出力する。このシリアル信号は、アプリケーションプロセッサ５に送られる。
　グルーピング制御部１８は、ＴｏＦセンサ３で検出された距離と、高速ビジョンセンサ４で検出された対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、撮像画像中の対象物の画像をグルーピングする。高速ビジョンセンサ４は、グルーピング制御部１８でグルーピングされたグループごとに、対象物の画像の座標情報を検出する。
　グルーピング制御部１８は、対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の対象物の画像の少なくとも一部が重なり合っており、かつＴｏＦセンサ３で検出された複数の対象物の距離がそれぞれ異なる場合には、複数の対象物をそれぞれ異なるグループに分類する。
　グルーピング制御部１８は、対象物の画像をグルーピングした後に、対象物が移動して撮像画像内で複数の対象物の画像の少なくとも一部が重なり合った場合、ＴｏＦセンサ３で検出された距離と、対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、複数の対象物を再度グルーピングする。これを本明細書では、再グループ化処理と呼ぶ。
　通信＆全体制御部１９は、ＴｏＦセンサ３及びアプリケーションプロセッサ５との通信を制御するとともに、高速ビジョンセンサ４内の各部の動作を制御する。より具体的には、通信＆全体制御部１９は、アプリケーションプロセッサ５からの制御信号を、Ｉ２Ｃ（Inter-Integrated Circuit）やＳＰＩなどの規格に従って受信し、その制御信号に基づいて、高速ビジョンセンサ４内の各部の動作を制御する。例えば、通信＆全体制御部１９は、アプリケーションプロセッサ５からの制御信号に基づいて、色検出部１４で検出するべき特定の色や輝度に関する情報を色検出部１４に設定したり、点検出部１５で検出するべき特徴点に関する情報を点検出部１５に設定したりする。
　また、通信＆全体制御部１９は、ＴｏＦセンサ３との間で各種信号を送受する制御を行う。高速ビジョンセンサ４とＴｏＦセンサ３とは、例えばＳＰＩなどの規格に従って、シリアル通信を行う。通信＆全体制御部１９は、ＴｏＦセンサ３に対して対象物の距離検出を指示する信号を送信するとともに、ＴｏＦセンサ３で検出された対象物までの距離に関する情報を受信して、グルーピング制御部１８に送信する。
　図１のＴｏＦセンサ３は、間接ＴｏＦ方式の概略的なブロック構成を示している。ＴｏＦセンサ３は、通信＆全体制御部２１と、発光タイミング制御部２２と、画素変調部２３と、画素制御部２４と、画素アレイ部２５と、Ａ／Ｄコンバータ（ＡＤＣ）２６と、データ処理部２７と、出力Ｉ／Ｆ部２８と、測距開始制御部２９と、を有する。
　通信＆全体制御部２１は、高速ビジョンセンサ４及びアプリケーションプロセッサ５との通信を制御するとともに、ＴｏＦセンサ３内の各部の動作を制御する。より具体的には、通信＆全体制御部２１は、アプリケーションプロセッサ５からの制御信号を、Ｉ２ＣやＳＰＩなどの規格に従って受信し、その制御信号に基づいて、ＴｏＦセンサ３内の各部の動作を制御する。また、通信＆全体制御部２１は、高速ビジョンセンサ４からの距離検出指示信号を受信して発光タイミング制御部２２に送信するとともに、距離検出結果を示す情報をデータ処理部２７から取得して、高速ビジョンセンサ４に送信する。
　発光タイミング制御部２２は、高速ビジョンセンサ４からの距離検出指示信号に基づいて、距離計測用の光信号を発光するタイミングを制御する。距離計測用の光信号を発光する不図示の発光素子は、ＴｏＦセンサに外付けされている。
　画素変調部２３は、画素アレイ部２５から画素信号を読み出すタイミングを制御する。間接ＴｏＦ方式では、複数の異なる位相で受光された光信号に基づいて対象物までの距離を検出するため、画素変調部２３にて、画素信号の読み出しタイミングを制御する。
　画素制御部２４は、通信＆全体制御部２１からの制御信号により、画素アレイ部２５から読み出すべき画素を間引く処理など、読み出すべき画素領域を制御する。
　画素アレイ部２５から読み出された画素信号は、ＡＤＣ２６でデジタルの画素データに変換された後、データ処理部２７で種々の信号処理が施されて、出力Ｉ／Ｆ部２８から出力される。データ処理部２７は、それぞれ異なる位相で受光された光信号に応じた画素データに基づいて、対象物までの距離情報を検出する。検出された距離情報は、通信＆全体制御部２１に送信される。
　測距開始制御部２９は、外部から入力される測距開始トリガ信号に基づいて、測距開始のタイミングを制御する。測距開始トリガ信号が高速ビジョンセンサ４以外から入力される場合、測距開始のタイミングを高速ビジョンセンサ４の動作と同期させる必要がある。一方、測距開始トリガ信号が高速ビジョンセンサ４から入力される場合は、測距開始トリガ信号に同期して測距を開始すればよいため、測距開始制御部２９を省略することができる。
　図２は、高速ビジョンセンサ４が撮像する画角内に、同一又は類似する色又は輝度の複数の対象物が存在する例を示す図である。より詳細には、図２（ａ）に示すように、高速ビジョンセンサ４の近い位置に対象物Ａが存在し、遠い位置に対象物Ｂが存在する例を示している。対象物ＡとＢが、図２（ｂ）に示すように、高速ビジョンセンサ４の画角内で、前後に重なる位置に撮像された場合には、対象物ＡとＢの色が同一又は類似であることから、高速ビジョンセンサ４単体では、対象物ＡとＢを識別することが困難であり、同一の対象物であると誤認識するおそれがある。この場合、高速ビジョンセンサ４内の追跡部１６は、対象物Ａの画像と対象物Ｂの画像を合わせた画像の重心位置を基準に、追跡処理を行おうとする。その後、図２（ｃ）に示すように、対象物Ａが移動して対象物ＡとＢの相対距離が離れると、上述した重心位置を基準として対象物Ａの追跡処理を行うことができなくなる。
　図３Ａ及び図３Ｂは、高速ビジョンセンサ４の画角内で前後に重なる複数の対象物のうち、一部の対象物のみが移動する例を示す図である。図３Ａ及び図３Ｂでは、後方に位置する人間Ｄが、前方側に手を伸ばしてカードＣを振っている例を示している。この場合、高速ビジョンセンサ４には、人間ＤとカードＣが重なって撮像される。人間ＤとカードＣの双方に特徴点が存在するため、高速ビジョンセンサ４単体では、カードＣと人間Ｄを分離して取り扱うことができず、カードＣの動きを精度よく追跡できないおそれがある。
　本実施形態による検出装置１及び検出システム２は、図２と図３Ａ～図３Ｂに示した状況でも、対象物を精度よく抽出して追跡することができることを特徴としている。本実施形態によるグルーピング制御部１８は、高速ビジョンセンサ４の撮像画像に含まれる複数の対象物の画像を、ＴｏＦセンサ３による距離検出結果に基づいてグルーピングする。グルーピング制御部１８によるグルーピングの仕方に複数通りが考えられる。以下では、代表的な第１グルーピング手法と第２グルーピング手法を順に説明する。
　図４は第１グルーピング手法を説明する図、図５は第１グルーピング手法の処理手順を示すフローチャートである。第１グルーピング手法では、高速ビジョンセンサ４が所定の画角で撮像を行うとともに、高速ビジョンセンサ４が撮像した画角と同一又は類似の画角内で、ＴｏＦセンサ３が対象物までの距離を検出する（ステップＳ１）。すなわち、ＴｏＦセンサ３は高速ビジョンセンサ４の撮像範囲を含む範囲で、対象物までの距離を検出する。
　ＴｏＦセンサ３は、上述した範囲内に存在する対象物の距離により分類してグルーピング制御部１８に送信する（ステップＳ２）。例えば、対象物までの距離を、例えば近距離、中距離、遠距離の３つに分類し、その分類結果をグルーピング制御部１８に送信する。あるいは、より細かい距離ごとに分類してもよい。グルーピング制御部１８は、ＴｏＦセンサ３の分類結果に基づいて、高速ビジョンセンサ４の撮像画像から対象物の画像を抽出して、グルーピングを行う（ステップＳ３）。例えば、図４の例では、グルーピング制御部１８は、ＴｏＦセンサ３の距離検出結果に基づいて、高速ビジョンセンサ４の画角内に存在する対象物ＡとＢを別々のグループに分類する。このように、高速ビジョンセンサ４は、撮像画像中に重なり合った対象物ＡとＢの画像が存在しても、ＴｏＦセンサ３による分類結果に基づいて、対象物Ａと対象物Ｂを別々のグループにグルーピングすることができる。
　その後、追跡部１６は、グルーピングされた対象物ＡとＢの重心位置をそれぞれ計算して、重心位置を基準として対象物ＡとＢの追跡を行う。
　図６は第２グルーピング手法を説明する図、図７は第２グルーピング手法の処理手順を示すフローチャートである。第２グルーピング手法では、まず高速ビジョンセンサ４が所定の画角で撮像を行い（ステップＳ１１）、撮像画像に基づいて、色、輝度又は特徴点の検出を行って対象物を抽出し、ＴｏＦセンサ３が測距を行うべき範囲ｒ１を特定する（ステップＳ１２）。特定された範囲ｒ１は、対象物を含む範囲である。高速ビジョンセンサ４が特定した範囲ｒ１は、ＴｏＦセンサ３に送信される（ステップＳ１３）。ＴｏＦセンサ３は、高速ビジョンセンサ４が特定した範囲ｒ１内で測距を行って、対象物までの距離を検出する（ステップＳ１４）。グルーピング制御部１８は、ＴｏＦセンサ３の距離検出結果に基づいて、ＴｏＦセンサ３で検出された対象物までの距離を、例えば、近接距離、中距離又は遠距離に分類する（ステップＳ１５）。そして、グルーピング制御部１８は、分類された距離情報に基づいて、高速ビジョンセンサ４の撮像画像に含まれる対象物の画像をグルーピングする（ステップＳ１６）。これにより、撮像画像中に重なり合った対象物の画像が存在しても、ＴｏＦセンサ３による距離検出結果に基づいて、対象物Ａと対象物Ｂを別々のグループにグルーピングすることができる。
　ステップＳ１６では、例えば、高速ビジョンセンサ４が、近接した領域内に複数の特徴点を検出したときに、これら特徴点までの距離が似通っていれば、これら特徴点を同じグループに分類してもよい。また、ステップＳ１２で高速ビジョンセンサ４が特定した範囲ｒ１内に、距離が異なる複数の対象物が存在することがＴｏＦセンサ３で検出されると、グルーピング制御部１８は、ステップＳ１６において、高速ビジョンセンサ４がステップＳ１２で特定した範囲を分解して、各対象物を別々のグループに分類する。逆に、高速ビジョンセンサ４がステップＳ１２で特定した複数の近接した範囲が、ステップＳ１４でＴｏＦセンサ３により同じ距離であると検出された場合、ステップＳ１６でグルーピング制御部１８は、これら範囲を一つのグループに統合する。
　第１グルーピング手法又は第２グルーピング手法にてグルーピングされた別々のグループに属する複数の対象物は、追跡部１６にて個別に追跡することができる。ところが、別々のグループに属する複数の対象物の相対距離が近づくと、撮像画像中の複数の対象物の画像同士が少なくとも部分的に重なり合う場合がありうる。この場合、グルーピング制御部１８は、再クループ化処理を行う。
　図８Ａ及び図８Ｂは第１グルーピング手法を採用したときの再グループ化処理を説明する図である。まず、図８Ａに示すように、１フレーム目は、図５に示した処理手順で、高速ビジョンセンサ４の撮像画像内の複数の対象物をグルーピングする。その後、２フレーム目以降では、グループごとに、各グループ内の対象物の追跡処理を行う。撮像画像内の複数の対象物の画像が重なり合わない限りは、１フレーム目でグルーピングした情報に基づいて、グループごとに対応する対象物の追跡処理を精度よく継続することができる。
　図８Ｂに示すように、Ｎ（Ｎは２以上の整数）フレーム目で、撮像画像内の複数の対象物の画像の少なくとも一部が重なり合ったとすると、高速ビジョンセンサ４内のグルーピング制御部１８は、再度、ＴｏＦセンサ３に対して、高速ビジョンセンサ４と同一又は類似する画角内での対象物までの距離検出を指示する。この指示を受けて、ＴｏＦセンサ３は各対象物の距離を検出し、その検出結果をグルーピング制御部１８に送信する。グルーピング制御部１８は、再び、ＴｏＦセンサ３で検出された距離情報と、高速ビジョンセンサ４内の色検出部１４と点検出部１５で検出された色、輝度及び特徴点の少なくとも一つの情報とに基づいて、高速ビジョンセンサ４が撮像した撮像画像内の各対象物の画像をグルーピングする。これにより、Ｎ＋１フレーム以降では、グループごとに、対応する対象物の追跡処理を再び精度よく行うことができる。
　図９Ａ及び図９Ｂは第２グルーピング手法を採用したときの再グループ化処理を説明する図である。まず、図９Ａに示すように、１フレーム目は、図７に示した処理手順で、高速ビジョンセンサ４から指定された範囲ｒ１内でＴｏＦセンサ３が対象物の距離検出を行い、その距離検出結果に基づいて、グルーピング制御部１８は、高速ビジョンセンサ４が指定した範囲ｒ１内の対象物のグルーピングを行う。その後、２フレーム目以降では、グループごとに、各グループ内の対象物の追跡処理を行う。撮像画像内の複数の対象物が重なり合わない限りは、１フレーム目でグルーピングした情報が有効であり、グループごとに対応する対象物の追跡処理を継続することができる。
　図９Ｂに示すように、Ｎ（Ｎは２以上の整数）フレーム目で、撮像画像内の複数の対象物が前後に重なり合ったとすると、高速ビジョンセンサ４は、再度、指定した範囲ｒ１内での距離検出をＴｏＦセンサ３に指示する。ＴｏＦセンサ３は、高速ビジョンセンサ４から指定された範囲ｒ１内で対象物の距離検出を再度行い、その距離検出結果に基づいて、グルーピング制御部１８は、再び、各範囲内の対象物のグルーピングを行う。
　第１グルーピング手法と第２グルーピング手法は任意に組み合わせて実施してもよい。例えば、図８Ａ、図８Ｂ及び図９Ａ、図９Ｂの例において、１フレーム目では第１グルーピング手法にてグルーピングを行い、その後再グループ化処理を行う際には第２グルーピング手法にてグルーピングを行ってもよい。逆に、１フレーム目では第２グルーピング手法にてグルーピングを行い、その後再グループ処理を行う際には第１グルーピング手法にてグルーピングを行ってもよい。
　図１では、高速ビジョンセンサ４内にグルーピング制御部１８を設ける例を示したが、グルーピング制御部１８は、高速ビジョンセンサ４以外の場所に設けてもよい。図１０はＴｏＦセンサ３ａ内にグルーピング制御部１８を設けた検出装置１ａを備えた検出システム２ａのブロック図である。図１０のＴｏＦセンサ３ａ内のグルーピング制御部１８は、第１グルーピング手法を採用する場合には、ＴｏＦセンサ３ａが検出した対象物の距離情報と、高速ビジョンセンサ４ａ内の色検出部１４が検出した対象物の色又は輝度情報と、点検出部１５が検出した特徴点の情報とに基づいて、撮像画像内の各対象物のグルーピングを行う。また、図１０のＴｏＦセンサ３ａ内のグルーピング制御部１８は、第２グルーピング手法を採用する場合には、高速ビジョンセンサ４ａから指定された範囲内でＴｏＦセンサ３ａが対象物の距離を検出した結果に基づいて、撮像画像内の対象物のグルーピングを行う。グルーピング制御部１８がグルーピングした情報（以下、グルーピング情報）は、高速ビジョンセンサ４ａに送信される。高速ビジョンセンサ４ａ内の追跡部１６は、ＴｏＦセンサ３ａ内のグルーピング制御部１８から送信されたグルーピング情報に基づいて、グループごとに、グループ内の対象物の追跡を行う。
　上述した図１～図１０では、間接ＴｏＦ方式で距離を検出するＴｏＦセンサ３を検出装置１が有する例を説明したが、検出装置１は直接ＴｏＦ方式で距離を検出するＴｏＦセンサ３を備えていてもよい。
　図１１は直接ＴｏＦ方式のＴｏＦセンサ３ｂを有する検出装置１ｂを備えた検出システム２ｂのブロック図である。図１１のＴｏＦセンサ３ｂは、通信＆全体制御部３１と、ＳＰＡＤ（Single Photon Avalanche Diode）制御部３２と、ＳＰＡＤアレイ＆読み出し回路３３と、サンプリング回路３４と、測距処理部３５と、発光タイミング制御部３６と、出力Ｉ／Ｆ部３７と、クロック生成部３８とを備えている。
　ＳＰＡＤアレイ＆読み出し回路３３内のＳＰＡＤアレイは、縦横に配置された複数のＳＰＡＤを有する。各ＳＰＡＤは、入射された単一フォトンに応じた電気信号を出力する。この電気信号は、読み出し回路を介して出力される。読み出し回路は、光パルス信号が受光された後にＳＰＡＤの両端電圧を初期電圧に戻すクエンチング動作を行う。ＳＰＡＤアレイ＆読み出し回路３３から出力された電気信号は、サンプリング回路３４でサンプリングされる。
　測距処理部３５は、ヒストグラム生成部３５ａと、距離算出部３５ｂとを有する。ヒストグラム生成部３５ａは、受光された複数の光パルス信号の受光時刻と、受光された光パルス信号の数との関係を表すヒストグラムを生成する。距離算出部３５ｂは、ＦＩＲフィルタ処理、エコー判定処理、ピーク検出処理、及び距離算出処理などを行う。距離算出部３５ｂで算出された距離情報は出力Ｉ／Ｆ部３７を介して出力される。
　発光タイミング制御部３６は、不図示の発光素子の発光タイミングを制御する。発光素子に送られる発光トリガ信号は、測距処理部３５にも送られる。測距処理部３５内の距離算出部３５ｂは、ヒストグラム生成部３５ａで生成されたヒストグラムに基づいて受光タイミングを検出し、発光トリガ信号が出力された発光タイミングと受光タイミングとの時間差により、対象物までの距離を検出する。
　図１１の検出装置１ｂは、図１の検出装置１と同様に、高速ビジョンセンサ４内にグルーピング制御部１８を有する。ＴｏＦセンサ３ｂは、距離計測結果を高速ビジョンセンサ４に送信して、高速ビジョンセンサ４内のグルーピング制御部１８にて距離画像内の各対象物のグルーピングを行う。
　図１１の検出装置１ｂでは、高速ビジョンセンサ４内にグルーピング制御部１８を有するが、グルーピング制御部１８は高速ビジョンセンサ４以外の場所に設けてもよい。図１２は図１１の一変形例による検出システム２ｃの概略構成を示すブロック図である。図１２の検出システム２ｃは、直接ＴｏＦ方式のＴｏＦセンサ３ｃ内にグルーピング制御部１８を設けている。図１２のＴｏＦセンサ３ｃ内のグルーピング制御部１８は、図１０のＴｏＦセンサ３ａ内のグルーピング制御部１８と同様に、高速ビジョンセンサ４ａ内の色検出部１４で検出された色又は輝度情報と、点検出部１５で検出された特徴点の情報とを受信するとともに、ＴｏＦセンサ３で検出された距離情報に基づいて、各対象物のグルーピングを行う。
　上述した図１～図１２では、検出装置１（１ａ、１ｂ、１ｃ）内に高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ、３ｂ、３ｃ）とを備える例を説明したが、高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ、３ｂ、３ｃ）を統合したセンサを検出装置１内に設けてもよい。この場合、統合したセンサは一つの半導体装置（チップ）で実現可能である。
　図１３は図１の高速ビジョンセンサ４とＴｏＦセンサ３の機能を統合したＴｏＦセンサ３ｄを有する検出装置１ｄを備えた検出システム２の概略構成を示すブロック図である。図１３のＴｏＦセンサ３ｄは、図１のＴｏＦセンサ３と同様の間接ＴｏＦ方式のブロック構成に加えて、図１の高速ビジョンセンサ４のブロック構成を備えている。図１３では、図１の検出装置１内の各部に対応する箇所には同一符号を付しており、詳細な説明は省略する。なお、図１３の統合センサは、間接ＴｏＦ方式の代わりに、直接ＴｏＦ方式で距離検出を行ってもよい。この場合、図１１のＴｏＦセンサ３ｂに高速ビジョンセンサ４を統合した構成になる。
　図１では、高速ビジョンセンサ４とＴｏＦセンサ３とが、それぞれの通信＆全体制御部１９、２１を介してＳＰＩ等の規格に従ってシリアル通信を行うが、図１３では、一つのＴｏＦセンサ３ｄの内部に高速ビジョンセンサ４の機能を備えているため、例えば配線パターンを介して各種信号の送受を行うことができ、高速通信が可能となる。また、複数の半導体装置間でシリアル通信を行う場合と比べて、Ｓ／Ｎ比を向上でき、信号レベルも小さくできるため、消費電力を削減できる。
　上述した図１～図１２では、高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ、３ｂ、３ｃ）のいずれかにグルーピング制御部１８を設ける例を示したが、アプリケーションプロセッサ５の内部にグルーピング制御部１８を設けてもよい。図１４はアプリケーションプロセッサ５ａの内部にグルーピング制御部１８を設けた検出システム２ｅのブロック図である。図１４のグルーピング制御部１８は、第１グルーピング手法を採用する場合には、高速ビジョンセンサ４が検出した撮像画像内の対象物の色、輝度及び特徴点の少なくとも一つの情報を高速ビジョンセンサ４から受信するとともに、ＴｏＦセンサ３から、各対象物の距離情報を受信し、これらの受信情報に基づいて、各対象物のグルーピングを行う。また、図１４のグルーピング制御部１８は、第２グルーピング手法を採用する場合には、高速ビジョンセンサ４から指示された範囲内でＴｏＦセンサ３が距離検出を行った情報と、高速ビジョンセンサ４が検出した撮像画像内の対象物の色、輝度及び特徴点の少なくとも一つの情報とに基づいて、各対象物のグルーピングを行う。グルーピングされた情報は、高速ビジョンセンサ４に送信され、高速ビジョンセンサ４内の追跡部１６で追跡処理を行う。
　図１４の検出装置１は、間接ＴｏＦ方式のＴｏＦセンサ３を有するが、図１１と同様に、直接ＴｏＦ方式のＴｏＦセンサ３を有していてもよい。
　このように、本実施形態では、高速ビジョンセンサ４（４ａ）で検出された対象物の色、輝度及び特徴点の少なくとも一つと、ＴｏＦセンサ３（３ａ～３ｄ）で検出された対象物の距離情報とに基づいて、高速ビジョンセンサ４（４ａ）の撮像画像内の各対象物のグルーピングを行う。追跡部１６は、グルーピングされたグループごとに、対象物の追跡処理を行う。追跡処理を行っている最中に、複数の対象物の画像が撮像画像内で前後に重なった場合には、再度、高速ビジョンセンサ４（４ａ）で検出された対象物の色、輝度及び特徴点の少なくとも一つと、ＴｏＦセンサ３（３ａ～３ｄ）で検出された対象物の距離情報とに基づいて、再グループ化処理を行う。これにより、撮像画像内で複数の対象物の画像が前後に重なった場合でも、各対象物の画像を区別して精度よく追跡し続けることができる。
　このように、本実施形態によれば、高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ～３ｄ）とを連携させることで、高速ビジョンセンサ４（４ａ）では識別が難しかった、色や輝度が同一又は類似している複数の対象物を精度よく識別して、各対象物を追跡することが可能となる。
（移動体への応用例）
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１６は、撮像部１２０３１の設置位置の例を示す図である。
　図１６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１に、本開示による撮像素子を実装することができる。撮像部１２０３１に、本開示に係る技術を適用することにより、電磁ノイズの発生を抑制しつつ、距離画像の解像度を向上させることができ、車両１２１００の機能性および安全性を高めることができる。
　なお、本技術は以下のような構成を取ることができる。
　（１）対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
　前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える、検出装置。
　（２）前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、（１）に記載の検出装置。
　（３）前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、（２）に記載の検出装置。
　（４）前記グルーピング制御部は、前記対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の前記対象物の画像の少なくとも一部が重なり合っており、かつ前記第１検出部で検出された前記複数の対象物の距離がそれぞれ異なる場合には、前記複数の対象物をそれぞれ異なるグループに分類する、（２）又は（３）に記載の検出装置。
　（５）前記グルーピング制御部は、前記対象物のグルーピングを行った後に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングする、（２）乃至（４）のいずれか一項に記載の検出装置。
　（６）前記対象物の移動に応じて前記撮像画像内で前記対象物の画像を追跡する追跡部を備える、（２）乃至（５）のいずれか一項に記載の検出装置。
　（７）前記グルーピング制御部は、前記追跡部で追跡している最中に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングし、
　前記追跡部は、再度グルーピングした後の前記対象物の画像を追跡する、（６）に記載の検出装置。
　（８）前記第１検出部は、所定の範囲からの光を受光して、前記所定の範囲内に存在する前記対象物までの距離を検出し、
　前記グルーピング制御部は、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物を、前記第１検出部で検出された前記対象物までの距離に基づいてグルーピングし、
　前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、（２）乃至（７）のいずれか一項に記載の検出装置。
　（９）前記第２検出部は、前記撮像画像から、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物の画像位置に対応する制限範囲内で距離を検出するように前記第１検出部に指示し、
　前記第１検出部は、前記制限範囲内に含まれる前記対象物までの距離を検出し、
　前記グルーピング制御部は、前記第２検出部で検出された前記対象物の画像位置と、前記第１検出部で検出された前記対象物までの距離とに基づいて、前記対象物をグルーピングする、（２）乃至（７）のいずれか一項に記載の検出装置。
　（１０）前記第２検出部は、前記座標情報とともに、前記対象物の画像を含む所定の撮像範囲の画像データを出力する、（１）乃至（９）のいずれか一項に記載の検出装置。
　（１１）前記第２検出部は、前記座標情報とともに、前記対象物の面積、動き方向及び重心位置の少なくとも一つを含む情報を出力する、（１）乃至（９）のいずれか一項に記載の検出装置。
　（１２）前記第１検出部を有する第１半導体装置と、
　前記第２検出部を有する第２半導体装置と、を備える、（１）乃至（１１）のいずれか一項に記載の検出装置。
　（１３）前記第１検出部を有する第１半導体装置と、
　前記第２検出部を有する第２半導体装置と、を備え、
　前記グルーピング制御部は、前記第１半導体装置又は前記第２半導体装置に設けられる、（２）乃至（１１）のいずれか一項に記載の検出装置。
　（１４）前記第１検出部及び前記第２検出部を有する半導体装置を備える、（１）乃至（１１）のいずれか一項に記載の検出装置。
　（１５）対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
　前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、
　前記第１検出部及び前記第２検出部を制御する制御部と、を備える検出システム。
　（１６）前記第１検出部を有する第１半導体装置と、
　前記第２検出部を有する第２半導体装置と、
　前記制御部を有する第３半導体装置と、を備える、（１５）に記載の検出システム。
　（１７）前記第１半導体装置、前記第２半導体装置又は前記第３半導体装置に設けられ、前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、（１６）に記載の検出システム。
　（１８）対象物で反射された光に基づいて、前記対象物までの距離を第１検出部で検出し、
　第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つと、前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する、検出方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１、１ａ、１ｂ、１ｃ、１ｄ　検出装置、２、２ａ、２ｂ、２ｃ、２ｄ　検出システム、３、３ａ、３ｂ、３ｃ、３ｄ　ＴｏＦセンサ、４、４ａ　高速ビジョンセンサ、５　アプリケーションプロセッサ、１１　画素アレイ部、１２　画像処理部、１３　ＩＳＰ、１４　色検出部、１５　点検出部、１６　追跡部、１７　出力Ｉ／Ｆ部、１８　グルーピング制御部、１９　通信＆全体制御部、２１　通信＆全体制御部、２２　発光タイミング制御部、２３　画素変調部、２４　画素制御部、２５　画素アレイ部、２６　ＡＤＣ、２７　データ処理部、２８　出力Ｉ／Ｆ部、２９　測距開始制御部、３１　通信＆全体制御部、３２　ＳＰＡＤ制御部、３３　ＳＰＡＤアレイ＆読み出し回路、３４　サンプリング回路、３５　測距処理部、３５ａ　ヒストグラム生成部、３５ｂ　距離算出部、３６　発光タイミング制御部、３７　出力Ｉ／Ｆ部、３８　クロック生成部、１２０００　車両制御システム、１２０１０　駆動系制御ユニット、１２０２０　ボディ系制御ユニット、１２０３０　車外情報検出ユニット、１２０３１　撮像部、１２０４０　車内情報検出ユニット、１２０４１　運転者状態検出部、１２０５０　統合制御ユニット、１２０５１　マイクロコンピュータ、１２０５２　音声画像出力部、１２０５３　車載ネットワークＩ／Ｆ、１２０６１　オーディオスピーカ、１２０６２　表示部、１２０６３　インストルメントパネル

Claims (18)

  1. 　対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
    　前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える、検出装置。
  2. 　前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、請求項１に記載の検出装置。
  3. 　前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、請求項２に記載の検出装置。
  4. 　前記グルーピング制御部は、前記対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の前記対象物の画像の少なくとも一部が重なり合っており、かつ前記第１検出部で検出された前記複数の対象物の距離がそれぞれ異なる場合には、前記複数の対象物をそれぞれ異なるグループに分類する、請求項２に記載の検出装置。
  5. 　前記グルーピング制御部は、前記対象物のグルーピングを行った後に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングする、請求項２に記載の検出装置。
  6. 　前記対象物の移動に応じて前記撮像画像内で前記対象物の画像を追跡する追跡部を備える、請求項２に記載の検出装置。
  7. 　前記グルーピング制御部は、前記追跡部で追跡している最中に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングし、
    　前記追跡部は、再度グルーピングした後の前記対象物の画像を追跡する、請求項６に記載の検出装置。
  8. 　前記第１検出部は、所定の範囲からの光を受光して、前記所定の範囲内に存在する前記対象物までの距離を検出し、
    　前記グルーピング制御部は、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物を、前記第１検出部で検出された前記対象物までの距離に基づいてグルーピングし、
    　前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、請求項２に記載の検出装置。
  9. 　前記第２検出部は、前記撮像画像から、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物の画像位置に対応する制限範囲内で距離を検出するように前記第１検出部に指示し、
    　前記第１検出部は、前記制限範囲内に含まれる前記対象物までの距離を検出し、
    　前記グルーピング制御部は、前記第２検出部で検出された前記対象物の画像位置と、前記第１検出部で検出された前記対象物までの距離とに基づいて、前記対象物をグルーピングする、請求項２に記載の検出装置。
  10. 　前記第２検出部は、前記座標情報とともに、前記対象物の画像を含む所定の撮像範囲の画像データを出力する、請求項１に記載の検出装置。
  11. 　前記第２検出部は、前記座標情報とともに、前記対象物の面積、動き方向及び重心位置の少なくとも一つを含む情報を出力する、請求項１に記載の検出装置。
  12. 　前記第１検出部を有する第１半導体装置と、
    　前記第２検出部を有する第２半導体装置と、を備える、請求項１に記載の検出装置。
  13. 　前記第１検出部を有する第１半導体装置と、
    　前記第２検出部を有する第２半導体装置と、を備え、
    　前記グルーピング制御部は、前記第１半導体装置又は前記第２半導体装置に設けられる、請求項２に記載の検出装置。
  14. 　前記第１検出部及び前記第２検出部を有する半導体装置を備える、請求項１に記載の検出装置。
  15. 　対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
    　前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、
    　前記第１検出部及び前記第２検出部を制御する制御部と、を備える検出システム。
  16. 　前記第１検出部を有する第１半導体装置と、
    　前記第２検出部を有する第２半導体装置と、
    　前記制御部を有する第３半導体装置と、を備える、請求項１５に記載の検出システム。
  17. 　前記第１半導体装置、前記第２半導体装置又は前記第３半導体装置に設けられ、前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、請求項１６に記載の検出システム。
  18. 　対象物で反射された光に基づいて、前記対象物までの距離を第１検出部で検出し、
    　第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つと、前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する、検出方法。
PCT/JP2021/018999 2020-05-29 2021-05-19 検出装置、検出システム及び検出方法 WO2021241360A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-094573 2020-05-29
JP2020094573A JP2021190848A (ja) 2020-05-29 2020-05-29 検出装置、検出システム及び検出方法

Publications (1)

Publication Number Publication Date
WO2021241360A1 true WO2021241360A1 (ja) 2021-12-02

Family

ID=78745193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018999 WO2021241360A1 (ja) 2020-05-29 2021-05-19 検出装置、検出システム及び検出方法

Country Status (2)

Country Link
JP (1) JP2021190848A (ja)
WO (1) WO2021241360A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070751A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029382A1 (ja) * 2022-08-05 2024-02-08 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012049628A (ja) * 2010-08-24 2012-03-08 Nikon Corp 画像処理装置、撮像装置、及び画像処理プログラム
JP2017139631A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
WO2019021852A1 (ja) * 2017-07-27 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012049628A (ja) * 2010-08-24 2012-03-08 Nikon Corp 画像処理装置、撮像装置、及び画像処理プログラム
JP2017139631A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
WO2019021852A1 (ja) * 2017-07-27 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070751A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2021190848A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
CN113396579A (zh) 事件信号检测传感器和控制方法
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
US20220317298A1 (en) Distance measurement sensor
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN110832346A (zh) 电子装置和电子装置的控制方法
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
WO2021059682A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2021100593A1 (ja) 測距装置及び測距方法
US20220345652A1 (en) Solid-state imaging element and electronic device
JP7609162B2 (ja) センシングシステム
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
US12088927B2 (en) Imaging device and imaging method
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220268890A1 (en) Measuring device and distance measuring device
WO2024185288A1 (ja) 光検出装置および測距システム
US20240205569A1 (en) Imaging device, electronic device, and light detecting method
US12050268B2 (en) System to measure a distance to an object without addition of a distance measuring sensor
KR20240168357A (ko) 측거 장치 및 측거 방법
WO2021251057A1 (ja) 光検出回路および測距装置
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21812077

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21812077

Country of ref document: EP

Kind code of ref document: A1