[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023181881A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023181881A1
WO2023181881A1 PCT/JP2023/008306 JP2023008306W WO2023181881A1 WO 2023181881 A1 WO2023181881 A1 WO 2023181881A1 JP 2023008306 W JP2023008306 W JP 2023008306W WO 2023181881 A1 WO2023181881 A1 WO 2023181881A1
Authority
WO
WIPO (PCT)
Prior art keywords
peak
output
information processing
time
flight
Prior art date
Application number
PCT/JP2023/008306
Other languages
English (en)
French (fr)
Inventor
昌俊 横川
裕大 櫻井
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023181881A1 publication Critical patent/WO2023181881A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a distance measuring device uses the ToF (Time of Flight) method, which measures the distance to an object by shining light on the object, detecting the reflected light reflected by the object, and measuring the flight time of the light. has been done.
  • ToF Time of Flight
  • a histogram in which the frequency of flight time detection is expressed as degrees is generated in the light receiving section that detects reflected light. This histogram data is transmitted to a subsequent processing section, and the distance is calculated in the processing section (for example, see Patent Document 1).
  • the above-mentioned conventional technology has a problem in that the amount of transmitted data increases because the histogram data is transmitted. Particularly, when the ranging range is wide, the amount of data in the histogram increases, making data transmission difficult.
  • the present disclosure proposes an information processing device, an information processing method, and a program that select and transmit data to be used in subsequent processing while reducing distance measurement data.
  • the information processing device of the present disclosure includes a peak detection section, a peak determination section, and an output section.
  • the peak detection unit detects the detection frequency in a time-of-flight histogram that expresses the distribution of the flight time of the reflected light emitted from the light source and reflected from the subject and detected by the two-dimensional pixel array unit in terms of degrees and classes of detection frequency. Detect the peak of The peak determination unit determines whether the peaks include a peak corresponding to the reflected light.
  • the output unit outputs the peak selected based on the determination result of the peak determination unit and the previously output peaks as distance measurement data.
  • the information processing method of the present disclosure includes a flight time that represents the distribution of the flight time of reflected light emitted from a light source and reflected from a subject and detected in a two-dimensional pixel array section in terms of degrees and classes of detection frequency. Detecting the peak of the detection frequency in the histogram, determining whether the peak includes a peak corresponding to the reflected light, and based on the result of the determination and the previously output peak. The information processing method includes selecting the peak and outputting the selected peak as ranging data.
  • the program of the present disclosure also provides a time-of-flight histogram that represents the distribution of flight times of reflected light emitted from a light source and reflected from a subject and detected in a two-dimensional pixel array section in terms of degrees and classes of detection frequency.
  • This program includes a selection procedure for selecting the above-mentioned peak by using the above-described method, and an output procedure for outputting the selected peak as distance measurement data.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a flight time data group according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating flight time data according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a time-of-flight histogram according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating flight time data according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example configuration of an information processing device according to a first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a peak detection section according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of peak selection according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of peak selection according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of peak selection according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of peak selection according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of peak selection according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a processing procedure of information processing according to the first embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example configuration of an information processing device according to a first embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of an ambient light image according to a second embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a processing procedure of information processing according to a second embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of an information processing device according to a third embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a linear region according to a third embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a configuration example of a linear area detection section according to a third embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a processing procedure of information processing according to a third embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure.
  • This figure is a block diagram showing an example of the configuration of the distance measuring device 1.
  • the distance measuring device 1 is a device that measures the distance to an object.
  • the distance measuring device 1 emits light to a target object, detects the light reflected by the target object, and measures the flight time, which is the time from the light output to the target object until the reflected light enters the target object. Measure the distance to an object.
  • the figure shows a case where the distance to an object 801 is measured.
  • the distance measuring device 1 irradiates a target object 801 with emitted light 802 and detects reflected light 803.
  • the distance measuring device 1 includes a distance measuring sensor 2 and a processor 3.
  • the distance sensor 2 measures the above-described flight time and generates distance data to the target object. Further, the distance measurement sensor 2 outputs distance data to the processor 3.
  • the processor 3 controls the distance measurement sensor 2 and detects the distance to the object based on the distance data output from the distance measurement sensor 2.
  • the distance to the object can be calculated from the flight time and the speed of light.
  • the processor 3 can be configured by a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the distance measurement sensor 2 includes a light source section 10, a light receiving section 20, a distance measurement control section 30, a histogram data generation section 40, and an information processing device 100.
  • the light source unit 10 emits emitted light (emitted light 802) to the target object.
  • emitted light 802 emitted light 802
  • a laser diode can be used as the light source section 10.
  • the light receiving unit 20 detects reflected light (reflected light 803) from an object.
  • the light receiving section 20 includes a pixel array section in which a plurality of light receiving pixels each having a light receiving element for detecting reflected light are arranged in a two-dimensional matrix shape.
  • a SPAD Single Photon Avalanche Diode
  • the light receiving section 20 generates an image signal based on the detected reflected light and outputs it to the histogram data generating section 40 .
  • the histogram data generation unit 40 generates a time-of-flight histogram based on the image signal from the light receiving unit 20.
  • This time-of-flight histogram is a histogram that expresses the distribution of the time-of-flight of reflected light emitted from a light source and reflected from a subject in terms of degrees and classes of detection frequency.
  • This time-of-flight histogram is formed by integrating the detection frequencies of a plurality of reflected lights accompanying the emission of a plurality of outgoing lights.
  • the light receiving section 20 described above includes light receiving pixels arranged in a two-dimensional matrix, and generates an image signal for each light receiving pixel.
  • the histogram data generation unit 40 generates a histogram for each two-dimensional matrix-shaped pixel region corresponding to these light-receiving pixels.
  • a plurality of time-of-flight histograms for each pixel region in the form of a two-dimensional matrix are referred to as a time-of-flight histogram group.
  • the histogram data generation unit 40 generates a time-of-flight histogram group based on the image signal from the light receiving unit 20 and outputs it to the information processing device 100.
  • the distance measurement control section 30 controls the light source section 10 and the light receiving section 20 to perform distance measurement.
  • the distance measurement control section 30 causes the light source section 10 to emit a laser beam, and notifies the light receiving section 20 of the timing of emission. Based on this notification, the light receiving unit 20 measures the flight time.
  • the information processing device 100 processes the flight time histogram group output from the histogram data generation unit 40.
  • the information processing device 100 performs preprocessing for distance measurement, and extracts a region of a class corresponding to the reflected light from the object from the time-of-flight histogram group and outputs it to the processor 3.
  • the information processing device 100 outputs the peak, which is the region of the reflected light from the target object, in the time-of-flight histogram as ranging data. Thereby, the amount of information of data output to the processor 3 can be reduced. Further, the information processing device 100 selects and outputs data necessary for processing by the processor 3. The processor 3 may perform processing such as noise removal during distance measurement. The information processing device 100 outputs ranging data including data necessary for processing by the processor 3.
  • the processor 3 performs distance measurement to calculate the distance to the target object based on the data output from the information processing device 100. Further, the processor 3 further performs signal processing such as noise removal.
  • FIG. 2A is a diagram illustrating an example of a flight time data group according to an embodiment of the present disclosure.
  • the flight time data group 300 in the figure includes a plurality of flight time data 310. Flight time data 310 included in this flight time data group 300 is arranged in chronological order. Furthermore, each pixel (pixel area 311) of the flight time data 310 stores the detection frequency of the corresponding class width (bins) of the flight time histogram.
  • the flight time data group 300 is three-dimensional data that extends in the X, Y, and Z directions representing depth.
  • FIG. 2B is a diagram illustrating flight time data according to the embodiment of the present disclosure.
  • the flight time data 310 stores data of a plurality of pixel regions.
  • the frequency of the class corresponding to the flight time data 310 of the histogram of the pixel in the light receiving section 20 corresponding to the pixel is stored.
  • the frequency of this class corresponds to the detection frequency of flight time.
  • FIG. 3A is a diagram illustrating an example of a time-of-flight histogram according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of a histogram generated by the light receiving section 20.
  • the histogram in the figure is a graph in which the frequency 312 of the detection frequency of the class width ⁇ d is arranged over the detection range of the flight time.
  • the horizontal axis in the figure represents the Z direction of the flight time data group 300 shown in FIG. 2A. This Z direction corresponds to the flight time.
  • a flight time histogram 313 represented by a curve is further shown.
  • the upwardly convex region is the region of the class in which reflected light or the like was detected. This convex region is called a peak.
  • FIG. 3B is a diagram illustrating flight time data according to the embodiment of the present disclosure.
  • the figure shows flight time data 310 extracted from the flight time data group 300.
  • the detection frequency of one class of the flight time histogram 313 is stored in the pixel area 311 of the flight time data 310.
  • a plurality of such pixel regions are arranged in the X and Y directions.
  • time-of-flight data similar to the time-of-flight data 310 are arranged in time series in the depth direction to form a time-of-flight data group 300. For example, if the ranging range is 150 m and the resolution (class width) is 15 cm, 1000 pieces of data will exist in the Z-axis direction. This data is generated for each pixel area.
  • the flight time data group 300 can also be regarded as a collection of flight time histograms 313 for each two-dimensional pixel region. This set of flight time histograms 313 is referred to as a flight time histogram group.
  • the histogram data generation unit 40 in FIG. 1 generates a time-of-flight histogram in a time-series frame period and sequentially outputs the time-of-flight histogram.
  • the processor 3 processes such a group of time-of-flight histograms, the processing load on the processor 3 increases. Furthermore, the transmission time of the time-of-flight histogram group between the ranging sensor 2 and the processor 3 becomes longer. Therefore, preprocessing is performed by the information processing device 100 described above.
  • FIG. 4 is a diagram illustrating a configuration example of an information processing device according to the first embodiment of the present disclosure.
  • the figure is a block diagram showing a configuration example of the information processing device 100.
  • the information processing device 100 includes a peak detection section 110, a peak determination section 120, an output section 130, and a holding section 140.
  • the peak detection unit 110 detects peaks from the time-of-flight histograms of the time-of-flight histogram group. This peak detection section 110 detects a peak for each pixel region and outputs it to the peak determination section 120 and the like.
  • the peak determination unit 120 detects a reflected light peak from the peak output from the peak detection unit 110. This reflected light peak is a peak based on reflected light from the object.
  • the peak determination section 120 outputs the detected reflected light peak to the output section 130.
  • the peak determination unit 120 can detect the reflected light peak based on the maximum detection frequency at the peak and the width of the peak. Specifically, the peak determination unit 120 determines whether the peak is a reflected light peak based on a threshold for the maximum detection frequency of the peak and a threshold for the width of the peak.
  • the peak determination unit 120 outputs the reflected light peak as a result of the determination to the output unit 130.
  • the output unit 130 outputs the peak as ranging data.
  • the output unit 130 selects a peak based on the reflected light peak from the peak determination unit 120 and the already output peak, which is a previously output peak, and outputs the selected peak as ranging data. Further, the output unit 130 selects a peak for each pixel area and outputs it as ranging data.
  • the output section 130 includes a selection section 131 and a distance measurement data output section 132.
  • the selection unit 131 performs selection based on the reflected light peak and the already output peak from the peak determination unit 120. In this selection, for example, peaks determined to be reflected light peaks are selected in descending order of detection frequency. Further, the selection unit 131 preferentially selects peaks based on already output peaks. The peak based on this already output peak corresponds to, for example, a peak whose class substantially matches that of the already output peak. This is a peak that belongs to the same flight time data 310 as the already output peak. The selection unit 131 outputs a predetermined number, for example, three of the selected peaks to the ranging data output unit 132.
  • the distance measurement data output unit 132 outputs the peak selected by the selection unit 131 as distance measurement data. Furthermore, the distance measurement data output unit 132 outputs the peak selected by the selection unit 131 to the holding unit 140.
  • the holding unit 140 holds already output peaks, which are the peaks output from the output unit 130. This holding section 140 outputs the held already output peak to the output section 130.
  • FIG. 5 is a diagram illustrating a configuration example of a peak detection section according to an embodiment of the present disclosure. This figure is a block diagram showing a configuration example of the peak detection section 110.
  • the peak detection section 110 includes an ambient light image generation section 111, a noise level detection section 112, and a detection section 113.
  • the environmental light image generation unit 111 generates an environmental light image.
  • This environmental light image is an image based on the environmental light frequency, which is the detection frequency of the environmental light, and is an image based on the environmental light of each pixel area.
  • the component of the ambient light detection frequency in the flight time histogram becomes an error in flight time detection. Therefore, by detecting the detection frequency of environmental light and subtracting it from the flight time histogram, errors in flight time detection can be reduced.
  • the environmental light image generation unit 111 generates an environmental light image as the detection frequency of environmental light. This environmental light image can be generated by taking the average value of the detection frequency of the class for each pixel region.
  • the generated ambient light image is output to the noise level detection section 112 and the detection section 113.
  • the noise level detection unit 112 detects the noise level of the time-of-flight histogram.
  • This noise level detection section 112 detects a noise level based on the environmental light image and outputs it to the detection section 113.
  • the noise level of the time-of-flight histogram depends on the ambient light. Therefore, the relationship between the intensity of the environmental light and the noise level is measured in advance, and the measurement result is held in the noise level detection unit 112.
  • the noise level detection unit 112 can detect the noise level for each pixel region from the environmental light image based on this measurement result.
  • the detection unit 113 detects a peak from the time-of-flight histogram based on the detection frequency of environmental light.
  • the detection unit 113 in the figure detects a peak based on the environmental light image and the noise level. Specifically, the detection unit 113 detects, as a peak, a region that exceeds the ambient light frequency and noise level among the regions having a convex shape on the time-of-flight histogram.
  • the detection unit 113 outputs the detected peak to the peak determination unit 120.
  • FIGS. 6A and 6B are diagrams illustrating an example of peak selection according to an embodiment of the present disclosure.
  • This figure is a diagram showing a flight time histogram.
  • FIG. 6A shows a time-of-flight histogram of a pixel region whose coordinates (X, Y) are (X 0 , Y 0 ).
  • peak 322, peak 323, peak 324, and peak 321 are listed in descending order of detection frequency.
  • peak 322, peak 323, and peak 324 are peaks output from the output unit 130, and correspond to already output peaks.
  • FIG. 6B shows a time-of-flight histogram of a pixel region whose coordinates (X, Y) are (X 1 , Y 0 ). This is a pixel area adjacent to the pixel area mentioned above.
  • peak 333, peak 332, peak 331, and peak 334 are listed in descending order of detection frequency. In this case, a peak with a high detection frequency is selected, and a peak 334 that is in the same class as the already output peak in the pixel region (X 0 , Y 0 ) is selected preferentially.
  • the selection unit 131 selects peak 333, peak 332, and peak 334. In this way, peak 334 is selected instead of peak 331.
  • FIGS. 7A-7C are diagrams illustrating an example of peak selection according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of a pixel region that is a target of an output peak.
  • a rectangle represents a pixel area 311.
  • pixel regions 311 are two-dimensionally arranged in the X and Y directions.
  • a pixel region marked with diagonal lines represents a pixel region of interest 340 that is a target of peak selection by the selection unit 131.
  • the pixel area with dot hatching represents the already output pixel area 341 corresponding to the already output peak.
  • FIG. 7A shows an example in which pixel regions adjacent to the left and above of the pixel region of interest 340 are set as the output pixel region 341. Note that the dotted arrows in the figure represent the scanning order of the pixel area.
  • FIG. 7B shows that in consecutive frames (t 0 -1) and (t 0 ), the pixel area of the previous frame (t 0 -1) is already output for the frame (t 0 ) of the pixel area of interest 340.
  • This shows an example of a pixel area 342.
  • the output pixel area 342 in the figure is a pixel area of the previous frame adjacent to the pixel area of interest 340.
  • FIG. 7C shows an example in which the output pixel area 341 and the output pixel area 342 are used in combination.
  • the selection unit 131 in FIG. 4 reads the output peaks of the above-mentioned output pixel area 341 etc. from the holding unit 140 and applies them to peak selection.
  • FIG. 8 is a diagram illustrating an example of an information processing procedure according to the first embodiment of the present disclosure.
  • the figure is a flowchart illustrating an example of an information processing method in the information processing apparatus 100.
  • the environmental light image generation unit 111 generates an environmental light image from the flight time histogram group (step S100).
  • the noise level detection unit 112 detects the noise level from the environmental light image (step S101).
  • the information processing device 100 selects a pixel region of the time-of-flight histogram group (step S102).
  • the peak detection unit 110 detects the peak of the time-of-flight histogram in the selected pixel region (step S103).
  • the peak determination unit 120 determines a peak (step S104).
  • the selection unit 131 reads out the already output peaks from the holding unit 140 (step S106). Next, the selection unit 131 selects a peak based on the determination result and the already output peaks (step S107). Next, the distance measurement data output unit 132 outputs the peak as distance measurement data (step S108).
  • the information processing device 100 determines whether output of ranging data has been completed for all pixel regions (step S109). If the output of distance measurement data has not been completed for all pixel areas (step S109, No), the information processing device 100 moves to step S102 and selects another pixel area. On the other hand, if the output of distance measurement data has been completed for all pixel areas (step S109, Yes), the information processing device 100 ends the process.
  • step S103 is an example of a peak detection procedure.
  • Step S104 is an example of a determination procedure.
  • Step S107 is an example of a selection procedure.
  • Step S108 is an example of an output procedure.
  • the information processing device 100 outputs the peak selected based on the peak determination result of the reflected light and the already output peak as distance measurement data. This makes it possible to transmit data that can be used for processing by the processor 3 at the subsequent stage while reducing the amount of output data.
  • the information processing apparatus 100 according to the first embodiment described above acquires the output peak by using the pixel area adjacent to the pixel area of interest 340 as the output pixel area 341 or the like.
  • the information processing apparatus 100 according to the second embodiment of the present disclosure differs from the above-described first embodiment in that an already output pixel area is further selected.
  • FIG. 9 is a diagram illustrating a configuration example of an information processing device according to the first embodiment of the present disclosure.
  • This figure like FIG. 4, is a block diagram showing a configuration example of the information processing device 100.
  • the information processing apparatus 100 in the figure differs from the information processing apparatus 100 in FIG. 4 in that it further includes an ambient light image holding section 150.
  • the environmental light image holding unit 150 in the figure holds the environmental light image generated by the environmental light image generation unit 111 of the peak detection unit 110.
  • the environmental light image holding section 150 outputs the held environmental light image to the selection section 131.
  • the selection unit 131 in the figure selects a peak based on the determination result of the peak determination unit 120, the output peak from the holding unit 140, and the environmental light image. Specifically, the selection unit 131 shown in the figure selects an output pixel area from which an output peak is to be obtained based on the ambient light image, and selects a peak based on the output peak of the selected output pixel area. Further do this.
  • FIG. 10 is a diagram illustrating an example of an ambient light image according to the second embodiment of the present disclosure.
  • This figure is a diagram showing an example of an environmental light image 350 generated by the environmental light image generating section 111 and held in the environmental light image holding section 150.
  • a region 351 of the same brightness is described.
  • a dotted rectangle in the figure represents the pixel region of interest 340.
  • an adjacent pixel region in the region 351 is used as an already output pixel region.
  • Such a region 351 corresponds to a region of reflected light reflected by the same object. Therefore, by selecting a peak based on the already output peaks of the pixel region of the region, it is possible to prevent data loss in the Z-axis direction due to the same object.
  • FIG. 11 is a diagram illustrating an example of an information processing procedure according to the second embodiment of the present disclosure. Similar to FIG. 8, this figure is a flowchart illustrating an example of an information processing method in the information processing apparatus 100.
  • the process of step S105 is performed between step S104 and step S106.
  • the selection unit 131 reads out the ambient light image from the ambient light image holding unit 150 (step S105). Thereafter, in step S107, the selection unit 131 selects a peak based on the determination result, the already output peak, and the ambient light image (step S107). Since the processing procedure other than this is the same as the processing procedure of FIG. 8, the explanation will be omitted.
  • the configuration of the information processing device 100 other than this is the same as the configuration of the information processing device 100 in the first embodiment of the present disclosure, so the description will be omitted.
  • the information processing device 100 selects a peak based on the determination result, the already output peak, and the environmental light image. Since the output pixel area is selected based on the environmental light image, the output peaks can be narrowed down.
  • the information processing apparatus 100 according to the first embodiment described above acquires the output peak by using the pixel area adjacent to the pixel area of interest 340 as the output pixel area 341 or the like.
  • the information processing apparatus 100 according to the third embodiment of the present disclosure differs from the above-described first embodiment in that it detects a region in which peaks are continuous in a linear manner and obtains already output peaks.
  • FIG. 12 is a diagram illustrating a configuration example of an information processing device according to a third embodiment of the present disclosure.
  • This figure like FIG. 4, is a block diagram showing a configuration example of the information processing device 100.
  • the information processing apparatus 100 shown in FIG. 4 differs from the information processing apparatus 100 shown in FIG. 4 in that it further includes a linear area detection section 160.
  • the linear area detection unit 160 detects a linear area where the peak of the maximum detection frequency is continuous in a linear manner. For example, the linear area detection unit 160 outputs the extension direction of the detected linear area to the selection unit 131.
  • the selection unit 131 in the figure selects a peak based on the determination result of the peak determination unit 120, the output peak from the holding unit 140, and the linear region. Specifically, the selection unit 131 shown in FIG. further peak selection.
  • FIG. 13 is a diagram illustrating an example of a linear region according to the third embodiment of the present disclosure.
  • the figure shows class areas in the X-axis and Z-axis directions.
  • the figure shows adjacent regions 360 in adjacent rows 361, 362, and 363 at a particular X coordinate.
  • the hatched areas in rows 361, 362, and 363 in the figure represent an area 365 that includes the peak of the maximum detection frequency.
  • the output pixel area is detected based on the extension direction of the linear area, which is the area, and the output peak is obtained. By selecting peaks based on the output peaks, it is possible to prevent missing peaks corresponding to the same structure.
  • FIG. 14 is a diagram illustrating a configuration example of a linear area detection section according to the third embodiment of the present disclosure.
  • the linear region detecting section 160 in the figure includes maximum peak detecting sections 161, 162, and 163, difference detecting sections 164 and 165, and a direction estimating section 166.
  • the maximum peak detection units 161 to 163 detect a region 365 including the peak of the maximum detection frequency shown in FIG. 13 for each row of the time-of-flight histogram group.
  • the maximum peak detection units 161, 162, and 163 detect the area 365 in FIG. 13 for areas in adjacent rows.
  • the difference detection units 164 and 165 detect the difference in the Z-axis direction of the region 365 detected by the maximum peak detection units 161, 162, and 163.
  • Difference detection section 164 detects the difference between regions 365 detected by maximum peak detection sections 161 and 162, and outputs the detection result to direction estimation section 166.
  • Difference detection section 165 detects the difference between regions 365 detected by maximum peak detection sections 162 and 163, and outputs the detection result to direction estimation section 166.
  • the direction estimation unit 166 estimates the direction of the linear region based on the difference detected by the difference detection units 164 and 165. For example, when the difference in the X-axis direction is a value of 2 and the difference in the Z-axis direction is a value of 2, it is possible to estimate that the extending direction of the linear region is the upward direction in FIG. 13.
  • Direction estimation section 166 outputs the estimated direction to selection section 131.
  • the selection unit 131 selects the output pixel area in the extending direction of the linear area, and further performs peak selection for this area using the output peak of the output pixel area.
  • FIG. 15 is a diagram illustrating an example of an information processing procedure according to the third embodiment of the present disclosure. Similar to FIG. 8, this figure is a flowchart illustrating an example of an information processing method in the information processing apparatus 100.
  • the process of step S111 is performed between step S104 and step S106.
  • the linear area detection unit 160 detects a linear area (step S111).
  • the selection unit 131 selects a peak based on the determination result, the output peak, and the linear region (step S107). Since the processing procedure other than this is the same as the processing procedure of FIG. 8, the explanation will be omitted.
  • the configuration of the information processing device 100 other than this is the same as the configuration of the information processing device 100 in the first embodiment of the present disclosure, so the description will be omitted.
  • the information processing device 100 selects a peak based on the determination result, the already output peak, and the detected linear region. Since the output pixel area is selected based on the linear area, the output peaks can be narrowed down.
  • the configuration of the second embodiment of the present disclosure can be applied to other embodiments.
  • the configurations of the ambient light image holding unit 150 and the selection unit 131 in FIG. 9 can be applied to the third embodiment of the present disclosure.
  • the present technology can also have the following configuration. (1) Detecting the peak of the detection frequency in a time-of-flight histogram that expresses the distribution of the flight time of the reflected light emitted from the light source and reflected from the subject and detected by the two-dimensional pixel array section by the frequency and class of the detection frequency. a peak detection section; a peak determination unit that determines whether the peaks include a peak corresponding to the reflected light; An information processing device comprising: an output unit that outputs the peak selected based on the determination result of the peak determination unit and previously output peaks as distance measurement data.
  • the peak detection unit sequentially detects the peak for each pixel area in a time-of-flight histogram group that is the time-of-flight histogram for each pixel area of the two-dimensional pixel array unit,
  • the information processing device (1), wherein the output unit sequentially outputs the distance measurement data for each pixel region.
  • Device (4) The information processing device according to (3), wherein the output unit sets the peak in a region where the peaks of the maximum detection frequencies of the plurality of classes are continuous in a linear manner as the already output peak.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距データを削減しながら後段の処理に使用するデータを選択して伝送する。情報処理装置（１００）は、ピーク検出部（１１０）と、ピーク判定部（１２０）と、出力部（１３０）とを有する。ピーク検出部（１１０）は、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける検出頻度の少なくとも１つのピークを検出する。ピーク判定部（１２０）は、ピークに反射光に対応するピークが含まれるか否かを判定する。出力部（１３０）は、ピーク判定部の判定結果及び従前に出力した既出力ピークに基づいて選択したピークを測距データとして出力する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　対象物に光を照射して対象物により反射された反射光を検出し、光の飛行時間を測定することにより対象物までの距離を測定するＴｏＦ（Time　of　Flight）法による測距装置が使用されている。この測距装置では、反射光を検出する受光部において飛行時間の検出頻度を度数とするヒストグラムが生成される。このヒストグラムのデータが後段の処理部に伝送され、処理部において距離が算出される（例えば、特許文献１参照）。
特開２０２１－０３８９４１号公報
　しかしながら、上記の従来技術では、ヒストグラムのデータを伝送するため、伝送データ量が増加するという問題がある。特に、測距範囲が広い場合にヒストグラムのデータ量が増大してデータの伝送が困難になるという問題がある。
　そこで、本開示では、測距データを削減しながら後段の処理に使用するデータを選択して伝送する情報処理装置、情報処理方法及びプログラムを提案する。
　本開示の情報処理装置は、ピーク検出部と、ピーク判定部と、出力部とを有する。ピーク検出部は、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける上記検出頻度のピークを検出する。ピーク判定部は、上記ピークに上記反射光に対応するピークが含まれるか否かを判定する。出力部は、上記ピーク判定部の判定結果及び従前に出力した既出力ピークに基づいて選択した上記ピークを測距データとして出力する。
　また、本開示の情報処理方法は、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける上記検出頻度のピークを検出することと、上記ピークに上記反射光に対応するピークが含まれるか否かを判定することと、上記判定の結果及び従前に出力した既出力ピークに基づいて上記ピークを選択することと、上記選択したピークを測距データとして出力することとを含む情報処理方法である。
　また、本開示のプログラムは、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける上記検出頻度のピークを検出するピーク検出手順と、上記ピークに上記反射光に対応するピークが含まれるか否かを判定する判定手順と、上記判定の結果及び従前に出力した既出力ピークに基づいて上記ピークを選択する選択手順と、上記選択したピークを測距データとして出力する出力手順とを含むプログラムである。
本開示の実施形態に係る測距装置の構成例を示す図である。 本開示の実施形態に係る飛行時間データ群の一例を示す図である。 本開示の実施形態に係る飛行時間データを説明する図である。 本開示の実施形態に係る飛行時間ヒストグラムの一例を示す図である。 本開示の実施形態に係る飛行時間データを説明する図である。 本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係るピーク検出部の構成例を示す図である。 本開示の実施形態に係るピークの選択の一例を示す図である。 本開示の実施形態に係るピークの選択の一例を示す図である。 本開示の実施形態に係るピークの選択の一例を示す図である。 本開示の実施形態に係るピークの選択の一例を示す図である。 本開示の実施形態に係るピークの選択の一例を示す図である。 本開示の第１の実施形態に係る情報処理の処理手順の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第２の実施形態に係る環境光画像の一例を示す図である。 本開示の第２の実施形態に係る情報処理の処理手順の一例を示す図である。 本開示の第３の実施形態に係る情報処理装置の一例を示す図である。 本開示の第３の実施形態に係る線状領域の一例を示す図である。 本開示の第３の実施形態に係る線状領域検出部の構成例を示す図である。 本開示の第３の実施形態に係る情報処理の処理手順の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
　（１．第１の実施形態）
　［測距装置の構成］
　図１は、本開示の実施形態に係る測距装置の構成例を示す図である。同図は、測距装置１の構成例を表すブロック図である。測距装置１は、対象物までの距離を測定する装置である。測距装置１は、対象物に光を出射して対象物により反射された光を検出し、対象物への光の出射から反射光の入射までの時間である飛行時間を計時することにより、対象物までの距離を測定する。同図は、対象物８０１までの距離を測定する場合を表したものである。同図において、測距装置１は、対象物８０１に出射光８０２を照射し、反射光８０３を検出する。
　測距装置１は、測距センサ２及びプロセッサ３を備える。測距センサ２は、上述の飛行時間を測定して対象物までの距離データを生成するものである。また、測距センサ２は、距離データをプロセッサ３に対して出力する。
　プロセッサ３は、測距センサ２を制御するとともに測距センサ２から出力される距離データに基づいて対象物までの距離を検出するものである。対象物までの距離は、飛行時間及び光速から算出することができる。プロセッサ３は、ＣＰＵ（Central　Processing　Unit）やＤＳＰ（Digital　Signal　Processor）により構成することができる。
　測距センサ２は、光源部１０と、受光部２０と、測距制御部３０と、ヒストグラムデータ生成部４０と、情報処理装置１００とを備える。
　光源部１０は、対象物に出射光（出射光８０２）を出射するものである。この光源部１０には、例えば、レーザダイオードを使用することができる。
　受光部２０は、対象物からの反射光（反射光８０３）を検出するものである。この受光部２０は、反射光を検出する受光素子を有する複数の受光画素が２次元行列形状に配置された画素アレイ部を備える。この受光素子には、ＳＰＡＤ（Single　Photon　Avalanche　Diode）を使用することができる。また、受光部２０は、検出した反射光に基づいて画像信号を生成し、ヒストグラムデータ生成部４０に対して出力する。
　ヒストグラムデータ生成部４０は、受光部２０から画像信号に基づいて飛行時間ヒストグラムを生成するものである。この飛行時間ヒストグラムは、光源から出射されて被写体から反射された反射光の飛行時間の分布を検出頻度の度数及び階級で表すヒストグラムである。この飛行時間ヒストグラムは、複数の出射光の出射に伴う複数の反射光の検出頻度を積算することにより形成される。上述の受光部２０は、２次元行列状に配置された受光画素を備え、受光画素毎に画像信号を生成する。ヒストグラムデータ生成部４０は、これらの受光画素に対応する２次元行列状の画素領域毎にヒストグラムを生成する。この２次元行列状の画素領域毎の複数の飛行時間ヒストグラムを飛行時間ヒストグラム群と称する。ヒストグラムデータ生成部４０は、受光部２０から画像信号に基づいて飛行時間ヒストグラム群を生成し、情報処理装置１００に対して出力する。
　測距制御部３０は、光源部１０及び受光部２０を制御して測距を行わせるものである。この測距制御部３０は、光源部１０にレーザ光を出射させるとともに、出射のタイミングを受光部２０に対して通知する。この通知に基づいて受光部２０は、飛行時間を測定する。
　情報処理装置１００は、ヒストグラムデータ生成部４０から出力された飛行時間ヒストグラム群を処理するものである。この情報処理装置１００は、距離測定の前処理を行うものであり、対象物からの反射光に対応する階級の領域を飛行時間ヒストグラム群から抽出してプロセッサ３に対して出力するものである。
　情報処理装置１００は、上述の前処理として、飛行時間ヒストグラムにおける対象物からの反射光の領域であるピークを測距データとして出力する。これにより、プロセッサ３に出力するデータの情報量を削減することができる。また、情報処理装置１００は、プロセッサ３の処理に必要なデータを選択して出力する。プロセッサ３は、測距の際にノイズ除去等の処理を行う場合がある。情報処理装置１００は、このようなプロセッサ３の処理に必要なデータ含む測距データを出力する。
　プロセッサ３は、情報処理装置１００から出力されるデータに基づいて対象物までの距離を算出する測距を行う。また、プロセッサ３は、ノイズ除去等の信号処理を更に行う。
　［飛行時間データ群の構成］
　図２Ａは、本開示の実施形態に係る飛行時間データ群の一例を示す図である。同図の飛行時間データ群３００は、複数の飛行時間データ３１０を有する。この飛行時間データ群３００に含まれる飛行時間データ３１０は、時系列に配置される。また、それぞれの飛行時間データ３１０の画素（画素領域３１１）には、飛行時間ヒストグラムの対応する階級幅（ビン：bins）の検出頻度が格納される。飛行時間データ群３００は、Ｘ、Ｙ及び奥行を表すＺ方向に広がりを持つ３次元データである。
　図２Ｂは、本開示の実施形態に係る飛行時間データを説明する図である。飛行時間データ３１０には、複数の画素領域のデータが格納される。同図の画素領域３１１には、当該画素に対応する受光部２０における画素のヒストグラムの当該飛行時間データ３１０に対応する階級の頻度が格納される。この階級の頻度は、飛行時間の検出頻度に該当する。
　［飛行時間ヒストグラムの構成］
　図３Ａは、本開示の実施形態に係る飛行時間ヒストグラムの一例を示す図である。同図は、受光部２０が生成するヒストグラムの一例を表す図である。同図のヒストグラムは、階級幅Δｄの検出頻度の度数３１２が飛行時間の検出範囲に亘って配置されたグラフである。同図の横軸は、図２Ａに表した飛行時間データ群３００のＺ方向を表す。このＺ方向は、飛行時間に相当する。また、同図には、曲線により表した飛行時間ヒストグラム３１３を更に記載した。同図の飛行時間ヒストグラム３１３において上に凸の形状の領域は、反射光等を検出した階級の領域となる。この凸形状の領域をピークと称する。
　図３Ｂは、本開示の実施形態に係る飛行時間データを説明する図である。同図は、飛行時間データ群３００のうちの飛行時間データ３１０を抜き出して記載したものである。飛行時間データ３１０の画素領域３１１に、飛行時間ヒストグラム３１３の１つの階級の検出頻度が格納される。このような画素領域がＸ及びＹ方向に複数配置される。また、飛行時間データ３１０と同様の飛行時間データが奥行き方向に時系列に配置されて飛行時間データ群３００が構成される。例えば、測距範囲が１５０ｍ及び分解能（階級幅）が１５ｃｍの場合、Ｚ軸方向に１０００個のデータが存在することとなる。このデータが画素領域毎に生成される。飛行時間データ群３００は、二次元状の画素領域毎の飛行時間ヒストグラム３１３の集合と捉えることもできる。この飛行時間ヒストグラム３１３の集合を飛行時間ヒストグラム群と称する。図１のヒストグラムデータ生成部４０は、時系列のフレーム周期において飛行時間ヒストグラムを生成し、順次出力する。
　このような飛行時間ヒストグラム群をプロセッサ３が処理する場合には、プロセッサ３における処理負担が増大する。また、測距センサ２及びプロセッサ３の間の飛行時間ヒストグラム群の伝送時間が長くなる。そこで、前述の情報処理装置１００により前処理を行う。
　［情報処理装置の構成］
　図４は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。同図は、情報処理装置１００の構成例を表すブロック図である。情報処理装置１００は、ピーク検出部１１０と、ピーク判定部１２０と、出力部１３０と、保持部１４０とを備える。
　ピーク検出部１１０は、飛行時間ヒストグラム群の飛行時間ヒストグラムからピークを検出するものである。このピーク検出部１１０は、画素領域毎にピークを検出し、ピーク判定部１２０及に対して出力する。
　ピーク判定部１２０は、ピーク検出部１１０より出力されたピークから反射光ピークを検出するものである。この反射光ピークは、対象物からの反射光に基づくピークである。ピーク判定部１２０は、検出した反射光ピークを出力部１３０に対して出力する。ピーク判定部１２０は、ピークにおける最大検出頻度及びピークの幅に基づいて反射光ピークを検出することができる。具体的には、ピーク判定部１２０は、ピークの最大検出頻度の閾値及びピークの幅の閾値に基づいてピークが反射光ピークか否かの判定を行う。ピーク判定部１２０は、判定結果の反射光ピークを出力部１３０に対して出力する。
　出力部１３０は、ピークを測距データとして出力するものである。この出力部１３０は、ピーク判定部１２０からの反射光ピーク及び従前に出力したピークである既出力ピークに基づいてピークの選択を行い、当該選択したピークを測距データとして出力する。また、出力部１３０は、画素領域毎にピークを選択し、測距データとして出力する。出力部１３０は、選択部１３１及び測距データ出力部１３２を備える。
　選択部１３１は、ピーク判定部１２０からの反射光ピーク及び既出力ピークに基づいて選択を行うものである。この選択は、例えば、反射光ピークと判定されたピークについて検出頻度が高い順に選択する。また、選択部１３１は、既出力ピークに基づくピークについて優先的に選択する。この既出力ピークに基づくピークには、例えば、既出力ピークと階級が略一致するピークが該当する。これは、既出力ピークと同じ飛行時間データ３１０に属するピークである。選択部１３１は、選択したピークのうち所定の個数、例えば、３個を測距データ出力部１３２に対して出力する。
　測距データ出力部１３２は、選択部１３１が選択したピークを測距データとして出力するものである。また、測距データ出力部１３２は、選択部１３１が選択したピークを保持部１４０に出力する。
　保持部１４０は、出力部１３０から出力されたピークである既出力ピークを保持するものである。この保持部１４０は、保持した既出力ピークを出力部１３０に対して出力する。
　［ピーク検出部の構成］
　図５は、本開示の実施形態に係るピーク検出部の構成例を示す図である。同図は、ピーク検出部１１０の構成例を表すブロック図である。ピーク検出部１１０は、環境光画像生成部１１１と、ノイズレベル検出部１１２と、検出部１１３とを備える。
　環境光画像生成部１１１は、環境光画像を生成するものである。この環境光画像は、環境光の検出頻度である環境光頻度に基づく画像であり、画素領域毎の環境光に基づく画像である。飛行時間ヒストグラムのうち環境光の検出頻度の成分は、飛行時間検出の誤差となる。そこで、環境光の検出頻度を検出し、飛行時間ヒストグラムから減算することにより、飛行時間検出の誤差を低減することができる。環境光画像生成部１１１は、環境光の検出頻度として環境光画像を生成する。この環境光画像は、画素領域毎に階級の検出頻度の平均値を取ることにより生成することができる。生成された環境光画像は、ノイズレベル検出部１１２及び検出部１１３に対して出力される。
　ノイズレベル検出部１１２は、飛行時間ヒストグラムのノイズレベルを検出するものである。このノイズレベル検出部１１２は、環境光画像に基づいてノイズレベルを検出し、検出部１１３に対して出力する。飛行時間ヒストグラムのノイズレベルは、環境光に依存する。そこで、環境光の強度とノイズレベルとの関係を事前に計測し、計測結果をノイズレベル検出部１１２に保持させる。ノイズレベル検出部１１２は、この計測結果に基づいて環境光画像から画素領域毎のノイズレベルを検出することができる。
　検出部１１３は、環境光の検出頻度に基づいて飛行時間ヒストグラムからピークを検出するものである。同図の検出部１１３は、環境光画像及びノイズレベルに基づいてピークを検出する。具体的には、検出部１１３は、飛行時間ヒストグラムの上に凸の形状の領域のうち環境光頻度及びノイズレベルを超える領域をピークとして検出する。検出部１１３は、検出したピークをピーク判定部１２０に対して出力する。
　［ピークの選択］
　図６Ａ及び６Ｂは、本開示の実施形態に係るピークの選択の一例を示す図である。同図は、飛行時間ヒストグラムを表す図である。図６Ａは、座標（Ｘ、Ｙ）が（Ｘ０、Ｙ０）の画素領域の飛行時間ヒストグラムを表したものである。同図の飛行時間ヒストグラムには、検出頻度が高い順にピーク３２２、ピーク３２３、ピーク３２４及びピーク３２１を記載した。このうち、ピーク３２２、ピーク３２３及びピーク３２４が出力部１３０から出力されたピークであり、既出力ピークに該当する。
　図６Ｂは、座標（Ｘ、Ｙ）が（Ｘ１、Ｙ０）の画素領域の飛行時間ヒストグラムを表したものである。これは、上述の画素領域に隣接する画素領域である。同図の飛行時間ヒストグラムには、検出頻度が高い順にピーク３３３、ピーク３３２、ピーク３３１及びピーク３３４を記載した。この場合、検出頻度が高いピークが選択されるとともに（Ｘ０、Ｙ０）の画素領域において既出力ピークと同じ階級のピークであるピーク３３４が優先的に選択される。具体的には、選択部１３１は、ピーク３３３、ピーク３３２及びピーク３３４を選択する。このように、ピーク３３１の代わりにピーク３３４が選択される。
　図７Ａ－７Ｃは、本開示の実施形態に係るピークの選択の一例を示す図である。同図は、既出力ピークの対象となる画素領域の一例を表す図である。同図において、矩形は画素領域３１１を表す。同図に表したように、画素領域３１１がＸ及びＹ方向に二次元に配列される。また、画素領域のうち斜線のハッチングが付された画素領域は、選択部１３１によるピーク選択の対象となる注目画素領域３４０を表す。また、点ハッチングが付された画素領域は、既出力ピークに対応する既出力画素領域３４１を表す。
　図７Ａは、注目画素領域３４０に対して左及び上に隣接する画素領域を既出力画素領域３４１とする場合の例を表したものである。なお、同図の点線の矢印は、画素領域の走査順を表す。
　図７Ｂは、連続するフレーム（ｔ０－１）及び（ｔ０）において、注目画素領域３４０のフレーム（ｔ０）に対して１つ前のフレーム（ｔ０－１）の画素領域を既出力画素領域３４２とする場合の例を表したものである。同図の既出力画素領域３４２は、注目画素領域３４０に隣接する１つ前のフレームの画素領域である。
　図７Ｃは、既出力画素領域３４１及び既出力画素領域３４２を組み合わせて使用する場合の例を表したものである。
　図４の選択部１３１は、上述の既出力画素領域３４１等の既出力ピークを保持部１４０から読み出してピークの選択に適用する。
　このように、注目画素領域３４０に隣接する画素領域の既出力ピークに基づいて注目画素領域３４０のピークを選択して出力することにより、Ｘ方向及びＹ方向に広がりを持つデータを後段のプロセッサ３に出力することができる。これにより、プロセッサ３がＸ方向及びＹ方向の情報を参照する演算を行う場合に情報の欠落を防ぐことができる。Ｘ方向及びＹ方向の情報を参照する演算には、例えば、ノイズリダクションの処理やフレア除去の処理が該当する。ここで、フレアとは、対象部により散乱された反射光に基づくピークである。
　［情報処理方法］
　図８は、本開示の第１の実施形態に係る情報処理の処理手順の一例を示す図である。同図は、情報処理装置１００における情報処理方法の一例を表す流れ図である。まず、環境光画像生成部１１１が飛行時間ヒストグラム群から環境光画像を生成する（ステップＳ１００）。次に、ノイズレベル検出部１１２が環境光画像からノイズレベルを検出する（ステップＳ１０１）。次に、情報処理装置１００は、飛行時間ヒストグラム群の画素領域を選択する（ステップＳ１０２）。次に、ピーク検出部１１０が選択された画素領域における飛行時間ヒストグラムのピークを検出する（ステップＳ１０３）。次に、ピーク判定部１２０がピークを判定する（ステップＳ１０４）。次に、選択部１３１が保持部１４０から既出力ピークの読出しを行う（ステップＳ１０６）。次に、選択部１３１が判定結果及び既出力ピークに基づいてピークの選択を行う（ステップＳ１０７）。次に測距データ出力部１３２がピークを測距データとして出力する（ステップＳ１０８）。
　次に、情報処理装置１００は、全ての画素領域について測距データの出力が終了したかを判断する（ステップＳ１０９）。全ての画素領域について測距データの出力が終了していない場合には（ステップＳ１０９，Ｎｏ）、情報処理装置１００は、ステップＳ１０２に移行し、他の画素領域を選択する。一方、全ての画素領域について測距データの出力が終了している場合には（ステップＳ１０９，Ｙｅｓ）、情報処理装置１００は、処理を終了する。
　なお、ステップＳ１０３は、ピーク検出手順の一例である。ステップＳ１０４は、判定手順の一例である。ステップＳ１０７は、選択手順の一例である。ステップＳ１０８は、出力手順の一例である。
　このように、本開示の第１の実施形態の情報処理装置１００は、反射光のピークの判定結果及び既出力ピークに基づいて選択したピークを測距データとして出力する。これにより、出力データ量を削減しながら後段のプロセッサ３の処理に使用可能なデータを送信することができる。
　（２．第２の実施形態）
　上述の第１の実施形態の情報処理装置１００は、注目画素領域３４０に隣接する画素領域を既出力画素領域３４１等として既出力ピークを取得していた。これに対し、本開示の第２の実施形態の情報処理装置１００は、既出力画素領域を更に選択する点で、上述の第１の実施形態と異なる。
　［情報処理装置の構成］
　図９は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。同図は、図４と同様に、情報処理装置１００の構成例を表すブロック図である。同図の情報処理装置１００は、環境光画像保持部１５０をさらに備える点で、図４の情報処理装置１００と異なる。
　同図の環境光画像保持部１５０は、ピーク検出部１１０の環境光画像生成部１１１が生成した環境光画像を保持するものである。この環境光画像保持部１５０は、保持した環境光画像を選択部１３１に対して出力する。
　同図の選択部１３１は、ピーク判定部１２０の判定結果、保持部１４０からの既出力ピーク及び環境光画像に基づいてピークの選択を行う。具体的には、同図の選択部１３１は、環境光画像に基づいて既出力ピークを取得する既出力画素領域を選択し、当該選択した既出力画素領域の既出力ピークに基づいてピークの選択を更に行う。
　［環境光画像］
　図１０は、本開示の第２の実施形態に係る環境光画像の一例を示す図である。同図は、環境光画像生成部１１１により生成されて環境光画像保持部１５０に保持された環境光画像３５０の例を表した図である。同図の環境光画像３５０には、同じ輝度の領域３５１を記載した。また、同図の点線の矩形は、注目画素領域３４０を表す。注目画素領域３４０が同じ輝度の領域３５１に含まれる場合には、領域３５１における隣接する画素領域を既出力画素領域として使用する。
　このような領域３５１は、同一の対象物により反射された反射光の領域に該当する。このため、当該領域の画素領域の既出力ピークに基づいてピークの選択を行うことにより、同一の対象物によるＺ軸方向のデータの欠落を防ぐことができる。
　［情報処理方法］
　図１１は、本開示の第２の実施形態に係る情報処理の処理手順の一例を示す図である。同図は、図８と同様に、情報処理装置１００における情報処理方法の一例を表す流れ図である。同図の処理手順においては、ステップＳ１０４及びステップＳ１０６の間にステップＳ１０５の処理を行う。ステップＳ１０５において、選択部１３１は、環境光画像保持部１５０から環境光画像の読出しを行う（ステップＳ１０５）。その後、ステップＳ１０７において、選択部１３１は、判定結果、既出力ピーク及び環境光画像に基づいてピークの選択を行う（ステップＳ１０７）。これ以外の処理手順は図８の処理手順と同様であるため、説明を省略する。
　これ以外の情報処理装置１００の構成は本開示の第１の実施形態における情報処理装置１００の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の情報処理装置１００は、判定結果、既出力ピーク及び環境光画像に基づいてピークの選択を行う。環境光画像に基づいて既出力画素領域を選択するため、既出力ピークの絞り込みを行うことができる。
　（３．第３の実施形態）
　上述の第１の実施形態の情報処理装置１００は、注目画素領域３４０に隣接する画素領域を既出力画素領域３４１等として既出力ピークを取得していた。これに対し、本開示の第３の実施形態の情報処理装置１００は、ピークが線状に連続する領域を検出して既出力ピークを取得する点で、上述の第１の実施形態と異なる。
　［情報処理装置の構成］
　図１２は、本開示の第３の実施形態に係る情報処理装置の構成例を示す図である。同図は、図４と同様に、情報処理装置１００の構成例を表すブロック図である。同図の情報処理装置１００は、線状領域検出部１６０をさらに備える点で、図４の情報処理装置１００と異なる。
　線状領域検出部１６０は、最大検出頻度のピークが線状に連続する領域である線状領域を検出するものである。線状領域検出部１６０は、例えば、検出した線状領域の伸長方向を選択部１３１に対して出力する。
　同図の選択部１３１は、ピーク判定部１２０の判定結果、保持部１４０からの既出力ピーク及び線状領域に基づいてピークの選択を行う。具体的には、同図の選択部１３１は、線状に領域の伸長方向に基づいて既出力ピークを取得する既出力画素領域を選択し、当該選択した既出力画素領域の既出力ピークに基づいてピークの選択を更に行う。
　［情報処理装置の構成］
　図１３は、本開示の第３の実施形態に係る線状領域の一例を示す図である。同図は、Ｘ軸及びＺ軸方向の階級の領域を表したものである。同図は、特定のＸ座標における隣接する行３６１、３６２及び３６３において隣接する領域３６０を表したものである。同図の行３６１、３６２及び３６３の網掛けハッチングの領域は、最大検出頻度のピークを含む領域３６５を表す。同図に表したように、領域３６５が連続する領域は、同一の構造物が存在する領域の可能性が高い。そこで、当該領域である線状領域の伸長方向に基づいて既出力画素領域を検出し、既出力ピークを取得する。この既出力ピークに基づいてピークを選択することにより、同一の構造物に対応するピークの欠落を防ぐことができる。
　［線状領域検出部の構成］
　図１４は、本開示の第３の実施形態に係る線状領域検出部の構成例を示す図である。同図の線状領域検出部１６０は、最大ピーク検出部１６１、１６２及び１６３と、差分検出部１６４及び１６５と、方向推定部１６６とを備える。
　最大ピーク検出部１６１乃至１６３は、図１３に表した最大検出頻度のピークを含む領域３６５を飛行時間ヒストグラム群の行毎に検出するものである。最大ピーク検出部１６１、１６２及び１６３は、隣接する行の領域について図１３の領域３６５を検出する。
　差分検出部１６４及び１６５は、最大ピーク検出部１６１、１６２及び１６３により検出された領域３６５のＺ軸方向の差分を検出するものである。差分検出部１６４は、最大ピーク検出部１６１及び１６２により検出された領域３６５の差分を検出し、検出結果を方向推定部１６６に対して出力する。差分検出部１６５は、最大ピーク検出部１６２及び１６３により検出された領域３６５の差分を検出し、検出結果を方向推定部１６６に対して出力する。
　方向推定部１６６は、差分検出部１６４及び１６５により検出された差分に基づいて線状領域の方向を推定するものである。例えば、Ｘ軸方向の差分が値２、Ｚ軸方向の差分が値２の場合には、線状領域の伸長方向を図１３における上方向と推定することができる。方向推定部１６６は、推定した方向を選択部１３１に対して出力する。
　この場合、選択部１３１は、線状領域の伸長方向の既出力画素領域を選択し、当該領域を既出力画素領域の既出力ピークを使用してピークの選択を更に行う。
　［情報処理方法］
　図１５は、本開示の第３の実施形態に係る情報処理の処理手順の一例を示す図である。同図は、図８と同様に、情報処理装置１００における情報処理方法の一例を表す流れ図である。同図の処理手順においては、ステップＳ１０４及びステップＳ１０６の間にステップＳ１１１の処理を行う。ステップＳ１１１において、線状領域検出部１６０は線状領域を検出する（ステップＳ１１１）。その後、ステップＳ１０７において、選択部１３１は、判定結果、既出力ピーク及び線状領域に基づいてピークの選択を行う（ステップＳ１０７）。これ以外の処理手順は図８の処理手順と同様であるため、説明を省略する。
　これ以外の情報処理装置１００の構成は本開示の第１の実施形態における情報処理装置１００の構成と同様であるため、説明を省略する。
　このように、本開示の第３の実施形態の情報処理装置１００は、判定結果、既出力ピーク及び検出した線状領域に基づいてピークの選択を行う。線状領域に基づいて既出力画素領域を選択するため、既出力ピークの絞り込みを行うことができる。
　なお、本開示の第２の実施形態の構成は、他の実施形態に適用することができる。具体的には、図９の環境光画像保持部１５０及び選択部１３１の構成は、本開示の第３の実施形態に適用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出するピーク検出部と、
　前記ピークに前記反射光に対応するピークが含まれるか否かを判定するピーク判定部と、
　前記ピーク判定部の判定結果及び従前に出力した既出力ピークに基づいて選択した前記ピークを測距データとして出力する出力部と
　を有する情報処理装置。
（２）
　前記ピーク検出部は、前記二次元状の画素アレイ部の画素領域毎の前記飛行時間ヒストグラムである飛行時間ヒストグラム群において前記画素領域毎に順次前記ピークを検出し、
　前記出力部は、前記画素領域毎に順次前記測距データを出力する
　前記（１）に記載の情報処理装置。
（３）
　前記出力部は、時系列のフレーム周期において生成される前記飛行時間ヒストグラム群における同一のフレームにおける他の前記画素領域において出力した前記ピークを前記既出力ピークとする前記（２）に記載の情報処理装置。
（４）
　前記出力部は、複数の前記階級の最大検出頻度の前記ピークが線状に連続する領域の前記ピークを前記既出力ピークとする前記（３）に記載の情報処理装置。
（５）
　前記出力部は、時系列のフレーム周期において生成される前記飛行時間ヒストグラム群における従前のフレームにおける前記画素領域において出力した前記ピークを前記既出力ピークとする前記（２）に記載の情報処理装置。
（６）
　前記飛行時間ヒストグラムに基づいて環境光の検出頻度である環境光頻度を検出する環境光検出部
　を更に有し、
　前記出力部は、前記環境光頻度に基づいて前記既出力ピークを更に選択する
　前記（２）から（５）に記載の情報処理装置。
（７）
　前記出力部は、前記環境光頻度が略等しい前記画素領域における前記既出力ピークを選択する前記（６）に記載の情報処理装置。
（８）
　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出することと、
　前記ピークに前記反射光に対応するピークが含まれるか否かを判定することと、
　前記判定の結果及び従前に出力した既出力ピークに基づいて前記ピークを選択することと、
　前記選択したピークを測距データとして出力することと
　を含む情報処理方法。
（９）
　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出するピーク検出手順と、
　前記ピークに前記反射光に対応するピークが含まれるか否かを判定する判定手順と、
　前記判定の結果及び従前に出力した既出力ピークに基づいて前記ピークを選択する選択手順と、
　前記選択したピークを測距データとして出力する出力手順と
　を含むプログラム。
　１　測距装置
　２　測距センサ
　３　プロセッサ
　４０　ヒストグラムデータ生成部
　１００　情報処理装置
　１１０　ピーク検出部
　１１１　環境光画像生成部
　１２０　ピーク判定部
　１３０　出力部
　１３１　選択部
　１４０　保持部
　１５０　環境光画像保持部
　１６０　線状領域検出部

Claims (9)

  1. 　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出するピーク検出部と、
    　前記ピークに前記反射光に対応するピークが含まれるか否かを判定するピーク判定部と、
    　前記ピーク判定部の判定結果及び従前に出力した既出力ピークに基づいて選択した前記ピークを測距データとして出力する出力部と
    　を有する情報処理装置。
  2. 　前記ピーク検出部は、前記二次元状の画素アレイ部の画素領域毎の前記飛行時間ヒストグラムである飛行時間ヒストグラム群において前記画素領域毎に順次前記ピークを検出し、
    　前記出力部は、前記画素領域毎に順次前記測距データを出力する
    　請求項１に記載の情報処理装置。
  3. 　前記出力部は、時系列のフレーム周期において生成される前記飛行時間ヒストグラム群における同一のフレームにおける他の前記画素領域において出力した前記ピークを前記既出力ピークとする請求項２に記載の情報処理装置。
  4. 　前記出力部は、複数の前記階級の最大検出頻度の前記ピークが線状に連続する領域の前記ピークを前記既出力ピークとする請求項３に記載の情報処理装置。
  5. 　前記出力部は、時系列のフレーム周期において生成される前記飛行時間ヒストグラム群における従前のフレームにおける前記画素領域において出力した前記ピークを前記既出力ピークとする請求項２に記載の情報処理装置。
  6. 　前記飛行時間ヒストグラムに基づいて環境光の検出頻度である環境光頻度を検出する環境光検出部
    　を更に有し、
    　前記出力部は、前記環境光頻度に基づいて前記既出力ピークを更に選択する
    　請求項２に記載の情報処理装置。
  7. 　前記出力部は、前記環境光頻度が略等しい前記画素領域における前記既出力ピークを選択する請求項６に記載の情報処理装置。
  8. 　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出することと、
    　前記ピークに前記反射光に対応するピークが含まれるか否かを判定することと、
    　前記判定の結果及び従前に出力した既出力ピークに基づいて前記ピークを選択することと、
    　前記選択したピークを測距データとして出力することと
    　を含む情報処理方法。
  9. 　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出するピーク検出手順と、
    　前記ピークに前記反射光に対応するピークが含まれるか否かを判定する判定手順と、
    　前記判定の結果及び従前に出力した既出力ピークに基づいて前記ピークを選択する選択手順と、
    　前記選択したピークを測距データとして出力する出力手順と
    　を含むプログラム。
PCT/JP2023/008306 2022-03-22 2023-03-06 情報処理装置、情報処理方法及びプログラム WO2023181881A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022045018 2022-03-22
JP2022-045018 2022-03-22

Publications (1)

Publication Number Publication Date
WO2023181881A1 true WO2023181881A1 (ja) 2023-09-28

Family

ID=88100613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008306 WO2023181881A1 (ja) 2022-03-22 2023-03-06 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023181881A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200233066A1 (en) * 2019-01-21 2020-07-23 Nxp B.V. Histogram-based signal detection with sub-regions corresponding to adaptive bin widths
JP2021001756A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置
JP2021128084A (ja) * 2020-02-14 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法
JP2021152536A (ja) * 2020-03-24 2021-09-30 株式会社デンソー 測距装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200233066A1 (en) * 2019-01-21 2020-07-23 Nxp B.V. Histogram-based signal detection with sub-regions corresponding to adaptive bin widths
JP2021001756A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置
JP2021128084A (ja) * 2020-02-14 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法
JP2021152536A (ja) * 2020-03-24 2021-09-30 株式会社デンソー 測距装置

Similar Documents

Publication Publication Date Title
JP6863342B2 (ja) 光測距装置
US10281565B2 (en) Distance measuring device and solid-state image sensor used therein
US11977156B2 (en) Optical distance measuring device
US9921312B2 (en) Three-dimensional measuring device and three-dimensional measuring method
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP6477083B2 (ja) 光学的測距装置
JP5206297B2 (ja) 光学式測距装置及び方法
JP4727388B2 (ja) 侵入検知装置
JP7477715B2 (ja) ライダセンサの光学的クロストークを測定するための方法、およびライダセンサ
JP2009192499A (ja) 距離画像生成装置
WO2016143482A1 (ja) 光学式検知装置
JP2019158737A (ja) 光検出装置、光検出方法および光学式測距センサ
US20220284543A1 (en) Signal processing apparatus and signal processing method
WO2023181881A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240061090A1 (en) Time-of-flight demodulation circuitry, time-of-flight demodulation method, time-of-flight imaging apparatus, time-of-flight imaging apparatus control method
JP6281942B2 (ja) レーザレーダ装置及び物体検出方法
US20230194666A1 (en) Object Reflectivity Estimation in a LIDAR System
WO2023176646A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113614566B (zh) 测距方法、测距装置以及程序记录介质
JP6912449B2 (ja) 測距装置を有する物体監視システム
US20230384436A1 (en) Distance measurement correction device, distance measurement correction method, and distance measurement device
US20240168161A1 (en) Ranging device, signal processing method thereof, and ranging system
US20240319376A1 (en) Signal processing apparatus, signal processing method, and program
WO2024192546A1 (zh) 一种探测方法以及相关装置
JP7471018B2 (ja) 光パルスランタイム法において後方散乱ヒストグラムデータを解析する方法及びデータ処理のための装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774480

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024509938

Country of ref document: JP

Kind code of ref document: A