[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023176646A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023176646A1
WO2023176646A1 PCT/JP2023/008917 JP2023008917W WO2023176646A1 WO 2023176646 A1 WO2023176646 A1 WO 2023176646A1 JP 2023008917 W JP2023008917 W JP 2023008917W WO 2023176646 A1 WO2023176646 A1 WO 2023176646A1
Authority
WO
WIPO (PCT)
Prior art keywords
peak
reflected light
time
flight
histogram
Prior art date
Application number
PCT/JP2023/008917
Other languages
English (en)
French (fr)
Inventor
昌俊 横川
裕大 櫻井
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023176646A1 publication Critical patent/WO2023176646A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a distance measuring device uses the ToF (Time of Flight) method, which measures the distance to an object by shining light on the object, detecting the reflected light reflected by the object, and measuring the flight time of the light. has been done.
  • ToF Time of Flight
  • a histogram in which the frequency of flight time detection is expressed as degrees is generated in the light receiving section that detects reflected light. This histogram data is transmitted to a subsequent processing section, and the distance is calculated in the processing section (for example, see Patent Document 1).
  • the above-mentioned conventional technology has a problem in that the amount of transmitted data increases because the histogram data is transmitted. Particularly, when the ranging range is wide, the amount of data in the histogram increases, making data transmission difficult.
  • the present disclosure proposes an information processing device, an information processing method, and a program that reduce distance measurement data and shorten transmission time.
  • the information processing device of the present disclosure includes a peak detection section, a reflected light peak determination section, and an output section.
  • the peak detection unit detects the detection frequency in a time-of-flight histogram that expresses the distribution of the flight time of the reflected light emitted from the light source and reflected from the subject and detected by the two-dimensional pixel array unit in terms of degrees and classes of detection frequency. Detect the peak of The reflected light peak determining unit determines whether the peaks include a reflected light peak corresponding to the reflected light.
  • the output unit outputs the reflected light peak as ranging data based on the determination that the peak includes one of the reflected light peaks, and outputs the reflected light peak as ranging data based on the determination that the peak includes a plurality of the reflected light peaks or the peak. Based on the determination that the reflected light peak is not included in the reflected light peak, a candidate area of the time-of-flight histogram that includes the reflected light peak candidate is output as ranging data.
  • the information processing method of the present disclosure includes a flight time that represents the distribution of the flight time of reflected light emitted from a light source and reflected from a subject and detected in a two-dimensional pixel array section in terms of degrees and classes of detection frequency. detecting a peak of the detection frequency in the histogram; determining whether the peak includes a reflected light peak corresponding to the reflected light; and determining whether the peak includes one reflected light peak.
  • the reflected light peak is output as ranging data based on the determination, and the reflected light peak is output based on the determination that the peak includes a plurality of the reflected light peaks or the peak does not include the reflected light peak.
  • the information processing method includes outputting candidate regions of the time-of-flight histogram including peak candidates as ranging data.
  • the program of the present disclosure also provides a time-of-flight histogram that represents the distribution of flight times of reflected light emitted from a light source and reflected from a subject and detected in a two-dimensional pixel array section in terms of degrees and classes of detection frequency.
  • a detection procedure for detecting a peak of the detection frequency a determination procedure for determining whether the peak includes a reflected light peak corresponding to the reflected light; and a determination procedure for determining whether the peak includes one reflected light peak.
  • the reflected light peak is output as ranging data based on the determination, and the reflected light peak is output based on the determination that the peak includes a plurality of the reflected light peaks or the peak does not include the reflected light peak.
  • This program includes an output procedure for outputting candidate regions of the time-of-flight histogram including peak candidates as ranging data.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a flight time data group according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating flight time data according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a time-of-flight histogram according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating flight time data according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example configuration of an information processing device according to a first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a peak detection section according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of peak detection according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of peak detection according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of detection of a reflected light peak according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of ranging data according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of ranging data according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of ranging data according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of an information processing method according to a first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of an information processing device according to a second embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure.
  • This figure is a block diagram showing an example of the configuration of the distance measuring device 1.
  • the distance measuring device 1 is a device that measures the distance to an object.
  • the distance measuring device 1 emits light to a target object, detects the light reflected by the target object, and measures the flight time, which is the time from the light output to the target object until the reflected light enters the target object. Measure the distance to an object.
  • the figure shows a case where the distance to an object 801 is measured.
  • the distance measuring device 1 irradiates a target object 801 with emitted light 802 and detects reflected light 803.
  • the distance measuring device 1 includes a distance measuring sensor 2 and a processor 3.
  • the distance sensor 2 measures the above-described flight time and generates distance data to the target object. Further, the distance measurement sensor 2 outputs distance data to the processor 3.
  • the processor 3 controls the distance measurement sensor 2 and detects the distance to the object based on the distance data output from the distance measurement sensor 2.
  • the distance to the object can be calculated from the flight time and the speed of light.
  • the processor 3 can be configured by a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the distance measurement sensor 2 includes a light source section 10, a light receiving section 20, a distance measurement control section 30, a histogram data generation section 40, and an information processing device 100.
  • the light source unit 10 emits emitted light (emitted light 802) to the target object.
  • emitted light 802 emitted light 802
  • a laser diode can be used as the light source section 10.
  • the light receiving unit 20 detects reflected light (reflected light 803) from an object.
  • the light receiving section 20 includes a pixel array section in which a plurality of light receiving pixels each having a light receiving element for detecting reflected light are arranged in a two-dimensional matrix shape.
  • a SPAD Single Photon Avalanche Diode
  • the light receiving section 20 generates an image signal based on the detected reflected light and outputs it to the histogram data generating section 40 .
  • the histogram data generation unit 40 generates a time-of-flight histogram based on the image signal from the light receiving unit 20.
  • This time-of-flight histogram is a histogram that expresses the distribution of the time-of-flight of reflected light emitted from a light source and reflected from a subject in terms of degrees and classes of detection frequency.
  • This time-of-flight histogram is formed by integrating the detection frequencies of a plurality of reflected lights accompanying the emission of a plurality of outgoing lights.
  • the light receiving section 20 described above includes light receiving pixels arranged in a two-dimensional matrix, and generates an image signal for each light receiving pixel.
  • the histogram data generation unit 40 generates a histogram for each two-dimensional matrix-shaped pixel region corresponding to these light-receiving pixels.
  • a plurality of time-of-flight histograms for each pixel region in the form of a two-dimensional matrix are referred to as a time-of-flight histogram group.
  • the histogram data generation unit 40 generates a time-of-flight histogram group based on the image signal from the light receiving unit 20 and outputs it to the information processing device 100.
  • the distance measurement control section 30 controls the light source section 10 and the light receiving section 20 to perform distance measurement.
  • the distance measurement control section 30 causes the light source section 10 to emit a laser beam, and notifies the light receiving section 20 of the timing of emission. Based on this notification, the light receiving unit 20 measures the flight time.
  • the information processing device 100 processes the flight time histogram group output from the histogram data generation unit 40.
  • the information processing device 100 performs preprocessing for distance measurement, and extracts a region of a class corresponding to the reflected light from the object from the time-of-flight histogram group and outputs it to the processor 3.
  • the flight time histograms included in the flight time histogram group include data based on light other than the reflected light from the object. By extracting a portion corresponding to the reflected light from the object from such a time-of-flight histogram and detecting the time of flight, accurate distance measurement can be performed.
  • the light other than the reflected light includes, for example, environmental light that is light based on sunlight or the like, and light that is diffusely reflected from the light source section 10 by an object other than the target object and enters the light receiving section 20.
  • the information processing device 100 extracts the area of reflected light from the object based on the reliability of the flight time in the flight time histogram. Specifically, the information processing apparatus 100 detects reliability based on the shape of the histogram. This highly reliable area is output to the processor 3 as a reflected light area representing the distance to the object. In this case, the processor 3 detects the distance to the object based on the area.
  • the information processing apparatus 100 narrows down the area of the histogram (candidate area) that includes candidates for the area of reflected light representing the distance to the target object.
  • the processor 3 further performs signal processing such as noise removal on the data output from the information processing device 100, and detects a region of reflected light representing distance.
  • FIG. 2A is a diagram illustrating an example of a flight time data group according to an embodiment of the present disclosure.
  • the flight time data group 300 in the figure includes a plurality of flight time data 310. Flight time data 310 included in this flight time data group 300 is arranged in chronological order. Furthermore, each pixel (pixel area 311) of the flight time data 310 stores the detection frequency of the corresponding class width (bins) of the flight time histogram.
  • the flight time data group 300 is three-dimensional data that extends in the X, Y, and Z directions representing depth.
  • FIG. 2B is a diagram illustrating flight time data according to the embodiment of the present disclosure.
  • the flight time data 310 stores data of a plurality of pixel regions.
  • the frequency of the class corresponding to the flight time data 310 of the histogram of the pixel in the light receiving section 20 corresponding to the pixel is stored.
  • the frequency of this class corresponds to the detection frequency of flight time.
  • FIG. 3A is a diagram illustrating an example of a time-of-flight histogram according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of a histogram generated by the light receiving section 20.
  • the histogram in the figure is a graph in which the frequency 312 of the detection frequency of the class width ⁇ d is arranged over the detection range of the flight time.
  • the horizontal axis in the figure represents the Z direction of the flight time data group 300 shown in FIG. 2A. This Z direction corresponds to the flight time.
  • a flight time histogram 313 represented by a curve is further shown.
  • the upwardly convex region is the region of the class in which reflected light or the like was detected. This convex region is called a peak.
  • FIG. 3B is a diagram illustrating flight time data according to the embodiment of the present disclosure.
  • This figure shows flight time data 310 extracted from flight time data group 300.
  • the detection frequency of one class of the flight time histogram 313 is stored in the pixel area 311 of the flight time data 310.
  • a plurality of such pixels are arranged in the X and Y directions.
  • time-of-flight data similar to the time-of-flight data 310 are arranged in time series in the depth direction to form a time-of-flight data group 300. For example, if the ranging range is 150 m and the resolution (class width) is 15 cm, 1000 pieces of data will exist in the Z-axis direction. This data is generated for each pixel. This data is generated for each pixel area.
  • the flight time data group 300 can also be regarded as a collection of flight time histograms 313 for each two-dimensional pixel region. This set of flight time histograms 313 corresponds to the aforementioned flight time histogram group.
  • the histogram data generation unit 40 in FIG. 1 generates a time-of-flight histogram in a time-series frame period and sequentially outputs the time-of-flight histogram.
  • the processor 3 processes such a group of time-of-flight histograms, the processing load on the processor 3 increases. Furthermore, the transmission time of the time-of-flight histogram group between the ranging sensor 2 and the processor 3 becomes longer. Therefore, preprocessing is performed by the information processing device 100 described above.
  • FIG. 4 is a diagram illustrating a configuration example of an information processing device according to the first embodiment of the present disclosure.
  • the figure is a block diagram showing a configuration example of the information processing device 100.
  • the information processing device 100 includes a peak detection section 110, a reflected light peak determination section 120, and an output section 130.
  • the peak detection unit 110 detects peaks from the time-of-flight histograms of the time-of-flight histogram group.
  • the peak detection section 110 detects a peak for each pixel region and outputs it to the reflected light peak determination section 120 and the output section 130.
  • the reflected light peak determination unit 120 determines whether the peak output from the peak detection unit 110 includes a reflected light peak corresponding to reflected light.
  • the reflected light peak determination section 120 outputs the determination result to the output section 130. Details of the detection of the reflected light peak will be described later.
  • the output unit 130 outputs distance measurement data based on the determination result of the reflected light peak determination unit 120.
  • the output unit 130 outputs the reflected light peak as distance measurement data based on the determination that the peak includes one reflected light peak, and outputs the reflected light peak as distance measurement data based on the determination that the peak includes multiple reflected light peaks or the reflected light peak in the peak.
  • the candidate area of the time-of-flight histogram that includes the reflected light peak candidate is output as distance measurement data.
  • the distance measurement data from the output unit 130 is transmitted to the processor 3 as an output of the information processing device 100. In this way, the output unit 130 selects data to be transmitted as ranging data depending on the state of detection of the reflected light peak.
  • FIG. 5 is a diagram illustrating a configuration example of a peak detection section according to an embodiment of the present disclosure. This figure is a block diagram showing a configuration example of the peak detection section 110.
  • the peak detection section 110 includes an ambient light image generation section 111, a noise level detection section 112, and a detection section 113.
  • the environmental light image generation unit 111 generates an environmental light image.
  • This environmental light image is an image based on the detection frequency of environmental light, and is an image based on the environmental light of each pixel area.
  • the component of the ambient light detection frequency in the flight time histogram becomes an error in flight time detection. Therefore, by detecting the detection frequency of environmental light and subtracting it from the flight time histogram, errors in flight time detection can be reduced.
  • the environmental light image generation unit 111 generates an environmental light image as the detection frequency of environmental light. This environmental light image can be generated by taking the average value of the detection frequency of the class for each pixel region.
  • the generated ambient light image is output to the noise level detection section 112 and the detection section 113.
  • the noise level detection unit 112 detects the noise level of the time-of-flight histogram.
  • This noise level detection section 112 detects a noise level based on the environmental light image and outputs it to the detection section 113.
  • the noise level of the time-of-flight histogram depends on the ambient light. Therefore, the relationship between the intensity of the environmental light and the noise level is measured in advance, and the measurement result is held in the noise level detection unit 112.
  • the noise level detection unit 112 can detect the noise level for each pixel region from the environmental light image based on this measurement result.
  • the detection unit 113 detects a peak from the time-of-flight histogram based on the detection frequency of environmental light.
  • the detection unit 113 in the figure detects a peak based on the environmental light image and the noise level.
  • the detection unit 113 outputs the detected peak to the reflected light peak determination unit 120. Detection of peaks by the detection unit 113 will be described later.
  • FIGS. 6A and 6B are diagrams illustrating an example of peak detection according to an embodiment of the present disclosure.
  • This figure is a diagram illustrating an example of peak detection by the detection unit 113 of the peak detection unit 110. Peak detection will be explained using the time-of-flight histogram 313 in the figure as an example.
  • the horizontal axis in the figure represents the Z axis.
  • FIG. 6A is a diagram showing the relationship between the flight time histogram 313 and the ambient light frequency based on the ambient light image. By subtracting the ambient light frequency from the time-of-flight histogram 313, the influence of ambient light can be removed.
  • FIG. 6B is a diagram showing the relationship between the flight time histogram 314 obtained by subtracting the ambient light frequency from the flight time histogram 313 and the noise level.
  • the detection unit 113 detects a region of the time-of-flight histogram 314 that exceeds the noise level as a peak. In the figure, regions 331 and 332 are peaks. The detection unit 113 extracts and outputs regions of classes 331 and 332 as peaks.
  • FIG. 6C is a diagram illustrating an example of determining the reflected light peak according to the embodiment of the present disclosure. This figure is a diagram illustrating an example of determination of a reflected light peak by the reflected light peak determining section 120.
  • the reflected light peak determination unit 120 includes a counter that counts the class width, and detects the width of the input peak. Further, the reflected light peak determination unit 120 detects the maximum value of the input peak detection frequency.
  • the reflected light peak determination unit 120 determines the reflected light peak based on the respective thresholds of the detection frequency and width of the peak.
  • “H” and “W” represent the maximum detection frequency (height) and width of the peak, respectively. If both of these exceed the threshold, the peak is determined to be a reflected light peak. This is because such a peak (region 331) is highly likely to be a class corresponding to reflected light and has a high degree of reliability.
  • the reflected light peak determination unit 120 recognizes the reliability of a peak with a shape that exceeds either the detection frequency or width threshold as medium reliability, and the reliability of the peak that exceeds either the detection frequency or width threshold. Identify peaks in the shape as having low confidence.
  • the two-dot chain line in the figure represents the detection frequency threshold.
  • the reflected light peak determination unit 120 determines that the peak (area 332) whose maximum detection frequency is smaller than this detection frequency threshold value does not correspond to a reflected light peak, and deletes the peak.
  • [Distance data] 7A, 7B, and 7C are diagrams illustrating examples of ranging data according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of ranging data outputted to the processor 3 by the output unit 130.
  • the figure represents a simplified time-of-flight histogram, and the horizontal axis of the figure represents the Z-axis. Note that "Zmax" of the flight time histogram in the figure represents the end (farthest part) of the flight time histogram.
  • FIG. 7A shows an example in which the reflected light peak determination unit 120 determines that one reflected light peak (region 331) is included in the peaks from the peak detection unit 161.
  • the output unit 130 determines that the area is distance measurement data representing the flight time to the target object, and outputs only the data of the class of the area 331. This is because there is a high possibility that the peak is a detected peak of reflected light on an optical path that is not interfered with by objects other than the target object 801, such as the emitted light 802 and reflected light 803 in FIG.
  • the reflected light peak determination unit 120 outputs, for example, data of a predetermined range of classes including the class of peaks in the region 331, and causes the data to be transmitted to the processor 3. For example, the value "60" can be applied to this predetermined range. Note that the output unit 130 can also output the maximum detection frequency of the region 331.
  • FIG. 7B shows an example in which the reflected light peak determining unit 120 determines that the peak from the peak detecting unit 161 includes a plurality of reflected light peaks (area 331).
  • the output unit 130 outputs the region 333, which is the plurality of regions 331, as ranging data including reflected light peak candidates.
  • the first region 331 is a peak based on reflected light
  • the subsequent region 331 is a ghost caused by multipath or the like.
  • the reflected light peak determination unit 120 outputs a plurality of regions 331 as candidate regions, and leaves the subsequent processor 3 to determine which of these is a peak based on reflected light.
  • the output unit 130 collectively outputs candidate regions of a predetermined range of classes (for example, 60 classes) for each region 331 as ranging data. Note that the output unit 130 can extract and output a predetermined number of reflected light peaks from the beginning among the plurality of reflected light peaks. For example, the value "5" can be applied to this predetermined number.
  • FIG. 7C shows an example in which the reflected light peak determination section 120 determines that the reflected light peak is not included in the peak from the peak detection section 161.
  • the output unit 130 sets the region 334 of the latter class of the time-of-flight histogram as a candidate region, and outputs this candidate region as ranging data.
  • the peak based on the reflected light is buried in noise or the like. Therefore, a wide range of classes in the time-of-flight histogram is output as distance measurement data, and is left to signal processing such as noise removal by the processor 3 at the subsequent stage.
  • the first part of the time-of-flight histogram is a region where the intensity of reflected light is relatively high, so the signal-to-noise ratio (S/N) is relatively high. For this reason, it is thought that the signal of the reflected light will not be buried in noise in the front stage portion.
  • the intensity of the reflected light is low in the later stages of the time-of-flight histogram, and there is a high possibility that the signal of the reflected light will be buried in noise. That is, in such a time-of-flight histogram, there is a high possibility that the component of the reflected light from the object is included in the later stage, so the class of the time-of-flight histogram in the later stage is output.
  • the output unit 130 selects and outputs distance measurement data according to the reflected light peak determination result in the reflected light peak determination unit 120. This corresponds to selection of a transmission method (transmission mode) for ranging data. If the reliability is high, such as when it is determined that one reflected light peak is included, the output unit 130 selects and outputs only that reflected light peak. Further, when it is determined that a plurality of reflected light peaks are included, the output unit 130 selects and outputs only the class of the plurality of reflected light peaks.
  • the output unit 130 broadly detects and outputs a region of the time-of-flight histogram that is likely to include a region of the class based on the reflected light. Thereby, the amount of transmitted data can be reduced compared to the case where all flight time histogram data is transmitted.
  • the output unit 130 can also output information on the transmission method. By outputting this information on the transmission method to the processor 3, it is possible to notify the processor 3 of the size of the distance measurement data to be output. This allows optimization of data transmission time.
  • FIG. 8 is a diagram illustrating an example of an information processing method according to the first embodiment of the present disclosure.
  • the figure is a flowchart illustrating an example of an information processing method in the information processing apparatus 100.
  • the environmental light image generation unit 111 generates an environmental light image from the flight time histogram group (step S100).
  • the noise level detection unit 112 detects the noise level from the environmental light image (step S101).
  • the information processing apparatus 100 selects a pixel region of the time-of-flight histogram group (step S102).
  • the peak detection unit 110 detects the peak of the time-of-flight histogram in the selected pixel region (step S103).
  • the reflected light peak determining unit 120 determines whether the peak includes a reflected light peak (step S104).
  • the output unit 130 selects a transmission method (step S105) and outputs distance measurement data (step S106).
  • the information processing device 100 determines whether output of ranging data has been completed for all pixel regions (step S107). If the output of distance measurement data has not been completed for all pixel areas (step S107, No), the information processing device 100 moves to step S102 and selects another pixel area. On the other hand, if the output of distance measurement data has been completed for all pixel regions (step S107, Yes), the information processing device 100 ends the process.
  • step S103 is an example of a peak detection procedure.
  • Step S104 is an example of a peak determination procedure.
  • Step S106 is an example of an output procedure.
  • the information processing device 100 detects the reflected light peak in the time-of-flight histogram, selects and transmits the format of distance measurement data according to the detection result. This makes it possible to reduce the amount of ranging data.
  • the information processing device 100 of the first embodiment described above outputs distance measurement data.
  • the information processing apparatus 100 according to the second embodiment of the present disclosure differs from the above-described first embodiment in that distance measurement data is compressed.
  • FIG. 9 is a diagram illustrating a configuration example of an information processing device according to a second embodiment of the present disclosure.
  • This figure like FIG. 4, is a block diagram showing a configuration example of the information processing device 100.
  • the information processing apparatus 100 in the figure differs from the information processing apparatus 100 in FIG. 4 in that it further includes a compression section 140.
  • the compression unit 140 compresses the distance measurement data from the output unit 130.
  • the distance measurement data can be compressed, for example, by extracting a change in a predetermined detection frequency with respect to an offset value to generate a relative value. It is also possible to compress the time-of-flight histogram by downsampling it.
  • the compression unit 140 outputs the compressed ranging data to the processor 3.
  • the rest of the configuration of the distance measurement device 1 is the same as the configuration of the distance measurement device 1 in the first embodiment of the present disclosure, so the description will be omitted.
  • the information processing device 100 can further reduce the amount of distance measurement data by compressing and transmitting the distance measurement data.
  • a peak detection section that detects a reflected light peak determination unit that determines whether the peak includes a reflected light peak corresponding to the reflected light;
  • the reflected light peak is output as distance measurement data based on the determination that the peak includes one reflected light peak, and the reflected light peak is determined to include a plurality of the reflected light peaks in the peak, or the reflected light peak is determined to be included in the peak.
  • an output unit that outputs a candidate area of the time-of-flight histogram that includes the reflected light peak candidate as ranging data based on a determination that the peak is not included.
  • the reflected light peak determination unit detects the reflected light peak based on the maximum detection frequency at the peak and the width of the peak.
  • the output unit outputs a predetermined number of reflected light peaks among the plurality of detected reflected light peaks as a candidate area of the time-of-flight histogram including the reflected light peak candidates.
  • An information processing method comprising: outputting a candidate area of the time-of-flight histogram including the reflected light peak candidate as distance measurement data based on a determination that no peak is included.
  • At least one peak of the detection frequency in a time-of-flight histogram representing the distribution of the flight time of the reflected light emitted from the light source and reflected from the subject and detected by the two-dimensional pixel array section in terms of degrees and classes of detection frequency.
  • a peak detection procedure for detecting a reflected light peak determination procedure for determining whether the peak includes a reflected light peak corresponding to the reflected light;
  • the reflected light peak is output as distance measurement data based on the determination that the peak includes one reflected light peak, and the reflected light peak is determined to include a plurality of the reflected light peaks in the peak, or the reflected light peak is determined to be included in the peak. and outputting a candidate area of the time-of-flight histogram that includes the reflected light peak candidate as ranging data based on a determination that the peak is not included.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

データ量を削減する。情報処理装置（１００）は、ピーク検出部（１１０）と、反射光ピーク判定部（１２０）と、出力部（１３０）とを有する。ピーク検出部（１１０）は、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける検出頻度の少なくとも１つのピークを検出する。反射光ピーク判定部（１２０）は、ピークに反射光に対応する反射光ピークが含まれるか否かを判定する。出力部（１３０）は、ピークに反射光ピークが１つ含まれるという判定に基づいて反射光ピークを測距データとして出力し、ピークに複数の反射光ピークが含まれるという判定またはピークに反射光ピークが含まれないという判定に基づいて反射光ピークの候補を含む飛行時間ヒストグラムの候補領域を測距データとして出力する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　対象物に光を照射して対象物により反射された反射光を検出し、光の飛行時間を測定することにより対象物までの距離を測定するＴｏＦ（Time　of　Flight）法による測距装置が使用されている。この測距装置では、反射光を検出する受光部において飛行時間の検出頻度を度数とするヒストグラムが生成される。このヒストグラムのデータが後段の処理部に伝送され、処理部において距離が算出される（例えば、特許文献１参照）。
特開２０２１－０３８９４１号公報
　しかしながら、上記の従来技術では、ヒストグラムのデータを伝送するため、伝送データ量が増加するという問題がある。特に、測距範囲が広い場合にヒストグラムのデータ量が増大してデータの伝送が困難になるという問題がある。
　そこで、本開示では、測距データを削減して伝送時間を短縮する情報処理装置、情報処理方法及びプログラムを提案する。
　本開示の情報処理装置は、ピーク検出部と、反射光ピーク判定部と、出力部とを有する。ピーク検出部は、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける上記検出頻度のピークを検出する。反射光ピーク判定部は、上記ピークに上記反射光に対応する反射光ピークが含まれるか否かを判定する。出力部は、上記ピークに上記反射光ピークが１つ含まれるという判定に基づいて上記反射光ピークを測距データとして出力し、上記ピークに複数の上記反射光ピークが含まれるという判定または上記ピークに上記反射光ピークが含まれないという判定に基づいて上記反射光ピークの候補を含む上記飛行時間ヒストグラムの候補領域を測距データとして出力する。
　また、本開示の情報処理方法は、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける上記検出頻度のピークを検出することと、上記ピークに上記反射光に対応する反射光ピークが含まれるか否かを判定することと、上記ピークに上記反射光ピークが１つ含まれるという判定に基づいて上記反射光ピークを測距データとして出力し、上記ピークに複数の上記反射光ピークが含まれるという判定または上記ピークに上記反射光ピークが含まれないという判定に基づいて上記反射光ピークの候補を含む上記飛行時間ヒストグラムの候補領域を測距データとして出力することとを含む情報処理方法である。
　また、本開示のプログラムは、光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける上記検出頻度のピークを検出する検出手順と、上記ピークに上記反射光に対応する反射光ピークが含まれるか否かを判定する判定手順と、上記ピークに上記反射光ピークが１つ含まれるという判定に基づいて上記反射光ピークを測距データとして出力し、上記ピークに複数の上記反射光ピークが含まれるという判定または上記ピークに上記反射光ピークが含まれないという判定に基づいて上記反射光ピークの候補を含む上記飛行時間ヒストグラムの候補領域を測距データとして出力する出力手順とを含むプログラムである。
本開示の実施形態に係る測距装置の構成例を示す図である。 本開示の実施形態に係る飛行時間データ群の一例を示す図である。 本開示の実施形態に係る飛行時間データを説明する図である。 本開示の実施形態に係る飛行時間ヒストグラムの一例を示す図である。 本開示の実施形態に係る飛行時間データを説明する図である。 本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係るピーク検出部の構成例を示す図である。 本開示の実施形態に係るピーク検出の一例を示す図である。 本開示の実施形態に係るピーク検出の一例を示す図である。 本開示の実施形態に係る反射光ピークの検出の一例を示す図である。 本開示の実施形態に係る測距データの一例を示す図である。 本開示の実施形態に係る測距データの一例を示す図である。 本開示の実施形態に係る測距データの一例を示す図である。 本開示の第１の実施形態に係る情報処理方法の一例を示す図である。 本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
　（１．第１の実施形態）
　［測距装置の構成］
　図１は、本開示の実施形態に係る測距装置の構成例を示す図である。同図は、測距装置１の構成例を表すブロック図である。測距装置１は、対象物までの距離を測定する装置である。測距装置１は、対象物に光を出射して対象物により反射された光を検出し、対象物への光の出射から反射光の入射までの時間である飛行時間を計時することにより、対象物までの距離を測定する。同図は、対象物８０１までの距離を測定する場合を表したものである。同図において、測距装置１は、対象物８０１に出射光８０２を照射し、反射光８０３を検出する。
　測距装置１は、測距センサ２及びプロセッサ３を備える。測距センサ２は、上述の飛行時間を測定して対象物までの距離データを生成するものである。また、測距センサ２は、距離データをプロセッサ３に対して出力する。
　プロセッサ３は、測距センサ２を制御するとともに測距センサ２から出力される距離データに基づいて対象物までの距離を検出するものである。対象物までの距離は、飛行時間及び光速から算出することができる。プロセッサ３は、ＣＰＵ（Central　Processing　Unit）やＤＳＰ（Digital　Signal　Processor）により構成することができる。
　測距センサ２は、光源部１０と、受光部２０と、測距制御部３０と、ヒストグラムデータ生成部４０と、情報処理装置１００とを備える。
　光源部１０は、対象物に出射光（出射光８０２）を出射するものである。この光源部１０には、例えば、レーザダイオードを使用することができる。
　受光部２０は、対象物からの反射光（反射光８０３）を検出するものである。この受光部２０は、反射光を検出する受光素子を有する複数の受光画素が２次元行列形状に配置された画素アレイ部を備える。この受光素子には、ＳＰＡＤ（Single　Photon　Avalanche　Diode）を使用することができる。また、受光部２０は、検出した反射光に基づいて画像信号を生成し、ヒストグラムデータ生成部４０に対して出力する。
　ヒストグラムデータ生成部４０は、受光部２０から画像信号に基づいて飛行時間ヒストグラムを生成するものである。この飛行時間ヒストグラムは、光源から出射されて被写体から反射された反射光の飛行時間の分布を検出頻度の度数及び階級で表すヒストグラムである。この飛行時間ヒストグラムは、複数の出射光の出射に伴う複数の反射光の検出頻度を積算することにより形成される。上述の受光部２０は、２次元行列状に配置された受光画素を備え、受光画素毎に画像信号を生成する。ヒストグラムデータ生成部４０は、これらの受光画素に対応する２次元行列状の画素領域毎にヒストグラムを生成する。この２次元行列状の画素領域毎の複数の飛行時間ヒストグラムを飛行時間ヒストグラム群と称する。ヒストグラムデータ生成部４０は、受光部２０から画像信号に基づいて飛行時間ヒストグラム群を生成し、情報処理装置１００に対して出力する。
　測距制御部３０は、光源部１０及び受光部２０を制御して測距を行わせるものである。この測距制御部３０は、光源部１０にレーザ光を出射させるとともに、出射のタイミングを受光部２０に対して通知する。この通知に基づいて受光部２０は、飛行時間を測定する。
　情報処理装置１００は、ヒストグラムデータ生成部４０から出力された飛行時間ヒストグラム群を処理するものである。この情報処理装置１００は、距離測定の前処理を行うものであり、対象物からの反射光に対応する階級の領域を飛行時間ヒストグラム群から抽出してプロセッサ３に対して出力するものである。
　飛行時間ヒストグラム群に含まれる飛行時間ヒストグラムには対象物からの反射光以外の光に基づくデータが含まれる。このような飛行時間ヒストグラムから対象物から反射光に対応する部分を抽出して飛行時間を検出することにより、正確な距離の測定を行うことができる。なお、反射光以外の光には、例えば、太陽光等に基づく光である環境光や光源部１０からの光が対象物以外の物体により乱反射されて受光部２０に入射する光が該当する。
　情報処理装置１００は、上述の前処理として、飛行時間ヒストグラムにおける飛行時間の信頼性に基づいて対象物からの反射光の領域を抽出する。具体的には、情報処理装置１００は、ヒストグラムの形状に基づいて信頼度を検出する。この信頼度の高い領域を対象物までの距離を表す反射光の領域としてプロセッサ３に対して出力する。この場合、プロセッサ３は、当該領域に基づいて対象物までの距離を検出する。
　また、情報処理装置１００は、対象物までの距離を表す反射光の領域の絞り込みができない場合には、対象物までの距離を表す反射光の領域の候補を含むヒストグラムの領域（候補領域）をプロセッサ３に対して出力する。この場合、プロセッサ３は、情報処理装置１００から出力されるデータに対してノイズ除去等の信号処理を更に行い、距離を表す反射光の領域の検出を行う。
　［飛行時間データ群の構成］
　図２Ａは、本開示の実施形態に係る飛行時間データ群の一例を示す図である。同図の飛行時間データ群３００は、複数の飛行時間データ３１０を有する。この飛行時間データ群３００に含まれる飛行時間データ３１０は、時系列に配置される。また、それぞれの飛行時間データ３１０の画素（画素領域３１１）には、飛行時間ヒストグラムの対応する階級幅（ビン：bins）の検出頻度が格納される。飛行時間データ群３００は、Ｘ、Ｙ及び奥行を表すＺ方向に広がりを持つ３次元データである。
　図２Ｂは、本開示の実施形態に係る飛行時間データを説明する図である。飛行時間データ３１０には、複数の画素領域のデータが格納される。同図の画素領域３１１には、当該画素に対応する受光部２０における画素のヒストグラムの当該飛行時間データ３１０に対応する階級の頻度が格納される。この階級の頻度は、飛行時間の検出頻度に該当する。
　［飛行時間ヒストグラムの構成］
　図３Ａは、本開示の実施形態に係る飛行時間ヒストグラムの一例を示す図である。同図は、受光部２０が生成するヒストグラムの一例を表す図である。同図のヒストグラムは、階級幅Δｄの検出頻度の度数３１２が飛行時間の検出範囲に亘って配置されたグラフである。同図の横軸は、図２Ａに表した飛行時間データ群３００のＺ方向を表す。このＺ方向は、飛行時間に相当する。また、同図には、曲線により表した飛行時間ヒストグラム３１３を更に記載した。同図の飛行時間ヒストグラム３１３において上に凸の形状の領域は、反射光等を検出した階級の領域となる。この凸形状の領域をピークと称する。
　図３Ｂは、本開示の実施形態に係る飛行時間データを説明する図である。同図は、飛行時間データ群３００のうちの飛行時間データ３１０を抜き出して記載したものである。飛行時間データ３１０の画素領域３１１に、飛行時間ヒストグラム３１３の１つの階級の検出頻度が格納される。このような画素がＸ及びＹ方向に複数配置される。また、飛行時間データ３１０と同様の飛行時間データが奥行き方向に時系列に配置されて飛行時間データ群３００が構成される。例えば、測距範囲が１５０ｍ及び分解能（階級幅）が１５ｃｍの場合、Ｚ軸方向に１０００個のデータが存在することとなる。このデータが画素毎に生成される。このデータが画素領域毎に生成される。飛行時間データ群３００は、二次元状の画素領域毎の飛行時間ヒストグラム３１３の集合と捉えることもできる。この飛行時間ヒストグラム３１３の集合は前述の飛行時間ヒストグラム群に該当する。図１のヒストグラムデータ生成部４０は、時系列のフレーム周期において飛行時間ヒストグラムを生成し、順次出力する。
　このような飛行時間ヒストグラム群をプロセッサ３が処理する場合には、プロセッサ３における処理負担が増大する。また、測距センサ２及びプロセッサ３の間の飛行時間ヒストグラム群の伝送時間が長くなる。そこで、前述の情報処理装置１００により前処理を行う。
　［情報処理装置の構成］
　図４は、本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。同図は、情報処理装置１００の構成例を表すブロック図である。情報処理装置１００は、ピーク検出部１１０と、反射光ピーク判定部１２０と、出力部１３０とを備える。
　ピーク検出部１１０は、飛行時間ヒストグラム群の飛行時間ヒストグラムからピークを検出するものである。このピーク検出部１１０は、画素領域毎にピークを検出し、反射光ピーク判定部１２０及び出力部１３０に対して出力する。
　反射光ピーク判定部１２０は、ピーク検出部１１０より出力されたピークに反射光に対応する反射光ピークが含まれるか否かを判定するものである。反射光ピーク判定部１２０は、判定結果を出力部１３０に対して出力する。反射光ピークの検出の詳細については後述する。
　出力部１３０は、反射光ピーク判定部１２０の判定結果に基づいて測距データを出力するものである。この出力部１３０は、ピークに反射光ピークが１つ含まれるという判定に基づいて反射光ピークを測距データとして出力し、ピークに複数の反射光ピークが含まれるという判定またはピークに反射光ピークが含まれないという判定に基づいて反射光ピークの候補を含む飛行時間ヒストグラムの候補領域を測距データとして出力する。出力部１３０からの測距データは、情報処理装置１００の出力としてプロセッサ３に伝送される。このように、出力部１３０は、反射光ピークの検出の状態に応じて測距データとして伝送させるデータを選択する。
　［ピーク検出部の構成］
　図５は、本開示の実施形態に係るピーク検出部の構成例を示す図である。同図は、ピーク検出部１１０の構成例を表すブロック図である。ピーク検出部１１０は、環境光画像生成部１１１と、ノイズレベル検出部１１２と、検出部１１３とを備える。
　環境光画像生成部１１１は、環境光画像を生成するものである。この環境光画像は、環境光の検出頻度に基づく画像であり、画素領域毎の環境光に基づく画像である。飛行時間ヒストグラムのうち環境光の検出頻度の成分は、飛行時間検出の誤差となる。そこで、環境光の検出頻度を検出し、飛行時間ヒストグラムから減算することにより、飛行時間検出の誤差を低減することができる。環境光画像生成部１１１は、環境光の検出頻度として環境光画像を生成する。この環境光画像は、画素領域毎に階級の検出頻度の平均値を取ることにより生成することができる。生成された環境光画像は、ノイズレベル検出部１１２及び検出部１１３に対して出力される。
　ノイズレベル検出部１１２は、飛行時間ヒストグラムのノイズレベルを検出するものである。このノイズレベル検出部１１２は、環境光画像に基づいてノイズレベルを検出し、検出部１１３に対して出力する。飛行時間ヒストグラムのノイズレベルは、環境光に依存する。そこで、環境光の強度とノイズレベルとの関係を事前に計測し、計測結果をノイズレベル検出部１１２に保持させる。ノイズレベル検出部１１２は、この計測結果に基づいて環境光画像から画素領域毎のノイズレベルを検出することができる。
　検出部１１３は、環境光の検出頻度に基づいて飛行時間ヒストグラムからピークを検出するものである。同図の検出部１１３は、環境光画像及びノイズレベルに基づいてピークを検出する。検出部１１３は、検出したピークを反射光ピーク判定部１２０に対して出力する。検出部１１３によるピークの検出については後述する。
　［ピーク及び反射光ピークの検出］
　図６Ａ及び６Ｂは、本開示の実施形態に係るピーク検出の一例を示す図である。同図は、ピーク検出部１１０の検出部１１３におけるピークの検出の一例を表す図である。同図の飛行時間ヒストグラム３１３を例に挙げて、ピークの検出を説明する。同図の横軸はＺ軸を表す。
　図６Ａは、飛行時間ヒストグラム３１３と環境光画像に基づく環境光頻度の関係を表す図である。飛行時間ヒストグラム３１３から環境光頻度を減算することにより、環境光の影響を除去することができる。
　図６Ｂは、飛行時間ヒストグラム３１３から環境光頻度を減算した飛行時間ヒストグラム３１４とノイズレベルとの関係を表す図である。検出部１１３は、飛行時間ヒストグラム３１４のうちのノイズレベルを超える領域をピークとして検出する。同図においては、領域３３１及び３３２がピークとなる。検出部１１３は、領域３３１及び３３２の階級の領域をピークとして抜き出して出力する。
　図６Ｃは、本開示の実施形態に係る反射光ピークの判定の一例を示す図である。同図は、反射光ピーク判定部１２０における反射光ピークの判定の一例を表す図である。反射光ピーク判定部１２０は、階級幅を計数するカウンタを備え、入力されたピークの幅を検出する。また、反射光ピーク判定部１２０は、入力されたピークの検出頻度の最大値を検出する。
　次に、反射光ピーク判定部１２０は、ピークの検出頻度及び幅のそれぞれの閾値に基づいて反射光ピークを判定する。同図の領域３３１において「Ｈ」及び「Ｗ」は、それぞれピークの最大検出頻度（高さ）及び幅を表す。これらの両方が閾値を超える場合に当該ピークを反射光ピークと判定する。このようなピーク（領域３３１）は、反射光に対応する階級の可能性が高く、信頼度が高いためである。
　これに対し、反射光ピーク判定部１２０は、検出頻度及び幅の閾値の何れか一方を超える形状のピークの信頼度を中程度の信頼度と認定し、検出頻度及び幅の閾値の両方を下回る形状のピークを低い信頼度と認定する。同図の二点鎖線は検出頻度の閾値を表したものである。反射光ピーク判定部１２０は、この検出頻度の閾値よりも最大検出頻度が小さいピーク（領域３３２）を反射光ピークに該当しないと判定して削除する。
　［測距データ］
　図７Ａ、７Ｂ及び７Ｃは、本開示の実施形態に係る測距データの一例を示す図である。同図は、出力部１３０によりプロセッサ３に出力される測距データの一例を表す図である。同図は、簡略化した飛行時間ヒストグラムを表し、同図の横軸はＺ軸を表す。なお、同図の飛行時間ヒストグラムの「Ｚｍａｘ」は、飛行時間ヒストグラムの終端（最遠部）を表す。
　図７Ａは、反射光ピーク判定部１２０がピーク検出部１６１からのピークに１つの反射光ピーク（領域３３１）が含まれると判定した場合の例を表す。この場合、出力部１３０は、当該領域を対象物までの飛行時間を表す測距データであると判断し、領域３３１の階級のデータのみを出力する。図１の出射光８０２及び反射光８０３のように対象物８０１以外の物体に干渉されない光路の反射光を検出したピークである可能性が高いためである。反射光ピーク判定部１２０は、例えば、領域３３１の内のピークの階級を含む所定の範囲の階級のデータを出力し、プロセッサ３に伝送させる。この所定の範囲には、例えば値「６０」を適用することができる。なお、出力部１３０は、領域３３１の最大検出頻度を出力することもできる。
　図７Ｂは、反射光ピーク判定部１２０がピーク検出部１６１からのピークに複数の反射光ピーク（領域３３１）が含まれると判定した場合の例を表す。この場合、出力部１３０は、これら複数の領域３３１である領域３３３を反射光ピークの候補を含む測距データとして出力する。このような場合、例えば先頭の領域３３１が反射光に基づくピークであり、後に続く領域３３１がマルチパス等により生じたゴーストである可能性が高くなる。反射光ピーク判定部１２０は、複数の領域３３１を候補領域として出力し、これらの何れが反射光に基づくピークであるかの判断を後段のプロセッサ３に委ねる。出力部１３０は、これらの領域３３１毎の所定の範囲の階級（例えば、６０階級）の候補領域をまとめて測距データとして出力する。なお、出力部１３０は、複数の反射光ピークのうち先頭から所定の個数の反射光ピークを抽出して出力することができる。この所定の個数には、例えば、値「５」を適用することができる。
　図７Ｃは、反射光ピーク判定部１２０がピーク検出部１６１からのピークに反射光ピークが含まれないと判定した場合の例を表す。この場合、出力部１３０は、飛行時間ヒストグラムの後段の階級の領域３３４を候補領域とし、この候補領域を測距データとして出力する。このような場合、反射光に基づくピークは、ノイズ等に埋もれている可能性が高くなる。そこで、飛行時間ヒストグラムの広い範囲の階級を測距データとして出力し、後段のプロセッサ３によるノイズ除去等の信号処理に委ねるものである。
　なお、飛行時間ヒストグラムのうち前段部分は反射光の強度が比較的高い領域であるため、信号対ノイズ比（Ｓ／Ｎ）が比較的高くなる。このため、前段部分において反射光の信号がノイズに埋もれる状態になることはないと考えられる。これに対し、飛行時間ヒストグラムの後段は反射光の強度が低く、反射光の信号がノイズに埋もれる可能性が高くなる。すなわち、このような飛行時間ヒストグラムにおいては、後段に対象物からの反射光の成分が含まれる可能性が高いため、後段の飛行時間ヒストグラムの階級を出力する。
　このように、出力部１３０は、反射光ピーク判定部１２０における反射光ピークの判定結果に応じて測距データを選択し、出力する。これは、測距データの伝送方式（伝送モード）の選択に相当する。１つの反射光ピークが含まれると判定される場合のように信頼度が高い場合には、出力部１３０は、当該反射光ピークのみを選択して出力する。また、複数の反射光ピークが含まれると判定される場合には、出力部１３０は、当該複数の反射光ピークの階級のみを選択して出力する。さらに、反射光ピークが含まれないと判定される場合には、出力部１３０は、反射光に基づく階級の領域を含む可能性が高い飛行時間ヒストグラムの領域を広く検出して出力する。これにより、全ての飛行時間ヒストグラムのデータを送信する場合と比較して、伝送データ量を削減することができる。
　また、出力部１３０は、測距データを出力する際、伝送方式の情報を更に出力することもできる。この伝送方式の情報をプロセッサ３に出力することにより、出力される測距データのサイズをプロセッサ３に通知することができる。これにより、データ伝送時間の最適化が可能となる。
　［情報処理方法］
　図８は、本開示の第１の実施形態に係る情報処理方法の一例を示す図である。同図は、情報処理装置１００における情報処理方法の一例を表す流れ図である。まず、環境光画像生成部１１１が飛行時間ヒストグラム群から環境光画像を生成する（ステップＳ１００）。次に、ノイズレベル検出部１１２が環境光画像からノイズレベルを検出する（ステップＳ１０１）。次に、情報処理装置１００は、飛行時間ヒストグラム群の画素領域を選択する（ステップＳ１０２）。次に、ピーク検出部１１０が選択された画素領域における飛行時間ヒストグラムのピークを検出する（ステップＳ１０３）。次に、反射光ピーク判定部１２０がピークに反射光ピークが含まれるか否かを判定する（ステップＳ１０４）。次に、出力部１３０が伝送方式を選択し（ステップＳ１０５）、測距データを出力する（ステップＳ１０６）。
　次に、情報処理装置１００は、全ての画素領域について測距データの出力が終了したかを判断する（ステップＳ１０７）。全ての画素領域について測距データの出力が終了していない場合には（ステップＳ１０７，Ｎｏ）、情報処理装置１００は、ステップＳ１０２に移行し、他の画素領域を選択する。一方、全ての画素領域について測距データの出力が終了している場合には（ステップＳ１０７，Ｙｅｓ）、情報処理装置１００は、処理を終了する。
　なお、ステップＳ１０３は、ピーク検出手順の一例である。ステップＳ１０４は、ピーク判定手順の一例である。ステップＳ１０６は、出力手順の一例である。
　このように、本開示の第１の実施形態の情報処理装置１００は、飛行時間ヒストグラムにおいて反射光ピークの検出を行い、検出結果に応じて測距データの形式を選択して伝送する。これにより、測距データのデータ量を削減することができる。
　（２．第２の実施形態）
　上述の第１の実施形態の情報処理装置１００は、測距データを出力していた。これに対し、本開示の第２の実施形態の情報処理装置１００は、測距データを圧縮する点で、上述の第１の実施形態と異なる。
　［撮像装置の構成］
　図９は、本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。同図は、図４と同様に、情報処理装置１００の構成例を表すブロック図である。同図の情報処理装置１００は、圧縮部１４０を更に備える点で、図４の情報処理装置１００と異なる。
　圧縮部１４０は、出力部１３０からの測距データを圧縮するものである。測距データの圧縮は、例えば、所定の検出頻度のオフセット値に対する変化分を抽出して相対的な値を生成することにより行うことができる。また、飛行時間ヒストグラムをダウンサンプリングすることにより圧縮することもできる。圧縮部１４０は、圧縮した測距データをプロセッサ３に対して出力する。
　これ以外の測距装置１の構成は本開示の第１の実施形態における測距装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の情報処理装置１００は、測距データを圧縮して伝送することにより、測距データのデータ量を更に削減することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度の少なくとも１つのピークを検出するピーク検出部と、
　前記ピークに前記反射光に対応する反射光ピークが含まれるか否かを判定する反射光ピーク判定部と、
　前記ピークに前記反射光ピークが１つ含まれるという判定に基づいて前記反射光ピークを測距データとして出力し、前記ピークに複数の前記反射光ピークが含まれるという判定または前記ピークに前記反射光ピークが含まれないという判定に基づいて前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域を測距データとして出力する出力部と
　を有する情報処理装置。
（２）
　前記反射光ピーク判定部は、前記ピークにおける最大検出頻度及び前記ピークの幅に基づいて前記反射光ピークを検出する前記（１）に記載の情報処理装置。
（３）
　前記出力部は、検出された複数の反射光ピークのうち所定の個数の反射光ピークを前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域として出力する前記（１）又は（２）に記載の情報処理装置。
（４）
　前記出力部は、前記飛行時間ヒストグラムの最後から所定の範囲に含まれる領域を前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域として出力する前記（１）又は（２）に記載の情報処理装置。
（５）
　前記飛行時間ヒストグラムに基づいて環境光の検出頻度である環境光頻度を検出する環境光検出部
　を更に有し、
　前記反射光ピーク判定部は、前記飛行時間ヒストグラム及び前記環境光頻度に基づいて前記ピークを検出する
　前記（１）から（４）の何れかに記載の情報処理装置。
（６）
　前記測距データを圧縮するデータ圧縮部を更に有する前記（１）から（５）の何れかに記載の情報処理装置。
（７）
　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度の少なくとも１つのピークを検出することと、
　前記ピークに前記反射光に対応する反射光ピークが含まれるか否かを判定することと、
　前記ピークに前記反射光ピークが１つ含まれるという判定に基づいて前記反射光ピークを測距データとして出力し、前記ピークに複数の前記反射光ピークが含まれるという判定または前記ピークに前記反射光ピークが含まれないという判定に基づいて前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域を測距データとして出力することと
　を含む情報処理方法。
（８）
　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度の少なくとも１つのピークを検出するピーク検出手順と、
　前記ピークに前記反射光に対応する反射光ピークが含まれるか否かを判定する反射光ピーク判定手順と、
　前記ピークに前記反射光ピークが１つ含まれるという判定に基づいて前記反射光ピークを測距データとして出力し、前記ピークに複数の前記反射光ピークが含まれるという判定または前記ピークに前記反射光ピークが含まれないという判定に基づいて前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域を測距データとして出力する出力手順と
　を含むプログラム。
　１　測距装置
　２　測距センサ
　３　プロセッサ
　１０　光源部
　２０　受光部
　４０　ヒストグラムデータ生成部
　１００　情報処理装置
　１１０　ピーク検出部
　１１１　環境光画像生成部
　１１２　ノイズレベル検出部
　１１３　検出部
　１２０　反射光ピーク判定部
　１３０　出力部
　１４０　圧縮部

Claims (8)

  1. 　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出するピーク検出部と、
    　前記ピークに前記反射光に対応する反射光ピークが含まれるか否かを判定する反射光ピーク判定部と、
    　前記ピークに前記反射光ピークが１つ含まれるという判定に基づいて前記反射光ピークを測距データとして出力し、前記ピークに複数の前記反射光ピークが含まれるという判定または前記ピークに前記反射光ピークが含まれないという判定に基づいて前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域を測距データとして出力する出力部と
    　を有する情報処理装置。
  2. 　前記反射光ピーク判定部は、前記ピークにおける最大検出頻度及び前記ピークの幅に基づいて前記反射光ピークを検出する請求項１に記載の情報処理装置。
  3. 　前記出力部は、検出された複数の反射光ピークのうち所定の個数の反射光ピークを前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域として出力する請求項１に記載の情報処理装置。
  4. 　前記出力部は、前記飛行時間ヒストグラムの最後から所定の範囲に含まれる領域を前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域として出力する請求項１に記載の情報処理装置。
  5. 　前記飛行時間ヒストグラムに基づいて環境光の検出頻度である環境光頻度を検出する環境光検出部
    　を更に有し、
    　前記反射光ピーク判定部は、前記飛行時間ヒストグラム及び前記環境光頻度に基づいて前記ピークを検出する
    　請求項１に記載の情報処理装置。
  6. 　前記測距データを圧縮するデータ圧縮部を更に有する請求項１に記載の情報処理装置。
  7. 　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出することと、
    　前記ピークに前記反射光に対応する反射光ピークが含まれるか否かを判定することと、
    　前記ピークに前記反射光ピークが１つ含まれるという判定に基づいて前記反射光ピークを測距データとして出力し、前記ピークに複数の前記反射光ピークが含まれるという判定または前記ピークに前記反射光ピークが含まれないという判定に基づいて前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域を測距データとして出力することと
    　を含む情報処理方法。
  8. 　光源から出射されて被写体から反射された、二次元状の画素アレイ部で検出された反射光の飛行時間の分布を検出頻度の度数及び階級で表す飛行時間ヒストグラムにおける前記検出頻度のピークを検出するピーク検出手順と、
    　前記ピークに前記反射光に対応する反射光ピークが含まれるか否かを判定する反射光ピーク判定手順と、
    　前記ピークに前記反射光ピークが１つ含まれるという判定に基づいて前記反射光ピークを測距データとして出力し、前記ピークに複数の前記反射光ピークが含まれるという判定または前記ピークに前記反射光ピークが含まれないという判定に基づいて前記反射光ピークの候補を含む前記飛行時間ヒストグラムの候補領域を測距データとして出力する出力手順と
    　を含むプログラム。
PCT/JP2023/008917 2022-03-18 2023-03-08 情報処理装置、情報処理方法及びプログラム WO2023176646A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-043953 2022-03-18
JP2022043953 2022-03-18

Publications (1)

Publication Number Publication Date
WO2023176646A1 true WO2023176646A1 (ja) 2023-09-21

Family

ID=88023182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008917 WO2023176646A1 (ja) 2022-03-18 2023-03-08 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023176646A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
WO2019021693A1 (ja) * 2017-07-24 2019-01-31 株式会社小糸製作所 ランプ装置、センサシステム、およびセンサ装置
JP2020180941A (ja) * 2019-04-26 2020-11-05 株式会社デンソー 光測距装置およびその方法
JP2021001763A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
WO2021072380A1 (en) * 2019-10-10 2021-04-15 Ouster, Inc. Processing time-series measurements for lidar accuracy
WO2021079789A1 (ja) * 2019-10-21 2021-04-29 ソニーセミコンダクタソリューションズ株式会社 測距装置
WO2021145134A1 (ja) * 2020-01-17 2021-07-22 ソニーセミコンダクタソリューションズ株式会社 受光装置及び受光装置の信号処理方法、並びに、測距装置
JP2021128084A (ja) * 2020-02-14 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法
WO2021229722A1 (ja) * 2020-05-13 2021-11-18 三菱電機株式会社 障害物検知装置、駐車支援装置、衝突回避装置及び障害物検知方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
WO2019021693A1 (ja) * 2017-07-24 2019-01-31 株式会社小糸製作所 ランプ装置、センサシステム、およびセンサ装置
JP2020180941A (ja) * 2019-04-26 2020-11-05 株式会社デンソー 光測距装置およびその方法
JP2021001763A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
WO2021072380A1 (en) * 2019-10-10 2021-04-15 Ouster, Inc. Processing time-series measurements for lidar accuracy
WO2021079789A1 (ja) * 2019-10-21 2021-04-29 ソニーセミコンダクタソリューションズ株式会社 測距装置
WO2021145134A1 (ja) * 2020-01-17 2021-07-22 ソニーセミコンダクタソリューションズ株式会社 受光装置及び受光装置の信号処理方法、並びに、測距装置
JP2021128084A (ja) * 2020-02-14 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法
WO2021229722A1 (ja) * 2020-05-13 2021-11-18 三菱電機株式会社 障害物検知装置、駐車支援装置、衝突回避装置及び障害物検知方法

Similar Documents

Publication Publication Date Title
CN109100702B (zh) 用于测量到对象的距离的光电传感器和方法
JP6863342B2 (ja) 光測距装置
KR102342944B1 (ko) 비행-시간 시스템을 교정하는 방법 및 비행-시간 시스템
CN113412413B (zh) 用于对振动进行成像和感测的系统和方法
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
JP7477715B2 (ja) ライダセンサの光学的クロストークを測定するための方法、およびライダセンサ
US10955555B2 (en) Depth sensor combining line triangulation and time of flight
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
US20230213634A1 (en) Method for calibrating and/or adjusting, and control unit for a lidar system, lidar system, and working device
US20220187430A1 (en) Time of flight calculation with inter-bin delta estimation
CN113424077A (zh) 光学测距装置
JPWO2019116641A1 (ja) 距離測定装置、距離測定装置の制御方法、および距離測定装置の制御プログラム
EP3721261B1 (en) Distance time-of-flight modules
KR102460791B1 (ko) 3차원 이미징 시스템에서 광 삼각 측량으로부터의 이미지 데이터에 강도 피크 위치를 제공하기 위한 방법 및 장치
JP2008275379A (ja) レーザ測距装置およびレーザ測距方法
EP3719529A1 (en) Range finding device and range finding method
WO2023176646A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6406076B2 (ja) オブジェクト検知装置、オブジェクト検知方法、およびオブジェクト検知プログラム
EP4198553A1 (en) Method, device and program for estimating object reflectivity in a lidar system
US20220317250A1 (en) Lidar sensor and method for removing noise of the same
WO2023181881A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230019246A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method
US20230384436A1 (en) Distance measurement correction device, distance measurement correction method, and distance measurement device
WO2024212569A1 (zh) 一种飞行时间测量系统及测量方法
US12056912B2 (en) Process for detection of the presence of an object in a field of vision of a flight time sensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770602

Country of ref document: EP

Kind code of ref document: A1