JP7407021B2 - Distance detection device, distance detection method, distance image generation device, distance image generation method - Google Patents
Distance detection device, distance detection method, distance image generation device, distance image generation method Download PDFInfo
- Publication number
- JP7407021B2 JP7407021B2 JP2020037391A JP2020037391A JP7407021B2 JP 7407021 B2 JP7407021 B2 JP 7407021B2 JP 2020037391 A JP2020037391 A JP 2020037391A JP 2020037391 A JP2020037391 A JP 2020037391A JP 7407021 B2 JP7407021 B2 JP 7407021B2
- Authority
- JP
- Japan
- Prior art keywords
- period
- distance
- light
- phase difference
- charge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 title claims description 18
- 238000012546 transfer Methods 0.000 claims description 126
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000005259 measurement Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000000691 measurement method Methods 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定する技術並びに当該測定した距離を用いて距離画像を生成する技術に関する。 The present invention relates to a technique for measuring a distance to a target object based on an optical flight time measured using an optical time-of-flight measurement method, and a technique for generating a distance image using the measured distance.
従来から、光飛行時間計測法を用いて測定される光飛行時間に基づいて対象体までの距離を測定して距離画像を生成する技術が知られている。例えば、国際公開第2010-100846号公報(特許文献1)には、多重変調光を用いて距離を測定する技術が記載されている。 2. Description of the Related Art Conventionally, a technique has been known that measures the distance to a target object based on the optical flight time measured using an optical time-of-flight measurement method and generates a distance image. For example, International Publication No. 2010-100846 (Patent Document 1) describes a technique for measuring distance using multiple modulated light.
ところで、一般に光飛行時間計測法を用いる距離画像生成装置においては、理論上の最大測距可能距離と距離バラつきの間にはトレードオフの関係があり、最大測距可能距離を増大させようとすると距離バラつきが増大する。これに対し、上記特許文献1に記載の先行例では、低周波の変調光を用いて長距離測定を行い、高周波の変調光を用いて精密測定を行っている。しかし、この場合には多重変調光を用いる必要があることから装置構成の複雑化を招く。
By the way, in distance image generation devices that generally use the optical time-of-flight measurement method, there is a trade-off relationship between the theoretical maximum measurable distance and distance variation, and if you try to increase the maximum measurable distance, Distance variation increases. In contrast, in the prior art described in
本発明に係る具体的態様は、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能な技術を提供することを目的の1つとする。 A specific aspect of the present invention aims to provide a technique that can increase the maximum measurable distance while suppressing distance variations when generating a distance image using an optical time-of-flight measurement method. Let's choose one.
[1]本発明に係る一態様の距離検出装置は、(a)対象体との間の距離を検出する装置であって、(b)所定の変調周波数の光を出射する光源と、(c)各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部と、(d)前記光源及び前記受光部の動作を制御する駆動制御部と、(e)位相取得期間において、前記駆動制御部の制御によって前記光源から出射する第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める位相算出部と、(f)前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記駆動制御部の制御によって前記光源から出射する第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する周期判別部と、(g)前記位相算出部によって得られる前記位相差と前記周期判別部によって得られる前記位相差の属する周期に基づいて前記距離を求める距離算出部と、を含み、(h)前記光源は、前記第1期間内の第1時期に1つ目の前記第2変調光を出射するとともに前記第2期間内の第2時期に2つ目の前記第2変調光を出射するように前記駆動制御部によって制御され、(i)前記複数の転送ゲートの各々は、前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎にオン/オフを切り替えるように前記駆動制御部によって制御され、(j)前記周期判別部は、前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別する、距離検出装置である。
[2]本発明に係る一態様の距離画像生成装置は、上記[1]に記載の距離検出装置を用いて複数の距離値からなる距離画像を生成する、距離画像生成装置である。
[3]本発明に係る一態様の距離検出方法は、(a)所定の変調周波数の光を出射する光源、及び、各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部を用いて対象体との距離を検出する方法であって、(b)位相取得期間において、前記光源から出射した第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める第1ステップと、(c)前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記光源から出射した第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する第2ステップと、(d)前記第1ステップで得られる前記位相差と前記第2ステップで得られる前記位相差の属する周期に基づいて前記距離を求める第3ステップと、を含み、(e)前記第2ステップは、(e1)前記光源から、前記第1期間内の第1時期に1つ目の前記第2変調光が出射し、前記第2期間内の第2時期に2つ目の前記第2変調光が出射すること、(e2)前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎に前記複数の転送ゲートの各々のオン/オフが切り替えること、(e3)前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別すること、を含む、距離検出方法である。
[4]本発明に係る一態様の距離画像生成方法は、上記[3]に記載の距離検出方法を用いて複数の距離値からなる距離画像を生成する、距離画像生成方法である。
[1] A distance detection device according to one aspect of the present invention is a device that detects (a) a distance to a target object, (b) a light source that emits light at a predetermined modulation frequency, and (c ) a light receiving section having a plurality of transfer gates that can each be turned on and off independently; (d) a drive control section that controls the operation of the light source and the light receiving section; (e) a drive control section that controls the operation of the light source and the light receiving section; The phase difference between the first modulated light emitted from the light source and the first reflected light generated by the first modulated light is determined by the control of the control unit into the amount of each charge read out through the plurality of transfer gates of the light receiving unit. and (f) the phase acquisition period is a period provided separately and includes at least a first period and a second period. The phase difference is based on the amount of charge read out through the plurality of transfer gates of the light receiving section in response to the second reflected light generated by the second modulated light, and the phase difference is based on the emission timing of the first modulated light. and (g) a period determination unit that determines to which cycle the phase difference belongs, based on the phase difference obtained by the phase calculation unit and the period to which the phase difference obtained by the period determination unit belongs. (h) the light source emits the first second modulated light at a first period within the first period and at a second period within the second period; (i) each of the plurality of transfer gates is controlled by the drive control unit to emit the second modulated light in each of the first period and the second period; (j) the period determination section is controlled by the drive control section to switch on/off at every fixed period repeated at a period corresponding to the frequency; The present invention is a distance detection device that determines a period to which the phase difference belongs based on a combination pattern of the magnitude relationship of the charge amount obtained from each of the plurality of transfer gates in response to two reflected lights.
[2] A distance image generation device according to one aspect of the present invention is a distance image generation device that uses the distance detection device described in [1] above to generate a distance image consisting of a plurality of distance values.
[3] A distance detection method according to one aspect of the present invention includes (a) a light source that emits light of a predetermined modulation frequency, and a light receiving section that has a plurality of transfer gates that can each be turned on and off independently. (b) In a phase acquisition period, a phase difference between a first modulated light emitted from the light source and a first reflected light caused by the first modulated light, The first step of calculating based on the amount of charge read out through the plurality of transfer gates of the light receiving section, and (c) the phase acquisition period are separately provided periods, and at least a first period and a second period. In the cycle determination period having (d) determining the phase difference obtained in the first step and the phase difference obtained in the second step; a third step of determining the distance based on a period to which the phase difference belongs, and (e) the second step includes (e1) one distance from the light source at a first period within the first period. the second modulated light of the eye is emitted, and a second of the second modulated light is emitted at a second period within the second period; (e2) in each of the first period and the second period; , each of the plurality of transfer gates is switched on/off every fixed period repeated at a period corresponding to the modulation frequency; (e3) the second reflected light is switched in each of the first period and the second period; The distance detection method includes determining a period to which the phase difference belongs based on a combination pattern of the magnitude relationship of the charge amounts obtained from each of the plurality of transfer gates in accordance with the above.
[4] A distance image generation method according to one aspect of the present invention is a distance image generation method that generates a distance image consisting of a plurality of distance values using the distance detection method described in [3] above.
上記構成によれば、光飛行時間計測法を用いて距離画像を生成する際において、装置構成の複雑化を招かずに、距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。 According to the above configuration, when generating a distance image using the optical time-of-flight measurement method, it is possible to increase the maximum measurable distance while suppressing distance variations without complicating the device configuration. Become.
図1は、一実施形態の距離画像生成装置の構成を示す図である。図1に示す距離画像生成装置1は、光飛行時間計測法を用いて対象体2の各領域までの距離を求め、それらの距離値を画素値とする距離画像を生成するためのものであり、制御部10と、光源11と、撮像素子12を含んで構成されている。ここでいう対象体2とは、測距対象となるものであれば特に限定はなく、例えば、人間でもよいし、車両などの物体であってもよい。
FIG. 1 is a diagram showing the configuration of a distance image generation device according to an embodiment. A distance
制御部10は、距離画像生成装置1の全体動作を制御するものであり、例えばCPU、ROM、RAM等を含むコンピュータシステムにおいて所定の動作プログラムを実行させることにより実現される。この制御部10は、動作プログラムを実行することにより実現される機能ブロックとしての駆動タイミング生成部(駆動制御部)20、位相算出部21、周期判別部22、距離算出部23、距離画像生成部24を有する。
The
光源11は、例えば近赤外光などの光を放出する発光素子(例えばLED)と、この発光素子を駆動する回路などを含んで構成されており、制御部10に制御されて所定の変調周波数による光である変調光3を出射する。光源11から出射された変調光3は対象体2に照射される。
The
撮像素子12は、光源11からの変調光3が対象体2により反射されて生じる反射光4を含む入射光を受光し、その光強度を検出するためのものである。図2(A)に示すように、撮像素子12は、例えばマトリクス状に配列された複数の受光部(画素部)12aを有する。図2(B)に示すように、各受光部12aは、それぞれ、入射光の光強度に応じた電荷を生成する光電変換素子31と、この光電変換素子31によって生成される電荷を読み出すための2つの転送ゲート32a、32bを有する。
The
駆動タイミング生成部20は、光源11による変調光の発光タイミングを制御するための信号を生成して光源11へ供給するとともに、光電変換素子31から電荷を読み出すタイミングを制御するための信号を生成して撮像素子12へ出力する。
The drive
位相算出部21は、駆動タイミング生成部20によって生成された信号により制御されて撮像素子12の光電変換素子31から読み出される電荷に基づいて、変調光3と反射光4との位相差を算出する。また、位相算出部21は、反射光の光強度を算出する。
The
周期判別部22は、駆動タイミング生成部20によって生成された信号により制御されて撮像素子12の光電変換素子31から読み出される電荷に基づいて、反射光4の到達した時期が変調光3の出射時から何周期目に属するものであるかを判別する。
The
距離算出部23は、位相算出部21にて算出された位相差と、周期判別部22で得られた周期の各情報に基づいて、距離画像の各画素における距離(距離値)を算出する。
The
距離画像生成部24は、距離算出部23により算出される各画素における距離値を用いて距離画像を生成し、図示しない外部装置へこの距離画像のデータを出力する。
The distance
次に、本実施形態の距離画像生成装置1における距離検出並びに距離画像生成の原理について図3を参照しながら詳細に説明する。
Next, the principles of distance detection and distance image generation in the distance
本実施形態の撮像素子12における各受光部12aには光電変換素子31が含まれ、光電変換素子31には2つの転送ゲート32a、32bが設けられている(図2(B)参照)。変調光の発光タイミングと各転送ゲート32a、32bのオンオフ(開閉)タイミングは同期して制御されている。変調光の変調周波数fは、例えば10[MHz]である。図3に示すように、例えば変調光がオンとなる期間において光電変換素子31の転送ゲート32aがオン(開状態)となり、変調光がオフとなる期間において光電変換素子31の転送ゲート32bがオンとなる。
Each
このとき、転送ゲート32aを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS0、転送ゲート32bを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS180とする。また、転送ゲート32a、32bの駆動タイミングを変えず、変調光を1/4周期ずらしたときに転送ゲート32aを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS270、転送ゲート32bを介して光電変換素子31の電荷蓄積部から読み出される電荷量をS90とすると、対象体2の各領域との距離Dに対応する位相差Δφは以下の式で表される。なお、位相取得期間について、S90とS270を用いるために、変調光の周期をずらす方法で説明したが、変調光の周期を一定として転送ゲートのオンオフ周期を変更し、そのときに得られる電荷量をS90、S270としてもよい。
At this time, the amount of charge read from the charge storage section of the
また、反射光の光強度Iは以下の式で表される。 Further, the light intensity I of the reflected light is expressed by the following formula.
また、反射光が戻るまでに要した時間tは以下の式で表される。 Further, the time t required for the reflected light to return is expressed by the following formula.
上記の(1.1)式および(1.3)式に基づき、距離Dは以下の式で求めることができる。 Based on the above equations (1.1) and (1.3), the distance D can be calculated using the following equation.
上記の関係式から、変調周波数fを小さくすれば距離Dを大きくできることが分かる。ただし、(1.3)式から分かるように、測定可能な距離は、位相差Δφに換算すると最大で2π(360°)まで、すなわち変調光の1周期分が限界であった。位相差Δφが2πを超える場合には再び0[m]から計算されることになる。これは、例えば、位相差Δφがπ/6(=30°)と得られたときに、それが実際には1つ目の周期に属するπ/6(=30°)にであるのか、2つ目の周期に属する13π/6(=390°)であるのか、3つ目の周期に属する25π/6(=750°)であるのか、それ以外であるかを判別できないからである。 From the above relational expression, it can be seen that the distance D can be increased by decreasing the modulation frequency f. However, as can be seen from equation (1.3), the measurable distance was limited to a maximum of 2π (360°) when converted to a phase difference Δφ, that is, one period of modulated light. If the phase difference Δφ exceeds 2π, it will be calculated again from 0 [m]. For example, when the phase difference Δφ is obtained as π/6 (=30°), does it actually belong to π/6 (=30°) that belongs to the first period? This is because it is not possible to determine whether it is 13π/6 (=390°) belonging to the second period, 25π/6 (=750°) belonging to the third period, or something else.
例えば、変調周波数fが10[MHz]の場合、測定可能な最大距離は15[m]であるが、従来方法によると1[m]と16[m]は同じ1[m]として算出されてしまう。他方、変調周波数fを下げることで測定可能な最大距離を大きくすることができるがその場合は測定結果にバラつきが大きくなる。例えば変調周波数fを1[MHz]とした場合には150[m]まで測定可能であるが、位相差のバラつきの影響も大きくなるので、例えばπ/6のバラつきに対して距離の測定結果は0~12.5[m]の範囲でバラつくことになる。 For example, when the modulation frequency f is 10 [MHz], the maximum measurable distance is 15 [m], but according to the conventional method, 1 [m] and 16 [m] are calculated as the same 1 [m]. Put it away. On the other hand, the maximum measurable distance can be increased by lowering the modulation frequency f, but in that case, the measurement results will vary widely. For example, if the modulation frequency f is 1 [MHz], it is possible to measure up to 150 [m], but the influence of variations in the phase difference also becomes large, so for example, the distance measurement results for a variation of π/6 will be It will vary in the range of 0 to 12.5 [m].
そこで本実施形態では、以下に説明する方法によって反射光の到達時期の属する周期を判別し、それに基づいて距離を求めることにより、距離バラつきを抑えつつ最大測距可能距離をより大きくすることを可能としている。以下、その詳細について説明する。 Therefore, in this embodiment, by determining the cycle in which the reflected light arrives using the method described below and determining the distance based on this, it is possible to further increase the maximum measurable distance while suppressing distance variations. It is said that The details will be explained below.
図4は、距離測定時のフレーム構造を説明するための図である。図示のように本実施形態では、位相取得期間と周期判別期間が含まれている。位相取得期間は、上記した電荷量S0、S90、S180、S270を得るための期間である。位相取得期間では、図3に示した期間が多数回繰り返される。周期判別期間は、本実施形態における距離測定において特徴的な期間であり、位相取得期間において得られる位相差Δφの属する本来の周期を求めるために設けられた期間である。実際の距離測定時には、周期判別期間において、第1期間(α)および第2期間(β)が多数回(例えば数千回~数万回)繰り返されるが、ここでは説明を簡単にするため第1期間および第2期間を各1回として説明する。なお、位相取得期間と周期判別期間の前後関係は不問であり、両者が入れ替わってもよい。 FIG. 4 is a diagram for explaining the frame structure during distance measurement. As shown in the figure, in this embodiment, a phase acquisition period and a period determination period are included. The phase acquisition period is a period for obtaining the above-mentioned charge amounts S0, S90, S180, and S270. In the phase acquisition period, the period shown in FIG. 3 is repeated many times. The period determination period is a characteristic period in distance measurement in this embodiment, and is a period provided for determining the original period to which the phase difference Δφ obtained in the phase acquisition period belongs. During actual distance measurement, the first period (α) and the second period (β) are repeated many times (for example, several thousand to tens of thousands of times) during the cycle determination period. The explanation will be given assuming that the first period and the second period are each one time. Note that the relationship between the phase acquisition period and the period determination period does not matter, and they may be interchanged.
位相取得期間においては、上記したように撮像素子12の光電変換素子31において、各転送ゲート32a、32bが変調光(第1変調光)に同期して所定タイミングでオン/オフを制御され、各電荷量S0、S90、S180、S270が位相算出部21によって取得される。ここで得られる各電荷量を用いて位相算出部21によって位相差Δφが算出される。
During the phase acquisition period, as described above, in the
周期判別期間は、各電荷量に基づいて得られる位相差Δφの属する本来の周期を求めるための期間である。例えば位相差Δφがπ/6と得られたときに、それが実際にはπ/6(1つ目の周期)、13π/6(3つ目の周期)、25π/6(5つ目の周期)などのいずれであるかを判別するための期間である。この周期判別期間には、少なくとも第1期間(第1判別期間)と第2期間(第2判別期間)が含まれる。本実施形態では、これら第1期間と第2期間において2つの転送ゲートのオン/オフ(開/閉)を適宜制御してそれぞれ得られる電荷量を比較することで、位相取得期間に得られた位相差Δφが実際には何周期目に属するものであるかを判別する。ここでいう2つの転送ゲートとしては、上記した各転送ゲート32a、32bを用いることができる。以降の説明では、便宜上、周期判別期間において用いられる転送ゲート32aを「転送ゲートA」と呼び、転送ゲート32bを「転送ゲートB」と呼ぶことにする。
The period determination period is a period for determining the original period to which the phase difference Δφ obtained based on each charge amount belongs. For example, when the phase difference Δφ is obtained as π/6, it is actually π/6 (first period), 13π/6 (third period), 25π/6 (fifth period). This period is used to determine which one is the period (cycle), etc. This cycle determination period includes at least a first period (first determination period) and a second period (second determination period). In this embodiment, by appropriately controlling the on/off (opening/closing) of the two transfer gates in the first period and the second period and comparing the amount of charge obtained respectively, the amount of charge obtained in the phase acquisition period is It is determined which cycle the phase difference Δφ actually belongs to. As the two transfer gates mentioned here, the above-mentioned
周期判別期間では、駆動タイミング生成部20の制御により、第1期間と第2期間のそれぞれにおいて所定タイミングで光源11から変調光(第2変調光)を出射させる。その際に、第1期間と第2期間では変調光の発光時期(出射時期)が異なるようにする。具体的には、第1期間における発光時期(第1時期)に対して、第2期間における発光時期(第2時期)は、π/4以上ずれるようにすることが好ましい。すなわち、第1期間の始期から変調光の発光時期までの長さと、第2期間の始期から変調光の発光時期までの長さとがπ/4以上異なるようにすることが好ましい。なお、原理上はπ/4より小さいずれでもよいし、π/4より大きくてもよいが、あまりずれが大きすぎないほうが好ましい。図示の例では、第1期間における変調光はこの第1期間の始期(0)から始まりπまでの間でオンとなっている。これに対して、第2期間における変調光はこの第2期間の始期(0)から2π遅れた時点から3πまでの間でオンである。すなわち、両者の発光時期のずれは2πである。
In the cycle determination period, the drive
なお、第1期間、第2期間のそれぞれにおける変調光の発光時間は、各転送ゲートA、Bの最小オンオフ幅の長さ以内に設定される。また、各転送ゲートA、Bの最小オンオフ幅は、変調光の変調周期(一定期間)と同一とする。図示の例では変調光の変調周期が100nsであり、各転送ゲートA、Bの最小オンオフ幅も同じ100nsに設定されている。 Note that the emission time of the modulated light in each of the first period and the second period is set within the length of the minimum on/off width of each transfer gate A, B. Further, the minimum on-off width of each transfer gate A, B is the same as the modulation period (certain period) of modulated light. In the illustrated example, the modulation period of the modulated light is 100 ns, and the minimum on/off width of each transfer gate A and B is also set to the same 100 ns.
また、第1期間と第2期間では、各転送ゲートA、Bが所定タイミングでオンまたはオフに切り換えられる。このとき、各転送ゲートA、Bごとに、第1期間と第2期間でオン/オフの制御パターンは同一に設定される。図示の例では、第1期間と第2期間のいずれにおいても、転送ゲートAについては、サブ期間(1)~(6)でオン、オフ、オン、オン、オン、オフの順で切り換えられ、転送ゲートBについては、サブ期間(1)~(6)の各々でオフ、オン、オン、オフ、オン、オンの順で切り換えられる。また、転送ゲートAに対するオン/オフの制御パターンと、転送ゲートBに対するオン/オフの制御パターンとは異なるように設定されている。このようなオン/オフの制御パターンで各転送ゲートA、Bを制御することで、各転送ゲートA、Bから読み出される電荷量の大小関係の組み合わせパターンに基づいて、反射光がどの周期で到達しているかを判別することができる。 Further, in the first period and the second period, each transfer gate A, B is switched on or off at a predetermined timing. At this time, the on/off control pattern is set to be the same for each of the transfer gates A and B in the first period and the second period. In the illustrated example, in both the first period and the second period, transfer gate A is switched in the order of on, off, on, on, on, and off in sub periods (1) to (6), Transfer gate B is switched in the order of off, on, on, off, on, and on in each of sub-periods (1) to (6). Furthermore, the on/off control pattern for transfer gate A and the on/off control pattern for transfer gate B are set to be different. By controlling each transfer gate A and B with such an on/off control pattern, it is possible to determine at what period the reflected light arrives based on the combination pattern of the magnitude relationship of the amount of charge read from each transfer gate A and B. It is possible to determine whether
なお、各転送ゲートにおけるオン/オフの制御パターンについては、転送ゲートAと転送ゲートBのいずれもが同時にオフとなるような期間を設けることは可能であるが、構成が複雑化するため、設けないことが望ましい。 Regarding the on/off control pattern for each transfer gate, it is possible to set a period in which both transfer gate A and transfer gate B are turned off at the same time, but this would complicate the configuration. It is desirable that there is no such thing.
図5に第1期間の一部を拡大して示すように、変調光の発光時期(図5(A)参照)からπ/2遅れて反射光が到達したとする(図5(B)参照)。また、転送ゲートAは0~2πまでの周期でオン、2π~4πまでの周期でオフであり(図5(C)参照)、転送ゲートBは0~2πまでの周期でオフ、2π~4πまでの周期でオンに制御されているとする(図5(D)参照)。この場合、反射光の到達時期において各転送ゲートA、Bから読み出される電荷量を比較すると、電荷は転送ゲートAに対応する電荷蓄積部のみに溜まるので、転送ゲートAの電荷量のほうが転送ゲートBの電荷量よりも大きくなる。この関係を「A>B」と表記する(図5(E)参照)。 As shown in an enlarged view of a part of the first period in FIG. 5, it is assumed that the reflected light arrives with a delay of π/2 from the emission timing of the modulated light (see FIG. 5(A)) (see FIG. 5(B)). ). Further, transfer gate A is on in a period from 0 to 2π and off in a period from 2π to 4π (see Figure 5(C)), and transfer gate B is off in a period from 0 to 2π and is off in a period from 2π to 4π. Assume that it is controlled to be turned on in the period up to (see FIG. 5(D)). In this case, when comparing the amount of charge read out from each transfer gate A and B at the time when the reflected light arrives, the amount of charge at transfer gate A is higher than that at the transfer gate, since charge is accumulated only in the charge storage section corresponding to transfer gate A. It becomes larger than the amount of charge of B. This relationship is expressed as "A>B" (see FIG. 5(E)).
同様に、図6に第1期間の一部を拡大して示すように、変調光の発光時期(図6(A)参照)から3π/2遅れて反射光が到達したとする(図6(B)参照)。また、転送ゲートAは0~2πまでの周期でオン、2π~4πまでの周期でオフであり(図6(C)参照)、転送ゲートBは0~2πまでの周期でオフ、2π~4πまでの周期でオンに制御されているとする(図6(D)参照)。この場合、転送ゲートAはオンからオフになる方向へ変化し、転送ゲートBはオフからオンになる方向へ変化するので、それに応じて各転送ゲートA、Bの各電荷蓄積部に溜まる電荷量も変化する。このため、反射光の到達時期(3π/2)において各転送ゲートA、Bから読み出される電荷量を比較すると、転送ゲートAの電荷量のほうが転送ゲートBの電荷量よりも大きい。この関係を「A>B」と表記する(図6(E)参照)。 Similarly, as shown in an enlarged view of a part of the first period in FIG. 6, it is assumed that the reflected light arrives with a delay of 3π/2 from the emission timing of the modulated light (see FIG. 6(A)). See B). Further, transfer gate A is on in a period from 0 to 2π and off in a period from 2π to 4π (see Fig. 6(C)), and transfer gate B is off in a period from 0 to 2π and is off in a period from 2π to 4π. Assume that it is controlled to be turned on in the period up to (see FIG. 6(D)). In this case, transfer gate A changes from on to off, and transfer gate B changes from off to on, so the amount of charge accumulated in each charge storage part of each transfer gate A and B accordingly also changes. Therefore, when comparing the amount of charge read out from each transfer gate A and B at the arrival time (3π/2) of the reflected light, the amount of charge on transfer gate A is larger than the amount of charge on transfer gate B. This relationship is expressed as "A>B" (see FIG. 6(E)).
同様に、図7に第2期間の一部を拡大して示すように、変調光の発光時期(図7(A)参照)からπ/2遅れて反射光が到達したとする(図7(B)参照)。また、転送ゲートAは0~2πまでの周期でオン、2π~4πまでの周期でオフであり(図7(C)参照)、転送ゲートBは0~2πまでの周期でオフ、2π~4πまでの周期でオンに制御されているとする(図7(D)参照)。この場合、反射光の到達時期において各転送ゲートA、Bから読み出される電荷量を比較すると、電荷は転送ゲートBに対応する電荷蓄積部のみに溜まるので、転送ゲートBの電荷量のほうが転送ゲートAの電荷量よりも大きい。この関係を「A<B」と表記する(図7(E)参照)。 Similarly, as shown in an enlarged view of a part of the second period in FIG. 7, it is assumed that the reflected light arrives with a delay of π/2 from the emission timing of the modulated light (see FIG. 7(A)) (see FIG. 7(A)). See B). Further, transfer gate A is on in a cycle from 0 to 2π and off in a cycle from 2π to 4π (see Figure 7(C)), and transfer gate B is off in a cycle from 0 to 2π and is off in a cycle from 2π to 4π. Assume that it is controlled to be turned on in the period up to (see FIG. 7(D)). In this case, when comparing the amount of charge read out from each transfer gate A and B at the time when the reflected light arrives, the amount of charge at transfer gate B is higher than that at transfer gate B because the charge accumulates only in the charge storage section corresponding to transfer gate B. It is larger than the amount of charge of A. This relationship is expressed as "A<B" (see FIG. 7(E)).
3つの例を示したように、反射光の到達時期に応じて各周期において各転送ゲートA、Bから読み出される電荷量の比較を行ったものをまとめると図8に示す通りの内容となる。具体的には、まず、0~3π/2の期間では第1期間が「A>B」、第2期間が「A<B」となる。この組み合わせパターンを「パターン1」と呼ぶ。同様に、3π/2~5π/2の期間では第1期間、第2期間ともに「A<B」となる。この組み合わせパターンを「パターン2」と呼ぶ。5π/2~7π/2の期間では第1期間が「A<B」、第2期間が「A=B」となる。この組み合わせパターンを「パターン3」と呼ぶ。7π/2~4πの期間では第1期間が「A<B」、第2期間が「A>B」となる。この組み合わせパターンを「パターン4」と呼ぶ。4π~5πの期間では第1期間が「A=B」、第2期間が「A>B」となる。この組み合わせパターンを「パターン5」と呼ぶ。5π~13π/2の期間では第1期間、第2期間ともに「A>B」となる。この組み合わせパターンを「パターン6」と呼ぶ。13π/2~15π/2の期間では第1期間が「A>B」、第2期間が「A=B」となる。この組み合わせパターンを「パターン7」と呼ぶ。13π/2~8πの期間は再び組み合わせパターンが「パターン1」となる。8π~9πの期間では第1期間が「A=B」、第2期間が「A<B」となる。この組み合わせパターンを「パターン8」と呼ぶ。9π~10πの期間は再び組み合わせパターンが「パターン2」となる。10π~23π/2の期間は再び組み合わせパターンが「パターン4」となる。23π/2~12πの期間は再び組み合わせパターンが「パターン6」となる。
As shown in the three examples, the comparison of the amount of charge read out from each transfer gate A and B in each period according to the arrival time of the reflected light results in the contents as shown in FIG. 8. Specifically, first, in the period from 0 to 3π/2, the first period is "A>B" and the second period is "A<B". This combination pattern is called "
このように、各期間における転送ゲートA、Bの電荷量の組み合わせを場合分けすると、本実施形態ではパターン1~8の8通りの組み合わせパターンが得られる。このため、転送ゲートA、Bの電荷量の組み合わせパターンを用いることで、反射光がどの周期で到達しているかを判別することができる。例えば、位相差Δφがπ~3π/2の間の値φ1であったとすると、電荷量の関係がパターン1(「A>B」&「A<B」)であれば、位相差Δφの属する周期は1つ目の周期(0~2π)であり、位相差Δφはφ1となる。また、電荷量の関係がパターン3(「A<B」&「A=B」)であれば、位相差Δφの属する周期は2つ目の周期(2π~4π)であり、位相差Δφはφ1+2πとなる。また、電荷量の関係がパターン6(「A>B」&「A>B」)であれば、位相差Δφの属する周期は3つ目の周期(4π~6π)であり、位相差はφ1+4πとなる。このようにすれば、反射光の到達時期に応じた適切な位相差を求めることができる。
In this way, by dividing the combinations of the charge amounts of the transfer gates A and B in each period, eight combination patterns,
ここで、図8において一点鎖線で示すように、本実施形態ではパターン2、6については重複が存在する。このため、例えば位相差Δφが3π/2~2πの間の値φ2であった場合に、電荷量の関係がパターン2であったとすると電荷量の関係だけでは反射光の到達時期に対応する周期が1つ目の周期(0~2π)であるのか、5つ目の周期(8π~10π)であるのかを判別することができない。パターン6の場合も同様である。このようなパターンの重複が生じる場合について、周期を判別する方法を以下に説明する。
Here, as shown by the dashed line in FIG. 8, in this embodiment,
一例として、位相差Δφが3π/2であり、電荷量の関係がパターン2である場合を考える。なお、ここでは、図8に示す3π/2~2πの期間に対応するパターン2を「パターン2」とし、19π/2~10πの期間に対応するパターン2を「パターン2′」として両者を区別する。
As an example, consider a case where the phase difference Δφ is 3π/2 and the relationship of the amount of charge is
図9(A)は、パターン2に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図9(B)は、パターン2に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。図9(C)は、パターン2′に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図9(D)は、パターン2′に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。各図中、実線は転送ゲートAに対応する電荷蓄積部に溜まる電荷、一点鎖線は転送ゲートBに対応する電荷蓄積部に溜まる電荷にそれぞれ対応している。
FIG. 9A is a diagram showing the state of charges accumulated in the charge storage portions corresponding to the transfer gates A and B in the first period corresponding to
図9(A)に示すように、反射光の到達時期が変調光の発光タイミングから3π/2~7π/4であった期間において、パターン2の第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.5~0.25の間となり、転送ゲートBでは0.5~0.75の間となる。よって、この期間の電荷量を比で求めると、1:1~1:3の間となる。これに対して、図9(B)~図9(D)に示すように、対応する期間において、パターン2の第1期間の場合と同じ電荷量の比率となるものはない。従って、3π/2~7π/4の期間においては、第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1~1:3の間(換言すれば、1~3の間)の値であるか否かを判断すれば、パターン2とパターン2′のいずれに当てはまるかを判別することができる。
As shown in FIG. 9(A), in the period when the arrival time of the reflected light is 3π/2 to 7π/4 from the emission timing of the modulated light, it corresponds to each transfer gate A and B in the first period of
他方、図9(D)に示すように、反射光の到達時期が変調光の発光タイミングから7π/4~2πであった期間(19π/2~10πに対応する期間)において、パターン2′の第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.25~0.5の間となり、転送ゲートBでは0.75~0.5の間となる。よって、この期間の電荷量を比で求めると、1:1~1:3の間となる。これに対して、図9(A)~図9(C)に示すように、同期間において、パターン2′の第2期間の場合と同じ電荷量の比率となるものはない。従って、7π/4~2πの期間においては、第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1~1:3の間(換言すれば、1~3の間)の値であるか否かを判断すれば、パターン2とパターン2′のいずれに当てはまるかを判別することができる。
On the other hand, as shown in FIG. 9(D), in the period when the arrival time of the reflected light was between 7π/4 and 2π from the emission timing of the modulated light (period corresponding to 19π/2 and 10π), the pattern 2' The amount of charge in the charge storage section corresponding to each transfer gate A and B during the second period is between 0.25 and 0.5 for transfer gate A, and between 0.75 and 0.5 for transfer gate B. Become. Therefore, if the amount of charge during this period is calculated as a ratio, it will be between 1:1 and 1:3. On the other hand, as shown in FIGS. 9(A) to 9(C), in the same period, there is no charge amount ratio that is the same as that in the second period of pattern 2'. Therefore, in the period from 7π/4 to 2π, the ratio of the amount of charge in the charge storage section corresponding to each transfer gate A and B in the second period is between 1:1 and 1:3 (in other words, between 1 and 1:3). By determining whether the value is between 3 and 3), it is possible to determine whether
パターン6の場合についても上記と同様の処理を適用することができる。ここでは、図8に示す11π/2~6πの期間に対応するパターン6を「パターン6」とし、23π/2~12πの期間に対応するパターン6を「パターン6′」として両者を区別する。
The same processing as described above can be applied to the case of
図10(A)は、パターン6に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図10(B)は、パターン6に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。図10(C)は、パターン6′に対応する第1期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。また、図10(D)は、パターン6′に対応する第2期間において各転送ゲートA、Bに対応する電荷蓄積部に溜まる電荷の様子を示す図である。各図中、実線は転送ゲートAに対応する電荷蓄積部に溜まる電荷、一点鎖線は転送ゲートBに対応する電荷蓄積部に溜まる電荷にそれぞれ対応している。
FIG. 10A is a diagram showing the state of charges accumulated in the charge storage portions corresponding to each transfer gate A and B in the first period corresponding to
図10(C)に示すように、反射光の到達時期が変調光の発光タイミングから3π/2~7π/4であった期間において、パターン6′の第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.5~0.75の間となり、転送ゲートBでは0.5~0.25の間となる。よって、この期間の電荷量を比で求めると、1:1~1:3の間となる。これに対して、図10(A)、図10(B)、図10(D)に示すように、同期間において、パターン6′の第1期間の場合と同じ電荷量の比率となるものはない。従って、3π/2~7π/4の期間においては、第1期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1~1:3の間(換言すれば、1~3の間)の値であるか否かを判断すれば、パターン6とパターン6′のいずれに当てはまるかを判別することができる。
As shown in FIG. 10(C), during the period in which the arrival timing of the reflected light was between 3π/2 and 7π/4 from the emission timing of the modulated light, each transfer gate A and B in the first period of pattern 6' The amount of charge in the corresponding charge storage section is between 0.5 and 0.75 for transfer gate A, and between 0.5 and 0.25 for transfer gate B. Therefore, if the amount of charge during this period is calculated as a ratio, it will be between 1:1 and 1:3. On the other hand, as shown in FIGS. 10(A), 10(B), and 10(D), in the same period, the charge amount ratio is the same as that in the first period of pattern 6'. do not have. Therefore, in the period from 3π/2 to 7π/4, the ratio of the amount of charge in the charge storage sections corresponding to each transfer gate A and B in the first period is between 1:1 and 1:3 (in other words, By determining whether the value is between 1 and 3), it is possible to determine whether
他方、図10(D)に示すように、反射光の到達時期が変調光の発光タイミングから7π/4~2πであった期間において、パターン6′の第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量は、転送ゲートAでは0.75~0.5の間となり、転送ゲートBでは0.25~0.5の間となる。よって、この期間の電荷量を比で求めると、1:1~1:3の間となる。これに対して、図10(A)~図10(C)に示すように、同期間において、パターン6′の第2期間の場合と同じ電荷量の比率となるものはない。従って、7π/4~2πの期間においては、第2期間における各転送ゲートA、Bに対応する電荷蓄積部の電荷量の比が1:1~1:3の間(換言すれば、1/3~1の間)の値であるか否かを判断すれば、パターン6とパターン6′のいずれに当てはまるかを判別することができる。
On the other hand, as shown in FIG. 10(D), during the period in which the arrival timing of the reflected light is 7π/4 to 2π from the emission timing of the modulated light, each transfer gate A and B in the second period of pattern 6' The amount of charge in the corresponding charge storage section is between 0.75 and 0.5 for transfer gate A, and between 0.25 and 0.5 for transfer gate B. Therefore, if the amount of charge during this period is calculated as a ratio, it will be between 1:1 and 1:3. On the other hand, as shown in FIGS. 10(A) to 10(C), in the same period, there is no charge amount ratio that is the same as that in the second period of pattern 6'. Therefore, in the period from 7π/4 to 2π, the ratio of the charge amounts in the charge storage sections corresponding to each transfer gate A and B in the second period is between 1:1 and 1:3 (in other words, 1/3). By determining whether the value is between 3 and 1), it is possible to determine whether
図11は、距離画像生成装置の動作手順を説明するためのフローチャートである。なお、ここに示すフローチャートに含まれる各情報処置については、情報処理の結果に矛盾や不整合などの不都合が生じない限りにおいて適宜その順序を変更することが可能であり、またここで説明しない他の情報処理を適宜追加することも可能であり、そのような実施態様も排除されない。 FIG. 11 is a flowchart for explaining the operation procedure of the distance image generation device. Note that the order of each information processing included in the flowchart shown here can be changed as appropriate as long as it does not cause inconveniences such as contradictions or inconsistencies in the results of information processing. It is also possible to add additional information processing as appropriate, and such embodiments are not excluded.
駆動タイミング生成部20により光源11が制御されて、変調光3が光源11から出射し、その反射光4を含む入射光が撮像素子12によって受光されると、位相算出部21は、位相取得期間における位相算出のためのデータ(電荷量S0、S90、S180、S270)を取得する(ステップS10)。また、周期判別部22は、周期判別期間における周期判別のためのデータ(転送ゲートA、Bに対応する電荷量)を取得する(ステップS11)。
When the
位相算出部21は、電荷量S0、S90、S180、S270に基づいて位相差Δφを算出する(ステップS12)。
The
周期判別部22は、転送ゲートA、Bに対応する電荷量の大小関係の組み合わせパターン(1~8)に基づいて、位相差Δφの属する周期を判別(特定)する(ステップS13)。
The
ここで、組み合わせパターンに重複がある場合、本実施形態ではパターン2またはパターン6である場合に(ステップS14;YES)、周期判別部22は、転送ゲートA、Bに対応する電荷量の比に基づいて周期を判別(特定)する(ステップS15)。具体的には、上記したパターン2とパターン2′のいずれであるか、若しくはパターン6とパターン6′のいずれであるかが特定され、それに応じて周期が判別される。
Here, if there is an overlap in the combination patterns, in this
上記のようにして周期が判別されると、距離算出部23は、その判別された周期(位相差の属する周期)と、位相算出部21によって算出された位相差Δφに基づいて各画素の距離Dを算出する(ステップS16)。そして、距離画像生成部24は、得られた各画素の距離Dに基づいて距離画像を生成する(ステップS17)。その後、ステップS10へ戻る。
When the period is determined as described above, the
ここで、上記したステップS13~S15における周期の判別(特定)の具体的な処理手順は種々考えられ、そのいずれでもよい。例えば、転送ゲートA、Bに対応する電荷量の大小関係を全て場合分けして逐次判定してもよい。この場合、パターン2またはパターン6に当たった際にはさらに位相差Δφが3π/2~7π/4の間にあるか否かで場合分けし、各場合に応じて第1期間または第2期間での転送ゲートA、Bに対応する電荷量の比に基づいて周期を判別すればよい。
Here, various specific processing procedures for determining (identifying) the period in steps S13 to S15 described above can be considered, and any of them may be used. For example, the magnitude relationship between the amounts of charge corresponding to transfer gates A and B may be determined one by one by dividing all cases. In this case, when
また、例えば図12に示すテーブルのように、第1期間、第2期間の各々における「A>B」に対して「10」、「A<B」に対して「01」、「A=B」に対して「00」のというように所定の値を割り当てておき、それらの値を組み合わせた所定の変数Adr(XXXX)を生成し、その内容に応じて周期を判別してもよい。例えば、第1期間が「A>B」、第2期間が「A<B」であれば、変数Adrの値は(1001)となり、この値に対応するのはパターン1(図中「P=1」と表記)であることが特定できる。このとき、パターン2、6に対応する変数Adrが生成された場合には、さらに上記と同様に位相差Δφが3π/2~7π/4の間にあるか否かで場合分けし、各場合に応じて第1期間または第2期間での転送ゲートA、Bに対応する電荷量の比に基づいて周期を判別すればよい。
For example, as in the table shown in FIG. 12, "10" is set for "A>B", "01" is set for "A<B", and "A=B '' may be assigned a predetermined value such as "00", a predetermined variable Adr (XXXX) is generated by combining these values, and the period may be determined according to the content. For example, if the first period is "A>B" and the second period is "A<B", the value of the variable Adr is (1001), and this value corresponds to pattern 1 ("P= 1)). At this time, when the variables Adr corresponding to
以上のような実施形態によれば、光飛行時間計測法を用いて距離画像を生成する際における距離バラつきを抑えつつ最大測距可能距離をより大きくすることが可能となる。また、位相取得時と周期判別時で同じ変調周波数の変調光を用いることができるので、装置構成の複雑化を招くことがない。 According to the embodiments described above, it is possible to further increase the maximum measurable distance while suppressing distance variations when generating distance images using the optical time-of-flight measurement method. Furthermore, since modulated light having the same modulation frequency can be used during phase acquisition and period determination, the device configuration does not become complicated.
なお、本発明は上記した実施形態等の内容に限定されるものではなく、本発明の要旨の範囲内において種々に変形して実施をすることが可能である。例えば、上記した実施形態等において示した諸条件は一例であり、適宜変更することが可能である。また、各受光部12aの構成は上記したものに限定されない。例えば図13(A)に示すように1つの光電変換素子131に対して3つの転送ゲート133a、133b、133cが設けられてもよいし、図13(B)に示すように1つの光電変換素子231に対して4つの転送ゲート233a、233b、234a、234bが設けられてもよいし、原理上、各受光部12aに設けられる転送ゲートの数が多いほど測定可能な距離を伸ばすことができる。
Note that the present invention is not limited to the contents of the above-described embodiments, etc., and can be implemented with various modifications within the scope of the gist of the present invention. For example, the conditions shown in the above-described embodiments are merely examples, and can be changed as appropriate. Furthermore, the configuration of each
また、上記した実施形態では各周期における転送ゲートA、Bの電荷量の関係を場合分けした際にパターン2、6に重複を生じる場合を例示していたが、このような重複が生じないようにすることも可能である。例えば、図14に例示するような転送ゲートのオンオフのパターン、具体的には、第1期間と第2期間のいずれにおいても、転送ゲートAについては、サブ期間(1)~(6)でオン、オフ、オン、オフ、オン、オンの順で切り換えられ、転送ゲートBについては、サブ期間(1)~(6)の各々でオフ、オン、オン、オン、オフ、オンの順で切り換えられるというオン/オフの制御パターンで各転送ゲートA、Bを制御することで、図15に示すように各転送ゲートA、Bから読み出される電荷量の大きさの組み合わせパターンに重複を生じないようにすることができる。それにより、パターン重複の際の例外処理(図9、図10参照)を省略することができるので、アルゴリズムが簡素化されて処理負荷が軽減する。なお、図14に示したパターンはあくまで例示であり、ほかにも種々のオン/オフの制御パターンを想定し得る。
Furthermore, in the above-described embodiment, when the relationship between the charge amounts of transfer gates A and B in each period is divided into cases, an overlap occurs in
また、上記した実施形態では求められた距離から距離画像を生成する装置(方法)において本発明を適用した例を示していたが、単に対象体2との間の距離を求める装置(方法)において本発明を適用してもよい。
Further, in the above-described embodiment, an example was shown in which the present invention is applied to a device (method) that generates a distance image from the determined distance, but in a device (method) that simply calculates the distance to the
1:距離画像生成装置、2:対象体、3:変調光、4:反射光、10:制御部、11:光源、12:撮像素子、12a:受光部、20:駆動タイミング生成部、21:位相算出部、22:周期判別部、23:距離算出部、24:距離画像生成部 1: Distance image generation device, 2: Target object, 3: Modulated light, 4: Reflected light, 10: Control section, 11: Light source, 12: Image sensor, 12a: Light receiving section, 20: Drive timing generation section, 21: Phase calculation unit, 22: Period determination unit, 23: Distance calculation unit, 24: Distance image generation unit
Claims (9)
所定の変調周波数の光を出射する光源と、
各々独立にオンとオフを切り替え可能な複数の転送ゲートを有する受光部と、
前記光源及び前記受光部の動作を制御する駆動制御部と、
位相取得期間において、前記駆動制御部の制御によって前記光源から出射する第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める位相算出部と、
前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記駆動制御部の制御によって前記光源から出射する第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する周期判別部と、
前記位相算出部によって得られる前記位相差と前記周期判別部によって得られる前記位相差の属する周期に基づいて前記距離を求める距離算出部と、
を含み、
前記光源は、前記第1期間内の第1時期に1つ目の前記第2変調光を出射するとともに前記第2期間内の第2時期に2つ目の前記第2変調光を出射するように前記駆動制御部によって制御され、
前記複数の転送ゲートの各々は、前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎にオン/オフを切り替えるように前記駆動制御部によって制御され、
前記周期判別部は、前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別する、
距離検出装置。 A device for detecting a distance to a target object,
a light source that emits light at a predetermined modulation frequency;
a light receiving section having a plurality of transfer gates each of which can be independently turned on and off;
a drive control section that controls operations of the light source and the light receiving section;
During the phase acquisition period, the phase difference between the first modulated light emitted from the light source and the first reflected light generated by the first modulated light is transmitted through the plurality of transfer gates of the light receiving section under the control of the drive control section. a phase calculation unit that calculates the phase based on each amount of charge read out;
A second reflected light generated by the second modulated light emitted from the light source under the control of the drive control unit in a period determination period that is provided separately from the phase acquisition period and has at least a first period and a second period. Based on the amounts of charges read out through the plurality of transfer gates of the light receiving section in response to the period, which period does the phase difference belong to based on the emission timing of the first modulated light? a period determination unit that determines the
a distance calculation unit that calculates the distance based on the phase difference obtained by the phase calculation unit and the period to which the phase difference obtained by the period determination unit belongs;
including;
The light source is configured to emit one of the second modulated lights at a first time within the first period and to emit a second of the second modulated light at a second time within the second period. controlled by the drive control section,
Each of the plurality of transfer gates is controlled by the drive control unit to be switched on/off in each of the first period and the second period at regular intervals that are repeated at a cycle corresponding to the modulation frequency. ,
The period determining unit determines the position based on a combination pattern of the magnitude relationship of the charge amount obtained from each of the plurality of transfer gates in response to the second reflected light in each of the first period and the second period. Determine the period to which the phase difference belongs,
Distance detection device.
請求項1に記載の距離検出装置。 An on/off control pattern for one transfer gate among the plurality of transfer gates is different from an on/off control pattern for the other transfer gate,
The distance detection device according to claim 1.
請求項1又は2に記載の距離検出装置。 For each of the plurality of transfer gates, the on/off control pattern in the first period and the on/off control pattern in the second period are the same,
The distance detection device according to claim 1 or 2.
請求項1~3の何れか1項に記載の距離検出装置。 the emission time of the second modulated light is shorter than the length of the certain period;
The distance detection device according to any one of claims 1 to 3.
請求項1~4の何れか1項に記載の距離検出装置。 The length of time from the start of the first period to the first period is different from the length of time from the start of the second period to the second period,
The distance detection device according to any one of claims 1 to 4.
請求項1~5の何れか1項に記載の距離検出装置。 When the combination pattern of the magnitude relationship of the charge amount specified according to the second reflected light exists overlappingly in two or more periods, the charge amount corresponding to each of the plurality of transfer gates. determining the period to which the phase difference belongs based on the ratio of
The distance detection device according to any one of claims 1 to 5.
位相取得期間において、前記光源から出射した第1変調光と当該第1変調光により生じる第1反射光との位相差を、前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて求める第1ステップと、
前記位相取得期間とは別途設けられる期間であって少なくとも第1期間と第2期間を有する周期判別期間において、前記光源から出射した第2変調光により生じる第2反射光に対応して前記受光部の前記複数の転送ゲートを介して読み出される各電荷量に基づいて、前記位相差が前記第1変調光の出射時期を基準としていくつ目の周期に属するものであるかを判別する第2ステップと、
前記第1ステップで得られる前記位相差と前記第2ステップで得られる前記位相差の属する周期に基づいて前記距離を求める第3ステップと、
を含み、
前記第2ステップは、
前記光源から、前記第1期間内の第1時期に1つ目の前記第2変調光が出射し、前記第2期間内の第2時期に2つ目の前記第2変調光が出射すること、
前記第1期間と前記第2期間の各々において、前記変調周波数に対応した周期で繰り返される一定期間毎に前記複数の転送ゲートの各々のオン/オフが切り替えられること、
前記第1期間と前記第2期間の各々において前記第2反射光に応じて前記複数の転送ゲートの各々から得られる前記電荷量の大小関係の組み合わせパターンに基づいて前記位相差の属する周期を判別すること、
を含む、
距離検出方法。 A method for detecting a distance to a target object using a light source that emits light of a predetermined modulation frequency and a light receiving section having a plurality of transfer gates that can each be independently turned on and off, the method comprising:
During the phase acquisition period, the phase difference between the first modulated light emitted from the light source and the first reflected light generated by the first modulated light is calculated as the amount of charge read out through the plurality of transfer gates of the light receiving section. The first step is to obtain based on
In a period determination period that is provided separately from the phase acquisition period and has at least a first period and a second period, the light receiving section responds to the second reflected light generated by the second modulated light emitted from the light source. a second step of determining which cycle the phase difference belongs to based on the amount of charge read out through the plurality of transfer gates, based on the emission timing of the first modulated light; ,
a third step of determining the distance based on the period to which the phase difference obtained in the first step and the phase difference obtained in the second step belong;
including;
The second step is
A first piece of the second modulated light is emitted from the light source at a first time within the first period, and a second piece of the second modulated light is emitted from the light source at a second time within the second period. ,
In each of the first period and the second period, each of the plurality of transfer gates is switched on/off every fixed period that is repeated at a period corresponding to the modulation frequency;
In each of the first period and the second period, a period to which the phase difference belongs is determined based on a combination pattern of the magnitude relationship of the charge amounts obtained from each of the plurality of transfer gates according to the second reflected light. to do,
including,
Distance detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037391A JP7407021B2 (en) | 2020-03-05 | 2020-03-05 | Distance detection device, distance detection method, distance image generation device, distance image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037391A JP7407021B2 (en) | 2020-03-05 | 2020-03-05 | Distance detection device, distance detection method, distance image generation device, distance image generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021139733A JP2021139733A (en) | 2021-09-16 |
JP7407021B2 true JP7407021B2 (en) | 2023-12-28 |
Family
ID=77668339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037391A Active JP7407021B2 (en) | 2020-03-05 | 2020-03-05 | Distance detection device, distance detection method, distance image generation device, distance image generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7407021B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016090436A (en) | 2014-11-06 | 2016-05-23 | 株式会社デンソー | Time-of-flight optical ranging device |
JP2017167120A (en) | 2016-03-10 | 2017-09-21 | 株式会社リコー | Distance measurement device, moving body, robot, device and three-dimensional measurement method |
US20180031681A1 (en) | 2016-07-26 | 2018-02-01 | Samsung Electronics Co., Ltd. | Lidar device and method of measuring distance using the same |
JP2018021764A (en) | 2016-08-01 | 2018-02-08 | 株式会社デンソー | Time of flight type distance measurement device |
-
2020
- 2020-03-05 JP JP2020037391A patent/JP7407021B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016090436A (en) | 2014-11-06 | 2016-05-23 | 株式会社デンソー | Time-of-flight optical ranging device |
JP2017167120A (en) | 2016-03-10 | 2017-09-21 | 株式会社リコー | Distance measurement device, moving body, robot, device and three-dimensional measurement method |
US20180031681A1 (en) | 2016-07-26 | 2018-02-01 | Samsung Electronics Co., Ltd. | Lidar device and method of measuring distance using the same |
JP2018021764A (en) | 2016-08-01 | 2018-02-08 | 株式会社デンソー | Time of flight type distance measurement device |
Also Published As
Publication number | Publication date |
---|---|
JP2021139733A (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10578741B2 (en) | Distance detection device and distance detection method | |
US10293210B2 (en) | Treadmill and control method for controlling the treadmill belt thereof | |
US20130243459A1 (en) | Image forming apparatus | |
KR20100025228A (en) | Apparatus and method for obtaining a depth image | |
JP6427998B2 (en) | Optical flight rangefinder | |
US8634446B2 (en) | Frequency level detecting method | |
US20190383906A1 (en) | Distance-measuring apparatus that outputs precision information | |
US10705215B2 (en) | Distance measurement apparatus, and method of measuring distance | |
JP2020112443A (en) | Distance measurement device and distance measurement method | |
JP5253142B2 (en) | Image forming apparatus and control method thereof | |
JP7407021B2 (en) | Distance detection device, distance detection method, distance image generation device, distance image generation method | |
CN109991581A (en) | Flight time acquisition methods and time-of-flight camera | |
US20210341609A1 (en) | High resolution time-of-flight measurements | |
US20220179078A1 (en) | Time-of-flight ranging device and time-of-flight ranging method | |
JP5180502B2 (en) | Ranging device and ranging method | |
JP5602554B2 (en) | Optical distance measuring device | |
JP2020008483A (en) | Imaging device and method for controlling imaging device | |
US20210389458A1 (en) | Sensor device and detection method | |
JP7468999B2 (en) | Multipath detection device and multipath detection method | |
US7973913B2 (en) | Distance measurement apparatus and method | |
US6661453B1 (en) | Image input apparatus and method | |
US11644304B2 (en) | Height measurement method and height measurement device | |
US11604278B2 (en) | Three-dimensional distance measurement device | |
US10067223B2 (en) | Determining reflectance of a target using a time of flight ranging system | |
US20220334233A1 (en) | Distance measurement device and control method of same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |