[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5486150B2 - Ranging device, ranging method and ranging system - Google Patents

Ranging device, ranging method and ranging system Download PDF

Info

Publication number
JP5486150B2
JP5486150B2 JP2007095083A JP2007095083A JP5486150B2 JP 5486150 B2 JP5486150 B2 JP 5486150B2 JP 2007095083 A JP2007095083 A JP 2007095083A JP 2007095083 A JP2007095083 A JP 2007095083A JP 5486150 B2 JP5486150 B2 JP 5486150B2
Authority
JP
Japan
Prior art keywords
light
section
distance
intensity
integrated intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007095083A
Other languages
Japanese (ja)
Other versions
JP2008249673A (en
Inventor
英二 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007095083A priority Critical patent/JP5486150B2/en
Publication of JP2008249673A publication Critical patent/JP2008249673A/en
Application granted granted Critical
Publication of JP5486150B2 publication Critical patent/JP5486150B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、測距装置、測距方法及び測距システムに関するものであり、例えば出射された光により照射された物体からの反射光を撮像素子の各画素ごとに受光して物体の立体構造を検出する場合に好適な測距装置、測距方法及び測距システムに関する。   The present invention relates to a distance measuring device, a distance measuring method, and a distance measuring system. For example, reflected light from an object irradiated with emitted light is received for each pixel of an image sensor to obtain a three-dimensional structure of the object. The present invention relates to a distance measuring device, a distance measuring method, and a distance measuring system suitable for detection.

物体までの距離を測定する方法として、TOF(Time Of Flight)方式の光波測距方法が知られている。   As a method for measuring the distance to an object, a light wave distance measuring method of TOF (Time Of Flight) method is known.

この方式による装置は、図15に示すように、例えばLEDアレイで構成され、強度変調された光(変調光)を出射する光源200と、該光源200から出射された変調光によって照射された物体202からの反射光を受光する撮像素子204と、反射光を撮像素子204に結像させる光学系206とを有する。   As shown in FIG. 15, the apparatus according to this method includes, for example, an LED array, a light source 200 that emits intensity-modulated light (modulated light), and an object irradiated by the modulated light emitted from the light source 200. The imaging device 204 that receives the reflected light from 202 and an optical system 206 that forms an image of the reflected light on the imaging device 204 are included.

光源200から物体202に照射される変調光が例えば20MHzの高周波で強度変調されている場合、その波長は15mとなるから、光が7.5mの距離を往復すれば1周期の位相の遅れが生じることになる。   When the modulated light emitted from the light source 200 to the object 202 is intensity-modulated at a high frequency of 20 MHz, for example, the wavelength is 15 m. Therefore, if the light travels a distance of 7.5 m, a phase delay of one cycle occurs. Will occur.

ここで、変調光に対する反射光の位相の遅れについて図16を参照しながら説明する。   Here, the phase delay of the reflected light with respect to the modulated light will be described with reference to FIG.

図16に示すように、変調光Wに対して、反射光Rはφだけ位相遅れが生じている。この位相遅れφを検出するために、変調光Wの1周期に例えば4回だけ等間隔に反射光Rをサンプリングする。例えば変調光Wの位相が0°、90°、180°、270°であるときの反射光Rのサンプリング値をそれぞれA0,A1,A2,A3とすると、位相の遅れφは次式で与えられる。
φ=arctan{(A3−A1)/(A0−A2)}
As shown in FIG. 16, the reflected light R is delayed in phase by φ with respect to the modulated light W. In order to detect this phase delay φ, the reflected light R is sampled at equal intervals, for example, four times in one period of the modulated light W. For example, assuming that the sampling values of the reflected light R when the phase of the modulated light W is 0 °, 90 °, 180 °, and 270 ° are A0, A1, A2, and A3, respectively, the phase delay φ is given by the following equation. .
φ = arctan {(A3-A1) / (A0-A2)}

物体202からの反射光は、光学系206を介して撮像素子204の受光面に結像される。撮像素子204の受光面には複数の画素(フォトダイオード)が2次元的に配列されており、各画素について上式による位相遅れφを求めることにより、物体202の立体的な構造を検出できる。   The reflected light from the object 202 is imaged on the light receiving surface of the image sensor 204 via the optical system 206. A plurality of pixels (photodiodes) are two-dimensionally arranged on the light receiving surface of the image sensor 204, and the three-dimensional structure of the object 202 can be detected by obtaining the phase delay φ according to the above equation for each pixel.

そして、上述の原理を利用した測距装置として、例えば特許文献1及び2が提案されている。   For example, Patent Documents 1 and 2 have been proposed as distance measuring devices using the above-described principle.

この特許文献1に係る測距装置は、物体からの反射光を、撮像素子の電荷掃き出しゲート(オーバーフロードレインゲート:OFDG)あるいは読出しゲートの開閉の位相をずらすことによって、複数のパターンの露光期間にて受光することで測距を行う、というものである。   In the distance measuring apparatus according to Patent Document 1, the reflected light from an object is shifted in the exposure period of a plurality of patterns by shifting the phase of opening and closing of the charge sweep gate (overflow drain gate: OFDG) or the readout gate of the image sensor. The distance is measured by receiving the light.

特許文献2に係る測距装置は、特許文献1と同様の原理であるが、濃淡画像と距離画像をほぼ同時刻に得られるようにしたものである。   The distance measuring device according to Patent Document 2 is based on the same principle as that of Patent Document 1, but a grayscale image and a distance image can be obtained at substantially the same time.

また、特許文献3には、物体にパルス光を照射して、パルス光の飛行時間(TOF)に比例するクロックパルス数を計数する、あるいは、2つの電荷蓄積部を交互に使用して電荷を蓄積し、その比から被物体までの距離を求める技術が開示されている。   Further, Patent Document 3 irradiates an object with pulsed light and counts the number of clock pulses proportional to the time of flight (TOF) of the pulsed light, or alternately uses two charge accumulating units to charge. A technique for accumulating and obtaining a distance to an object from the ratio is disclosed.

特許第3758618号公報Japanese Patent No. 3758618 特開2006−46959号公報JP 2006-46959 A 特表2003−510561号公報Japanese translation of PCT publication No. 2003-510561

しかしながら、上述した特許文献3は、外光成分を除去する機能がなく、外光下では、正確な測距ができないという問題がある。   However, Patent Document 3 described above does not have a function of removing an external light component, and there is a problem that accurate distance measurement cannot be performed under external light.

特許文献1及び2の測距方法は、照射光として変調光を使用することにより、外光成分を除去することが可能であるが、照射光の変調が不正確(正弦波変調で照射光の強度変化がサインカーブからずれている)場合には、測距演算における誤差となる。従って、精密な光源の変調が必要であるが、このような制御は困難が伴うという問題がある。   The ranging methods of Patent Documents 1 and 2 can remove the external light component by using the modulated light as the irradiation light, but the modulation of the irradiation light is inaccurate (the sinusoidal modulation of the irradiation light). If the intensity change deviates from the sine curve), an error occurs in the distance measurement calculation. Therefore, precise modulation of the light source is necessary, but there is a problem that such control is difficult.

本発明はこのような課題を考慮してなされたものであり、パルス光を使用して測距する際に、外光成分を除去することができ、測距の精度を向上させることができる測距装置及び測距方法を提供することを目的とする。   The present invention has been made in consideration of such a problem. When measuring distance using pulsed light, an external light component can be removed, and measurement accuracy that can improve distance measurement accuracy. An object is to provide a distance measuring apparatus and a distance measuring method.

また、本発明は、測距によって得られた距離画像と同時に物体の濃淡画像も取得可能で、距離データから得られる三次元ポリゴン画像や、該三次元ポリゴン画像に濃淡画像による輝度データをマッピングした三次元モデル画像を表示することが可能となり、様々なアプリケーションに適用させることができる測距システムを提供することを目的する。   In addition, the present invention can acquire a grayscale image of an object at the same time as a distance image obtained by distance measurement, and a 3D polygon image obtained from the distance data, or luminance data based on the grayscale image is mapped to the 3D polygon image. An object of the present invention is to provide a ranging system that can display a three-dimensional model image and can be applied to various applications.

第1の本発明に係る測距装置は、基準時から所定のパルス幅を有するパルス光を出射する発光手段と、前記パルス光により照射された物体からの反射光を受光し、前記基準時から前記パルス幅に相当する期間にわたる第1区間で蓄積した第1電荷量と、前記第1区間経過時点から前記パルス幅に相当する期間にわたる第2区間で蓄積した第2電荷量と、前記第2区間経過時点から前記パルス幅に相当する期間にわたる第3区間で蓄積した第3電荷量とを得る受光手段と、前記受光手段で得られた前記第1電荷量、前記第2電荷量及び前記第3電荷量に基づいて、前記物体までの距離を算出する演算手段とを有し、前記演算手段は、前記第1電荷量、前記第2電荷量及び前記第3電荷量を比較する比較部と、第1変数、第2変数及び第3変数に基づいて、前記第1区間又は前記第2区間に基づいた距離を演算する距離演算部と、前記第1区間及び前記第3区間のうち、最も電荷量の少ない区間に応じて前記第1変数、前記第2変数及び前記第3変数と、前記第1電荷量、前記第2電荷量及び前記第3電荷量との対応関係を選択する選択部と、加算部と、を有し、前記距離演算部は、前記パルス幅で決まる設定距離をL、前記第1変数をXa、前記第2変数をXb、前記第3変数をXcとしたとき、{(Xb−Xc)/(Xa+Xb−Xc×2)}×Lを演算して前記距離を求め、前記選択部は、最も電荷量の少ない区間が前記第3区間の場合に、前記第1変数Xaに前記第1電荷量、前記第2変数Xbに前記第2電荷量、前記第3変数Xcに前記第3電荷量を選択し、最も電荷量の少ない区間が前記第1区間の場合に、前記第1変数Xaに前記第2電荷量、前記第2変数Xbに前記第3電荷量、前記第3変数Xcに前記第1電荷量を選択し、前記加算部は、最も電荷量の少ない区間が前記第3区間の場合に、前記距離演算部で得られた前記距離に0を加算し、最も電荷量の少ない区間が前記第1区間の場合に、前記距離演算部で得られた前記距離に前記設定距離Lを加算することを特徴とする。
この場合、最も電荷量の少ない区間が前記第2区間の場合に、測定エラーとするようにしてもよい。
また、第2の本発明に係る測距装置は、基準時から所定のパルス幅を有するパルス光を出射する発光手段と、前記パルス光により照射された物体からの反射光と外光成分とを含む光を、前記基準時から前記パルス幅に相当する期間毎に順番に配置されたn個の区間においてそれぞれ受光してn個の受光積分強度を得る受光手段と、前記n個の受光積分強度を比較し、強度の大きい2つの受光積分強度(第1受光積分強度及び第2受光積分強度)と、強度の小さい(n−2)個の受光積分強度を検出して、前記n個の区間のうち、前記第1受光積分強度及び前記第2受光積分強度に対応する2つの区間(第1区間及び第2区間)を、前記反射光が到来し、且つ、前記外光成分が入射した反射光区間とし、その他の(n−2)個の区間を、前記外光成分のみが入射した外光区間とする比較手段と、前記外光区間における強度の小さい(n−2)個の受光積分強度をそれぞれ基準強度とし、(n−2)個の基準強度の時間変化を関数化して前記反射光区間及び前記外光区間を含めたn個の区間における基準強度の分布を得る手段と、得られた前記基準強度の分布から、前記反射光区間における前記第1区間及び前記第2区間に対応した第1基準強度及び第2基準強度を求める手段と、前記反射光区間における前記第1受光積分強度及び前記第2受光積分強度からそれぞれ対応する前記第1基準強度及び前記第2基準強度を減算して第1補正積分強度及び第2補正積分強度を得る手段と、前記第1補正積分強度及び前記第2補正積分強度に基づいて、前記物体までの距離を算出する手段とを有し、前記物体までの距離を算出する手段は、前記パルス幅で決まる設定距離をL、前記第1補正積分強度をd1、前記第2補正積分強度をd2、前記n個の区間のうち、前記基準時から前記反射光区間が到来するまでの区間の数をmとしたとき、
{d2/(d1+d2)}×L+m×L
を演算して前記物体までの距離kを算出することを特徴とする。
A distance measuring device according to a first aspect of the present invention is a light emitting means for emitting pulsed light having a predetermined pulse width from a reference time, receives reflected light from an object irradiated by the pulsed light, and starts from the reference time. A first charge amount accumulated in a first interval over a period corresponding to the pulse width; a second charge amount accumulated in a second interval over a period corresponding to the pulse width from the time when the first interval has elapsed; A light receiving means for obtaining a third charge amount accumulated in a third interval over a period corresponding to the pulse width from the time point of the passage of the interval; the first charge amount, the second charge amount and the second charge amount obtained by the light receiving means; A calculation unit that calculates a distance to the object based on three charge amounts, and the calculation unit includes a comparison unit that compares the first charge amount, the second charge amount, and the third charge amount; , 1st variable, 2nd variable and 3rd variable Accordingly, a distance calculation unit that calculates a distance based on the first section or the second section, and the first variable according to a section with the least amount of charge among the first section and the third section, A selection unit that selects a correspondence relationship between the second variable and the third variable and the first charge amount, the second charge amount, and the third charge amount; and an addition unit; and the distance calculation When the setting distance determined by the pulse width is L, the first variable is Xa, the second variable is Xb, and the third variable is Xc, {(Xb−Xc) / (Xa + Xb−Xc × 2 )} × L is calculated to obtain the distance, and when the section with the smallest amount of charge is the third section, the selection unit sets the first variable Xa to the first charge amount and the second variable Xb. Are selected as the second charge amount and the third variable Xc as the third charge amount. When the section is the first section, the second charge amount is selected as the first variable Xa, the third charge amount is selected as the second variable Xb, and the first charge amount is selected as the third variable Xc, The adding unit adds 0 to the distance obtained by the distance calculation unit when the section with the smallest charge amount is the third section, and when the section with the least charge amount is the first section, The set distance L is added to the distance obtained by the distance calculation unit.
In this case, when the section with the smallest amount of charge is the second section, a measurement error may be set.
Further, the distance measuring device according to the second aspect of the present invention includes a light emitting unit that emits pulsed light having a predetermined pulse width from a reference time, reflected light from an object irradiated with the pulsed light, and an external light component. Light receiving means for receiving the received light in n sections arranged in order for each period corresponding to the pulse width from the reference time to obtain n received integrated intensity, and the n received integrated intensity comparing, and two light receiving integrated intensity greater intensity (first light receiving integrated intensity and the second light receiving integrated intensity), a small strength (n-2) number of detects the received light integrated intensity, the n intervals Of these, the reflected light arrives and the external light component enters the two sections (first section and second section) corresponding to the first received light integrated intensity and the second received light integrated intensity. The light section and the other (n-2) sections are Comparing means only component is an outer light interval incident, intensity-small and (n-2) pieces each reference intensity light receiving integrated intensity of in the external light section, (n-2) times the change in the number of reference intensity A function of obtaining a reference intensity distribution in n sections including the reflected light section and the outside light section, and the first section in the reflected light section from the obtained reference intensity distribution. and means for determining a first reference intensity and the second reference intensity corresponding to the second period, the first reference intensity corresponding respectively from the first light receiving integrated intensity and the second light receiving integrated intensity of said reflected light section and It means for obtaining a first correction integrated intensity and the second correction integrated intensity by subtracting the second reference strength, based on the first correction integrated intensity and the second correction integrated intensity, and calculates the distance to the object Means And, means for calculating a distance to the object, wherein the set distance determined by the pulse width L, the first correction integrated intensity d1, the second correction integrated intensity d2, among the n intervals, the When the number of sections from the reference time until the reflected light section arrives is m,
{D2 / (d1 + d2)} × L + m × L
To calculate the distance k to the object .

これにより、パルス光を使用して測距する際に、外光成分を除去することができ、測距の精度を向上させることができる。   Thereby, when ranging using pulsed light, external light components can be removed, and the accuracy of ranging can be improved.

これらの構成においては、演算手段を構成する比較部、距離演算部、選択部等をハードウェアとして1つのブロックにて構成することができ、ソフトウエアの簡略化、演算処理の高速化を図ることができる。   In these configurations, the comparison unit, the distance calculation unit, the selection unit, etc. that constitute the calculation means can be configured as a single block as hardware, thereby simplifying the software and speeding up the calculation process. Can do.

次に、第の本発明に係る測距方法は、基準時から所定のパルス幅を有するパルス光を出射する発光ステップと、前記パルス光により照射された物体からの反射光を前記基準時から前記パルス幅に相当する期間にわたる第1区間で受光して第1受光積分強度を得る第1受光ステップと、前記反射光を前記第1区間経過時点から前記パルス幅に相当する期間にわたる第2区間で受光して第2受光積分強度を得る第2受光ステップと、前記反射光を前記第2区間経過時点から前記パルス幅に相当する期間にわたる第3区間で受光して第3受光積分強度を得る第3受光ステップと、前記第1受光積分強度、前記第2受光積分強度及び前記第3受光積分強度に基づいて、前記物体までの距離を算出する演算ステップとを有し、前記演算ステップは、前記第1受光積分強度、前記第2受光積分強度及び前記第3受光積分強度を比較する比較ステップと、第1変数、第2変数及び第3変数に基づいて、前記第1区間又は前記第2区間に基づいた距離を演算する距離演算ステップと、前記第1区間及び前記第3区間のうち、最も受光積分強度の小さい区間に応じて前記第1変数、前記第2変数及び前記第3変数と、前記第1受光積分強度、前記第2受光積分強度及び前記第3受光積分強度との対応関係を選択する選択ステップと、加算ステップと、を有し、前記距離演算ステップは、前記パルス幅で決まる設定距離をL、前記第1変数をXa、前記第2変数をXb、前記第3変数をXcとしたとき、{(Xb−Xc)/(Xa+Xb−Xc×2)}×Lを演算して前記距離を求め、前記選択ステップは、最も受光積分強度の小さい区間が前記第3区間の場合に、前記第1変数Xaに前記第1受光積分強度、前記第2変数Xbに前記第2受光積分強度、前記第3変数Xcに前記第3受光積分強度を選択し、最も受光積分強度の小さい区間が前記第1区間の場合に、前記第1変数Xaに前記第2受光積分強度、前記第2変数Xbに前記第3受光積分強度、前記第3変数Xcに前記第1受光積分強度を選択し、前記加算ステップは、最も受光積分強度の小さい区間が前記第3区間の場合に、前記距離演算ステップで得られた前記距離に0を加算し、最も受光積分強度の小さい区間が前記第1区間の場合に、前記距離演算ステップで得られた前記距離に前記設定距離Lを加算することを特徴とする。
Next, a distance measuring method according to a third aspect of the present invention includes a light emitting step of emitting pulsed light having a predetermined pulse width from a reference time, and reflected light from an object irradiated by the pulsed light from the reference time. a first light receiving step Ru obtain a first light receiving integrated intensity received by the first section over a period of time corresponding to the pulse width, the second over a period of time corresponding to said reflected light from said first interval elapsed time to the pulse width the third light receiving integrated intensity by receiving a second light receiving integrated intensity by receiving a second light receiving step Ru obtained, in the third section over a period corresponding to the pulse width of the reflected light from said second interval elapsed time in the interval and a third light receiving step Ru obtained, the first light receiving integrated intensity, based on the second light receiving integrated intensity and the third light receiving integrated intensity, and a calculation step of calculating a distance to the object, the arithmetic Step before Based on the first variable, the second variable, and the third variable, the comparison step of comparing the first received light integrated intensity, the second received light integrated intensity, and the third received light integrated intensity, and the first interval or the second interval A distance calculation step for calculating a distance based on the first variable, the second variable, and the third variable according to a section having the smallest received light integration intensity among the first section and the third section, A selection step for selecting a correspondence relationship between the first received light integrated intensity, the second received light integrated intensity, and the third received light integrated intensity, and an adding step, and the distance calculating step is determined by the pulse width. When the set distance is L, the first variable is Xa, the second variable is Xb, and the third variable is Xc, {(Xb−Xc) / (Xa + Xb−Xc × 2)} × L is calculated. Determining the distance and selecting the step When the interval with the smallest received light integration intensity is the third interval, the first received light integrated intensity is set as the first variable Xa, the second received light integrated intensity is set as the second variable Xb, and the third variable Xc is set as the value. When the third received light integrated intensity is selected, and the section with the smallest received light integrated intensity is the first section, the second received light integrated intensity is set to the first variable Xa, and the third received light integrated intensity is set to the second variable Xb. The first received light integrated intensity is selected as the third variable Xc, and the adding step sets the distance obtained in the distance calculating step to 0 when the section having the smallest received light integrated intensity is the third section. And the set distance L is added to the distance obtained in the distance calculating step when the section with the smallest received light integration intensity is the first section .

これにより、パルス光を使用して測距する際に、外光成分を除去することができ、測距の精度を向上させることができる。   Thereby, when ranging using pulsed light, external light components can be removed, and the accuracy of ranging can be improved.

そして、第2の本発明において、前記第2受光ステップで受光した受光積分強度が前記基準強度とみなされた場合に、測定エラーとするようにしてもよい。   In the second aspect of the present invention, when the received light integrated intensity received in the second light receiving step is regarded as the reference intensity, a measurement error may be set.

次に、第4の本発明に係る測距方法は、基準時から所定のパルス幅を有するパルス光を出射する発光ステップと、前記パルス光により照射された物体からの反射光と外光成分とを含む光を、前記基準時から前記パルス幅に相当する期間毎に順番に配置されたn個の区間においてそれぞれ受光してn個の受光積分強度を得る受光ステップと、前記n個の受光積分強度を比較し、強度の大きい2つの受光積分強度(第1受光積分強度及び第2受光積分強度)と、強度の小さい(n−2)個の受光積分強度を検出して、前記n個の区間のうち、前記第1受光積分強度及び前記第2受光積分強度に対応する2つの区間(第1区間及び第2区間)を、前記反射光が到来し、且つ、前記外光成分が入射した反射光区間とし、その他の(n−2)個の区間を、前記外光成分のみが入射した外光区間とする比較ステップと、前記外光区間における強度の小さい(n−2)個の受光積分強度をそれぞれ基準強度とし、(n−2)個の基準強度の時間変化を関数化して前記反射光区間及び前記外光区間を含めたn個の区間における基準強度の分布を得るステップと、得られた前記基準強度の分布から、前記反射光区間における前記第1区間及び前記第2区間に対応した第1基準強度及び第2基準強度を求めるステップと、前記反射光区間における前記第1受光積分強度及び前記第2受光積分強度からそれぞれ対応する前記第1基準強度及び前記第2基準強度を減算して第1補正積分強度及び第2補正積分強度を得るステップと、前記第1補正積分強度及び前記第2補正積分強度に基づいて、前記物体までの距離を算出するステップとを有し、前記物体までの距離を算出するステップは、前記パルス幅で決まる設定距離をL、前記第1補正積分強度をd1、前記第2補正積分強度をd2、前記n個の区間のうち、前記基準時から前記反射光区間が到来するまでの区間の数をmとしたとき、
{d2/(d1+d2)}×L+m×L
を演算して前記物体までの距離kを算出することを特徴とする。
Next, a distance measuring method according to a fourth aspect of the present invention includes a light emitting step of emitting pulsed light having a predetermined pulse width from a reference time, reflected light from an object irradiated with the pulsed light, and an external light component. a light receiving step of obtaining the n-number of light-receiving integrated intensity light, each received at the pulse width of n which are arranged in order for each period corresponding to the interval from the reference time including, said n receiving light The integrated intensities are compared, and two received light integrated intensities (first received light integrated intensity and second received light integrated intensity) having a high intensity and (n−2) received light integrated intensities having a low intensity are detected , and the n light receiving integrated intensities are detected. The reflected light arrives and the outside light component is incident on two sections (first section and second section) corresponding to the first received integrated intensity and the second received integrated intensity. And the other (n-2) sections are the reflected light sections A comparison step and a small strength in the external light period (n-2) pieces each reference intensity light receiving integrated intensity of only the external light component is to incident external light section, (n-2) pieces of reference intensity obtaining a distribution of the reference intensity at the n sections, including the time change in the function of said reflected light period and the external light section, the distribution of the resulting said reference intensity, said in the reflected light section A step of obtaining a first reference intensity and a second reference intensity corresponding to the first section and the second section, and the first corresponding to the first received light integrated intensity and the second received light integrated intensity in the reflected light section, respectively . obtaining a first correction integrated intensity and the second correction integrated intensity by subtracting the reference intensity and the second reference strength, based on the first correction integrated intensity and the second correction integrated intensity, until the object And a step of calculating the distance, the step of calculating the distance to said object, said set distance determined by the pulse width L, and the first correction integrated intensity d1, the second correction integrated intensity d2, the Among the n sections, when the number of sections from the reference time to the arrival of the reflected light section is m,
{D2 / (d1 + d2)} × L + m × L
To calculate the distance k to the object .

パルス光を使用して測距する際に、時間的に変化する外光成分をも除去することができ、測距の精度をさらに向上させることができる。   When ranging using pulsed light, an external light component that changes with time can be removed, and the accuracy of distance measurement can be further improved.

そして、第4の本発明において、前記第1区間と前記第2区間が時間的に連続していない場合に、測距エラーとするようにしてもよい。
In the fourth aspect of the present invention, when the first section and the second section are not continuous in time, a ranging error may be generated.

また、第4の本発明において、前記比較ステップは、区間毎の受光積分強度の差分を求め、差分が0よりも大きく最大である区間を、前記反射光区間の開始区間と判定し、差分が0よりも小さく絶対値が最大である区間を、前記反射光区間の終了区間と判定するようにしてもよい。この場合、反射光が到来した区間を確実に検出することが可能となる。 In the fourth aspect of the present invention, the comparison step obtains a difference in received light integrated intensity for each section , determines a section where the difference is greater than 0 and maximum as a start section of the reflected light section, and the difference is the smaller the absolute value is maximum interval than 0, it may be determined that the exit section of the reflected light section. In this case, it is possible to reliably detect the section in which the reflected light has arrived.

次に、第の本発明に係る測距システムは、上述した第1の本発明に係る測距装置と、前記測距装置における各受光部に対応した距離を算出して距離画像を得る距離画像取得手段と、前記測距装置における前記各受光部に対応して検出された前記最も電荷量の少ない区間の電荷量に基づいて前記各受光部に対応した濃淡画像を得る濃淡画像取得手段とを有することを特徴とする。
Next, a distance measuring system according to a fifth aspect of the present invention is a distance for obtaining a distance image by calculating a distance corresponding to the distance measuring device according to the first aspect of the present invention and each light receiving unit in the distance measuring apparatus. An image acquisition unit; and a grayscale image acquisition unit that obtains a grayscale image corresponding to each light receiving unit based on a charge amount of the section with the smallest charge amount detected corresponding to each light receiving unit in the distance measuring device. It is characterized by having.

これにより、測距によって得られた距離画像と同時に物体の濃淡画像も取得可能で、距離データから得られる三次元ポリゴン画像や、該三次元ポリゴン画像に濃淡画像による輝度データをマッピングした三次元モデル画像を表示することが可能となり、様々なアプリケーションに適用させることができる。   As a result, a grayscale image of an object can be obtained simultaneously with a distance image obtained by ranging, and a 3D polygon image obtained from distance data, or a 3D model in which luminance data from the grayscale image is mapped to the 3D polygon image Images can be displayed and can be applied to various applications.

そして、第の本発明において、前記距離画像と前記濃淡画像とを関連付けて記録媒体に記録する画像記録手段を有するようにしてもよい。
In the fifth aspect of the present invention, an image recording unit that records the distance image and the grayscale image in association with each other may be provided.

また、第の本発明において、前記距離画像における各受光部に対応した距離データと、前記濃淡画像における各受光部に対応した濃淡データとを、それぞれ各受光部に関連付けて記録媒体に記録するデータ記録手段を有するようにしてもよい。 In the fifth aspect of the present invention, distance data corresponding to each light receiving unit in the distance image and density data corresponding to each light receiving unit in the gray image are recorded on a recording medium in association with each light receiving unit. You may make it have a data recording means.

以上説明したように、本発明に係る測距装置及び測距方法によれば、パルス光を使用して測距する際に、外光成分を除去することができ、測距の精度を向上させることができる。   As described above, according to the distance measuring device and the distance measuring method according to the present invention, it is possible to remove the external light component and improve the distance measurement accuracy when the distance is measured using the pulsed light. be able to.

また、本発明に係る測距システムによれば、測距によって得られた距離画像と同時に物体の濃淡画像も取得可能で、距離データから得られる三次元ポリゴン画像や、該三次元ポリゴン画像に濃淡画像による輝度データをマッピングした三次元モデル画像を表示することが可能となり、様々なアプリケーションに適用させることができる。   Further, according to the distance measuring system according to the present invention, it is possible to acquire a grayscale image of an object at the same time as a distance image obtained by distance measurement, and a 3D polygon image obtained from distance data, or a grayscale image on the 3D polygon image. It is possible to display a three-dimensional model image obtained by mapping luminance data based on an image, and it can be applied to various applications.

以下、本発明に係る測距装置、測距方法及び測距システムの実施の形態例を図1〜図14を参照しながら説明する。   Hereinafter, embodiments of a distance measuring device, a distance measuring method, and a distance measuring system according to the present invention will be described with reference to FIGS.

本実施の形態に係る測距システム10は、図1に示すように、ほぼ直方体あるいは立方体の形状を有する筐体12と、該筐体12に設けられ、基準時から所定のパルス幅を有するパルス光を出射する発光手段14(図2参照)と、パルス光により照射された物体からの反射光を受光する受光手段16(図2参照)と、受光手段16で得られたデータに基づいて物体までの距離を算出する演算手段18(図2参照)とを有する。   As shown in FIG. 1, a distance measuring system 10 according to the present embodiment includes a casing 12 having a substantially rectangular parallelepiped or cubic shape, and a pulse provided in the casing 12 and having a predetermined pulse width from a reference time. Light emitting means 14 (see FIG. 2) for emitting light, light receiving means 16 (see FIG. 2) for receiving reflected light from an object irradiated with pulsed light, and an object based on data obtained by the light receiving means 16 And calculating means 18 (see FIG. 2) for calculating the distance up to.

筐体12の前面12aには、照射光源20と撮影用の光学レンズ22が設けられている。光学レンズ22は筐体12の前面12aのほぼ中央部に設けられ、照射光源20は、筐体12の前面12aのうち、光学レンズ22の周囲に多数配置された赤外LED24を有する。   An irradiation light source 20 and a photographing optical lens 22 are provided on the front surface 12 a of the housing 12. The optical lens 22 is provided substantially at the center of the front surface 12 a of the housing 12, and the irradiation light source 20 has a number of infrared LEDs 24 arranged around the optical lens 22 in the front surface 12 a of the housing 12.

筐体12の内部には、図2に模式的に示すように、CPU26と、該CPU26によって制御され、各赤外LED24からそれぞれ所定のパルス幅を有するパルス光28を出射するように制御する発光制御部30と、撮像素子32と、反射光34を撮像素子32の受光面に結像させる光学系36(光学レンズ22を含む)と、撮像素子32を駆動するための撮像素子制御部38と、撮像素子32からの撮像信号Sbをアナログの画像信号Scに信号処理するアナログ信号処理部40と、画像信号Scをデジタル変換して画像データDcにするA/D変換部42と、画像データDcが保存されるバッファメモリ44と、バッファメモリ44に格納された画像データDcに対してデータ整形やフォーマット変換(YC画像データ(Y:輝度信号、C:色差信号)に変換する等)を行うデータ処理回路46とを有する。   As schematically shown in FIG. 2, inside the housing 12, a CPU 26 and light emission controlled by the CPU 26 so as to emit pulsed light 28 having a predetermined pulse width from each infrared LED 24. A control unit 30, an image sensor 32, an optical system 36 (including the optical lens 22) that forms an image of reflected light 34 on the light receiving surface of the image sensor 32, an image sensor control unit 38 for driving the image sensor 32, The analog signal processing unit 40 that processes the imaging signal Sb from the imaging element 32 into an analog image signal Sc, the A / D conversion unit 42 that converts the image signal Sc into image data Dc, and the image data Dc Are stored in the buffer memory 44 and the image data Dc stored in the buffer memory 44 is subjected to data shaping and format conversion (YC image data (Y: luminance signal, : And a data processing circuit 46 which performs like) to convert to the color difference signals).

筐体12の内部には、さらに、バッファメモリ44に格納された画像データDcあるいはフォーマット変換後の画像データDcを記憶装置48に記録するための保存部50と、前記画像データDcを二次元画像として第1表示器52に表示させたり、三次元画像として第2表示器54に表示させるための表示部56と、測距システム10内の各種パラメータや前記画像データDc等を通信ポート58を介して送信したり、外部からの各種データを受信するための通信部60とを有する。   Inside the housing 12, the storage unit 50 for recording the image data Dc stored in the buffer memory 44 or the image data Dc after the format conversion in the storage device 48, and the image data Dc are stored in the two-dimensional image. Display unit 56 for displaying on the first display 52 or displaying on the second display 54 as a three-dimensional image, various parameters in the distance measuring system 10, the image data Dc, and the like via the communication port 58. And a communication unit 60 for receiving various data from the outside.

筐体12の外面には操作パネル62が設置されている。操作パネル62は、少なくとも操作ガイダンス用の液晶表示部64と、光学系36を制御するための操作部66と、モードダイヤルや十字キー、電源スイッチ等の各種スイッチ68とを有する。これら液晶表示部64、操作部66、各種スイッチ68とCPU26との信号のやりとりは入出力インターフェース70(I/F)を介して行われる。   An operation panel 62 is installed on the outer surface of the housing 12. The operation panel 62 includes at least a liquid crystal display unit 64 for operation guidance, an operation unit 66 for controlling the optical system 36, and various switches 68 such as a mode dial, a cross key, and a power switch. The liquid crystal display unit 64, operation unit 66, various switches 68 and signals exchanged with the CPU 26 are performed via an input / output interface 70 (I / F).

そして、発光手段14は、上述した発光制御部30と、照射光源20(多数の赤外LED24)とを有し、受光手段16は、上述した撮像素子32と、光学系36と、撮像素子制御部38と、アナログ信号処理部40と、A/D変換部42と、バッファメモリ44とを有する。   The light emitting unit 14 includes the above-described light emission control unit 30 and the irradiation light source 20 (multiple infrared LEDs 24), and the light receiving unit 16 includes the above-described imaging element 32, optical system 36, and imaging element control. Unit 38, analog signal processing unit 40, A / D conversion unit 42, and buffer memory 44.

発光手段14は、発光制御部30の制御によって、例えば図3に示すように、パルス幅Wが基準時t0から所定期間とされたパルス光28を出射するように構成されている。所定期間は、使用者が設定した測定可能な最大距離Lに基づいて設定されている。例えば物体が最大距離Lの地点に存在していると仮定したとき、パルス光28が出射されて物体に照射し、その反射光34が戻ってくるまでに光は距離2Lだけ進むことになる。従って、パルス光28が出射された時点から反射光34が戻るまでの時間は、光の速度をc(m/sec)とすると、2L/c(sec)となる。この時間をパルス光28のパルス幅Wに割り当てることによって、最大距離Lまでに存在する物体の距離を測定することができる。上述した基準時t0は、使用者が操作パネル62にあるスイッチ68(例えば測距開始スイッチ)を操作した時点等に設定することができる。   The light emitting means 14 is configured to emit pulsed light 28 whose pulse width W is set to a predetermined period from the reference time t0 as shown in FIG. 3, for example, under the control of the light emission control unit 30. The predetermined period is set based on the maximum measurable distance L set by the user. For example, when it is assumed that an object is present at a point of the maximum distance L, the pulsed light 28 is emitted to irradiate the object, and the light travels by a distance 2L before the reflected light 34 returns. Therefore, the time from when the pulsed light 28 is emitted until the reflected light 34 returns is 2 L / c (sec), where c (m / sec) is the speed of light. By assigning this time to the pulse width W of the pulsed light 28, the distance of the object existing up to the maximum distance L can be measured. The reference time t0 described above can be set at the time when the user operates a switch 68 (for example, a distance measurement start switch) on the operation panel 62.

一方、受光手段16の撮像素子32は、図4に示すように、例えばマトリクス状に配列された多数の受光部72を有する。受光部72は、入射光量に応じた量の電荷に光電変換する光電変換部74(フォトダイオード)と、光電変換部74に対応して配列された2つの蓄積部(第1蓄積部76a及び第2蓄積部76b)とを有する。また、撮像素子32には、列方向に配列された多数の第1蓄積部76aに対して共通とされた第1垂直転送路78aが多数本、行方向に配列され、列方向に配列された多数の第2蓄積部76bに対して共通とされた第2垂直転送路78bが多数本、行方向に配列されている。各第1垂直転送路78a並びに各第2垂直転送路78bの最終段にはそれぞれ出力部80が配置され、第1垂直転送路78a及び第2垂直転送路78bを転送してきた電荷がこれら出力部80を通じてそれぞれ電圧信号に変換されて出力されることになる。電圧変換された電荷はリセット信号の印加に伴ってそれぞれドレイン領域に掃き出される。   On the other hand, as shown in FIG. 4, the image sensor 32 of the light receiving means 16 has a large number of light receiving portions 72 arranged in a matrix, for example. The light receiving unit 72 includes a photoelectric conversion unit 74 (photodiode) that performs photoelectric conversion into an amount of charge corresponding to the amount of incident light, and two storage units (a first storage unit 76a and a first storage unit 76a) that are arranged corresponding to the photoelectric conversion unit 74. 2 storage unit 76b). In the imaging device 32, a large number of first vertical transfer paths 78a that are common to a large number of first storage units 76a arranged in the column direction are arranged in the row direction and arranged in the column direction. A large number of second vertical transfer paths 78b common to a large number of second storage units 76b are arranged in the row direction. An output unit 80 is disposed at the final stage of each first vertical transfer path 78a and each second vertical transfer path 78b, and the charges transferred through the first vertical transfer path 78a and the second vertical transfer path 78b are output from these output sections. 80 are converted into voltage signals and output. The voltage-converted charges are swept out to the drain regions as the reset signal is applied.

また、受光部は、図5に示すように、各光電変換部74の中央部分に対応して開口82が設けられ、それ以外の部分は遮光膜84が形成されて光が進入しないようになっている。光電変換部74上のうち、開口82に対応した部分に例えば透明電極による中央電極86が形成され、第1蓄積部76a上に第1蓄積電極88aが形成され、第2蓄積部76b上に第2蓄積電極88bが形成され、中央電極86と第1蓄積電極88a間並びに中央電極86と第2蓄積電極88b間に、光電変換部74のポテンシャルを傾斜させるための第1調整電極90a及び第2調整電極90bが形成されている。さらに、第1蓄積部76aと第1垂直転送路78aとの間には、第1蓄積部76aに蓄積された電荷を第1垂直転送路78aに転送するための第1転送電極92aが形成されている。同様に、第2蓄積部76bと第2垂直転送路78bとの間にも、第2蓄積部76bに蓄積された電荷を第2垂直転送路78bに転送するための第2転送電極92bが形成されている。   Further, as shown in FIG. 5, the light receiving portion is provided with an opening 82 corresponding to the central portion of each photoelectric conversion portion 74, and a light shielding film 84 is formed in the other portions so that light does not enter. ing. A central electrode 86 made of, for example, a transparent electrode is formed on the photoelectric conversion unit 74 corresponding to the opening 82, a first storage electrode 88a is formed on the first storage unit 76a, and a second electrode on the second storage unit 76b. The second storage electrode 88b is formed, and the first adjustment electrode 90a and the second adjustment electrode 90a for tilting the potential of the photoelectric conversion unit 74 between the central electrode 86 and the first storage electrode 88a and between the central electrode 86 and the second storage electrode 88b. An adjustment electrode 90b is formed. Further, a first transfer electrode 92a is formed between the first storage unit 76a and the first vertical transfer path 78a to transfer the charge stored in the first storage unit 76a to the first vertical transfer path 78a. ing. Similarly, a second transfer electrode 92b is formed between the second storage unit 76b and the second vertical transfer path 78b to transfer the charges stored in the second storage unit 76b to the second vertical transfer path 78b. Has been.

第1垂直転送路78a上及び第2垂直転送路78b上に形成される電極群については、例えばインターライン方式のCCD撮像素子と同様の構成を採用することができるため、ここではその詳細説明を省略する。   For the electrode groups formed on the first vertical transfer path 78a and the second vertical transfer path 78b, for example, a configuration similar to that of an interline CCD image sensor can be adopted. Omitted.

ここで、1つの受光部72の動作について説明する。先ず、図5の実線Aで示すように、中央電極86、第1調整電極90a及び第2調整電極90bの各電圧を調整して、光電変換部74のポテンシャルを第1蓄積部76aに向かって下り傾斜にさせる。そして、光が受光部72に入射することによって、入射光量に応じた量の電荷が光電変換部74で発生すると共に、発生した電荷は、光電変換部74でのポテンシャル傾斜に沿って第1蓄積部76aに転送蓄積される(蓄積動作)。   Here, the operation of one light receiving unit 72 will be described. First, as shown by a solid line A in FIG. 5, the voltages of the central electrode 86, the first adjustment electrode 90a, and the second adjustment electrode 90b are adjusted, and the potential of the photoelectric conversion unit 74 is directed toward the first accumulation unit 76a. Make the slope down. Then, when light enters the light receiving unit 72, an amount of charge corresponding to the amount of incident light is generated in the photoelectric conversion unit 74, and the generated charge is first accumulated along the potential gradient in the photoelectric conversion unit 74. The data is transferred and accumulated in the unit 76a (accumulation operation).

ある一定の期間が経過した時点で、中央電極86、第1調整電極90a及び第2調整電極90bの各電圧を調整して、光電変換部74のポテンシャルを今度は第2蓄積部76bに向かって下り傾斜にさせる。これによって、入射光量に応じた量の電荷が光電変換部74で発生すると共に、発生した電荷は、光電変換部74でのポテンシャル傾斜に沿って第2蓄積部76bに転送蓄積される(蓄積動作)。この第2蓄積部76bへの電荷の転送蓄積の期間において、第1転送電極92aに印加される電圧を調整して第1蓄積部76aと第1垂直転送路78a間のポテンシャル障壁94aを下げて、第1蓄積部76aの電荷を第1垂直転送路78aに転送する(読出し動作)。   When a certain period of time has elapsed, the voltages of the central electrode 86, the first adjustment electrode 90a, and the second adjustment electrode 90b are adjusted, and the potential of the photoelectric conversion unit 74 is now directed toward the second storage unit 76b. Make the slope down. Accordingly, an amount of charge corresponding to the amount of incident light is generated in the photoelectric conversion unit 74, and the generated charge is transferred and accumulated in the second accumulation unit 76b along the potential gradient in the photoelectric conversion unit 74 (accumulation operation). ). During the period of charge transfer and accumulation to the second accumulation unit 76b, the voltage applied to the first transfer electrode 92a is adjusted to lower the potential barrier 94a between the first accumulation unit 76a and the first vertical transfer path 78a. Then, the charge in the first storage unit 76a is transferred to the first vertical transfer path 78a (read operation).

ある一定の期間が経過した時点で、中央電極86、第1調整電極90a及び第2調整電極90bの各電圧を調整して、光電変換部74のポテンシャルを再び第1蓄積部に向かって下り傾斜にさせる。これによって、入射光量に応じた量の電荷が光電変換部74で発生すると共に、発生した電荷は、光電変換部でのポテンシャル傾斜に沿って第1蓄積部76aに転送蓄積される(蓄積動作)。この第1蓄積部76aへの電荷の転送蓄積の期間において、第2転送電極92bに印加される電圧を調整して第2蓄積部76bと第2垂直転送路78b間のポテンシャル障壁94bを下げて、第2蓄積部76bの電荷を第2垂直転送路78bに転送する(読出し動作)。この読出し動作の期間において、第1垂直転送路78aの電荷が順番に出力部80に転送されて出力部80から電圧信号が出力され、電圧信号に変換された電荷は順次ドレイン領域に掃き出されてリセットされることになる(リセット動作)。これらの動作が順次繰り返されることになる。   When a certain period of time has elapsed, the voltages of the central electrode 86, the first adjustment electrode 90a, and the second adjustment electrode 90b are adjusted, and the potential of the photoelectric conversion unit 74 is inclined downward again toward the first storage unit. Let me. As a result, a charge corresponding to the amount of incident light is generated in the photoelectric conversion unit 74, and the generated charge is transferred and accumulated in the first accumulation unit 76a along the potential gradient in the photoelectric conversion unit (accumulation operation). . During the period of charge transfer and accumulation to the first accumulation unit 76a, the voltage applied to the second transfer electrode 92b is adjusted to lower the potential barrier 94b between the second accumulation unit 76b and the second vertical transfer path 78b. Then, the charge in the second accumulation unit 76b is transferred to the second vertical transfer path 78b (reading operation). During the read operation, the charges in the first vertical transfer path 78a are sequentially transferred to the output unit 80, and a voltage signal is output from the output unit 80. The charges converted into the voltage signal are sequentially swept out to the drain region. Will be reset (reset operation). These operations are sequentially repeated.

次に、この測距システム10に対応した撮像素子32の動作について図3を参照しながら説明する。   Next, the operation of the image sensor 32 corresponding to the distance measuring system 10 will be described with reference to FIG.

先ず、基準時t0からパルス幅Wに相当する期間にわたる第1区間T1において、各光電変換部74は、入射光量に応じた電荷を発生し、第1蓄積部76aに蓄積していく(蓄積動作)。   First, in the first section T1 extending from the reference time t0 to a period corresponding to the pulse width W, each photoelectric conversion unit 74 generates a charge corresponding to the amount of incident light and accumulates it in the first accumulation unit 76a (accumulation operation). ).

第1区間T1の経過時点からパルス幅Wに相当する期間にわたる第2区間T2において、第1蓄積部76aでの蓄積電荷を第1垂直転送路78aに読み出す(読出し動作)。また、この第2区間T2において、各光電変換部74は、入射光量に応じた電荷を発生し、今度は第2蓄積部76bに蓄積していく(蓄積動作)。   In the second section T2 that extends from the time point of the first section T1 to the period corresponding to the pulse width W, the stored charge in the first storage section 76a is read out to the first vertical transfer path 78a (read operation). In the second section T2, each photoelectric conversion unit 74 generates a charge corresponding to the amount of incident light, and this time accumulates in the second accumulation unit 76b (accumulation operation).

第2区間T2の経過時点からパルス幅Wに相当する期間にわたる第3区間T3において、第2蓄積部76bでの蓄積電荷を第2垂直転送路78bに読み出す(読出し動作)。また、この第3区間T3において、各光電変換部74は、入射光量に応じた電荷を発生し、再び第1蓄積部76aに蓄積していく(蓄積動作)。さらに、この第3区間T3においては、第1垂直転送路78aに読み出されている電荷を出力部80に向けて転送し、出力部80においてそれぞれ電荷量に応じた電圧信号に変換すると共に、電圧信号に変換された電荷をリセットする(リセット動作)。複数の第1垂直転送路78aの出力部80から出力された電圧信号は、後段のアナログ処理回路40にて各受光部72における第1区間T1の撮像信号Sbとして変換する。第1区間T1の撮像信号Scは、A/D変換部42にてデジタル信号に変換されて第1区間T1の画像データ(各受光部72に対応した撮像データDcが配列されたデータ:第1画像データDc1)としてバッファメモリ44に記録される。   In the third section T3 that extends from the time point of the second section T2 to the period corresponding to the pulse width W, the stored charge in the second storage section 76b is read to the second vertical transfer path 78b (reading operation). Further, in the third section T3, each photoelectric conversion unit 74 generates a charge corresponding to the amount of incident light and accumulates it again in the first accumulation unit 76a (accumulation operation). Further, in the third section T3, the charges read out to the first vertical transfer path 78a are transferred to the output unit 80, and converted into voltage signals corresponding to the charge amounts in the output unit 80, respectively. The charge converted into the voltage signal is reset (reset operation). The voltage signal output from the output unit 80 of the plurality of first vertical transfer paths 78a is converted as the imaging signal Sb of the first section T1 in each light receiving unit 72 by the analog processing circuit 40 in the subsequent stage. The imaging signal Sc in the first section T1 is converted into a digital signal by the A / D converter 42 and image data in the first section T1 (data in which imaging data Dc corresponding to each light receiving section 72 is arranged: first It is recorded in the buffer memory 44 as image data Dc1).

第3区間T3の経過時点からパルス幅Wに相当する期間にわたる第4区間T4において、第1蓄積部76aでの蓄積電荷を第1垂直転送路78aに読み出す(読出し動作)。また、この第4区間T4においては、第2垂直転送路78bに読み出されている電荷を出力部80に向けて転送し、出力部80においてそれぞれ電荷量に応じた電圧信号に変換すると共に、電圧信号に変換された電荷をリセットする(リセット動作)。複数の第2垂直転送路78bの出力部80から出力された電圧信号は、上述と同様の処理が施されて、第2区間T2の画像データ(第2画像データDc2)としてバッファメモリ44に記録される。   In a fourth section T4 that extends from the time point of the third section T3 to a period corresponding to the pulse width W, the stored charge in the first storage section 76a is read out to the first vertical transfer path 78a (reading operation). In the fourth section T4, the charges read to the second vertical transfer path 78b are transferred to the output unit 80, and converted into voltage signals corresponding to the charge amounts in the output unit 80, respectively. The charge converted into the voltage signal is reset (reset operation). The voltage signals output from the output units 80 of the plurality of second vertical transfer paths 78b are subjected to the same processing as described above, and are recorded in the buffer memory 44 as image data (second image data Dc2) in the second section T2. Is done.

そして、第4区間T4の経過時点からパルス幅Wに相当する期間にわたる第5区間T5においては、第1垂直転送路78aに読み出されている電荷を出力部80に向けて転送し、出力部80においてそれぞれ電荷量に応じた電圧信号に変換すると共に、電圧信号に変換された電荷をリセットする(リセット動作)。複数の第1垂直転送路78aの出力部80から出力された電圧信号は、上述と同様の処理が施されて、第3区間T3の画像データ(第3画像データDc3)としてメモリバッファ44に記録される。   Then, in the fifth section T5 extending from the time point of the fourth section T4 to the period corresponding to the pulse width W, the charge read to the first vertical transfer path 78a is transferred to the output section 80, and the output section In 80, each is converted into a voltage signal corresponding to the amount of charge, and the charge converted into a voltage signal is reset (reset operation). The voltage signals output from the output units 80 of the plurality of first vertical transfer paths 78a are subjected to the same processing as described above, and are recorded in the memory buffer 44 as image data (third image data Dc3) in the third section T3. Is done.

一方、演算手段18は、図2に示すように、第1画像データDc1〜第3画像データDc3に基づいて、各受光部72に対応した物体までの距離を算出する距離演算部96を有する。   On the other hand, as shown in FIG. 2, the calculation unit 18 includes a distance calculation unit 96 that calculates a distance to an object corresponding to each light receiving unit 72 based on the first image data Dc1 to the third image data Dc3.

この距離演算部96での演算アルゴリズム、特に、1つの受光部72における距離の演算手法(第1演算手法)について図6及び図7を参照しながら説明する。   A calculation algorithm in the distance calculation unit 96, in particular, a distance calculation method (first calculation method) in one light receiving unit 72 will be described with reference to FIGS.

先ず、外光を考慮しない場合について図6を参照しながら説明する。   First, the case where external light is not considered will be described with reference to FIG.

基準時t0からパルス幅W(=2L/c)のパルス光28を出射し、該パルス光28により照射された物体からの反射光34が、第1区間T1と第2区間T2の間に到来した場合を想定する。なお、Lは、上述したように、設定した最大距離を示す。   Pulse light 28 having a pulse width W (= 2L / c) is emitted from the reference time t0, and reflected light 34 from the object irradiated by the pulse light 28 arrives between the first section T1 and the second section T2. Assuming that Note that L represents the set maximum distance as described above.

この場合、反射光強度をI、光電変換部74での光電変換効率をε、物体までの距離をkとしたとき、第1区間T1、第2区間T2及び第3区間T3に蓄積された第1電荷量d1(受光積分強度)、第2電荷量d2(受光積分強度)及び第3電荷量d3(受光積分強度)は、以下の関係を有する。
d1=εI(2L/c−2k/c)
d2=εI(2k/c)
d3=0
このとき、物体までの距離kは、次の演算式によって求められる。
距離k={d2/(d1+d2)}×L
={(2k/c)/(2L/c)}×L
=(2k/c)/(2/c)
=k
In this case, if the reflected light intensity is I, the photoelectric conversion efficiency in the photoelectric conversion unit 74 is ε, and the distance to the object is k, the first accumulated in the first interval T1, the second interval T2, and the third interval T3. The one charge amount d1 (light reception integral intensity), the second charge amount d2 (light reception integral intensity), and the third charge amount d3 (light reception integral intensity) have the following relationship.
d1 = εI (2L / c-2k / c)
d2 = εI (2 k / c)
d3 = 0
At this time, the distance k to the object is obtained by the following arithmetic expression.
Distance k = {d2 / (d1 + d2)} × L
= {(2k / c) / (2L / c)} * L
= (2k / c) / (2 / c)
= K

次に、外光を考慮した場合について図7を参照しながら説明する。このとき、外光成分がない場合の反射光強度をI、外光成分をIoとする。   Next, a case where external light is taken into account will be described with reference to FIG. At this time, the reflected light intensity when there is no external light component is I, and the external light component is Io.

外光成分Ioがある場合、蓄積電荷と演算により求められる距離kは、次のように書き換えることができる。
d1’=ε{I(2L/c−2k/c)+Io(2L/c)}
d2’=ε{I(2k/c)+Io(2L/c)}
d3’=ε{Io(2L/c)}
距離k={d2’/(d1’+d2’)}×L
={k+L(Io/I)}/{1+2(Io/I)}
When there is an external light component Io, the accumulated charge and the distance k obtained by calculation can be rewritten as follows.
d1 ′ = ε {I (2L / c−2k / c) + Io (2L / c)}
d2 ′ = ε {I (2k / c) + Io (2L / c)}
d3 ′ = ε {Io (2L / c)}
Distance k = {d2 ′ / (d1 ′ + d2 ′)} × L
= {K + L (Io / I)} / {1 + 2 (Io / I)}

これは、反射光強度Iに対し、外光強度Ioが大きいほど、演算で求めた距離kと、実測による距離kとのずれが大きくなり、Io>>Iのとき、演算で求めた距離kはL/2となる。   This is because as the outside light intensity Io is larger than the reflected light intensity I, the difference between the distance k obtained by calculation and the actually measured distance k increases. When Io >> I, the distance k obtained by calculation. Becomes L / 2.

これを防ぐために、反射光成分を受光していない第3区間T3の第3電荷量d3(受光積分強度)を利用する。具体的には、以下の関係式を用いる。
d1’=d1−d3
d2’=d2−d3
距離k={d2’/(d1’+d2’)}×L ……(1)
In order to prevent this, the third charge amount d3 (light reception integrated intensity) in the third section T3 that does not receive the reflected light component is used. Specifically, the following relational expression is used.
d1 '= d1-d3
d2 '= d2-d3
Distance k = {d2 ′ / (d1 ′ + d2 ′)} × L (1)

上述の演算手法は、反射光34が第1区間T1と第2区間T2の間に到来した場合を想定しているが、反射光34が第2区間T1と第3区間T3の間に到来した場合も同様の方法で距離kを求めることができる。この場合、外光成分Ioのみが存在しているのは第1区間T1であることと、第1区間T1に相当する距離Lを加算する必要から、以下の演算式にて求めることができる。
d2’=d2−d1
d3’=d3−d1
距離k={d3’/(d2’+d3’)}×L+L ……(2)
The above calculation method assumes that the reflected light 34 arrives between the first interval T1 and the second interval T2, but the reflected light 34 arrives between the second interval T1 and the third interval T3. In this case, the distance k can be obtained by the same method. In this case, since only the outside light component Io exists in the first section T1, and it is necessary to add the distance L corresponding to the first section T1, it can be obtained by the following arithmetic expression.
d2 '= d2-d1
d3 '= d3-d1
Distance k = {d3 ′ / (d2 ′ + d3 ′)} × L + L (2)

上述の演算方法を使った演算手段での処理方法を図8のフローチャートを参照しながら説明する。   A processing method in the calculation means using the above calculation method will be described with reference to the flowchart of FIG.

先ず、図8のステップS1において、受光部72を特定するためのカウンタnに初期値1を格納する。   First, in step S1 of FIG. 8, the initial value 1 is stored in the counter n for specifying the light receiving unit 72.

その後、ステップS2において、バッファメモリ44からn番目の受光部72に対応した第1電荷量d1〜第3電荷量d3を示すデータを取り込む。   Thereafter, in step S2, data indicating the first charge amount d1 to the third charge amount d3 corresponding to the nth light receiving unit 72 is taken from the buffer memory 44.

その後、ステップS3において、取り込んだ第1電荷量d1〜第3電荷量d3から最低の電荷量を探索する。つまり、第1区間T1〜第3区間T3のうち、外光成分だけの区間を探索する。   Thereafter, in step S3, the lowest charge amount is searched from the taken first charge amount d1 to third charge amount d3. That is, a section having only an external light component is searched for from the first section T1 to the third section T3.

ステップS4において、最低の電荷量が第3電荷量d3であるか否かが判別される。最低の電荷量が第3電荷量d3であれば、次のステップS5に進み、第3区間T3が外光成分のみの区間と認定し、他の区間の電荷量、すなわち、第1電荷量d1及び第2電荷量d2を以下のように補正する。
d1’=d1−d3
d2’=d2−d3
In step S4, it is determined whether or not the minimum charge amount is the third charge amount d3. If the lowest charge amount is the third charge amount d3, the process proceeds to the next step S5, where the third section T3 is recognized as a section of only the external light component, and the charge amount in the other section, that is, the first charge amount d1. The second charge amount d2 is corrected as follows.
d1 '= d1-d3
d2 '= d2-d3

その後、ステップS6において、以下の式によって当該受光部72における物体までの距離kを演算する。
距離k={d2’/(d1’+d2’)}×L
Thereafter, in step S6, the distance k to the object in the light receiving unit 72 is calculated by the following equation.
Distance k = {d2 ′ / (d1 ′ + d2 ′)} × L

一方、上述のステップS4において、最低の電荷量が第3電荷量d3でないと判別された場合は、ステップS7に進み、最低の電荷量が第1電荷量d1であるか否かが判別される。最低の電荷量が第1電荷量d1であれば、次のステップS8に進み、第1区間T1が外光成分のみの区間と認定し、他の区間の電荷量、すなわち、第2電荷量d2及び第3電荷量d3を以下のように補正する。
d2’=d2−d2
d3’=d3−d2
On the other hand, if it is determined in step S4 that the minimum charge amount is not the third charge amount d3, the process proceeds to step S7, and it is determined whether or not the minimum charge amount is the first charge amount d1. . If the lowest charge amount is the first charge amount d1, the process proceeds to the next step S8, where the first section T1 is recognized as the section of only the external light component, and the charge amount in the other section, that is, the second charge amount d2. The third charge amount d3 is corrected as follows.
d2 '= d2-d2
d3 '= d3-d2

その後、ステップS9において、以下の式によって当該受光部72における物体までの距離kを演算する。
距離k={d3’/(d2’+d3’)}×L+L
Thereafter, in step S9, the distance k to the object in the light receiving unit 72 is calculated by the following equation.
Distance k = {d3 ′ / (d2 ′ + d3 ′)} × L + L

上述のステップS7において、最低の電荷量が第1電荷量d1でないと判別された場合は、ステップS10に進み、距離演算をエラーと判定する。具体的には距離kを、エラーを示す例えば「−1」とする。   If it is determined in step S7 that the minimum charge amount is not the first charge amount d1, the process proceeds to step S10, and the distance calculation is determined to be an error. Specifically, the distance k is set to “−1” indicating an error, for example.

上述したステップS6、ステップS9又はステップS10での処理が省略した段階で、ステップS11に進み、距離kの値と最低の電荷量の値を出力する。   In the stage where the process in step S6, step S9 or step S10 described above is omitted, the process proceeds to step S11, and the value of the distance k and the value of the minimum charge amount are output.

出力された距離kの値は、バッファメモリ44における距離画像を作成するための第1記録領域のうち、n番目の受光部72に対応したアドレスに記録される。出力された最低の電荷量の値はバッファメモリ44における濃淡画像を作成するための第2記録領域のうち、n番目の受光部72に対応したアドレスに記録される。   The output value of the distance k is recorded at an address corresponding to the nth light receiving unit 72 in the first recording area for creating the distance image in the buffer memory 44. The output value of the lowest charge amount is recorded at an address corresponding to the nth light receiving portion 72 in the second recording area for creating a grayscale image in the buffer memory 44.

次のステップS12において、カウンタnの値を+1更新する。その後、ステップS13において、全ての受光部72について処理を行ったか否かが判別される。この判別は、カウンタnの値が受光部72の全数を超えたか否かで行われる。   In the next step S12, the value of the counter n is updated by +1. Thereafter, in step S13, it is determined whether or not processing has been performed for all the light receiving units 72. This determination is made based on whether or not the value of the counter n exceeds the total number of light receiving units 72.

全ての受光部72について処理が終了していなければ、ステップS2に戻り、次の受光部72に関する最低の電荷量を探索すると共に、物体までの距離を演算し、これらの値を第1記録領域及び第2記録領域に格納する。   If the processing has not been completed for all the light receiving units 72, the process returns to step S2 to search for the minimum charge amount for the next light receiving unit 72, calculate the distance to the object, and calculate these values in the first recording area. And stored in the second recording area.

そして、ステップS13において、全ての受光部72について処理が完了したと判別された段階で、この演算処理が終了する。   Then, in step S13, when it is determined that the processing has been completed for all the light receiving units 72, the calculation processing ends.

このように、測距システム10は、基準時t0から所定のパルス幅Wを有するパルス光28を出射し、パルス光28により照射された物体からの反射光34を受光することによって、第1区間T1で蓄積した第1電荷量d1と、第2区間T2で蓄積した第2電荷量d2と、第3区間T3で蓄積した第3電荷量d3とを取得し、さらに、これら第1電荷量d1〜第3電荷量d3から最も電荷量の少ない区間の電荷量(最低の電荷量)を差し引いてから、物体までの距離kを算出するようにしたので、パルス光28を使用して測距する際に、外光成分を除去することができ、測距の精度を向上させることができる。   As described above, the distance measuring system 10 emits the pulsed light 28 having the predetermined pulse width W from the reference time t0 and receives the reflected light 34 from the object irradiated with the pulsed light 28, thereby the first section. The first charge amount d1 accumulated in T1, the second charge amount d2 accumulated in the second interval T2, and the third charge amount d3 accumulated in the third interval T3 are acquired, and further, the first charge amount d1 Since the distance k to the object is calculated after subtracting the charge amount (minimum charge amount) of the section with the smallest charge amount from the third charge amount d3, the distance is measured using the pulsed light 28. In this case, the external light component can be removed and the accuracy of distance measurement can be improved.

しかも、受光部72単位に距離を求めて受光部72全体に対応した距離画像を得ると共に、受光部72単位に取得した最低の電荷量に基づいて受光部72全体に対応した濃淡画像を得るようにしたので、距離データから得られる三次元ポリゴン画像や、該三次元ポリゴン画像に濃淡画像による輝度データをマッピングした三次元モデル画像を表示することが可能となり、様々なアプリケーションに適用させることができる。   In addition, a distance image corresponding to the entire light receiving unit 72 is obtained by obtaining the distance for each light receiving unit 72, and a grayscale image corresponding to the entire light receiving unit 72 is obtained based on the minimum amount of charge acquired for each light receiving unit 72. Therefore, it is possible to display a three-dimensional polygon image obtained from distance data and a three-dimensional model image obtained by mapping luminance data based on a grayscale image on the three-dimensional polygon image, and can be applied to various applications. .

上述の例では、演算手段18、特に距離演算部96の構成をアルゴリズムにて示したが、図9に示す測距演算回路98のように、上述のアルゴリズムをハードウェアを主体に構成するようにしてもよい。   In the above example, the configuration of the calculation means 18, particularly the distance calculation unit 96 is shown by an algorithm. However, like the distance measurement calculation circuit 98 shown in FIG. May be.

この測距演算回路98は、図9に示すように、データ読出回路部100と、外光区間決定回路部102と、測距演算回路部104と、オフセット量決定回路部106と、オフセット量加算回路部108とを有する。   As shown in FIG. 9, the distance calculation circuit 98 includes a data read circuit unit 100, an outside light section determination circuit unit 102, a distance calculation circuit unit 104, an offset amount determination circuit unit 106, and an offset amount addition. Circuit portion 108.

データ読出回路部100は、バッファメモリ44の第1画像データDc1から各受光部72に対応した第1電荷量d1の値を順番に読み出す第1読出回路110aと、バッファメモリ44の第2画像データDc2から各受光部72に対応した第2電荷量d2の値を順番に読み出す第2読出回路110bと、バッファメモリ44の第3画像データDc3から各受光部72に対応した第3電荷量d3の値を順番に読み出す第3読出回路110cとを有する。   The data reading circuit unit 100 sequentially reads the first charge amount d1 corresponding to each light receiving unit 72 from the first image data Dc1 of the buffer memory 44, and the second image data of the buffer memory 44. A second readout circuit 110b that sequentially reads the value of the second charge amount d2 corresponding to each light receiving unit 72 from Dc2, and the third charge amount d3 corresponding to each light receiving unit 72 from the third image data Dc3 of the buffer memory 44. A third readout circuit 110c for reading out the values in order;

外光区間決定回路部102は、比較回路部112と、外光区間指示部114とを有する。   The external light section determination circuit unit 102 includes a comparison circuit unit 112 and an external light section instruction unit 114.

比較回路部112は、第1読出回路110aからの第1電荷量d1と第2読出回路110bからの第2電荷量d2とを比較して、第1電荷量d1≧第2電荷量d2のとき、高レベル信号(論理「1」)を出力し、それ以外のとき低レベル信号(論理「0」)を出力する第1比較器116aと、第2読出回路110bからの第2電荷量d2と第3読出回路110cからの第3電荷量d3とを比較して、第2電荷量d2>第3電荷量d3のとき、高レベル信号(論理「1」)を出力し、それ以外のとき低レベル信号(論理「0」)を出力する第2比較器116bと、第3読出回路110cからの第3電荷量d3と第1読出回路110aからの第1電荷量d1とを比較して、第3電荷量d3>第1電荷量d1のとき、高レベル信号(論理「1」)を出力し、それ以外のとき低レベル信号(論理「0」)を出力する第3比較器116cとを有する。   The comparison circuit unit 112 compares the first charge amount d1 from the first readout circuit 110a with the second charge amount d2 from the second readout circuit 110b, and when the first charge amount d1 ≧ the second charge amount d2. A first comparator 116a that outputs a high level signal (logic “1”) and a low level signal (logic “0”) otherwise, and a second charge amount d2 from the second readout circuit 110b, Compared with the third charge amount d3 from the third readout circuit 110c, a high level signal (logic “1”) is output when the second charge amount d2> the third charge amount d3, and low otherwise. The second comparator 116b that outputs the level signal (logic “0”), the third charge amount d3 from the third read circuit 110c and the first charge amount d1 from the first read circuit 110a are compared, When 3 charge amount d3> first charge amount d1, a high level signal (logic “1”) is output. And force, and a third comparator 116c for outputting the other low-level signal when the (logic "0").

外光区間指示部114は、第1比較器116aの出力の反転と第3比較器116cの出力との論理積を出力する第1AND回路118aと、第3比較器116cの出力の反転と第2比較器116bの出力との論理積を出力する第2AND回路118bとを有する。   The outside light section instructing unit 114 outputs a logical product of the inversion of the output of the first comparator 116a and the output of the third comparator 116c, the inversion of the output of the third comparator 116c, and the second And a second AND circuit 118b that outputs a logical product with the output of the comparator 116b.

すなわち、第1区間T1が外光成分のみである場合、第3比較器116cの出力が高レベルとなり、第1比較器116aの出力が低レベルとなるため、第1AND回路118aの出力が高レベルとなり、外光区間が第1区間T1であることを示すことになる。また、第3区間T3が外光成分のみである場合、第2比較器116bの出力が高レベルとなり、第3比較器116cの出力が低レベルとなるため、第2AND回路118bの出力が高レベルとなり、外光区間が第3区間T3であることを示すことになる。   That is, when the first section T1 is only the external light component, the output of the third comparator 116c is at a high level and the output of the first comparator 116a is at a low level, so the output of the first AND circuit 118a is at a high level. This indicates that the outside light section is the first section T1. Further, when the third section T3 is only the external light component, the output of the second comparator 116b is at a high level and the output of the third comparator 116c is at a low level, so that the output of the second AND circuit 118b is at a high level. This indicates that the outside light section is the third section T3.

測距演算回路部104は、第1選択回路120aと、第2選択回路120bと、第3選択回路120cと、上述した(1)式の演算を行う演算回路122とを有する。   The ranging calculation circuit unit 104 includes a first selection circuit 120a, a second selection circuit 120b, a third selection circuit 120c, and an arithmetic circuit 122 that performs the calculation of the above-described equation (1).

第1選択回路120a〜第3選択回路120cは、それぞれ5つの入力端子(第1端子φ1〜第5端子φ5)と1つの出力端子φ0とを有し、各第1端子φ1に第1読出回路110aの出力が接続され、各第2端子φ2に第2読出回路110bの出力が接続され、各第3端子φ3に第3読出回路110cの出力が接続されている。   Each of the first selection circuit 120a to the third selection circuit 120c has five input terminals (first terminal φ1 to fifth terminal φ5) and one output terminal φ0, and the first readout circuit is connected to each first terminal φ1. The output of the second readout circuit 110b is connected to each second terminal φ2, and the output of the third readout circuit 110c is connected to each third terminal φ3.

第1選択回路120aの第5端子φ5及び、第2選択回路120bの第5端子φ5及び第3選択回路120cの第4端子φ4には、それぞれ第1AND回路118aの出力が接続され、第1選択回路120aの第4端子φ4、第2選択回路120bの第4端子φ4及び第3選択回路120cの第5端子φ5には、それぞれ第2AND回路118bの出力が接続されている。   The output of the first AND circuit 118a is connected to the fifth terminal φ5 of the first selection circuit 120a, the fifth terminal φ5 of the second selection circuit 120b, and the fourth terminal φ4 of the third selection circuit 120c, respectively. The output of the second AND circuit 118b is connected to the fourth terminal φ4 of the circuit 120a, the fourth terminal φ4 of the second selection circuit 120b, and the fifth terminal φ5 of the third selection circuit 120c.

そして、第1選択回路120aは、第4端子φ4に高レベル信号が入力されると、第1端子φ1に入力されている第1電荷量d1を選択して出力端子φ0を通じて出力し、第5端子φ5に高レベル信号が入力されると、第2端子φ2に入力されている第2電荷量d2を選択して出力するようになっている。   When a high level signal is input to the fourth terminal φ4, the first selection circuit 120a selects the first charge amount d1 input to the first terminal φ1 and outputs the first charge amount d1 through the output terminal φ0. When a high level signal is input to the terminal φ5, the second charge amount d2 input to the second terminal φ2 is selected and output.

第2選択回路120bは、第4端子φ4に高レベル信号が入力されると、第2電荷量d2を選択して出力し、第5端子φ5に高レベル信号が入力されると、第3電荷量d3を出力するようになっている。   The second selection circuit 120b selects and outputs the second charge amount d2 when a high level signal is input to the fourth terminal φ4, and receives the third charge when the high level signal is input to the fifth terminal φ5. The quantity d3 is output.

第3選択回路120cは、第4端子φ4に高レベル信号が入力されると、第1電荷量d1を選択して出力し、第5端子φ5に高レベル信号が入力されると、第3電荷量d3を出力するようになっている。   The third selection circuit 120c selects and outputs the first charge amount d1 when a high level signal is input to the fourth terminal φ4, and the third charge 120c when the high level signal is input to the fifth terminal φ5. The quantity d3 is output.

一方、演算回路122は、第1選択回路120aの出力が入力される第1入力端子φaと、第2選択回路120bの出力が入力される第2入力端子φbと、第3選択回路120cの出力が入力される第3入力端子φcと、1つの出力端子φ0とを有する。   On the other hand, the arithmetic circuit 122 has a first input terminal φa to which the output of the first selection circuit 120a is input, a second input terminal φb to which the output of the second selection circuit 120b is input, and an output of the third selection circuit 120c. Has a third input terminal φc and one output terminal φ0.

この演算回路122は、第1入力端子φaに入力された値をXa、第2入力端子φbに入力された値をXb、第3入力端子φcに入力された値をXcとしたとき、以下の演算式を演算し、その演算結果を出力端子φ0から出力するようになっている。
{(Xb−Xc)/(Xa+Xb−Xc×2)}×L
When the value input to the first input terminal φa is Xa, the value input to the second input terminal φb is Xb, and the value input to the third input terminal φc is Xc, the arithmetic circuit 122 An arithmetic expression is calculated, and the calculation result is output from the output terminal φ0.
{(Xb−Xc) / (Xa + Xb−Xc × 2)} × L

次に、オフセット量決定回路部106は、第1定数(=0)が格納された第1レジスタ124aと、第2定数(=L)が格納された第2レジスタ124bと、選択回路126とを有する。   Next, the offset amount determination circuit unit 106 includes a first register 124a storing a first constant (= 0), a second register 124b storing a second constant (= L), and a selection circuit 126. Have.

選択回路126は、4つの入力端子(第1端子φ1〜第4端子φ4)と1つの出力端子φ0とを有し、第1端子φ1に第1レジスタ124aの出力が接続され、第2端子φ2に第2レジスタ124bの出力が接続され、第3端子φ3に第2AND回路118bの出力が接続され、第4端子φ4に第1AND回路118aの出力が接続されている。   The selection circuit 126 has four input terminals (first terminal φ1 to fourth terminal φ4) and one output terminal φ0. The output of the first register 124a is connected to the first terminal φ1, and the second terminal φ2 is connected. The output of the second register 124b is connected to the third terminal φ3, the output of the second AND circuit 118b is connected to the third terminal φ3, and the output of the first AND circuit 118a is connected to the fourth terminal φ4.

そして、第3端子φ3に高レベル信号が入力されると、第1端子φ1に入力されている第1レジスタ124aの値(第1定数=0)を出力し、第4端子φ4に高レベル信号が入力されると、第2端子φ2に入力されている第2レジスタ124bの値(第2定数=L)を出力するようになっている。   When a high level signal is input to the third terminal φ3, the value (first constant = 0) of the first register 124a input to the first terminal φ1 is output, and the high level signal is output to the fourth terminal φ4. Is inputted, the value (second constant = L) of the second register 124b inputted to the second terminal φ2 is outputted.

オフセット量加算回路部108は、加算回路128を有する。この加算回路128は、2つの入力端子(第1入力端子φ1及び第2入力端子φ2)と1つの出力端子φ0とを有し、第1入力端子φ1に入力された値と第2入力端子φ2に入力された値とを加算して、その加算値を出力端子φ0を介して出力する。   The offset amount addition circuit unit 108 includes an addition circuit 128. The adder circuit 128 has two input terminals (first input terminal φ1 and second input terminal φ2) and one output terminal φ0, and the value input to the first input terminal φ1 and the second input terminal φ2. Is added to the input value, and the added value is output via the output terminal φ0.

第1入力端子φ1に演算回路122の出力が接続され、第2入力端子φ2に選択回路126の出力が接続されている。   The output of the arithmetic circuit 122 is connected to the first input terminal φ1, and the output of the selection circuit 126 is connected to the second input terminal φ2.

従って、この測距演算回路98は、第1AND回路118aの出力が高レベル(外光区間が第1区間T1)のとき、演算回路122の第1入力端子φaに第2電荷量d2、第2入力端子φbに第3電荷量d3、第3入力端子φcに第1電荷量d1が入力されることから、上述した(2)式が演算されてその結果が加算回路128から出力されることになる。   Accordingly, when the output of the first AND circuit 118a is at a high level (external light section is the first section T1), the distance calculation calculation circuit 98 has the second charge amount d2 and the second charge amount d2 at the first input terminal φa of the calculation circuit 122. Since the third charge amount d3 is input to the input terminal φb and the first charge amount d1 is input to the third input terminal φc, the above equation (2) is calculated and the result is output from the adder circuit 128. Become.

同様に、第2AND回路118bの出力が高レベル(外光区間が第3区間T3)のとき、第1入力端子φaに第1電荷量d1、第2入力端子φ2に第2電荷量d2、第3入力端子φ3に第3電荷量d3が入力されることから、上述した(1)式が演算されてその結果が加算回路128から出力されることになる。   Similarly, when the output of the second AND circuit 118b is at a high level (the external light interval is the third interval T3), the first charge amount d1 is applied to the first input terminal φa, the second charge amount d2 is applied to the second input terminal φ2, and the second charge amount d2 is output. Since the third charge amount d3 is input to the three input terminal φ3, the above-described equation (1) is calculated and the result is output from the adder circuit 128.

この測距演算回路98を用いれば、演算手段18を構成するデータ読出回路部100と、外光区間決定回路部102と、測距演算回路部104と、オフセット量決定回路部106と、オフセット量加算回路部108をハードウェアとして1つのブロックにて構成することができ、測距システム10のソフトウエアの簡略化、演算処理の高速化を図ることができる。   If this distance calculation circuit 98 is used, the data read circuit unit 100, the outside light section determination circuit unit 102, the distance calculation circuit unit 104, the offset amount determination circuit unit 106, and the offset amount constituting the calculation means 18 are used. The adder circuit unit 108 can be configured as a single block as hardware, so that the software of the distance measuring system 10 can be simplified and the speed of arithmetic processing can be increased.

次に、測距システム10における演算手段18の他の演算手法(第2演算手法)について図10A〜図11を参照しながら説明する。   Next, another calculation method (second calculation method) of the calculation unit 18 in the distance measuring system 10 will be described with reference to FIGS. 10A to 11.

第2演算手法は、上述した第1演算手法と同様の手法を用いるが、予め設定したサイクル数だけ、図3に示す一連の動作を行って、時間的に変化する外光成分を取得して、より精度よく反射光強度を検出する点で異なる。   The second calculation method uses the same method as the first calculation method described above, but performs a series of operations shown in FIG. 3 for the number of cycles set in advance to acquire a temporally changing external light component. The difference is that the reflected light intensity is detected more accurately.

この第2演算手法では、サイクル数をNとしたとき、バッファメモリ44の記憶容量を、3N個分の画像データが記録できる程度の容量とする。説明を簡単にするために、サイクル数Nを3として説明する。   In this second calculation method, when the number of cycles is N, the storage capacity of the buffer memory 44 is set to a capacity that can record 3N pieces of image data. In order to simplify the explanation, the number of cycles N is assumed to be 3.

第1サイクルC1〜第3サイクルC3の各第1区間T1で蓄積した第1電荷量d1をそれぞれ対応する第1画像データDc1、第4画像データDc4及び第7画像データDc7としてバッファメモリ44に記憶する。   The first charge amount d1 accumulated in each first section T1 of the first cycle C1 to the third cycle C3 is stored in the buffer memory 44 as corresponding first image data Dc1, fourth image data Dc4, and seventh image data Dc7. To do.

また、第1サイクルC1〜第3サイクルC3の各第2区間T2で蓄積した第2電荷量d2をそれぞれ対応する第2画像データDc2、第5画像データDc5及び第8画像データDc8としてバッファメモリ44に記憶する。   Further, the buffer memory 44 stores the second charge amount d2 accumulated in each second section T2 of the first cycle C1 to the third cycle C3 as the corresponding second image data Dc2, fifth image data Dc5, and eighth image data Dc8. To remember.

同様に、第1サイクルC1〜第3サイクルC3の各第3区間T3で蓄積した第3電荷量d3をそれぞれ対応する第3画像データDc3、第6画像データDc6及び第9画像データDc9としてバッファメモリ44に記憶する。   Similarly, the third charge amount d3 accumulated in each of the third sections T3 of the first cycle C1 to the third cycle C3 is buffered as corresponding third image data Dc3, sixth image data Dc6, and ninth image data Dc9. 44.

そして、1つの受光部72に関する処理を主体に説明すると、先ず、物体までの距離が3Lより遠いが、4Lよりは近い距離にあって、外光が徐々に明るくなっている場合を想定したとき、撮像した1つの受光部72での電荷量の変化は、図10Aに示すように、反射光34が第4区間T4と第5区間T6の間で到来し、その他の区間が外光成分のみであって、且つ、これら各区間の外光成分が例えば右上がりに増加した特性が得られる。各区間の電荷量をそれぞれ受光量の積分強度として見た場合、図10Bに示すような特性となる。   The processing related to one light receiving unit 72 will be mainly described. First, it is assumed that the distance to the object is farther than 3L, but is closer than 4L, and the outside light is gradually becoming brighter. As shown in FIG. 10A, the change in the amount of charge at one imaged light receiving unit 72 is such that the reflected light 34 arrives between the fourth section T4 and the fifth section T6, and the other sections are only the external light component. In addition, it is possible to obtain a characteristic in which the external light component in each section increases, for example, to the right. When the charge amount in each section is viewed as the integrated intensity of the received light amount, the characteristics shown in FIG. 10B are obtained.

そこで、この第2演算手法では、図11に示す処理を行う。ここでは、1つに受光部72を主体に説明する。   Therefore, in the second calculation method, the processing shown in FIG. 11 is performed. Here, the light receiving unit 72 will be mainly described.

先ず、ステップS101において、9個の画像データの対応する受光部72の電荷量を比較して、反射光34が到来した2つの区間(反射光区間)と、その他の区間(外光区間)を検出する。これは、強度の大きい2つの受光積分強度と、強度の小さい7個の受光積分強度を検出することと等価である。   First, in step S101, the charge amounts of the corresponding light receiving units 72 of the nine image data are compared, and two sections (reflected light sections) where the reflected light 34 arrives and other sections (outside light sections) are obtained. To detect. This is equivalent to detecting two received light integrated intensities having a high intensity and seven received light integrated intensities having a low intensity.

その後、ステップS102において、7個の外光区間における各受光積分強度をそれぞれ基準強度とし、これら7個の基準強度の時間変化を関数化する。図10Aの例では、外光区間の電荷量が時間の経過に伴って徐々に増加していることから、直線(一点鎖線)pに示すように、1つの一次関数として関数化することができる。   Thereafter, in step S102, each received light integrated intensity in the seven external light sections is set as a reference intensity, and the time change of these seven reference intensity is converted into a function. In the example of FIG. 10A, since the amount of charge in the outside light section gradually increases with time, it can be functionalized as one linear function as shown by a straight line (dashed line) p. .

その後、ステップS103において、関数化された基準強度の分布から、強度の大きい2つの受光積分強度に対応する2つの区間(反射光区間)における基準強度を求める。   Thereafter, in step S103, the reference intensities in the two sections (reflected light sections) corresponding to the two received light integrated intensities having high intensities are obtained from the functioned reference intensity distribution.

その後、ステップS104において、強度の大きい2つの受光積分強度からそれぞれ対応する基準強度を減算して補正積分強度を得る。   Thereafter, in step S104, a corrected integrated intensity is obtained by subtracting the corresponding reference intensity from the two light receiving integrated intensities having a high intensity.

そして、ステップS105において、上述した2つの補正積分強度に基づいて、物体までの距離kを算出する。つまり、図10A及び図10Bの例では、反射光34が第2サイクルC2の第1区間T1と第2区間T2の間に到来していることから、上述した測距演算の方法を利用して、
距離k={d2/(d1+d2)}×L+3L
にて求めることができる。
In step S105, the distance k to the object is calculated based on the two corrected integral intensities described above. That is, in the example of FIGS. 10A and 10B, since the reflected light 34 arrives between the first section T1 and the second section T2 of the second cycle C2, the distance calculation method described above is used. ,
Distance k = {d2 / (d1 + d2)} × L + 3L
It can ask for.

なお、ステップS101において検出した受光積分強度の大きい2つの区間が時間的に連続していない場合は、反射光34の到来ではないとして、測距エラーとする。   If the two sections with the large received light integration intensity detected in step S101 are not temporally continuous, it is determined that the reflected light 34 has not arrived, and a ranging error is determined.

また、ステップS101において、受光積分強度の大きい2つの区間を検出する手法としては、例えば隣接する区間毎の受光積分強度の差分を求め、差分が0よりも大きく最大である区間が反射光34の受光開始区間と判定し、差分が0よりも小さく絶対値が最大である区間が反射光34の受光終了区間と判定する。このようにすれば、反射光34が到来した期間を早期に検出することが可能となる。   In step S101, as a method of detecting two sections having a large received light integrated intensity, for example, a difference in received light integrated intensity for each adjacent section is obtained, and a section where the difference is greater than 0 and maximum is the reflected light 34. It is determined as the light reception start section, and the section where the difference is smaller than 0 and the absolute value is maximum is determined as the light reception end section of the reflected light 34. In this way, it is possible to detect the period in which the reflected light 34 has arrived at an early stage.

ところで、本実施の形態に係る測距システム10は、図8のステップS11にも示すように、バッファメモリ44の第1記憶領域に距離画像を記憶し、第2記憶領域に濃淡画像を記憶するようにしている。   By the way, the distance measuring system 10 according to the present embodiment stores the distance image in the first storage area of the buffer memory 44 and stores the grayscale image in the second storage area as shown in step S11 of FIG. I am doing so.

そこで、この測距システム10は、これら距離画像と濃淡画像を保存部50によって記憶装置48に保存させる場合、距離画像と濃淡画像とを関連付けて保存するようにしている。   Therefore, when the distance image and the grayscale image are stored in the storage device 48 by the storage unit 50, the distance measuring system 10 stores the distance image and the grayscale image in association with each other.

関連付けの方法としては、図12に示すように、CPU26で動作するOS(オペレーションシステム)がデータをファイル管理する機能を有する場合、距離画像が記録されたファイルのファイル名と、濃淡画像が記録されたファイルのファイル名を連名にして管理する。これにより、例えばある距離画像のファイルへのアクセスが行われた場合に、その距離画像のファイルに関連する濃淡画像のファイルへも容易にアクセスでき、煩雑な画像ファイルの管理を容易に行うことができる。   As shown in FIG. 12, when the OS (operation system) operating on the CPU 26 has a function of managing data as shown in FIG. 12, the file name of the file in which the distance image is recorded and the gray image are recorded. Manage the file name of the selected file as a consecutive name. As a result, for example, when an access to a certain distance image file is performed, the grayscale image file related to the distance image file can be easily accessed, and complicated image file management can be easily performed. it can.

その他の関連付けの方法としては、距離画像と濃淡画像とをそれぞれ受光部単位に管理する方法がある。この方法は、図13に示すように、1つのファイルに受光部72単位の濃淡値と距離値を対応付けて登録するものである。   As another association method, there is a method of managing the distance image and the grayscale image for each light receiving unit. In this method, as shown in FIG. 13, the density value and distance value of the light receiving unit 72 unit are registered in association with one file.

そして、図14に示すように、測距システム10に接続される第1表示器52(二次元画像対応)に切替スイッチ130を設けて、切替スイッチ130を操作するたびに、距離画像の表示/濃淡画像の表示/OFFに切り替えられるようにしてもよい。この場合、上述のように距離画像と濃淡画像とが関連付けられて保存されているため、容易に画像表示を切り替えることができ、要求から応答までの処理時間を大幅に短縮させることができる。   Then, as shown in FIG. 14, a changeover switch 130 is provided in the first display 52 (corresponding to a two-dimensional image) connected to the distance measuring system 10, and the distance image display / You may make it switch to display / OFF of a grayscale image. In this case, since the distance image and the grayscale image are stored in association with each other as described above, the image display can be easily switched, and the processing time from the request to the response can be greatly shortened.

また、測距システム10に第2表示器54(三次元画像対応)を接続することによって、距離画像を三次元画像として表示することも可能である。この場合、三次元画像は、距離データのみから得られる三次元ポリゴン画像や、この三次元ポリゴン画像に濃淡画像による輝度データをマッピングした三次元モデル画像等から選択することができる。この場合も、上述のように距離画像と濃淡画像とが関連付けられて保存されているため、容易に三次元画像を切り替えることができ、要求から応答までの処理時間を大幅に短縮させることができる。   In addition, the distance image can be displayed as a three-dimensional image by connecting the second display 54 (corresponding to the three-dimensional image) to the distance measuring system 10. In this case, the three-dimensional image can be selected from a three-dimensional polygon image obtained only from distance data, a three-dimensional model image obtained by mapping luminance data based on a grayscale image on the three-dimensional polygon image, and the like. Also in this case, since the distance image and the grayscale image are stored in association with each other as described above, the three-dimensional image can be easily switched, and the processing time from the request to the response can be greatly shortened. .

なお、本発明に係る測距装置、測距方法及び測距システムは、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。   Of course, the distance measuring device, the distance measuring method, and the distance measuring system according to the present invention are not limited to the above-described embodiments, and various configurations can be adopted without departing from the gist of the present invention.

本実施の形態に係る測距システムの外形を示す斜視図である。It is a perspective view which shows the external shape of the ranging system which concerns on this Embodiment. 本実施の形態に係る測距システムの構成を示すブロック図である。It is a block diagram which shows the structure of the ranging system which concerns on this Embodiment. 本実施の形態に係る測距システムの動作を示すタイミングチャートである。It is a timing chart which shows operation | movement of the ranging system which concerns on this Embodiment. 撮像素子の概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of an image pick-up element. 受光部のポテンシャルを主体にした構成を示す説明図である。It is explanatory drawing which shows the structure based on the potential of a light-receiving part. 外光を考慮しない場合の第1演算手法を説明するためのタイミングチャートである。It is a timing chart for demonstrating the 1st calculation method when not considering external light. 外光を考慮した場合の第1演算手法を説明するためのタイミングチャートである。It is a timing chart for demonstrating the 1st calculation method when external light is considered. 第1演算手法のアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of a 1st calculation method. 第1演算手法のアルゴリズムに基づいて構成された測距演算回路を示す回路図である。It is a circuit diagram which shows the ranging calculation circuit comprised based on the algorithm of the 1st calculation method. 図10Aは第2演算手法を説明するためのタイミングチャートであり、図10Bは各区間の電荷量をそれぞれ受光量の積分強度として見た場合の特性図である。FIG. 10A is a timing chart for explaining the second calculation method, and FIG. 10B is a characteristic diagram when the charge amount in each section is viewed as the integrated intensity of the received light amount. 第2演算手法による処理動作を示すフローチャートである。It is a flowchart which shows the processing operation by a 2nd calculation method. 距離画像と濃淡画像をファイル名で関連付けて管理する場合の一例を示す説明図である。It is explanatory drawing which shows an example in the case of managing a distance image and a grayscale image in association with a file name. 1つのファイルに受光部単位の濃淡値と距離値を対応付けて登録する場合の一例を示す説明図である。It is explanatory drawing which shows an example in the case of registering the gray value and distance value of a light-receiving part unit in association with one file. 第1表示器(二次元画像対応)に距離画像と濃淡画像の切替スイッチを設けた例を示す説明図である。It is explanatory drawing which shows the example which provided the change switch of the distance image and the grayscale image in the 1st display (corresponding to a two-dimensional image). TOF(Time Of Flight)方式の光波測距方法を示す説明図である。It is explanatory drawing which shows the light wave ranging method of TOF (Time Of Flight) system. 変調光に対する反射光の位相の遅れを示す波形図である。It is a wave form diagram which shows the delay of the phase of the reflected light with respect to modulated light.

符号の説明Explanation of symbols

10…測距システム 14…発光手段
16…受光手段 18…演算手段
20…照射光源 28…パルス光
32…撮像素子 34…反射光
48…記憶装置 50…保存部
52…第1表示器 54…第2表示器
56…表示部 72…受光部
74…光電変換部 76a…第1蓄積部
76b…第2蓄積部 78a…第1垂直転送路
78b…第2垂直転送路 96…距離演算部
98…測距演算回路 100…データ読出回路部
102…外光区間決定回路部 104…測距演算回路部
106…オフセット量決定回路部 108…オフセット量加算回路部
DESCRIPTION OF SYMBOLS 10 ... Ranging system 14 ... Light emission means 16 ... Light reception means 18 ... Calculation means 20 ... Irradiation light source 28 ... Pulse light 32 ... Imaging element 34 ... Reflected light 48 ... Memory | storage device 50 ... Storage part 52 ... 1st display 54 ... 1st 2 display 56 ... display unit 72 ... light receiving unit 74 ... photoelectric conversion unit 76a ... first storage unit 76b ... second storage unit 78a ... first vertical transfer path 78b ... second vertical transfer path 96 ... distance calculation unit 98 ... measurement Distance calculation circuit 100... Data readout circuit unit 102 .. Outside light section determination circuit unit 104... Distance measurement circuit unit 106. Offset amount determination circuit unit 108.

Claims (11)

基準時から所定のパルス幅を有するパルス光を出射する発光手段と、
前記パルス光により照射された物体からの反射光を受光し、前記基準時から前記パルス幅に相当する期間にわたる第1区間で蓄積した第1電荷量と、前記第1区間経過時点から前記パルス幅に相当する期間にわたる第2区間で蓄積した第2電荷量と、前記第2区間経過時点から前記パルス幅に相当する期間にわたる第3区間で蓄積した第3電荷量とを得る受光手段と、
前記受光手段で得られた前記第1電荷量、前記第2電荷量及び前記第3電荷量に基づいて、前記物体までの距離を算出する演算手段とを有し、
前記演算手段は、
前記第1電荷量、前記第2電荷量及び前記第3電荷量を比較する比較部と、
第1変数、第2変数及び第3変数に基づいて、前記第1区間又は前記第2区間に基づいた距離を演算する距離演算部と、
前記第1区間及び前記第3区間のうち、最も電荷量の少ない区間に応じて前記第1変数、前記第2変数及び前記第3変数と、前記第1電荷量、前記第2電荷量及び前記第3電荷量との対応関係を選択する選択部と、
加算部と、
を有し、
前記距離演算部は、前記パルス幅で決まる設定距離をL、前記第1変数をXa、前記第2変数をXb、前記第3変数をXcとしたとき、
{(Xb−Xc)/(Xa+Xb−Xc×2)}×L
を演算して前記距離を求め、
前記選択部は、最も電荷量の少ない区間が前記第3区間の場合に、前記第1変数Xaに前記第1電荷量、前記第2変数Xbに前記第2電荷量、前記第3変数Xcに前記第3電荷量を選択し、最も電荷量の少ない区間が前記第1区間の場合に、前記第1変数Xaに前記第2電荷量、前記第2変数Xbに前記第3電荷量、前記第3変数Xcに前記第1電荷量を選択し、
前記加算部は、最も電荷量の少ない区間が前記第3区間の場合に、前記距離演算部で得られた前記距離に0を加算し、最も電荷量の少ない区間が前記第1区間の場合に、前記距離演算部で得られた前記距離に前記設定距離Lを加算することを特徴とする測距装置。
A light emitting means for emitting pulsed light having a predetermined pulse width from a reference time;
The reflected light from the object irradiated with the pulsed light is received, the first charge amount accumulated in the first section over the period corresponding to the pulse width from the reference time, and the pulse width from the elapsed time of the first section. A light receiving means for obtaining a second charge amount accumulated in a second interval over a period corresponding to, and a third charge amount accumulated in a third interval over a period corresponding to the pulse width after the second interval elapses;
Calculating means for calculating a distance to the object based on the first charge amount, the second charge amount and the third charge amount obtained by the light receiving means;
The computing means is
A comparison unit for comparing the first charge amount, the second charge amount, and the third charge amount;
A distance calculation unit that calculates a distance based on the first interval or the second interval based on the first variable, the second variable, and the third variable;
The first variable, the second variable, the third variable, the first charge amount, the second charge amount, and the first variable according to the interval with the smallest charge amount among the first interval and the third interval. A selection unit for selecting a correspondence relationship with the third charge amount;
An adder;
Have
When the distance calculation unit is set to a set distance determined by the pulse width L, the first variable is Xa, the second variable is Xb, and the third variable is Xc,
{(Xb−Xc) / (Xa + Xb−Xc × 2)} × L
To calculate the distance,
When the section with the smallest charge amount is the third section, the selection unit sets the first variable Xa to the first charge amount, the second variable Xb to the second charge amount, and the third variable Xc to the third variable Xc. When the third charge amount is selected and the section with the smallest charge amount is the first section, the second variable amount is set to the first variable Xa, the third charge amount is set to the second variable Xb, Select the first charge amount for three variables Xc,
The adding unit adds 0 to the distance obtained by the distance calculation unit when the section with the smallest charge amount is the third section, and when the section with the least charge amount is the first section. The distance measuring device adding the set distance L to the distance obtained by the distance calculation unit.
請求項1記載の測距装置において、
最も電荷量の少ない区間が前記第2区間の場合に、測定エラーとすることを特徴とする測距装置。
The distance measuring device according to claim 1,
A distance measuring apparatus characterized in that a measurement error occurs when the section with the smallest amount of charge is the second section.
基準時から所定のパルス幅を有するパルス光を出射する発光手段と、
前記パルス光により照射された物体からの反射光と外光成分とを含む光を、前記基準時から前記パルス幅に相当する期間毎に順番に配置されたn個の区間においてそれぞれ受光してn個の受光積分強度を得る受光手段と、
前記n個の受光積分強度を比較し、強度の大きい2つの受光積分強度(第1受光積分強度及び第2受光積分強度)と、強度の小さい(n−2)個の受光積分強度を検出して、前記n個の区間のうち、前記第1受光積分強度及び前記第2受光積分強度に対応する2つの区間(第1区間及び第2区間)を、前記反射光が到来し、且つ、前記外光成分が入射した反射光区間とし、その他の(n−2)個の区間を、前記外光成分のみが入射した外光区間とする比較手段と、
前記外光区間における強度の小さい(n−2)個の受光積分強度をそれぞれ基準強度とし、(n−2)個の基準強度の時間変化を関数化して前記反射光区間及び前記外光区間を含めたn個の区間における基準強度の分布を得る手段と、
得られた前記基準強度の分布から、前記反射光区間における前記第1区間及び前記第2区間に対応した第1基準強度及び第2基準強度を求める手段と、
前記反射光区間における前記第1受光積分強度及び前記第2受光積分強度からそれぞれ対応する前記第1基準強度及び前記第2基準強度を減算して第1補正積分強度及び第2補正積分強度を得る手段と、
前記第1補正積分強度及び前記第2補正積分強度に基づいて、前記物体までの距離を算出する手段とを有し、
前記物体までの距離を算出する手段は、
前記パルス幅で決まる設定距離をL、前記第1補正積分強度をd1、前記第2補正積分強度をd2、前記n個の区間のうち、前記基準時から前記反射光区間が到来するまでの区間の数をmとしたとき、
{d2/(d1+d2)}×L+m×L
を演算して前記物体までの距離kを算出することを特徴とする測距装置。
A light emitting means for emitting pulsed light having a predetermined pulse width from a reference time;
The light including the reflected light from the object irradiated by the pulsed light and the external light component is received in each of the n sections arranged in order for each period corresponding to the pulse width from the reference time. A light receiving means for obtaining the received light integrated intensity,
Comparing the n light receiving integrated intensity, and two light receiving integrated intensity greater intensity (first light receiving integrated intensity and the second light receiving integrated intensity), a small strength (n-2) number of detected received light integrated intensity Of the n sections, the reflected light arrives at two sections (first section and second section) corresponding to the first received integrated intensity and the second received integrated intensity, and the A comparison means that sets the reflected light section in which the external light component is incident and the other (n−2) sections as the external light section in which only the external light component is incident ;
The (n−2) received light integrated intensities having small intensities in the outside light section are set as reference intensities, and the time variation of (n−2) reference intensities is converted into a function to function as the reflected light section and the outside light section. Means for obtaining a distribution of reference intensities in n intervals including
Means for obtaining a first reference intensity and a second reference intensity corresponding to the first section and the second section in the reflected light section from the obtained distribution of the reference intensity;
The first corrected integrated intensity and the second corrected integrated intensity are obtained by subtracting the corresponding first reference intensity and second reference intensity from the first received light integrated intensity and the second received light integrated intensity in the reflected light section, respectively. Means,
Means for calculating a distance to the object based on the first correction integral intensity and the second correction integral intensity ;
The means for calculating the distance to the object is:
The set distance determined by the pulse width is L, the first correction integral intensity is d1, the second correction integral intensity is d2, and the interval from the reference time to the arrival of the reflected light interval among the n intervals. Where m is the number of
{D2 / (d1 + d2)} × L + m × L
And a distance k to the object is calculated to calculate a distance measuring device.
基準時から所定のパルス幅を有するパルス光を出射する発光ステップと、
前記パルス光により照射された物体からの反射光を前記基準時から前記パルス幅に相当する期間にわたる第1区間で受光して第1受光積分強度を得る第1受光ステップと、
前記反射光を前記第1区間経過時点から前記パルス幅に相当する期間にわたる第2区間で受光して第2受光積分強度を得る第2受光ステップと、
前記反射光を前記第2区間経過時点から前記パルス幅に相当する期間にわたる第3区間で受光して第3受光積分強度を得る第3受光ステップと、
前記第1受光積分強度、前記第2受光積分強度及び前記第3受光積分強度に基づいて、前記物体までの距離を算出する演算ステップとを有し、
前記演算ステップは、
前記第1受光積分強度、前記第2受光積分強度及び前記第3受光積分強度を比較する比較ステップと、
第1変数、第2変数及び第3変数に基づいて、前記第1区間又は前記第2区間に基づいた距離を演算する距離演算ステップと、
前記第1区間及び前記第3区間のうち、最も受光積分強度の小さい区間に応じて前記第1変数、前記第2変数及び前記第3変数と、前記第1受光積分強度、前記第2受光積分強度及び前記第3受光積分強度との対応関係を選択する選択ステップと、
加算ステップと、
を有し、
前記距離演算ステップは、前記パルス幅で決まる設定距離をL、前記第1変数をXa、前記第2変数をXb、前記第3変数をXcとしたとき、
{(Xb−Xc)/(Xa+Xb−Xc×2)}×L
を演算して前記距離を求め、
前記選択ステップは、最も受光積分強度の小さい区間が前記第3区間の場合に、前記第1変数Xaに前記第1受光積分強度、前記第2変数Xbに前記第2受光積分強度、前記第3変数Xcに前記第3受光積分強度を選択し、最も受光積分強度の小さい区間が前記第1区間の場合に、前記第1変数Xaに前記第2受光積分強度、前記第2変数Xbに前記第3受光積分強度、前記第3変数Xcに前記第1受光積分強度を選択し、
前記加算ステップは、最も受光積分強度の小さい区間が前記第3区間の場合に、前記距離演算ステップで得られた前記距離に0を加算し、最も受光積分強度の小さい区間が前記第1区間の場合に、前記距離演算ステップで得られた前記距離に前記設定距離Lを加算することを特徴とする測距方法。
A light emission step of emitting pulsed light having a predetermined pulse width from a reference time;
A first light receiving step of receiving reflected light from an object irradiated with the pulsed light in a first section over a period corresponding to the pulse width from the reference time to obtain a first received light integrated intensity;
A second light receiving step of receiving the reflected light in a second section over a period corresponding to the pulse width from the time when the first section has elapsed to obtain a second received light integrated intensity;
A third light receiving step of receiving the reflected light in a third section over a period corresponding to the pulse width from the second section elapsed time point to obtain a third received light integrated intensity;
A calculation step of calculating a distance to the object based on the first received light integrated intensity, the second received light integrated intensity, and the third received light integrated intensity;
The calculation step includes:
A comparison step of comparing the first received light integrated intensity, the second received light integrated intensity, and the third received light integrated intensity;
A distance calculating step of calculating a distance based on the first interval or the second interval based on the first variable, the second variable, and the third variable;
Of the first interval and the third interval, the first variable, the second variable, the third variable, the first received light integration intensity, and the second received light integration depending on the interval with the smallest received light integration intensity. A selection step of selecting a correspondence relationship between intensity and the third received light integrated intensity;
Adding step;
Have
In the distance calculation step, when the set distance determined by the pulse width is L, the first variable is Xa, the second variable is Xb, and the third variable is Xc,
{(Xb−Xc) / (Xa + Xb−Xc × 2)} × L
To calculate the distance,
In the selection step, when the section with the smallest received light integral intensity is the third section, the first received light integrated intensity is set to the first variable Xa, the second received light integrated intensity is set to the second variable Xb, and the third When the third received light integrated intensity is selected as the variable Xc, and the section with the smallest received light integrated intensity is the first section, the second received light integrated intensity is set as the first variable Xa, and the second received light intensity is set as the second variable Xb. 3 received light integrated intensity, the first received light integrated intensity is selected as the third variable Xc,
The adding step adds 0 to the distance obtained in the distance calculating step when the interval with the smallest received light integration intensity is the third interval, and the interval with the smallest received light integration intensity is the first interval. In this case, the distance measuring method is characterized in that the set distance L is added to the distance obtained in the distance calculating step.
請求項4記載の測距方法において、
前記第2受光ステップで受光した受光積分強度が基準強度とみなされた場合に、測定エラーとすることを特徴とする測距方法。
The distance measuring method according to claim 4,
A distance measuring method characterized in that a measurement error occurs when the received light integrated intensity received in the second light receiving step is regarded as a reference intensity.
基準時から所定のパルス幅を有するパルス光を出射する発光ステップと、
前記パルス光により照射された物体からの反射光と外光成分とを含む光を、前記基準時から前記パルス幅に相当する期間毎に順番に配置されたn個の区間においてそれぞれ受光してn個の受光積分強度を得る受光ステップと、
前記n個の受光積分強度を比較し、強度の大きい2つの受光積分強度(第1受光積分強度及び第2受光積分強度)と、強度の小さい(n−2)個の受光積分強度を検出して、前記n個の区間のうち、前記第1受光積分強度及び前記第2受光積分強度に対応する2つの区間(第1区間及び第2区間)を、前記反射光が到来し、且つ、前記外光成分が入射した反射光区間とし、その他の(n−2)個の区間を、前記外光成分のみが入射した外光区間とする比較ステップと、
前記外光区間における強度の小さい(n−2)個の受光積分強度をそれぞれ基準強度とし、(n−2)個の基準強度の時間変化を関数化して前記反射光区間及び前記外光区間を含めたn個の区間における基準強度の分布を得るステップと、
得られた前記基準強度の分布から、前記反射光区間における前記第1区間及び前記第2区間に対応した第1基準強度及び第2基準強度を求めるステップと、
前記反射光区間における前記第1受光積分強度及び前記第2受光積分強度からそれぞれ対応する前記第1基準強度及び前記第2基準強度を減算して第1補正積分強度及び第2補正積分強度を得るステップと、
前記第1補正積分強度及び前記第2補正積分強度に基づいて、前記物体までの距離を算出するステップとを有し、
前記物体までの距離を算出するステップは、
前記パルス幅で決まる設定距離をL、前記第1補正積分強度をd1、前記第2補正積分強度をd2、前記n個の区間のうち、前記基準時から前記反射光区間が到来するまでの区間の数をmとしたとき、
{d2/(d1+d2)}×L+m×L
を演算して前記物体までの距離kを算出することを特徴とする測距方法。
A light emission step of emitting pulsed light having a predetermined pulse width from a reference time;
The light including reflected light and ambient light component from the object illuminated by pulsed light, by receiving respectively, in the n which are arranged in order interval from the reference time for each period corresponding to the pulse width n A light receiving step for obtaining the received light integrated intensity ,
Comparing the n light receiving integrated intensity, and two light receiving integrated intensity greater intensity (first light receiving integrated intensity and the second light receiving integrated intensity), a small strength (n-2) number of detection light receiving integrated intensity Of the n sections, the reflected light arrives at two sections (first section and second section) corresponding to the first received integrated intensity and the second received integrated intensity, and A comparison step in which the external light component is the reflected light interval, and the other (n−2) intervals are external light intervals in which only the external light component is incident ;
The (n−2) received light integrated intensities having small intensities in the outside light section are set as reference intensities, and the time variation of (n−2) reference intensities is converted into a function to function as the reflected light section and the outside light section. Obtaining a distribution of reference intensities in n intervals including
Obtaining a first reference intensity and a second reference intensity corresponding to the first section and the second section in the reflected light section from the obtained distribution of the reference intensity;
The first corrected integrated intensity and the second corrected integrated intensity are obtained by subtracting the corresponding first reference intensity and second reference intensity from the first received light integrated intensity and the second received light integrated intensity in the reflected light section, respectively. Steps,
Calculating a distance to the object based on the first corrected integral intensity and the second corrected integral intensity ,
Calculating the distance to the object comprises:
The set distance determined by the pulse width is L, the first correction integral intensity is d1, the second correction integral intensity is d2, and the interval from the reference time to the arrival of the reflected light interval among the n intervals. Where m is the number of
{D2 / (d1 + d2)} × L + m × L
A distance measuring method, wherein a distance k to the object is calculated by calculating .
請求項6記載の測距方法において、
前記第1区間と前記第2区間が時間的に連続していない場合に、測距エラーとすることを特徴とする測距方法。
The distance measuring method according to claim 6,
A distance measurement method, wherein a distance measurement error is generated when the first section and the second section are not temporally continuous.
請求項6記載の測距方法において、
前記比較ステップは、
区間毎の受光積分強度の差分を求め、差分が0よりも大きく最大である区間を、前記反射光区間の開始区間と判定し、差分が0よりも小さく絶対値が最大である区間を、前記反射光区間の終了区間と判定することを特徴とする測距方法。
The distance measuring method according to claim 6,
The comparison step includes
Calculates the difference between the light receiving integrated intensity of each section, the sectional difference is at a maximum greater than 0, it is determined that the start section of the reflected light interval, the absolute value smaller than the difference is zero the period is the maximum, the ranging wherein determining that termination section of the reflected light section.
請求項1又は2記載の測距装置と、
前記測距装置における各受光部に対応した距離を算出して距離画像を得る距離画像取得手段と、
前記測距装置における前記各受光部に対応して検出された前記最も電荷量の少ない区間の電荷量に基づいて前記各受光部に対応した濃淡画像を得る濃淡画像取得手段とを有することを特徴とする測距システム。
A distance measuring device according to claim 1 or 2,
A distance image obtaining means for obtaining a distance image by calculating a distance corresponding to each light receiving unit in the distance measuring device;
A gray-scale image obtaining unit that obtains a gray-scale image corresponding to each light receiving unit based on a charge amount of the section with the smallest charge amount detected corresponding to each light receiving unit in the distance measuring device. Ranging system.
請求項9記載の測距システムにおいて、
前記距離画像と前記濃淡画像とを関連付けて記録媒体に記録する画像記録手段を有することを測距システム。
The ranging system according to claim 9, wherein
A distance measuring system comprising image recording means for recording the distance image and the grayscale image in association with each other on a recording medium.
請求項9記載の測距システムにおいて、
前記距離画像における各受光部に対応した距離データと、前記濃淡画像における各受光部に対応した濃淡データとを、それぞれ各受光部に関連付けて記録媒体に記録するデータ記録手段を有することを測距システム。
The ranging system according to claim 9, wherein
Ranging is provided with data recording means for recording the distance data corresponding to each light receiving unit in the distance image and the light and dark data corresponding to each light receiving unit in the gray image in association with each light receiving unit on a recording medium. system.
JP2007095083A 2007-03-30 2007-03-30 Ranging device, ranging method and ranging system Expired - Fee Related JP5486150B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007095083A JP5486150B2 (en) 2007-03-30 2007-03-30 Ranging device, ranging method and ranging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007095083A JP5486150B2 (en) 2007-03-30 2007-03-30 Ranging device, ranging method and ranging system

Publications (2)

Publication Number Publication Date
JP2008249673A JP2008249673A (en) 2008-10-16
JP5486150B2 true JP5486150B2 (en) 2014-05-07

Family

ID=39974774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007095083A Expired - Fee Related JP5486150B2 (en) 2007-03-30 2007-03-30 Ranging device, ranging method and ranging system

Country Status (1)

Country Link
JP (1) JP5486150B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615093A (en) * 2015-05-28 2018-01-19 松下知识产权经营株式会社 Ranging camera device, its distance-finding method and solid camera head

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412313B (en) * 2013-07-30 2015-03-25 桂林理工大学 Small low-altitude light area array laser radar measuring system
DE102014013099B4 (en) * 2014-09-03 2019-11-14 Basler Aktiengesellschaft Method and device for simplified acquisition of a depth image
JP6531326B2 (en) * 2015-03-10 2019-06-19 アルプスアルパイン株式会社 Optical detector
JP6926491B2 (en) * 2017-01-30 2021-08-25 オムロン株式会社 Detection system, detection device, and detection method
JP2020067388A (en) * 2018-10-25 2020-04-30 ソニーセミコンダクタソリューションズ株式会社 Abnormality detection apparatus, abnormality detection method, program, and ranging apparatus
JP7358771B2 (en) * 2019-04-26 2023-10-11 凸版印刷株式会社 3D imaging unit, camera, and 3D image generation method
CN112147595B (en) * 2019-06-27 2024-08-09 华为技术有限公司 Laser detection device, method and system
JP7346179B2 (en) * 2019-09-06 2023-09-19 株式会社東芝 radar equipment
JP2022167711A (en) * 2021-04-23 2022-11-04 株式会社日立エルジーデータストレージ Ranging system
CN118575098A (en) * 2022-01-21 2024-08-30 株式会社小糸制作所 Measuring device
WO2023199804A1 (en) * 2022-04-13 2023-10-19 ヌヴォトンテクノロジージャパン株式会社 Distance measuring device and distance measuring method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832441B2 (en) * 2002-04-08 2006-10-11 松下電工株式会社 Spatial information detection device using intensity-modulated light
JP3758618B2 (en) * 2002-07-15 2006-03-22 松下電工株式会社 Ranging device and distance measuring method using image sensor
JP4235729B2 (en) * 2003-02-03 2009-03-11 国立大学法人静岡大学 Distance image sensor
JP4363296B2 (en) * 2004-10-01 2009-11-11 パナソニック電工株式会社 Distance image sensor
JP2007132848A (en) * 2005-11-11 2007-05-31 Sharp Corp Optical range finder
JP2007248227A (en) * 2006-03-15 2007-09-27 Toyota Central Res & Dev Lab Inc Object detection device
JP2008122223A (en) * 2006-11-13 2008-05-29 Suzuki Motor Corp Distance measuring device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615093A (en) * 2015-05-28 2018-01-19 松下知识产权经营株式会社 Ranging camera device, its distance-finding method and solid camera head
CN107615093B (en) * 2015-05-28 2021-07-06 新唐科技日本株式会社 Distance measurement imaging device, distance measurement method thereof, and solid-state imaging device

Also Published As

Publication number Publication date
JP2008249673A (en) 2008-10-16

Similar Documents

Publication Publication Date Title
JP5486150B2 (en) Ranging device, ranging method and ranging system
US20210181317A1 (en) Time-of-flight-based distance measurement system and method
CN110596721B (en) Flight time distance measuring system and method of double-shared TDC circuit
JP6676866B2 (en) Ranging imaging device and solid-state imaging device
CN110596725B (en) Time-of-flight measurement method and system based on interpolation
JP5295511B2 (en) Ranging device and ranging method
JP5171158B2 (en) Solid-state imaging device and range image measuring device
KR101675112B1 (en) Method of extractig depth information and optical apparatus employing the method
US7800739B2 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
US10116883B2 (en) System and methods for depth imaging using conventional CCD image sensors
JP6480712B2 (en) Imaging apparatus and control method thereof
CN111758047B (en) Single chip RGB-D camera
WO2021051480A1 (en) Dynamic histogram drawing-based time of flight distance measurement method and measurement system
CN108474849A (en) Distance-measuring device
WO2021051481A1 (en) Dynamic histogram drawing time-of-flight distance measurement method and measurement system
JPWO2017150246A1 (en) Imaging device and solid-state imaging device used therefor
EP3602110B1 (en) Time of flight distance measurement system and method
CN112135114A (en) Time-of-flight image sensor resolution enhancement and increased data robustness using binning modules
JP2016095234A (en) Light flight distance measuring device
JP7508822B2 (en) Distance measurement device and distance measurement method
JP3774225B2 (en) 3D measurement sensor
KR102198941B1 (en) Apparatus and Method for measuring distance using SPAD(Single Photon Avalanche Diode) using TOF(Time of Flight)
JP5180502B2 (en) Ranging device and ranging method
JPWO2019050024A1 (en) Distance measurement method and distance measurement device
JP4673674B2 (en) Shape measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140221

R150 Certificate of patent or registration of utility model

Ref document number: 5486150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees