JP2013076645A - 距離画像生成装置および距離画像生成方法 - Google Patents

Abstract

【課題】光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行う。
【解決手段】光源から照射する変調光の発光（ＯＮ）期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期Ｔｓに、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する。
【選択図】図４

Description

本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。

光飛行時間型距離画像センサを用いて、撮影空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置（以下、光飛行型距離画像生成装置と呼ぶ。）がある。光飛行型距離画像生成装置では、光源から照射した変調光（測距光）と、当該変調光の対象物による反射光との位相差を用いて、画素毎に対象物の距離を算出する。位相差は、画素毎に用意された撮像素子で受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される（例えば、特許文献１参照）。

光飛行型距離画像生成装置は、上述のように画素毎に受光した反射光を基に距離値を算出している。しかし、例えば、通行量の多い道路など、同様な光飛行型距離画像生成装置が複数台、同じ空間に存在する場合、他装置の測距光が自装置の測距光と干渉し、誤測距が発生する。

他装置の測距光との干渉による誤測距の問題を解決するため、光飛行型距離画像生成装置の外部にタイミング制御部を設け、複数の測距光が干渉しないよう時分割で点灯制御を行う技術がある（例えば、特許文献２参照）。また、変調光の変調周波数を、光飛行型距離画像生成装置毎に異なるよう設定し、干渉を回避する技術がある（例えば、特許文献３参照）。

特開２００８−２４１４３５号公報 特許第４２００３２８号公報 特開２００９−１２４３９８号公報

しかし、特許文献２に記載の技術では、タイミング制御部という追加の装置が必要となる。また、時分割で測距光を照射するため、制御対象の距離画像生成装置の台数が増えると１台あたりの発光時間が短くなり、距離精度、フレームレートが低下する。

また、特許文献３に記載の技術では、細かな周波数設定が必要となる。さらに、周波数を変更する毎に距離演算の式が変わるため、距離算出が煩雑となる。

本発明は、上記事情に鑑みてなされたもので、光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行うことを目的とする。

本発明は、光源から照射する変調光の発光（ＯＮ）期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期に、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する。

具体的には、撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子を備える受光手段と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段と、を備える距離画像生成装置であって、前記複数の撮像素子は、それぞれ、受光した入射光を電荷に変換する光電変換素子と、前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段と、を備え、前記電荷蓄積手段は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段を備え、前記制御手段は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段を備え、前記変調周期毎に前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の１周期毎に変化させ、前記各測距単位蓄積手段への電荷の蓄積期間を全周期同じとなるよう制御することを特徴とする距離画像生成装置を提供する。

また、撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の光電変換素子と、前記光電変換素子毎に設けられた前記電荷を蓄積する複数の単位蓄積手段と、前記複数の単位蓄積手段のうち、予め定めた測距に用いる単位蓄積手段に蓄積された電荷を用いて距離値を算出する距離画像算出手段と、を備える距離画像生成装置における、距離画像生成方法であって、前記変調光の変調周期毎に付加する付加時間を生成する付加時間生成ステップと、前記変調周期毎に、前記変調周期に前記付加時間を付加して前記変調光の変調周期を変化させるとともに、前記付加時間中に受光した入射光を変換して得た電荷を廃棄用の単位蓄積手段に蓄積し、当該付加時間以外の予め定めた期間に取得した電荷を、予め定めた複数の電荷蓄積用の単位蓄積手段にそれぞれ蓄積する同期制御ステップと、所定の時間間隔で前記電荷蓄積用の単位蓄積手段に蓄積された電荷を読み出し、距離画像の各画素値である距離値を算出する距離値算出ステップと、を備えることを特徴とする距離画像生成方法を提供する。

本発明によれば、光飛行型距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距ができる。

（ａ）は、一般の距離画像生成装置のブロック図であり、（ｂ）は、一般の距離画像生成装置の撮像素子のブロック図である。 一般の距離画像生成装置の制御信号のタイミングチャートである。 （ａ）は、本発明の実施形態の距離画像生成装置のブロック図であり、（ｂ）は、本発明の実施形態の距離画像生成装置の撮像素子のブロック図である。 本発明の実施形態の距離画像生成装置の制御信号のタイミングチャートである。 本発明の実施形態の距離画像生成装置により干渉が防止されることを説明するための説明図である。 本発明の実施形態の距離画像生成装置の他の例の制御信号のタイミングチャートである。 本発明の実施形態の距離画像生成装置の他の例の制御信号のタイミングチャートである。 （ａ）は、本発明の実施形態の付加時間データベースを説明するための説明図であり、（ｂ）は、本発明の実施形態のパターン生成回路により生成されるパターンを説明するための説明図である。 本発明の実施形態のランダム付加時間データベースを説明するための説明図である。 （ａ）は、付加時間Ｔｗを０にした場合の変調光の周波数スペクトラムのグラフであり、（ｂ）は、本発明の実施形態の、周波数拡散を行う場合の変調光の周波数スペクトラムのグラフである。

以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

本実施形態の光飛行時間型距離画像生成装置（以下、距離画像生成装置と呼ぶ。）の構成の説明に先立ち、一般の電荷振り分け式の光飛行時間型センサを用いた距離画像生成装置１０１の構成および距離画像生成の原理について説明する。

光飛行時間型距離画像センサは、１個の撮像素子を１画素として構成したセンサである。この光飛行時間型距離画像センサを用いた距離画像生成装置１０１は、対象物体２００へ照射した光の反射光を受光することにより光飛行時間計測法（ＴＯＦ：Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）を用いて光飛行時間を測定し、当該光飛行時間に基づいて当該対象物体２００までの距離を測定することにより距離画像を生成する。

電荷振り分け方式とは、後述するように、２つ以上の電荷蓄積容量を１つの光電変換素子に接続し、例えば、周期的に発光（ＯＮ／ＯＦＦ）を繰り返すパルス光（以下、本明細書では、パルス光を「変調光」と呼ぶ。）を、その変調周期や発光時間に同期させて２つ以上の電荷蓄積容量に分離蓄積し、これらの電荷に基づいて距離を算出する方式である。この電荷振り分け方式では、距離値の算出にあたり、一定時間毎に分離蓄積した電荷を読み出して平均化することにより信号雑音比を高める。従って、この電荷振り分け方式の光飛行時間型距離画像センサは、未知の背景光下で使用することができる。

図１（ａ）は、この距離画像生成装置１０１のブロック図である。本図に示すように、距離画像生成装置１００は、光源１１０と、受光部１２０と、距離画像生成部１３０と、制御部１４０と、を備える。

光源１１０は、撮影空間に変調光１５１を照射する。光源１１０には、ＬＥＤ、レーザ等の高速変調（高速点滅）が可能なデバイスが用いられる。

受光部１２０は、入射光１５２を受光し、電荷に変換する。受光部１２０は、図１（ａ）に示すように、距離画像生成部１３０が生成する距離画像の各画素に対応する複数の撮像素子１２１を備える。複数の撮像素子１２１は、距離画像生成部１３０が生成する距離画像の各画素に対応づけて規則的に配列される。図１（ａ）には、４×４の場合を例示する。

なお、受光部１２０に入射する入射光１５２は、光源１１０から照射された変調光１５１が撮影空間内の物体２００により反射されることに由来する反射光と、自然光などの外部光源からの光が対象物体２００に反射されることに由来する背景光との総和である。

この光飛行時間型距離センサは、上述のように電荷振り分け方式を採用する。このため、各撮像素子１２１は、図１（ｂ）に示すように、光電変換素子１２２と、電荷蓄積部１２３と、を備える。光電変換素子１２２は、入射光１５２を受光し、受光量に応じた電荷に変換する。電荷蓄積部１２３は、光電変換素子１２２で変換された電荷を蓄積する複数の単位蓄積部１２４を備える。

光電変換素子１２２で変換された電荷は、制御部１４０からの指示に従って、それぞれの単位蓄積部１２４に振り分けられ、蓄積される。各単位蓄積部１２４への電荷の振り分けは、変調光１５１の変調周期に同期して行われる。各単位蓄積部１２４に蓄積された電荷は、制御部１４０からの指示に従って読み出され、距離画像生成部１３０へ出力される。読み出しは、所定の時間間隔で行われる。

なお、単位蓄積部１２４は、電荷蓄積部１２３毎に、２以上設けられる。後述するように、単位蓄積部１２４に蓄積された電荷を用いて距離画像を生成する際、変調光１５１と入射光１５２との位相差（遅延時間）を用いる。この遅延時間を算出するためには、一定の間隔で取得開始を遅延させ、異なる位相で取得した、２以上の電荷情報が必要となるためである。

距離画像生成部１３０は、変調光１５１と入射光１５２との遅延時間（位相差）を用いて、画素毎の対象物２００の距離を算出する。算出の詳細は後述する。距離画像の算出は、制御部１４０の指示に従って、単位蓄積部１２４から電荷が読み出される毎に行われる。距離画像は、各画素位置に対応する撮影空間の距離値を算出することにより生成する。生成した距離画像は、例えば、外部出力端子（不図示）から出力される。

制御部１４０は、光源１１０と受光部１２０とを同期制御する。制御部１４０は、光源１１０の変調（発光）、受光部１２０での各単位蓄積部１２４への電荷の振り分けおよび各単位蓄積部１２４からの電荷の読出しを指示する制御信号をそれぞれ出力し、この同期制御を実現する。以下、光源１１０の発光を制御する制御信号を発光信号ＴＥ、受光部１２０の各単位蓄積部１２４への電荷の振り分けを制御する制御信号をゲート信号ＴＸ、各単位蓄積部１２４からの読出しタイミングを制御する制御信号を読出信号とそれぞれ呼ぶ。

次に、制御部１４０が、光源１１０、受光部１２０それぞれに出力する制御信号のタイミングと、距離画像生成の原理について説明する。ここでは、単位蓄積部１２４が４つの場合を例示する。横軸は時間、縦軸は、各信号等のＯＮ／ＯＦＦを示す。

図２は、制御部１４０が光源１１０および受光部１２０に出力する制御信号のタイミングチャートである。ここでは、発光信号ＴＥが矩形波であり、変調光１５１が矩形波で変調されてパルス発光する場合を例にあげて説明する。なお、変調に用いる波形は、矩形波に限られない。正弦波、鋸波、等であってもよい。

最上段が発光信号ＴＥのタイミングチャートである。発光信号ＴＥは、周期がＴｓ、ＯＮ時間がＴｓ／２、ＯＦＦ時間がＴｓ／２の矩形波として出力される。光源１１０は、発光信号ＴＥに従って、ＯＮ（発光）／ＯＦＦ（発光停止）を繰り返す。ここでは、光源１１０は、発光信号ＴＥがＯＮのＴｓ／２間、発光し、発光信号ＴＥがＯＦＦのＴｓ／２間、発光を停止する。

ここで、次段に、受光部１２０による変調光１５１の反射光の受光タイミングを示す。本図に示すように、反射光は時間Ｔｄだけ遅れて、受光部１２０に到達する。この時間Ｔｄが、変調光１５１が光源１１０から照射されて、対象物体２００により反射され、受光部１２０で受光されるまので飛行時間により生じる遅延（位相差）である。以後、遅延時間Ｔｄと呼ぶ。

下段は、４つの単位蓄積部１２４それぞれに電荷を蓄積するタイミングを指示する４つのゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４のタイミングチャートである。

これらのゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４は、発光信号ＴＥに同期して出力される。発光信号ＴＥの周期Ｔｓを４等分した時間を、それぞれ順にＴ１、Ｔ２、Ｔ３、Ｔ４とすると、ゲート信号ＴＸ１は、発光信号ＴＥとＯＮ／ＯＦＦタイミングを同期させた信号として、また、ゲート信号ＴＸ２、ＴＸ３、ＴＸ４は、それぞれ、ゲート信号ＴＸ１から、Ｔ１、Ｔ１＋Ｔ２、Ｔ１＋Ｔ２＋Ｔ３ずれた、周期Ｔｓの信号として出力される。ゲート信号ＴＸ２、ＴＸ３、ＴＸ４も、１周期Ｔｓ毎に、Ｔｓ／２間、ＯＮとなり、Ｔｓ／２間、ＯＦＦとなる。

このように、発光信号ＴＥの周期Ｔｓを４等分した時間ずつずらしたゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４に従って、電荷を振り分けることにより、０度位相がずれた電荷情報Ｃ１、９０度位相がずれた電荷情報Ｃ２、１８０度位相がずれた電荷情報Ｃ３、２７０度位相がずれた電荷情報Ｃ４が、４つの単位蓄積部１２４それぞれに蓄積される。

なお、読出信号は、ここでは、図示しないが、予め定めた時間間隔で出力される。一般に、１つの距離画像を得るためには、数ｍｓ程度の時間の電荷の蓄積が必要である。一方、光源１１０の変調周波数は数十ＭＨｚである。従って、変調の１周期Ｔｓは数十ｎｓ程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積期間Δｔを要する。読出信号は、この電荷蓄積期間Δｔ間隔毎に出力される。読出信号に従って、受光部１２０は、４つの単位蓄積部１２４に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を距離画像生成部１３０に出力する。

距離画像生成部１３０は、電荷蓄積期間Δｔ毎に受け取った各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用いて距離値Ｄを算出する。上述のように、変調光１５１と入射光１５２とには、光が物体２００まで往復する飛行時間による遅延時間Ｔｄ（位相差φ）が生じる。光の速度ｃは既知であるため、この遅延時間Ｔｄと周期Ｔｓとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。

遅延時間Ｔｄ（位相差φ）は、各単位蓄積部１２４に蓄積される電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、以下の式（２）で表される。

このとき、入射光１５２の中の変調光１５１由来の成分、すなわち、反射光による電荷は、各単位蓄積部１２４に、位相（遅延時間）に応じた量が割り振られる。従って、各単位蓄積部１２４で蓄積される電荷の量が異なる。一方、入射光１５２の中の背景光による電荷は、各単位蓄積部１２４に均等に割り振られる。従って、各単位蓄積部１２４に蓄積される電荷の量は略等しくなる。従って、上記式により背景光は相殺され、反射光のみの位相差を得ることができる。

ゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４に従って取得する４つの電荷は、同時に取得してもよいし、複数のフレームにわたって取得してもよい。なお、少なくとも２つの、異なる位相の電荷情報から距離を算出していれば、何等分であってもよい。

なお、対象物体２００で反射された変調光１５１の変調光成分の振幅量Ｂは、以下の式（３）で求められる。

また、一般に輝度画像の画素値として用いられるのは、以下の式（４）に従って、４つの電荷蓄積部１２３に振り分けられた電荷の平均値Ａである。

このように、距離画像生成装置１０１は、距離画像と輝度画像とを同時に得ることができる。

次に、本実施形態の距離画像生成装置１００について説明する。図３（ａ）は、本実施形態の距離画像生成装置１００の機能ブロック図である。本実施形態の距離画像生成装置１００は、基本的に距離画像生成装置１０１と同様の構成を有する。すなわち、光源１１０と、受光部１２０と、距離画像生成部１３０と、制御部１４０とを備える。

本実施形態の受光部１２０も、複数の撮像素子１２１を備える。各撮像素子１２１は、距離画像生成部１３０が生成する距離画像の各画素に対応づけて規則的に配列される。距離画像生成部１３０は、撮像素子１２１数の画素数を有する距離画像を生成する。

本実施形態の撮像素子１２１も、図３（ｂ）に示すように、距離画像生成装置１０１の撮像素子１２１同様、入射光１５２を電荷に変換する光電変換素子１２２と、複数の単位蓄積部１２４を備え、電荷を蓄積する電荷蓄積部１２３と、を備える。

これらの各部は、従来の距離画像生成装置１０１の同名の構成と基本的に同様の機能を有する。

ただし、本実施形態の距離画像生成装置１００は、同一空間内に同時期に複数の光飛行型距離センサを用いる距離画像生成装置が存在する場合であっても、干渉することなく高精度の測距を行う。本実施形態の距離画像生成装置１００は、光源１１０から照射する変調光１５１の発光（ＯＮ）期間と、電荷蓄積部１２３の各単位蓄積部１２４における電荷の蓄積タイミングおよび期間とは、従来同様一定としながら、変調周期毎に、すなわち、光源１１０の発光毎に、周期の長さを変化させる。周期の長さは、予め定めた固定の変調周期Ｔｓに、周期毎に異なる付加時間Ｔｗを付加することにより変化させる。

これを実現するため、本実施形態の距離画像生成装置１００の制御部１４０は、周期毎に異なる付加時間Ｔｗを出力する付加時間出力部１４４を備える。また、本実施形態の制御部１４０は、この付加時間Ｔｗを用いて光源１１０の発光（ＯＮ／ＯＦＦ）を制御する発光信号を生成する発光制御部１４１と、付加時間Ｔｗを用いて受光部１２０の電荷蓄積部１２３での電荷の蓄積を制御するゲート信号を生成する蓄積制御部１４２と、各単位蓄積部１２４からの読出しを制御する読出制御部１４３と、をさらに備える。

なお、本実施形態の電荷蓄積部１２３が備える複数の単位蓄積部１２４は、蓄積された電荷が距離画像生成部１３０における距離画像の生成に用いられる測距単位蓄積部１２５と、蓄積された電荷が距離画像生成には用いられず廃棄される廃棄単位蓄積部１２６として用いられる。本図では、測距単位蓄積部１２５が４つ、廃棄単位蓄積部１２６が１つの場合を例示する。

４つの測距単位蓄積部１２５には、従来の距離画像生成装置１０１の単位蓄積部１２４同様、それぞれ異なる位相の電荷情報が蓄積される。すなわち、発光信号ＴＥの周期Ｔｓを４等分した時間ずつずらしたゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４に従って、０度位相がずれた電荷情報Ｃ１、９０度位相がずれた電荷情報Ｃ２、１８０度位相がずれた電荷情報Ｃ３、２７０度位相がずれた電荷情報Ｃ４が、４つの測距単位蓄積部１２５それぞれに蓄積される。

距離画像生成部１３０は、測距単位蓄積部１２５に蓄積された各電荷情報を用い、上記従来の距離画像生成装置１０１で説明した手法で距離値を算出する。距離値Ｄを算出するためには、この位相が異なる電荷情報が、２以上あればよい。また、この２以上の電荷情報は、同時に取得してもよいし、複数のフレームに渡って取得してもよい。従って、測距単位蓄積部１２５の数は、上記距離画像生成装置１０１同様、２以上であればよく、撮像素子１２１の構造、仕様により決定される。

一方、廃棄単位蓄積部１２６には、付加時間Ｔｗを含む時間に電荷が蓄積される。廃棄単位蓄積部１２６に蓄積された電荷は、距離の算出には用いない。廃棄単位蓄積部１２６に蓄積された電荷は、読み出し後、廃棄されるよう構成してもよいし、所定の時間間隔で廃棄されるよう構成してもよい。

付加時間出力部１４４は、付加時間Ｔｗを、ＣＰＵやマイコンを使い、ソフト的に算出し、発光制御部１４１、蓄積制御部１４２、読出制御部１４３へ出力する。なお、付加時間出力部１４４は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路により実現されてもよい。付加時間Ｔｗは、例えば、１００ｎｓ〜１０μｓ程度の範囲で算出する。

以上の構成を有する本実施形態の距離画像生成装置１００における、制御部１４０による制御を、各制御信号の出力タイミングを示すタイミングチャートを用いて説明する。図４は、本実施形態の制御部１４０による制御信号のタイミングチャートである。ここでは、図２に示す従来例同様、発光信号ＴＥが矩形波であり、変調光１５１がこの矩形波で変調されてパルス発光する場合を例にあげて説明する。なお、本実施形態においても、変調に用いる波形は、矩形波に限られない。正弦波、鋸波等であってもよい。また、ここでは、図３に示すように、測距単位蓄積部１２５が４つ、廃棄単位蓄積部１２６が１つの場合を例にあげて説明する。

最上段は、発光信号ＴＥのタイミングチャートである。本図に示すように、本実施形態の発光制御部１４１は、付加時間出力部１４４から付加時間Ｔｗを受信すると、周期ＴｓのＯＮ／ＯＦＦ信号である発光信号のＯＦＦ信号に受信した付加時間Ｔｗを付加し、発光信号ＴＥとして出力する。すなわち、発光信号ＴＥは、周期が（Ｔｓ＋Ｔｗ）、ＯＮ期間はＴｓ／２、ＯＦＦ期間はＴｓ／２＋Ｔｗの制御信号である。以下、Ｔｓを設定周期、（Ｔｓ＋Ｔｗ）を実効周期と呼ぶ。

この発光信号ＴＥに従って、本実施形態の光源１１０は、実効周期（Ｔｓ＋Ｔｗ）毎に、Ｔｓ／２間発光（ＯＮ）し、（Ｔｓ／２＋Ｔｗ）間発光を停止（ＯＦＦ）する。発光期間は周期に寄らず一定であり、発光停止期間は、周期毎に変化する。付加時間Ｔｗの間は、光源１１０は変調光１５１を照射しない。

ここで、次段に、変調光１５１の反射光の受光部１２０による受光タイミングを示す。本図に示すように、本実施形態においても反射光は遅延時間Ｔｄだけ遅れて受光部１２０に到達する。この遅延時間Ｔｄが、変調光１５１が光源１１０から照射されて対象物体２００による反射され、受光部１２０で受光されるまでの飛行時間により生じる遅延である。

下段は、４つの測距単位蓄積部１２５それぞれに電荷を蓄積するタイミングを指示する４つのゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４と、廃棄単位蓄積部１２６に電荷を蓄積するタイミングを指示する廃棄ゲート信号ＴＸ５と、を示す。

本図に示すように、本実施形態の蓄積制御部１４２は、上記従来例同様、発光信号ＴＥに同期して、これらのゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４、ＴＸ５を出力する。

測距単位蓄積部１２５に対するゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４については、上記従来例と同様とする。すなわち、設定周期Ｔｓを４等分した時間を順にそれぞれＴ１、Ｔ２、Ｔ３、Ｔ４とすると、ＴＸ１は、発光信号ＴＥがＯＮとなるタイミングからＴｓ／２間ＯＮとなるよう出力され、ＴＸ２、ＴＸ３、ＴＸ４は、Ｔ１、Ｔ１＋Ｔ２、Ｔ１＋Ｔ２＋Ｔ３ずつ順に発光信号ＴＥがＯＮとなるタイミングから遅延させた時間からＴｓ／２間ＯＮとなるよう出力される。これらは、全周期にわたり、付加時間Ｔｗによらず、同じとする。これらのゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４により、全周期にわたり、各測距単位蓄積部１２５に、従来同様、４つの異なる位相の電荷情報（０度、９０度、１８０度、２７０度）Ｃ１、Ｃ２、Ｃ３、Ｃ４が蓄積される。

廃棄ゲート信号ＴＸ５は、他のゲート信号同様、その周期が（Ｔｓ＋Ｔｗ）の信号として生成され、出力される。ただし、廃棄ゲート信号ＴＸ５は、１周期（Ｔｓ＋Ｔｗ）の中で、測距単位蓄積部１２５のいずれのゲート信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４もＯＮでない期間、ＯＮとなるよう生成され、出力される。廃棄単位蓄積部１２６には、付加時間Ｔｗの期間を含み、いずれの測距単位蓄積部１２５にも電荷が蓄積されない期間、電荷が蓄積される。ここでは、ゲート信号ＴＸ５は、付加時間Ｔｗ間ＯＮとなるよう生成されて出力される。そして、廃棄単位蓄積部１２６には、その間、電荷が蓄積される。

読出信号については、ここでは、図示しないが、従来例同様、予め定められた時間間隔Δｔで出力される。時間間隔Δｔは、１つの距離画像を得るために必要な電荷が蓄積される間隔であり、予め定められる。読出信号に従って、受光部１２０は、４つの単位蓄積部１２４に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を距離画像生成部１３０に出力する。

距離画像生成部１３０は、電荷蓄積期間Δｔ毎に受け取った各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用いて、従来例同様、式（１）および式（２）を用い、距離値Ｄを算出する。

以上のように構成された距離画像生成装置１００が、同一撮影空間の他の距離画像生成装置との干渉が防止されることを説明する。図５は、干渉が防止されることを説明するための図である。ここでは、２つの距離画像生成装置ＡおよびＢの、ＴｓとＴｗとによる実効周期と、光源１１０の発光タイミングと、を示す。

距離画像生成装置ＡおよびＢの光源１１０が、同一空間を照射する場合、距離画像生成装置Ａから照射される変調光１５１が距離画像生成装置Ｂにも入射する。しかし、本図に示すように、距離画像生成装置Ａの変調光１５１の発光タイミングは、距離画像生成装置Ｂの発光タイミングとずれているため、距離画像生成装置Ｂの受光部１２０における電荷蓄積タイミングと同期せず、干渉は起こらない。

上述のように、１つの距離画像を得るためには、数ｍｓ（１０^−３秒）程度、光を蓄積する必要がある。これに対し、変調光の周期Ｔｓは数十ｎｓ〜１００ｎｓ（１０^−９秒）程度である。従って、数千から数万周期分蓄積後、読み出し部により読み出され、距離値が算出される。このため、従って、同期していない他の距離画像生成装置の変調光１５１は、数千から数万回の繰返しによって、ノイズ（ＤＣ光）とみなされ、上述のように、相殺される。

このため、本実施形態によれば、同一撮像空間に、複数の距離画像生成装置がある場合であっても、互いに干渉することなく、誤測距を避けることができる。

なお、本実施形態の距離画像生成装置１００は、ＣＰＵとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、画像生成部１３０および制御部１４０の機能を実現する。

以上説明したように、本実施形態の距離画像生成装置１００は、撮影空間に変調光を照射する光源１１０と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子１２１を備える受光手段（受光部１２０）と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段（距離画像生成部１３０）と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段（制御部１４０）と、を備え、前記複数の撮像素子１２１は、それぞれ、受光した入射光を電荷に変換する光電変換素子１２２と、前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段（電荷蓄積部１２３）と、を備え、前記電荷蓄積手段（電荷蓄積部１２３）は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段（測距単位蓄積部１２５）を備え、前記制御手段（制御部１４０）は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段（付加時間出力部１４４）を備え、前記変調周期毎に異なる前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の１周期毎に変化させ、前記測距単位蓄積手段（測距単位蓄積部１２５）への電荷の蓄積期間を全周期同じとなるよう制御することを特徴とする。

前記変調光は、発光と発光停止とを繰り返すパルス光であり、前記電荷蓄積手段（電荷蓄積部１２３）は、廃棄する電荷を蓄積する１の廃棄単位蓄積手段（廃棄単位蓄積部１２６）をさらに備え、前記制御手段（制御部１４０）は、前記付加時間を前記変調光の発光停止期間に付加することにより前記変調光の変調周期を変化させる発光制御手段（発光制御部１４１）と、前記付加時間に受光した入射光から得た電荷を前記廃棄単位蓄積手段に蓄積するよう制御する蓄積制御手段（蓄積制御部１４２）と、を備える。

このように、本実施形態では、発光期間は周期によらず一定であるが、発光停止期間を周期毎に変化させ、全体として発光周期をランダムにする。一方、距離値の算出に用いる測距単位蓄積部１２５への電荷蓄積期間は周期毎に一定とする。

すなわち、本実施形態では、光源１１０から照射される変調光１５１の発光期間、および、受光部１２０の測距単位蓄積部１２５の電荷蓄積期間は、従来の光飛行時間型距離センサを用いた距離画像生成装置のそれらと同じである。このため、従来と同様の距離演算により、高い精度で光源１１０からの変調光の反射光を用いた距離値を得ることができる。また、光源１１０の発光時間が短くなり、算出される距離値の精度が低下することもない。

さらに、ランダムな周期は、１周期毎に異なる付加時間Ｔｗを付加することにより実現する。この付加時間Ｔｗは、１００ｎｓ〜数μｓであり、１つの画像を取得するために要する蓄積時間（数ｍｓ）に比べ、十分小さい。このため、付加時間Ｔｗを付加することにより、フレームレートが極端に低下することはない。

一方、本実施形態では、変調光１５１の変調周期を、周期毎に変更し、ランダムにしている。従って、同一撮像空間にある他の距離画像生成装置の変調光と同期する可能性は極めて低くなる。従って、距離画像生成装置間の干渉による誤測距の可能性も抑えることができる。

従って、本実施形態によれば、距離画像生成装置によって撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の距離画像生成装置が存在する場合であっても、複雑な処理を行うことなく、精度良く測距を行うことができる。

なお、上記実施形態では、単位蓄積部１２４を５つ備え、その中の４つを測距単位蓄積部１２５とし、１つを廃棄単位蓄積部１２６とする場合を例にあげて説明したが、電荷蓄積部１２３の単位蓄積部１２４の数はこれに限られない。単位蓄積部１２４の数は２以上であれば、がいくつであってもよい。単位蓄積部１２４の数によらず、その中の１つの単位蓄積部１２４を、廃棄する電荷の蓄積用の廃棄単位蓄積部１２６とし、残りを測距単位蓄積部１２５とする。そして、測距単位蓄積部１２５には、発光および電荷の蓄積に付加時間Ｔｗを付加しない場合と同様に電荷を蓄積するよう制御することにより、同様の効果を得ることができる。

例えば、単位蓄積部１２４が３つであり、その中の２つを測距単位蓄積部１２５とし、残りの１つを廃棄単位蓄積部１２６としてもよい。この場合の制御部１４０により出力される制御信号のタイミングチャートの一例を図６に示す。

この場合、発光制御部１４１による発光信号ＴＥは上記実施形態と同様である。すなわち、予め定めた周期Ｔｓに付加時間Ｔｗを付加し、周期（Ｔｓ＋Ｔｗ）の信号として出力される。このとき、（Ｔｓ＋Ｔｗ）時間毎に、変調光１５１を、Ｔｓ／２間ＯＮ、Ｔｓ／２＋Ｔｗ間ＯＦＦする信号として生成される。

一方、蓄積制御部１４２は、２つの測距単位蓄積部１２５の電荷の蓄積タイミングを指示する２つのゲート信号ＴＸ１とＴＸ２と、廃棄単位蓄積部１２６への蓄積を指示する廃棄ゲート信号ＴＸ５とを生成し、出力する。

ゲート信号ＴＸ１とＴＸ２とは、周期を実効周期（Ｔｓ＋Ｔｗ）、ＯＮ期間をＴｓ／２とし、ＯＮのタイミングを、例えば、設定周期Ｔｓを２等分した時間、ずらした信号として生成する。ここでは、ゲート信号ＴＸ１を発光信号ＴＥと同期させた信号とし、ゲート信号ＴＸ２を、ＯＮ開始タイミングを発光信号ＴＥおよびゲート信号ＴＸ１からＴｓ／２だけずらした信号とする場合を例示する。この場合も、ゲート信号ＴＸ１およびＴＸ２の、設定周期Ｔｓ内のＯＮ期間は、全周期にわたり、同じとする。

また、廃棄ゲート信号ＴＸ５は、周期を実効周期（Ｔｓ＋Ｔｗ）とし、ゲート信号ＴＸ１およびＴＸ２のいずれの信号もＯＮでない期間ＯＮとなるよう生成する。ここでは、Ｔｗ間、ＯＮとなる信号として生成する。

これにより、２つの測距単位蓄積部１２５には、２つの開始タイミングが異なる電荷情報、すなわち、周期Ｔｓを２等分した時間だけ蓄積開始時間がずれた電荷情報であるＣ１およびＣ２がそれぞれ蓄積され、廃棄単位蓄積部１２６には、付加時間Ｔｗ分の電荷が蓄積される。距離画像生成部１３０は、この電荷Ｃ１およびＣ２を用い、その比から遅延時間Ｔｄを算出し、それを用いて距離値Ｄを算出する。

また、単位蓄積部１２４は、２つであってもよい。単位蓄積部１２４が２つであり、一方を測距単位蓄積部１２５とし、他方を廃棄単位蓄積部１２６とする場合の、制御部１４０により出力される各制御信号のタイミングチャートの一例を図７に示す。

この場合、発光信号ＴＥは、上記実施形態と同様である。すなわち、予め定めた周期Ｔｓに付加時間Ｔｗを付加し、周期（Ｔｓ＋Ｔｗ）の信号として出力される。このとき、（Ｔｓ＋Ｔｗ）時間毎に、変調光１５１を、Ｔｓ／２間ＯＮ、Ｔｓ／２＋Ｔｗ間ＯＦＦする信号として生成される。

一方、蓄積制御部１４２が生成するゲート信号のうち、測距単位蓄積部１２５の制御信号となるゲート信号は、周期が（Ｔｓ＋Ｔｗ）、ＯＮ期間がＴｓ／２の信号として出力される。また、廃棄ゲート信号は、周期が（Ｔｓ＋Ｔｗ）、ＯＮ期間が（Ｔｓ／２＋Ｔｗ）の信号として出力される。廃棄ゲート信号のＯＮ期間は、測距単位蓄積部１２５用のゲート信号がＯＦＦの期間、ＯＮとなるよう設定される。この場合も、ゲート信号ＴＸ１の設定周期Ｔｓ内のＯＮ期間は、全周期にわたり、同じとする。

この場合、測距に必要な、一定の間隔で遅延させて取得する電荷情報は、１周期あたり、１つしか取得できない。このため、単位蓄積部１２４が２つの場合は、複数のフレームを用い、距離値算出に必要な、取得タイミングの異なる電荷情報を取得する。例えば、上記実施形態のように、異なる４つの電荷情報を用いて距離値Ｄを算出する場合、４フレームを用いて、位相の異なる電荷情報を取得する。また、図６を用いて説明したように、取得タイミングが異なる２つの電荷量を用いて距離値Ｄを算出する場合、２フレームを用いて、周期Ｔｓを２等分した時間ずつ蓄積開始時間をずらした電荷情報を取得する。

また、上記実施形態では、付加時間Ｔｗを生成する付加時間出力部１４４は、特に限定されていない。ＣＰＵやマイコンでソフト的に実現、ＦＰＧＡなどを用いて回路的に実現される場合を例にあげて説明したが、付加時間出力部１４４の構成は、これに限られない。周期毎に、異なる付加時間Ｔｗが生成可能であれば、どのような手段で構成されていてもよい。

付加時間出力部１４４は、例えば、ランダム時間生成回路により実現されていてもよい。ランダム時間生成回路は、例えば、擬似乱数生成回路などを用いて構成する。この擬似乱数生成回路を用い、付加時間Ｔｗを、１００ｎｓから１０μｓ程度の範囲で生成する。

また、付加時間出力部１４４は、例えば、パターン生成回路により構成されていてもよい。パターン生成回路は、出力順をパターンとして生成する回路である。この場合、予め、所定数の付加時間Ｔｗを生成し、付加時間データベースとして保持しておく。保持しておく付加時間Ｔｗは、例えば、１〜１０００の１０００個程度とする。パターン生成回路が生成したパターン(順序）に従って、付加時間出力部１４４は、付加時間データベースから抽出し、付加時間Ｔｗとして出力する。

付加時間データベース３０１の一例を図８（ａ）に示す。また、パターン生成回路が生成するパターン３０２の例を図８（ｂ）に示す。付加時間出力部１４４は、１周期毎に、パターン生成回路が生成したパターン３０２の番号（Ｎｏ．）に対応する付加時間Ｔｗを、付加時間データベース３０１から順に抽出し、付加時間Ｔｗとして出力する。

また、付加時間出力部１４４は、予めランダムに生成した付加時間Ｔｗを、ランダム付加時間データベース３１１として登録しておき、それを、周期毎に順に出力するよう構成してもよい。このとき、ランダム付加時間データベース３１１として登録される付加時間Ｔｗの例を図９に示す。付加時間出力部１４４は、１周期毎に、ランダム付加時間データベース３１１から順に付加時間Ｔｗを抽出し、付加時間Ｔｗとして出力する。

予め、ランダムに付加時間を生成し、データベースに登録しておくことにより、ランダム時間を生成する回路、パターンを生成する回路が不要となる。従って、構成がシンプルとなり、処理時間も短縮できる。

また、予めランダム付加時間データベース３１１として登録しておくことにより、干渉が起こり易いＴｗの設定となる可能性をさらに低下させることができる。

さらに、付加時間出力部１４４は、変調光１５１の変調周波数分布が一定になるよう制御する周波数拡散制御回路により実現されていてもよい。

図１０（ａ）は、付加時間Ｔｗを０にした場合の光源１１０から照射される変調光１５１の周波数スペクトラムである。図１０（ａ）において、横軸は周波数〔Ｈｚ〕、縦軸はスペクトラム強度〔ｄＢ〕である。例えば、図２のタイミングチャートに示すように、付加時間Ｔｗが０の場合、すなわち、変調光１５１の変調が一定、光源１１０の発光が周期的である場合、その周期をＴｓとすると、周波数スペクトラムは、１／Ｔｓの周波数に急峻なピークを持つ。例えば、付加時間Ｔｗが一定の場合、光源の発光周期は（Ｔｓ＋Ｔｗ）となるため、１／（Ｔｓ＋Ｔｗ）の周波数にピークを持つ。

図１０（ｂ）は、周波数拡散を行った場合の、光源１１０から照射される変調光１５１の周波数スペクトラムである。図１０（ｂ）において、横軸は周波数〔Ｈｚ〕、縦軸はスペクトラム強度〔ｄＢ〕である。周期Ｔｓに付加時間Ｔｗを追加することにより、周波数１／Ｔｓより低周波数側に周波数スペクトラムのピークが移動する。

本実施形態の変形例の周波数拡散制御回路は、スペクトラム拡散単位時間を設定し、このスペクトラム拡散単位時間毎に図８に示す周波数スペクトラムを満足するよう、付加時間Ｔｗを決定し、出力する。スペクトラム拡散単位時間は、光蓄積時間より十分短い時間を設定する。

１００：距離画像生成装置、１０１：距離画像生成装置、１０１：距離画像生成装置、１１０：光源、１２０：受光部、１２１：撮像素子、１２２：光電変換素子、１２３：電荷蓄積部、１２４：単位蓄積部、１２５：測距単位蓄積部、１２６：廃棄単位蓄積部、１３０：距離画像生成部、１４０：制御部、１４１：発光制御部、１４２：蓄積制御部、１４３：読出制御部、１４４：付加時間出力部、１５１：変調光、１５２：入射光、２００：対象物体、２００：物体、３０１：付加時間データベース、３０２：パターン、３１１：ランダム付加時間データベース

Claims (7)

1. 撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の撮像素子を備える受光手段と、前記電荷を用いて画素値が距離値であり画素数が前記撮像素子数である距離画像を生成する距離画像生成手段と、前記変調光の変調周期と前記受光手段における電荷の蓄積とを制御する制御手段と、を備える距離画像生成装置であって、
   前記複数の撮像素子は、それぞれ、
   受光した入射光を電荷に変換する光電変換素子と、
   前記光電変換素子ごとに設けられた、前記電荷を蓄積する電荷蓄積手段と、を備え、
   前記電荷蓄積手段は、前記距離画像生成部が距離値算出に用いる電荷を蓄積する複数の測距単位蓄積手段を備え、
   前記制御手段は、前記変調光の変調周期毎に異なる付加時間を出力する付加時間出力手段を備え、前記変調周期毎に前記付加時間を付加することにより、前記照射する変調光の変調周期を当該変調周期の１周期毎に変化させ、前記各測距単位蓄積手段への電荷の蓄積期間を全周期同じとなるよう制御すること
   を特徴とする距離画像生成装置。
2. 請求項１記載の距離画像生成装置であって、
   前記変調光は、発光と発光停止とを繰り返すパルス光であり、
   前記電荷蓄積手段は、廃棄する電荷を蓄積する１の廃棄単位蓄積手段をさらに備え、
   前記制御手段は、
   前記付加時間を前記変調光の発光停止期間に付加することにより前記変調光の変調周期を変化させる発光制御手段と、
   前記付加時間に受光した入射光から得た電荷を前記廃棄単位蓄積手段に蓄積するよう制御する蓄積制御手段と、を備えること
   を特徴とする距離画像生成装置。
3. 請求項１または２記載の距離画像生成装置であって、
   前記付加時間出力手段は、前記付加時間をランダムに生成し、出力すること
   を特徴とする距離画像生成装置。
4. 請求項１または２記載の距離画像生成装置であって、
   前記付加時間出力手段は、前記付加時間を、複数の異なる付加時間の中から予め定めた順に出力すること
   を特徴とする距離画像生成装置。
5. 請求項１または２記載の距離画像生成装置であって、
   前記付加時間出力手段は、複数の異なる付加時間を予め定めた順に記憶する付加時間記憶手段を備え、前記付加時間記憶手段から周期毎に順に出力すること
   を特徴とする距離画像生成装置。
6. 請求項１または２記載の距離画像生成装置であって、
   前記付加時間出力手段は、前記変調光の周波数分布が予め定めた単位時間毎に一定となるよう前記付加時間を決定し、出力すること
   を特徴とする距離画像生成装置。
7. 撮影空間に変調光を照射する光源と、前記光源から照射され前記撮影空間内の対象物で反射した反射光を含む入射光を受光して電荷に変換する複数の光電変換素子と、前記光電変換素子毎に設けられた前記電荷を蓄積する複数の単位蓄積手段と、前記複数の単位蓄積手段のうち、予め定めた測距に用いる単位蓄積手段に蓄積された電荷を用いて距離値を算出する距離画像算出手段と、を備える距離画像生成装置における、距離画像生成方法であって、
   前記変調光の変調周期毎に付加する付加時間を生成する付加時間生成ステップと、
   前記変調周期毎に、前記変調周期に前記付加時間を付加して前記変調光の変調周期を変化させるとともに、前記付加時間中に受光した入射光を変換して得た電荷を廃棄用の単位蓄積手段に蓄積し、当該付加時間以外の予め定めた期間に取得した電荷を、予め定めた複数の電荷蓄積用の単位蓄積手段にそれぞれ蓄積する同期制御ステップと、
   所定の時間間隔で前記電荷蓄積用の単位蓄積手段に蓄積された電荷を読み出し、距離画像の各画素値である距離値を算出する距離値算出ステップと、を備えること
   を特徴とする距離画像生成方法。

Images