WO2014208087A1 - 複数の光源を有するモーションセンサ装置 - Google Patents

Abstract

　本開示のある実施形態におけるモーションセンサ装置は、イメージセンサ（７０１）と、第１および第２の光源（７０２、７０３）と、イメージセンサ（７０１）および第１および第２の光源（７０２、７０３）を制御するように構成された制御部（７１０）とを備える。制御部（７１０）は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差に基づくマスク処理を前記第１および第２の画像について実行し、前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得る。

Description

複数の光源を有するモーションセンサ装置

　本願は、複数の光源を備えたモーションセンサ装置に関する。

　特許文献１は、静止または運動している物体(対象物)に、複数の光源から時分割で投光しながら１つのイメージセンサによって取得した複数の画像に基づいて対象物までの距離を測定する技術を開示している。

　特許文献２は、背景光の影響を除去した距離計測装置を開示している。この距離計測装置は、光源を発光させない状態で背景光成分のみを含む画像を取得し、光源を発光させた状態で計測用の画像を取得する。計測用の画像の画素値から背景光成分のみを含む画像の画素値を減ずることにより、背景光の影響を除去することができる。

　非特許文献１は、読み出し転送を行うことなく、殆ど時間差を発生させずに複数枚の画像撮影が可能なセンサデバイスを開示している。

　非特許文献２は、光源の位置を様々に変えて撮影することによって取得した複数の画像に基づいて、物体の反射特性、形状、および光源の位置を同時に推定する方法を開示している。

特開２００１－１２９０９号公報 特開２００８－１２２２２３号公報

Gordon Wan, Xiangli Li, Gennadiy Agranov, Marc Levoy, and Mark Horowitz "CMOS Image Sensors With Multi‐Bucket Pixels for Computational Photography", IEEE JOURNAL OF SOLID‐STATE CIRCUITS, VOL. 47, NO.4, APRIL 2012 荻野真佑、右田剛史、尺長健、"Torrance‐Sparrowモデルに基づく反射特性・形状・光源位置の同時推定の検討", The Institute of Electronics, Information, and Communication Engineers, IEICE Technical Report IE2007‐347, PRMU2007‐331(2008‐03)

　従来の背景光除去技術では、光源を消灯させた状態で背景光成分のみを含む画像フレームの撮像を余分に行う必要がある。このため、装置のコスト増加やスペックの低下を招く。

　本開示の実施形態は、この問題を解決しうる新しいモーションセンサ装置を提供する。

　上記課題を解決するために、本開示の一態様に係るモーションセンサ装置は、イメージセンサと、第１および第２の光源と、前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御部とを備える。前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差に基づくマスク処理を、前記第１および第２の画像について実行し、前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得るように構成されている。

　本開示の他の態様に係るモーションセンサ装置は、イメージセンサと、第１および第２の光源と、前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御部とを備える。前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を前記第１の光源とは異なる出力で発光させながら前記イメージセンサで第２のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差に基づくマスク処理を、前記第１および第２の画像について実行し、前記マスク処理後の前記第１の画像および前記マスク処理後の前記第２の画像の少なくとも一方に、前記第１および第２の光源の発光出力の差に応じた輝度補正処理を実行し、前記輝度補正処理後の前記第１の画像から得られる対象物の輝度と、前記輝度補正処理後の前記第２の画像から得られる前記対象物の輝度との比に基づいて、前記対象物までの距離情報を得るように構成されている。

　本開示の他の態様に係るモーションセンサ装置は、イメージセンサと、第１および第２の光源と、前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御部とを備える。前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差分データを生成し、前記差分データにおける、前記第１および第２の光源の配列方向に対応する方向のデータにおいて、差分が極大値になる位置と前記差分が極小値になる位置との間に含まれる推定対象物領域を決定し、前記第１の画像と前記第２の画像との差に基づくマスク処理を、前記第１および第２の画像における前記推定対象物領域を除く領域について実行し、前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得るように構成されている。

　本開示の他の態様に係る回路は、イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる回路であって、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行うことによって取得された第１の画像と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行うことによって取得された第２の画像との差分データを求めて出力する差分作成部と、前記差分データにおける１つの水平ラインのデータにおいて、差分が第１の閾値以上か否かを判定する極大値探索部と、前記差分データにおける前記１つの水平ラインのデータにおいて、差分が前記第１の閾値よりも小さい第２の閾値以下か否かを判定する極小値探索部と、前記差分データの絶対値が第３の閾値以下か否かを判定するマスク作成部と、前記極大値探索部から、前記差分が前記第１の閾値以上であることを示す情報を受けたとき、第１の動作状態から第２の動作状態に遷移し、前記極小値探索部から、前記差分が前記第２の閾値以下であることを示す情報を受けたとき、前記第２の動作状態から前記第１の動作状態に遷移する制御部と、前記マスク作成部の判定結果に基づいて背景領域のマスク情報を格納するマスク情報記録部と、前記制御部が前記第２の動作状態にあるとき、前記差分が前記第１の閾値以上になる位置と、前記差分が前記第２の閾値以下になる位置との間の領域であるペアリング領域の情報を格納するペアリング情報記録部と、前記制御部が前記第２の動作状態から前記第１の動作状態に遷移したとき、前記マスク情報記録部に格納された前記マスク情報に対して前記ペアリング情報記録部に格納された前記ペアリング情報の論理積を適用するマスク減算部と、を備える。

　本開示の他の態様に係る記録媒体は、再構成可能ロジックで実行するための上記の回路情報を格納している。

　本開示の他の態様に係る画像処理装置は、イメージセンサと、第１および第２の光源と、前記イメージセンサから出力された複数の画像を処理する画像処理装置を備えるシステムにおいて使用される画像処理装置であって、プロセッサと、メモリと、前記メモリに格納されたコンピュータプログラムとを備える。前記コンピュータプログラムは、前記プロセッサに、第１の時間で前記第１の光源を発光させながら前記イメージセンサで取得された第１の画像を取得させ、第２の時間で前記第２の光源を発光させながら前記イメージセンサで撮像された第２の画像を取得させ、前記第１の画像と前記第２の画像との差に基づくマスク処理を、前記第１および第２の画像について実行させ、前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得させる。

　これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体によって実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせによって実現されてもよい。

　本開示のモーションセンサ装置の実施形態によれば、余分な画像フレームの撮像を行うことなく、背景光の影響を抑制した距離計測が可能となる。

２個の光源を備えるモーションセンサ装置の断面を模式的に示す図である。 図１Ａの装置の上面図である。 光源の放射角と相対放射強度との関係を示すグラフである。 光源の放射角を示す図である。 第１の光源１０２から放射された光で対象物１０４が照射される様子を示す図である。 第２の光源１０３から放射された光で対象物１０４が照射される様子を示す図である。 撮像データの１ラインの画素位置と輝度との関係を示すグラフである。 ある放射角における輝度比と距離との関係を示すグラフである。 第１の光源１０２から放射された光で僅かに移動した対象物１０４が照射される様子を示す図である。 第２の光源１０３から放射された光で僅かに移動した対象物１０４が照射される様子を示す図である。 モーションセンサ装置を外光のある場所に置き、計測範囲内に人間の手をかざした状況を示す図である。 従来の背景光除去の効果を説明するための図である。（ａ）は、図８の例において、光源１０３を発光させながら撮影した場合に取得される画像の例を示し、（ｂ）は、図８の例において、いずれの光源も発光させずに撮影した場合に取得される画像の例を示し、（ｃ）は、図９（ａ）に示す画像から図９（ｂ）に示す画像を減算した差分画像を示している。 本開示の実施形態１におけるモーションセンサ装置の構成を模式的に示す図である。 実施形態１における光源及びイメージセンサのタイミングチャートである。 レンズ９０１と、２つのイメージセンサ９０２、９０３と、ハーフミラー９０４とを備えるモーションセンサ装置の例を示す図である。 実施形態１における制御部７１０の動作を示すフローチャートである。 本開示の実施形態２におけるモーションセンサ装置の構成を模式的に示す図である。 実施形態２における制御部８１０の動作を示すフローチャートである。 実施形態２におけるマスク処理を説明するための図である。（ａ）は、第１の画像フレームの撮像によって取得される第１の画像の例を示し、（ｂ）は、第２の画像フレームの撮像によって取得される第２の画像の例を示し、（ｃ）は、マスク処理後の第１の画像の例を示している。 ３つの光源７０２、７０３、７０４を有するモーションセンサ装置の構成例を示す図である。 実施形態２の３光源を有する構成において、輝度差が発生しない場合の例を示す図である。 （ａ）は、実施形態２の装置を用いて近距離にある手の画像を処理したときに生成されたマスク画像を示す図であり、（ｂ）は、実施形態３の処理によって修正されたマスク画像を示す図である。 図１８に示すモーションセンサ装置の近距離にある指を撮影した場合に取得された画像における特定の水平ラインの輝度を示すグラフである。 本開示の実施形態３におけるモーションセンサ装置の構成を示す図である。 実施形態３における制御部９１０の動作を示すフローチャートである。 本開示の実施形態４における回路構成図である。 実施形態１に係るモーションセンサ装置を搭載したディスプレイ１００１を示す図である。

　まず、本開示によるモーションセンサ装置によって対象物（被写体）までの距離を測定することができる基本原理を説明する。

　図１Ａは、モーションセンサ装置の断面を模式的に示す図である。図１Ｂは、図１Ａの上面図である。

　図１Ａおよび図１Ｂに示されている装置は、中央に位置するイメージセンサ１０１と、イメージセンサ１０１の両側に位置する２個の光源装置１０２、１０３とを備えている。図示されている例では、イメージセンサ１０１および光源装置１０２、１０３は、１個の基板１００に搭載されている。イメージセンサ１０１は、多数の微細な光検知セル(フォトダイオード)が行および列状に配列された固体撮像素子である。イメージセンサ１０１は、典型的にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型またはＣＭＯＳ型である。以下の説明では、光源装置を単に「光源」と称することがある。

　図１Ａには、第１の光源１０２から出た光１０２ａと第２の光源１０３から出た光１０３ａとが模式的に示されている。この装置は、光源１０２、１０３を交互に点灯させながら、撮像を行うことにより、計測対象物体（対象物）までの距離を測定することができる。なお、「距離の測定」は、イメージセンサから対象物までの距離の推定値、あるいは、空間内の対象物の位置の推定値を求めることを含む。対象物には、例えば、人の手、指、人が持つペンなどが含まれ得る。対象物は移動してもよい。高速で移動しつつある人の指先までの距離、または指先の位置の推定値をリアルタイムで取得することができる３次元モーションセンサ装置は、コンピュータ、タブレット端末、スマートフォン、ゲーム機器、および家電機器を含む多様な電子機器の「入力デバイス」として使用され得る。

　図２は、光源１０２、１０３の各々から出た光の放射パターン（配光特性）を表すグラフである。グラフの横軸は、図３に示されるように、放射の方向が基板１００の法線方向Ｎに対して形成する角度θである。グラフの縦軸は、相対放射強度である。以下、放射の角度θを「放射角」と称する場合がある。なお、相対放射強度の値は、光源から特定角度の方向に離れた位置に置かれた対象物の照度（放射照度）に対応している。

　図２からわかるように、光源１０２、１０３の各々から出た放射は、角度θが０°のとき、最も高い強度を示す。図２の例において、光源１０２、１０３は、その放射強度がＩ₀×ｃｏｓθで近似できるような配光特性を示している。ただし、これは一例であり、光源１０２、１０３の配光特性は図２の例に限定されない。また、光源１０２、１０３から出る放射は、可視光に限定されず、赤外線のように人間の視覚によって感じとれない波長域の電磁波であってもよい。本明細書では、簡単のため、光源から出る放射を単に「光」と称する場合がある。この「光」の用語は、可視光に限定されず、イメージセンサで検出可能な電磁波を広く含む。

　次に、上記の装置で対象物までの距離を測定する方法を説明する。

　まず、図４Ａおよび図４Ｂを参照する。図４Ａには、第１の光源１０２から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。一方、図４Ｂには、第２の光源１０３から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。対象物１０４の位置は、図４Ａおよび図４Ｂで実質的に同じであるとする。

　この装置によれば、第１の時刻において、図４Ａに示すように、光源１０２を点灯し、光源１０３を消灯させた状態でイメージセンサ１０１による第１の撮像を行う。次に、第２の時刻において、図４Ｂに示されるように、光源１０３を点灯し、光源１０２を消灯させた状態でイメージセンサ１０１による第２の撮像を行う。第１および第２の撮像の各々の期間（露光時間）は、対象物１０４が実質的に停止していると扱える程度に十分に短いと仮定する。

　第１の撮像を行うとき、光源１０２から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。同様に、第２の撮像を行うときは、光源１０３から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。

　第１および第２の撮像によって取得した２フレームの画像の各々に基づいて、対象物１０４の輝度（輝度分布または輝度像）を求めることができる。なお、本明細書における「輝度」とは、［カンデラ／ｍ²］の単位を有する心理物理量ではなく、イメージセンサの画素ごとに定まる「相対輝度」である。本明細書における「輝度」は、光量または放射量に相当する。各フレームの画像を構成する各画素は、受光量に応じた「輝度値」を有する。

　対象物１０４には大きさがあるため、各画像における対象物１０４の像は、通常、複数の画素によって構成される。対象物１０４の「輝度」は、対象物１０４の像を構成する複数の画素の輝度値から種々の方法によって決定することができる。対象物１０４の像のうち、最も明るい「画素」または「画素ブロック」の輝度を対象物１０４の輝度とすることも可能であるし、対象物１０４の像を構成する全ての画素の平均輝度を対象物１０４の輝度とすることもできる。

　図５は、上述の方法で取得した２フレームの画像の各々において、対象物１０４の像を横切る一本の水平ラインの輝度値を示すグラフである。横軸は画像内の特定の水平ライン上における画素位置であり、縦軸は相対輝度である。グラフ中の曲線３０１は光源１０２が点灯しているときの輝度であり、曲線３０２は光源１０３が点灯しているときの輝度である。ここで、「水平ライン」とは、画像の横方向のラインを意味する。この実施形態では、光源１０２、１０３の配列方向が、イメージセンサ１０１によって取得される画像の横方向に対応している。このため、画像内の対象物が存在する水平ライン上の相対輝度の分布を考える。光源１０２、１０３の配列方向が画像の横方向とは異なる方向に対応している場合は、その対応する方向についての相対輝度の分布を考慮すればよい。

　図５の例では、曲線３０１および曲線３０２は、それぞれ、単峰性のピークを有している。すなわち、曲線３０１は、ある画素位置で極値３０３を示し、曲線３０２は、他の画素位置で極値３０４を示している。

　前述したように、２フレームの間に対象物１０４は実質的に静止している。したがって、曲線３０１と曲線３０２との間にある相違は、光源１０２が作る放射のパターンと光源１０３が作る放射のパターンとが異なることに起因している。光源１０２から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度と、光源１０３から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度との比率は、光源１０２から対象物１０４までの距離と光源１０３から対象物１０４までの距離との関係に依存する。

　撮影した画像の輝度比から、物体の距離が計測できる。図６は、イメージセンサ１０１の撮像面の法線から４５度の角度の方向における距離と輝度比との関係の一例を示すグラフである。図６のグラフの横軸は、図２の特性を示す光源をイメージセンサ１０１から左右に所定の距離だけ離して配置した場合における対象物までの相対的な距離を示している。縦軸は、輝度比を示している。横軸の「距離」は、イメージセンサ１０１と光源との距離を基準としている。「１」の距離は、イメージセンサ１０１と光源との距離に等しい大きさを意味している。

　対象物の輝度（または照度）は、光源から対象物までの距離の二乗に反比例して減衰する。このため、距離に応じて輝度の比は変化する。図２に示す放射特性が既知であるため、この放射特性に基づいて、精度の高い距離の検出または推定が可能である。

　図６は、放射角θが４５度のときの距離と輝度比との関係の一例であるが、異なる複数の角度について、同様に距離と輝度比との関係を事前に得ることができる。対象物の角度は、イメージセンサで取得される対象物の撮像位置に基づいて求めることができる。

　図６からわかるように、対象物とイメージセンサとの距離が概ね１よりも離れている場合、極値３０３と極値３０４との比から距離を計測できる。

　対象物の輝度比の求め方には、多くの方法が存在する。最も簡単な方法は、図５に示す輝度の極大値３０３と他の極大値３０４との比をそのまま輝度値とする方法である。極値３０３の座標と極値３０４の座標とが必ずしも一致しなくとも、対象物の材質が対象領域内で概ね均一であり、局所的な距離差を微小なものとして無視すれば、距離計算の輝度比としてこれらの極値３０３、３０４の比を輝度比として用いることが可能である。

　また、撮像における光ショットノイズなどのノイズを抑える観点から、画像上の対象物の領域内の輝度値を積分した値の比を輝度比としてもよい。

　さらに、被写体の局所的な材質の違いまで考慮に入れる場合、例えば非特許文献２に開示されている照度差ステレオ法などの技術を用いることも出来る。照度差ステレオ法の計算量は多いが、局所的な領域内の光量が不変であると仮定したり、物体が連続体であると仮定したりすることにより、計算量の増加を抑えることができる。モーションセンサ装置のターゲットとする形状を、例えば特定の方程式で表される形状として近似することで演算量を圧縮することも可能である。

　上記の例では、放射角に応じて相対放射強度が変化する光源を用いている。しかし、この測定方法は、このような特性を有しない光源を用いても可能である。平行光線を発する光源以外であれば、光強度は３次元空間内で何らかの配光特性を示すため、そのような光源も距離測定に利用可能である。例えば、配光が等方的な「点光源」でも、対象物上の照度および輝度は、光源からの距離の２乗に反比例して減衰するため、３次元空間的に異なる輻射パターンを持つ光源と言える。

　次に、図７Ａおよび図７Ｂを参照する。これらの図は、図４Ａおよび図４Ｂに示される位置から移動した対象物１０４に対する撮像を行う様子を示している。高速な撮像および距離の推定を行うことができれば、移動する対象物１０４に対しても、前述した方法で距離の測定が可能である。光源１０２、１０３による交互の照明とイメージセンサ１０１による撮像を繰り返すことにより、移動する対象物１０４の位置を検出することができる。その結果、対象物１０４の位置の変化、または運動を検知することが可能になる。

　以上のような２つの画像における対象物の輝度の比を利用した単眼式モーションセンサ装置は、装置の外部の光源による背景光の影響によって計測精度が低下するという課題がある。

　図８は、単眼式モーションセンサ装置を外光のある場所に置き、計測範囲内に人間の手をかざした状況を示す図である。図８には、計測対象物として、人間の手における人差し指５０６、中指５０７、および薬指５０８が示されている。イメージセンサ１０１に入射する光は、光源１０２または１０３からの反射光５０９と、外部光源５０５からの外部直接光５１０と、外部光源５０５からの外部１次反射光５１１と、外部光源５０５からの外部２次反射光５１２とを含む。

　外部直接光５１０、外部１次反射光５１１、および外部２次反射光５１２は、光源１０２、１０３以外の光源５０５に由来する光であるため、「背景光」と称する。イメージセンサ１０１から出力される信号において、背景光による成分は、計測ノイズとなる。

　このような背景光を除去する技術として、例えば特許文献２に開示された技術がある。特許文献２の技術では、光源を発光させて取得される計測用の画像とは別に、光源からの発光を行わない状態で背景光成分のみを含む画像が取得される。計測用の画像の輝度値から背景光成分のみを含む画像の輝度値を減ずることにより、背景光の成分を除去することができる。

　図９は、この背景光除去の効果を説明するための図である。図９の（ａ）は、図８の例において、光源１０３を発光させながら撮影した場合に取得される画像の例を示している。この画像は、被写体である手の像６０１と、外部光源である天井の蛍光灯照明の像６０２とを含んでいる。

　図９の（ｂ）は、図８の例において、いずれの光源も発光させずに撮影した場合に取得される画像の例を示している。この画像も、被写体である手の像６１１と、外部光源である天井の蛍光灯照明の像６１２とを含んでいる。この画像では、光源からの発光がないため、イメージセンサの近くに位置する手の像６１１の輝度は、図９の（ａ）における輝度よりも低い。

　図９の（ｃ）は、図９の（ａ）に示す画像から図９の（ｂ）に示す画像を減算した差分画像を示している。ここで、ある画像から他の画像を減算するとは、ある画像の各画素の輝度値から他の画像の対応する画素の輝度値を減算することによって新たな画像を生成することを意味する。図９の（ｃ）に示す差分画像では、外部光源の像６０２が除去されている。

　外部光源の像６０２、６１２は、図８に示す外部直接光５１０に相当する光の像である。この像は、露光時間などの撮影条件が同一である限り、ほぼ同じ輝度で撮影される。したがって、図９の（ｃ）に示す差分画像では、差分演算によって外部光源の像６０２が消滅している。

　図９の（ａ）における被写体の像６０１は、光源１０３からの反射光５０９の成分を主に含む。これに加えて、外部光源５０５からの外部１次反射光５１１および外部２次反射光５１２の成分も若干含まれる。これに対し、図９の（ｂ）における被写体の像６１１は、外部１次反射光５１１および外部２次反射光５１２の成分のみを含む。したがって、図９の（ｃ）に示す差分画像における被写体の像６２１は、光源１０３からの反射光５０９の成分のみを含む。すなわち、この差分画像は、外部光源５０５が存在しない環境で取得された画像と同等の画像である。

　このような方法により、背景光の影響を除去した画像を得ることができる。しかし、そのためには、光源装置を発光させない状態で画像フレームの撮像を余分に行う必要がある。モーションセンサ装置においては、計測用の画像からの時間差がほとんど生じないように背景光画像を取得する必要がある。このため、１フレーム分余分に連続して露光できる高価なイメージセンサを使用する必要が生じる。このことは、コストの増加を引き起こす。また、光源装置を発光させずに取得されるフレームデータの読み出し転送のために時間を余分に要する。このため、計測フレームレートが低下するという問題を引き起こす。このことは、モーションセンサとしてのスペックの低下を招く。

　本願発明者は、上記の課題を見出し、本開示の技術を完成させた。本開示の実施形態によれば、背景光画像を得るために、光源が消灯した状態で余分に撮像する必要はない。そのため、装置のコスト増加やスペックの低下を招くことなく、背景光を画像から除去できる。

　モーションセンサの通常の使用態様においては、イメージセンサと検出対象物との間に障害物や他の光源が置かれる事はない。したがって、背景光となり得るものは、主に壁もしくは天井の照明、または屋外の太陽からの外部光である。背景光が特に問題になるのは、図８に示すように、イメージセンサ１０１から見て対象物５０８～５０６の向こう側に外部光源５０５が存在するケースに限定できる。

　図８に示す外部１次反射光５１１および外部２次反射光５１２の強度は、光源１０２、１０３からの光５０９の強度と比較して十分に小さい。その理由は、光源１０２、１０３の発光は短時間ながら強度が十分に強く、対象物によって拡散反射した後の反射光５０９であっても、外部直接光５１０相当の強度をもつからである。１次の拡散反射を経た外部１次反射光５１１、および２次の拡散反射を経た外部２次反射光５１２の強度は、光源１０２、１０３からの反射光５０９および外部直接光５１０の強度と比較して、十分に弱い。

　なお、外部１次反射光５１１は、外部２次反射光５１２と比較して反射回数が少ないが、外部２次反射光５１２と同様に強度が低い。これは、外部光源と対象物との配置関係から、対象物に浅い角度で入射して反射された光であるからである。ランバートの余弦則によって一般に知られる拡散反射のパターンを考慮すると、このように浅い角度で反射された光の強度は非常に弱くなる。

　以上のことから、本開示の実施形態に係るモーションセンサ装置は、特許文献２のように背景光成分を完全に除去するのではなく、外部光源からの直接光の成分のみを除去する。これにより、コスト増加やスペックの低下を招くことなく、背景光の成分を除去できる。

　以下、上記の検討に基づく本開示の具体的な実施形態を説明する。

　（実施形態１）
　まず、第１の実施形態に係るモーションセンサ装置を説明する。

　図１０は、イメージセンサ７０１と、２個の光源（第１の光源７０２および第２の光源７０３）と、これらを制御する制御部７１０とを備えるモーションセンサ装置の構成を模式的に示す図である。イメージセンサ７０１および光源７０２、７０３は、基板７００上に搭載されている。図１０には、外部光源７０６および対象物７０５も描かれている。図１０に示す例では、外部光源７０６は太陽であるが、上述のように、外部光源７０６は蛍光灯などの他の光源であってもよい。

　制御部７１０は、上述した２連続露光による２つの画像フレームの撮像の制御に加え、取得された２つの画像から背景光の成分を除去する処理、および背景光の成分を除去した２つの画像に基づく距離算出処理を実行する。制御部７１０は、これらの処理を実行するための機能ブロックとして、差分作成部７１１と、マスク処理部７１２と、距離算出部７１３とを有する。制御部７０１の一部または全部は、基板７００上に実装されていてもよいし、他の基板上に実装されていてもよい。また、制御部７１０の機能の一部が、離れた位置に置かれた電子装置によって実現されていてもよい。

　図１１は、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。図１１に示される期間８０２、８０３は、それぞれ、光源７０２、７０３が点灯する期間に相当する。第１の露光期間８０５および第２の露光期間８０６は、それぞれ、イメージセンサ７０１による第１フレームおよび第２フレームの撮像に対応する。図１１に示すタイムチャートでは、光源７０２、７０３は、この順序で点灯しているが、点灯の順序は任意である。

　通常のイメージセンサは、１回の露光により１フレームの撮像を行い、得られた画像データを外部に読み出してから次のフレームの撮像を行う。すなわち、フレームごとに画像データの読み出し動作が実行される。そのようなイメージセンサによると、第ｎフレーム（ｎは整数）における露光が終了した後、第ｎ＋１のフレームの露光を開始するまでの間に、第ｎフレームの撮像によって得られた全部の電荷を転送して外部に出力する動作のための時間を要する。

　しかし、本実施形態では、図１１に示されるように、第１の露光期間８０５のあと、すぐに第２の露光期間８０６が始まる。第１の露光期間８０５において第１フレームの撮像が行われて生じた各画素の電荷は、第２の露光期間８０６が始まる前に記憶部に移され、その記憶部に蓄積される。その後、記憶部に蓄積されていた電荷および第２の露光期間８０６に発生した電荷の信号が期間Ｔｔに読み出され、外部に出力される。

　本実施形態では、第１～第２の露光期間の各長さを「Ｔｅ」とするとき、「２×Ｔｅ＋Ｔｔ」に等しい長さＴｆの逆数（１／Ｔｆ）で決まるレートで、２枚のフレーム画像のデータが読み出される。

　時間Ｔｔは、画素数にも依存するが、データ転送レートを考慮して、例えば２０ミリ秒程度の大きさに設定され得る。一方、時間Ｔｅは、１ミリ秒以下の短い期間、例えば２５マイクロ秒に設定され得る。２枚のフレームの撮像を短い期間内に連続して実行すれば、対象物が人の指先のように高速に移動する場合でも、距離計測を行うことが可能になる。例えば２×Ｔｅが５０マイクロ秒の場合、対象物が１メートル／秒の速度で移動しても、第１～第２の撮像中に対処物は０．０５０ミリメートルしか移動しない。一方、通常のフレームレート（例えば６０フレーム／秒）で撮像を行えば、対象物は５０ミリメートルも移動してしまう。仮に１０００フレーム／秒の高速度撮影を行っても、対象物は３ミリメートルも移動する。本実施形態では、第１のフレームの開始時点から第２のフレームの終了時点までの期間を例えば２ミリ秒以下に短縮できるため、モーションセンサ装置として各種の用途に実用的である。

　本実施形態の構成では、第１および第２のフレームの撮像で取得された２枚の画像に基づいて対象物までの距離を算出することができる。十分に短い時間に強い発光条件の元で撮影されたフレームの輝度は、ほぼ反射光の強度に比例する。ここで、第１のフレームに写った対象物の輝度を「第１の輝度」、第２のフレームに写った対象物の輝度を「第２の輝度」と呼ぶことにする。対象物と各光源との位置関係によって定まる角度および距離に応じて各輝度が決定される。前述のように、これらの輝度の比から対象物の距離を推定できる。

　本実施形態では、連続して２フレームの撮像が可能な、やや高価なイメージセンサを使用することにより、高速で移動する対象物までの距離、または対象物の３次元的な運動を検出することができる。計測対象である物体の移動速度が十分に低いことが想定される場合は、通常の１フレーム露光のイメージセンサを用いても良い。

　また、図１２に示されるような構成を採用することもできる。図１２に示すモーションセンサ装置は、レンズ９０１と、２つのイメージセンサ９０２、９０３と、ハーフミラー９０４とを備える。イメージセンサ９０２、９０３は、通常の１フレーム露光可能なイメージセンサである。ハーフミラー９０４は、入射光の約５０％を透過させ、約５０％を反射する。このような構成であっても、複数フレームの連続露光は可能である。

　次に、再び図１０を参照して、本実施形態に係るモーションセンサ装置の構成および動作をより詳しく説明する。

　光源７０２、７０３は、同程度の強度の光を出射するように構成されている。光源７０２、７０３は、可視光に限らず、近赤外線などの不可視光を発するものを用いてもよい。光源７０２、７０３は、例えばＬＥＤ光源であるが、これに限定されない。点光源などの３次元的に強度分布に偏りのある光源であればどのような光源でも利用可能である。レーザー光源を利用することもできる。レーザー光源は平行光を出射するため、３次元的に光強度が変わらないが、拡散板と組み合わせて散乱光に変換することで利用可能になる。複数の発光デバイスを組み合わせて１つの光源装置としてもよい。

　イメージセンサ７０１は、画素単位で電荷をいったん蓄積しておく記憶部を有している。従って、第ｎフレームの撮像によって得られた画像データの読み出しを待たずに第ｎ＋１フレームの撮像が行える。イメージセンサ７０１内の記憶部を増やせば、３フレーム以上の連続した露光も可能である。イメージセンサ７０１としては、偶数／奇数ラインで別々に露光できる特殊センサであってもよい。イメージセンサ７０１は、典型的にはＣＭＯＳイメージセンサまたはＣＣＤイメージセンサであるが、これらに限定されない。

　制御部７１０は、ＣＰＵもしくはその他の半導体集積回路、またはこれらの組み合わせによって構成され得る。制御部７１０は、第１の時間で第１の光源７０２を発光させながらイメージセンサ７０１で第１のフレームの撮像を行い、第２の時間で第２の光源７０３を発光させながらイメージセンサ７０１で第２のフレームの撮像を行うようにイメージセンサ７０１および光源７０２、７０３を制御する。制御部７１０は、さらに、第１のフレームの撮像によって取得した第１の画像と、第２のフレームの撮像によって取得した第２の画像との差に基づくマスク処理を、第１および第２の画像について実行する。そして、マスク処理後の第１および第２の画像に基づいて、対象物７０５までの距離情報を生成する。

　本実施形態におけるマスク処理は、第１の画像における画素の輝度値と、その画素に対応する第２の画像における画素の輝度値との差分（絶対値）が、閾値よりも小さい領域を、第１および第２の画像から除去する処理である。ここで、ある画像からある領域を「除去する」とは、その領域の輝度値を、より０に近い値に変更することを意味する。除去される領域の画素の輝度値は、典型的には、０に変更されるが、０に近い他の値に変更されてもよい。２つの輝度値の差分が閾値よりも小さい場合には、２つの輝度値の比と１との差分が閾値よりも小さい場合が含まれるものとする。

　このような処理を実行するための要素として、制御部７１０は、２つの画像の差分画像を生成する差分作成部７１１と、マスク処理を実行するマスク処理部７１２と、マスク処理後の第１および第２の画像に基づいて、対象物７０５までの距離情報を生成する距離算出部７１３とを有する。これらの機能ブロックは、制御部７１０を構成する回路の一部、または本実施形態の処理を規定したコンピュータプログラムを実行するＣＰＵによって実現され得る。

　次に、図１３を参照しながら、制御部７１０の動作をより詳細に説明する。図１３は、制御部７１０の動作を示すフローチャートである。

　制御部７１０は、まず、イメージセンサ７０１の第１の露光期間において、光源７０２を発光させながら第１の画像フレームの撮像を行うことによって第１の画像を取得する（ステップＳ１０１）。続いて、イメージセンサ７０１の第２の露光期間において、光源７０３を発光させながら第２の画像フレームの撮像を行うことによって第２の画像を取得する（ステップＳ１０２）。

　これらの２つの画像において、外部光源７０６の像は同程度の輝度レベルを有する。これに対し、被写体７０５の像は、被写体７０５からの物理的距離が近い光源７０３が発光している状態で取得された第２の画像においてより高い輝度を有する。

　第１の画像フレームおよび第２の画像フレームは、露光完了後、読み出し転送が行われ、差分作成部７１１とマスク処理部７１２とに送られる。この際、第１の画像フレームと第２の画像フレームで対応する画素同士が近いタイミングで読み出されるように読み出し制御すれば、この後の各処理部でフレームメモリなどの記憶部を削減できる。

　差分作成部７１１は、第１の画像と第２の画像との差分データを生成する（ステップＳ１０３）。より具体的には、第１の画像における各画素の輝度値と、その画素に対応する第２の画像における画素の輝度値との差の絶対値を計算し、その結果を画素の位置情報と関連付けた差分データを生成する。差分作成部７１１は、差分データをマスク処理部７１２に送る。

　マスク処理部７１２は、差分作成部７１１から送られてきた差分データに基づき、差分が所定の閾値を超えている領域と超えていない領域とを区別するマスク情報を生成する（ステップＳ１０４）。マスク情報は、例えば、画素の位置と、その画素の輝度値の差分が閾値を超えているか否かを示す数値（例えば０または１）とを関連付けた情報であり得る。マスク情報のデータ形式は特定のものに限定されない。マスク情報は、画素ごとではなく、複数の近接する画素からなる領域ごとの情報であってもよい。例えば、複数の画素から構成される画素ブロックごとに、輝度値の差分の平均値が閾値を超えているか否かを示す情報であってもよい。

　マスク処理部７１２は、生成したマスク情報に基づいて、第１および第２の画像に対し、マスク処理を実行する（ステップＳ１０５）。マスク情報において、差分が閾値を超えていない領域は、差分がないとみなすことができる。このため、マスク処理部７１２は、差分が閾値を超えていない領域の輝度値を無視するべく、第１および第２の画像における該当する画素の輝度値を０などの低い値に置換する。本明細書では、このような処理を「マスク処理」と称する。マスク処理部７１２は、マスク処理後の第１および第２の画像を、それぞれ、第１のマスク済み画像および第２のマスク済み画像として距離算出部７１３に送る。

　距離算出部７１３は、送られてきた第１のマスク済み画像および第２のマスク済み画像に基づいて、対象物までの距離を算出する（ステップＳ１０６）。具体的には、第１および第２のマスク済み画像から、対象物の像が存在する領域を探索し、その領域における輝度比から距離情報に換算して３Ｄモーション情報として出力する。輝度比から距離情報に換算するためのデータは、不図示のメモリなどの記録媒体に予め記録されている。そのデータは、テーブルまたは関数の形式であり得る。

　以上の動作により、モーションセンシングの対象領域を、２つの光源７０２、７０３からの出射光による輝度差分が発生する領域に限定すれば、背景光の影響を低減した良好なモーションセンサを実現できる。

　なお、本実施形態では、第１の光源７０２と第２の光源７０３とが、イメージセンサ７０１から等距離の位置に配置されているが、このような配置に限定されない。例えば、第２の光源７０３を、第１の光源７０２よりもイメージセンサ７０１に近い位置に配置してもよい。また、イメージセンサ７０１、第１の光源７０２、第２の光源７０３が一直線に配列されている必要はなく、これらの一部が直線上からずれた位置に配置されていてもよい。このように、光源７０２、７０３は、イメージセンサ７０１に対して非対称に配置されていてもよい。さらに、２つの光源７０２、７０３の発光出力は同じである必要はなく、異なっていてもよい。

　（実施形態２）
　次に、本開示の第２の実施形態を説明する。

　実施形態１では、被写体がある程度以上遠方にある場合、複数の光源からの反射光の輝度差が十分に大きくならないために、光ショットノイズや暗電流によるノイズなどのノイズ成分によって輝度差が検出できない可能性がある。その結果、十分なマスク分離処理が出来なくなるという課題がある。本実施形態では、２つの光源の発光出力を変え、低出力の光源が発光している間に取得された画像の輝度レベルを増幅することにより、この課題を解決する。

　図１４は、本実施形態におけるモーションセンサ装置の概略構成を示す図である。図１４において、図１０と同じ構成要素については同じ符号を用い、説明を省略する。本実施形態における制御部８１０は、マスク処理後の第２の画像の輝度レベルを増幅する増幅部８１４を有している。

　以下、図１５を参照しながら、本実施形態における制御部８１０の動作を説明する。図１５は、本実施形態における制御部８１０による動作を示すフローチャートである。

　制御部８１０は、まず、イメージセンサ７０１の第１の露光タイミングで、光源７０２を発光させながら第１の画像フレームの撮像を行うことによって第１の画像を取得する（ステップＳ２０１）。次に、イメージセンサ７０１の第２の露光タイミングで、光源７０２を発光させながら第２の画像フレームの撮像を行うことによって第２の画像を取得する（ステップＳ２０２）。このとき光源７０３の発光出力を光源７０２の発光出力よりも低くする。

　本明細書において、「発光出力」とは、イメージセンサ７０１の１回の露光時間中の発光エネルギの総量を意味する。発光出力は、「発光量」ということもできる。低い発光出力は、例えば、露光時間中の発光している期間を短くしたり、発光仕事率（ワット数）の小さい発光デバイスに変更したりすることによって実現され得る。

　２つの画像フレームにおいて、外部光源７０６の像は同じ輝度レベルで撮影される。一方、対象物７０５の像は、光源７０２、７０３の出力差により、第２の画像フレームの方が低い輝度で撮影される。その結果、第１の画像フレームと第２の画像フレームとで、対象物７０５の像の輝度に差が生じる。

　第１の画像フレームと第２の画像フレームは、露光完了後、読み出し転送が行われ、差分作成部７１１およびマスク処理部７１２に送られる。

　図１６は、本実施形態におけるマスク処理を説明するための図である。図１６（ａ）は、第１の画像フレームの撮像によって取得される第１の画像の例を示している。図１６（ｂ）は、第２の画像フレームの撮像によって取得される第２の画像の例を示している。図１６（ｃ）は、マスク処理後の第１の画像の例を示している。図１６（ａ）、（ｂ）における対象物の像１００１、１０１１は、人間の手の像である。図１４における対象物７０５は、この手の中指の先端部に対応する。相対的に低い出力の光源７０３を用いて撮影された対象物の像１０１１の方が、像１００１よりも小さい輝度で撮影されている。図１６（ａ）、（ｂ）における像１００２、１０１２は、２本の直管蛍光灯の像である。像１００２、１０１２は、図１４における外部光源７０６に対応する。像１００２、１０１２の輝度レベルは同程度である。

　差分作成部７１１は、第１の画像と第２の画像との差分データを生成する（ステップＳ２０３）。差分データは、マスク処理部７１２に送られる。

　マスク処理部７１２は、差分作成部７１１から送られてきた差分データに基づき、マスク情報を生成する（ステップＳ２０４）。図１６（ｃ）は、マスク情報を画像で表した図である。差分が所定の閾値を超えている領域は白で、閾値を超えていない領域は黒で表されている。マスク処理部７１２は、第１の画像および第２の画像に対し、マスク情報を用いてマスク処理を行う（ステップＳ２０５）。すなわち、差分がないと判定された領域の輝度を無視するべく、該当する画素の輝度値をゼロなどの低い値に置換する。マスク処理部７１２は、マスク処理後の第１の画像を、第１のマスク済み画像として距離算出部７１３に送る。一方、マスク処理後の第２の画像は、第２のマスク済み画像として増幅部８１４に送る。

　増幅部８１４は、第２のマスク済み画像の輝度レベルを、光源７０２と光源７０３の出力比に応じて増幅する（ステップＳ２０６）。本明細書では、この増幅処理のように、２つの光源の発光出力の差（比を含む）に応じて輝度を補正する処理を、「輝度補正処理」と称する。増幅部８１４は、輝度補正処理後の第２の画像を距離算出部７１３に送る。

　輝度補正処理により、距離算出部７１３は、光源７０２と光源７０３とが同じ出力で発光した場合と同等の２枚の画像を得ることができる。距離算出部７１３は、マスク処理後の第１の画像と、輝度補正処理後の第２の画像とに基づいて、対象物までの距離を算出する（ステップＳ２０７）。

　以上の構成により、実施形態１よりもさらに広い範囲において、背景光の影響を低減し、良好なモーションセンサを実現できる。

　なお、本実施の形態では、増幅部８１４によって第２の画像の輝度レベルの増幅のみを行ったが、第１の画像の輝度レベルを下げたり、第１および第２の画像の両方の輝度レベルを調整したりすることによって同等の効果を得ることもできる。すなわち、マスク処理後の第１および第２の画像の少なくとも一方に、第１および第２の光源の発光出力の差に応じた輝度補正処理を実行することにより、本実施形態と同様の効果を得ることができる。

　また、結果的に輝度補正処理を行ったことと同様の効果を得ることができれば、他の方法を用いて距離情報を得てもよい。例えば、輝度比から距離を換算するためのテーブルや関数を複数の光源の出力比に応じて補正しておくといった方法でも同等の結果を得ることができる。本実施形態では、距離を求めるための輝度比が適切な値になるように、輝度補正をマスク処理後に行うことが重要である。このような輝度補正を行った場合と等価の結果が得られる方法であれば、輝度補正を行ったとみなすことができる。

　本実施形態では、簡単のため、２つの光源をもつモーションセンサ装置を説明した。しかし、実際には、図１７に示すような３つの光源を有する構成が特に有効である。

　図１７は、３つの光源７０２、７０３、７０４を有するモーションセンサ装置の構成例を示す図である。イメージセンサ７０１、第１の光源７０２、第２の光源７０３は、図１４に示すものと同じである。第３の光源７０４は、第１の光源７０２と同程度の発光出力で発光する。この例では、第２の光源７０３は、第１の光源７０１および第３の光源７０４よりもイメージセンサ７０１に近い位置に配置されている。このように、光源７０２、７０３、７０４は、イメージセンサ７０１に対して非対称に配置されている。なお、図１７では省略されているが、実際には図１４に示されている制御部８１０がイメージセンサ７０１および光源７０２、７０３、７０４に接続されている。

　この例では、制御部８１０は、第２の光源７０３を発光させながら取得した第２の画像フレームと、第３の光源７０４を発光させながら取得した第３の画像フレームとを用いて、上述した処理と同様の処理を行うことができる。すなわち、制御部８１０は、第１および第２のフレームの撮像を行った後、第３の露光時間で第３の光源７０４を発光させながらイメージセンサ７０１で第３のフレームの撮像を行う。そして、第２のフレームの撮像によって取得した第２の画像と、第３のフレームの撮像によって取得した第３の画像との差に基づくマスク処理を、第２および第３の画像について実行する。さらに、マスク処理後の第２および第３の画像の少なくとも一方に、第２および第３の光源の発光出力の差に応じた輝度補正処理を実行する。これにより、輝度補正処理後の第２および第３の画像から得られる対象物の輝度比に基づいて、対象物までの距離情報を生成することができる。

　本構成例では、図１７における中心よりも右側の領域にある対象物については、第１の光源７０２からの光と第２の光源７０３からの光との輝度比を用いることが、距離を一意に算出する上で適している。その際の輝度は、第２の光源７０３に由来するものが相対的に強い。一方、図１７における中心よりも左側の領域にある対象物については、第２の光源７０３からの光と第３の光源７０４からの光との輝度比を用いることが、距離を一意に算出する上で適している。その際の輝度は、光源７０３に由来するものが相対的に強い。

　この点を考慮すると、図１７に示す第２の光源７０３のように、イメージセンサ７０１に物理的に近い光源の出力を他の光源の出力よりも弱くすることがシステム全体として都合がよい。なぜなら、輝度比を求めるにあたって行われる除算演算では、除算結果の有効精度が除数と被除数のうちの低精度の方に律速されるからである。撮像によって取得された画像の各画素の輝度値の精度は、光ショットノイズに制約されるが、光ショットノイズは輝度の平方根に比例する。したがって、除数と被除数の精度を揃えることが、同等の精度をより少ない発光電力で得られることに繋がる。

　（実施形態３）
　次に、本開示の第３の実施形態を説明する。

　実施形態２では、遠方など、単純には複数の光源からの輝度差が出にくい領域において、背景光領域をマスクすることを可能にした。しかし、近距離において距離や角度によって輝度差が低下する領域の検出が出来ないという課題が残る。本実施形態は、この課題を解決する。

　図１８は、実施形態２の３光源を有する構成において、輝度差が発生しない場合の例を示す図である。光源７０３は、光源７０２、７０４と比べ、低い出力で発光する。図１８のような位置関係では、光源７０３からの光の強度は光源７０２、７０４からの光の強度よりも低いものの、対象物７０５が光源７０３に物理的に近いため、対象物の特定部分の輝度が３つの画像において同程度になってしまう場合がある。その結果、これらの３つの画像から選択された２つの画像における輝度比が０に近くなり、外部光源による輝度と区別がつかなくなる。この状態で実施形態２のマスク処理を実行すると、距離を計測すべき対象物の領域であるにもかかわらず、マスクされて計測処理から外されてしまうという課題が発生する。

　図１９の（ａ）は、実際に実施形態２の装置を用いて近距離にある手の画像を処理したときに生成されたマスク画像を示す図である。本来対象物である指の中央部が不要にマスクされていることがわかる。この際、本来は１本である指が、領域が分断されてしまうことで別々の対象物として、すなわち、指が２本あるように認識されてしまうという課題を引き起こす。

　本実施形態によれば、この問題を解決することができる。

　まず、位置関係によって光源からの反射光の強度に大きな差が発生するのは、対象物がイメージセンサ７０１や光源７０２～７０４に比較的近い場合に限定される。そのような近距離の対象物に関しては、撮像された対象物の像の領域内で光源による輝度差が大きく発生するという特性がある。

　図２０は、図１８に示すモーションセンサ装置の近距離にある指を撮影した場合に取得された画像における特定の水平ラインの輝度を示すグラフである。図２０には、光源７０３が発光しているときに撮影された画像における輝度１２０１と、光源７０４が発光しているときに撮影された画像における輝度１２０２と、輝度１２０１と輝度１２０２との差分１２０３とが示されている。図中の領域１２０４は、対象物が位置する領域であり、領域１２０５は、外部光源が位置する領域である。

　外部光源が位置する外部光源領域１２０５では、輝度１２０１および輝度１２０２の両方について、輝度レベルの盛り上がりが存在する。しかし、これらは、２つの画像で同じ輝度レベルにあるため、輝度差分１２０３には殆ど現れない。

　対象物が存在する対象物領域１２０４では、輝度差分１２０３が正の値をとる領域と負の値をとる領域とが存在する。これらの領域の境界では、輝度レベルが０になる。この点の付近では、対象物と外部光源との区別がつかない。特に、平坦部の多い形状を有する対象物では、輝度レベルが０に近い領域が広く現れ、一層判定が困難である。

　対象物領域１２０４全体に着目すると、領域の左端では輝度１２０１が高く、輝度差分１２０３は正の値を示す。領域の右端では輝度１２０２が高く、輝度差分１２０３は負の値を示す。したがって、本実施形態の制御部は、輝度差分１２０３において、極大値をとる位置を含む所定値以上の正の値をとる領域と、その右側に現れる、極小値をとる位置を含む他の所定値以下の負の値をとる領域とをペアリングする。そして、そのペアリングされた領域間においては、輝度差分１２０３がゼロ近辺の値であっても対象物領域と推定して処理する。本明細書では、そのようにして対象物領域と推定された領域を「推定対象物領域」と称する。

　図１９の（ｂ）は、このような処理を加えた場合のマスク画像を示している。同一の指の分断が回避されていることがわかる。外形情報としてやや不完全な部分も見受けられるが、実際の動作として指などの単位で領域を区分けする上では問題ない。各領域の輝度比計算のための主要領域が問題なく確保できているため、モーションセンサとしての認識動作は問題なく行えることが確認できている。

　次に、上記の処理を行うモーションセンサ装置の構成を説明する。

　図２１は、本実施形態におけるモーションセンサ装置の構成を示す図である。ここでは、簡単のため、２つの光源７０２、７０３を有する構成を採用するが、上述のように、３光源への拡張も可能である。図２１において、図１４と同じ構成要素については同じ符号を用い、説明を省略する。本実施形態における制御部９１０は、実施形態２における構成要素に加え、さらに極大値探索部１４０１と、極小値探索部１４０２と、ペアリング部１４０３と、マスク減算部１４０４とを有している。

　以下、図２２を参照しながら、本実施形態における制御部９１０の動作を説明する。図２２は、本実施形態における制御部９１０の動作を示すフローチャートである。

　制御部９１０は、まず、イメージセンサ７０１の第１の露光タイミングで、光源７０２を発光させながら第１の画像フレームの撮像を行うことによって第１の画像を取得する（ステップＳ３０１）。次に、イメージセンサ７０１の第２の露光タイミングで、光源７０３を発光させながら第２の画像フレームの撮像を行うことによって第２の画像を取得する（ステップＳ３０２）。この際、光源７０３の発光出力を光源７０２の発光出力よりも低くする。低い発光出力は、例えば、露光時間中の発光している期間を短くしたり、発光仕事率（ワット数）の小さい発光デバイスに変更したりすることによって実現され得る。

　２つの画像フレームにおいて、外部光源７０６の像は同じ輝度レベルで撮影される。一方、対象物７０５の像は、光源７０２、７０３の出力差により、第２の画像フレームの方が低い輝度で撮影される。その結果、第１の画像フレームと第２の画像フレームとで、対象物７０５の像の輝度に差が生じる。

　第１の画像フレームと第２の画像フレームは、露光完了後、読み出し転送が行われ、差分作成部７１１およびマスク処理部７１２に送られる。

　差分作成部７１１は、第１の画像と第２の画像との差分データを生成する（ステップＳ３０３）。差分データは、極大値探索部１４０１、極小値探索部１４０２、およびマスク処理部７１２に送られる。

　極大値探索部１４０１は、差分データから極大値をとる位置を含む第１の値以上の領域を抽出し、その領域の座標情報を、極大値座標情報としてペアリング部１４０３に出力する（ステップＳ３０４）。極小値探索部１４０２は、差分データから極小値をとる位置を含む第２の値以下の領域を抽出し、その領域の座標情報を、極小値座標情報としてペアリング部１４０３に出力する（ステップＳ３０５）。ここで、第１の値は０に近い正の値であり、第２の値は０に近い負の値であり得る。

　ペアリング部１４０３は、抽出された極大値を含む領域と、極小値を含む領域とから、マスク対象外とする領域を決定する（ステップＳ３０６）。具体的には、極大値座標情報に含まれる座標および極小値座標情報に含まれる座標のそれぞれから、ペアになる座標を決定し、それらの座標の間の推定対象物領域の座標情報をマスク減算部１４０４に送出する。この際、対応するペアの存在しない極大値座標情報および極小値座標情報は破棄する。

　マスク減算部１４０４は、差分作成部７１１から送られてきた差分データおよびペアリング部１４０３から送られてきたマスク対象外の領域を示す座標情報に基づき、マスク情報を生成する（ステップＳ３０７）。より具体的には、差分データにおいて所定の閾値よりも小さい値をもつ領域のうち、マスク対象外の領域に該当する領域を除外したマスク情報を生成し、マスク処理部７１２に送出する。

　マスク処理部７１２は、マスク減算部１４０４から送られてきたマスク情報を用いて、第１および第２の画像に対してマスク処理を行う（ステップＳ３０８）。すなわち、差分がないと判定された領域の輝度を無視するべく、該当する画素の輝度値をゼロなどの低い値に置換する。マスク処理部７１２は、マスク処理後の第１の画像を、第１のマスク済み画像として距離算出部７１３に送る。一方、マスク処理後の第２の画像は、第２のマスク済み画像として増幅部８１４に送る。

　増幅部８１４は、第２のマスク済み画像の輝度レベルを、光源７０２と光源７０３の出力比に応じて増幅する（ステップＳ３０９）。増幅部８１４は、輝度補正処理後の第２の画像を距離算出部７１３に送る。

　距離算出部７１３は、マスク処理後の第１の画像と、輝度補正処理後の第２の画像とに基づいて、対象物までの距離を算出する（ステップＳ３１０）。

　以上の処理により、遠方の対象物からの反射光の輝度差を大きくすることができるとともに、モーションセンサ装置付近に対象物がある場合に発生する輝度差が生じない領域による誤検出を救済することが可能となる。

　なお、本実施形態の背景光除去機能自体のＯＮ／ＯＦＦや、マスク作成時や極値探索時の閾値の動的な変更を可能にすることで更なる性能向上が可能である。例えば、対象物が非常に近くにあり、強い反射光がある場合は、イメージセンサの露光時間を短くし、アナログゲイン値も下げる必要が生じる。そのとき、外部光源の写り込みレベルが低下するため、背景光除去機能を作用させても電力の無駄にしかならない。

　このようなケースはいろいろな方法で検知できる。ひとつはイメージセンサの自動露光制御（露光時間および絞りの設定値の制御）、オートフォーカス、自動ゲイン制御の結果を使う方法である。これらの結果から撮像輝度のレベルや、対象物までの距離を知ることが出来る。これらの情報の少なくとも１つに基づいて、背景光除去機能のＯＮ／ＯＦＦや、閾値の変更が可能である。

　もうひとつの方法は、モーションセンサの持つ被写体距離計測の機能を使うものである。輝度比から求めた被写体距離やサイズに基づいて被写体からの反射光の強度推定が行える。輝度比算出の際に、照度差ステレオ法を用いた場合、物体の反射率などの材質情報も得ることが可能である。このため、これらの情報を用いれば、さらに高精度な被写体からの反射光の強度推定が可能である。これらの情報に基づき、背景光除去機能のＯＮ／ＯＦＦや、閾値の変更が可能である。

　このように、本開示のモーションセンサ装置の制御部は、第１の光源７０２の発光出力、第２の光源７０３の発光出力、イメージセンサ７０１の露光時間、イメージセンサ７０１のゲイン、イメージセンサ７０１のフォーカス状態、および絞りの設定値の少なくとも１つに基づいて、マスク処理の有無またはマスク処理の計算に使用する係数（閾値）を変化させてもよい。また、制御部は、対象物の距離情報、サイズ情報、および材質情報の少なくとも１つに基づいて、マスク処理の有無またはマスク処理に使用する係数を変化させてもよい。

　（実施形態４）
　実施の形態３における装置を構成する方法には、例えばノイマン型ＣＰＵなどを用いて前述の実施形態で示したとおりの手順で処理を実施する方法がある。しかし、ノイマン型ＣＰＵは画像処理に使用された場合、電力効率が低い。さらに、実施形態３におけるペアリングのような処理では画像の左右からの走査が必要であるため、実行時間がデータに依存して変動してしまうという課題がある。

　本実施形態は、これらの課題を解決する回路発明に関する。本実施形態の回路は、主にＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの再構成可能ロジックによって実現可能な実際の集積回路である。本実施形態のような再構成可能ロジックで動作可能な集積回路には、フラッシュメモリなどの記録媒体に格納された回路情報を電源投入時に読み込んで動作するものがある。

　図２３は、本実施形態における回路構成図である。この回路は、カメラ信号の入力を行うためのカメラ入力部１５０１（ＣＡＭＥＲＡ‐ＩＮ）と、カメラから入力された２種類の画像の差分をとる差分作成部１５０２（ＳＵＢ）と、画像の１ラインの中から被写体の左エッジ、即ち差分信号がある閾値以上であるか否かを判定するコンパレータを備えた極大値探索部１５０３（ＣＭＰ＿Ｌ）と、画像の１ラインの中から被写体の右エッジ、即ち差分信号がある閾値以下であるか否かを判定するコンパレータを備えた極小値探索部１５０４（ＣＭＰ＿Ｒ）と、輝度差の絶対値がある閾値以下かどうかを判定するコンパレータを備えたマスク生成部１５０５（ＣＭＰ＿ＡＢＳ）とを備えている。さらに、ライン内のピクセル数を数えるカウンタ部１５１５（ＣＯＵＮＴＥＲ）と、制御部１５０６（ＣＯＮＴＲＯＬ）と、画像の１ラインのピクセル数以上のフリップフロップを備えたマスク情報記録部としてのフリップフロップ１５０７（ＭＡＳＫ＿ＦＦ）と、極大値と極小値とのペアリング領域を一時的に保持する為の画像の１ラインのピクセル数以上のフリップフロップを備えたペアリング情報記録部としてのフリップフロップ１５０８（ＰＡＩＲ＿ＦＦ）と、フリップフロップ１５０７に保存されたマスク情報とフリップフロップ１５０８に保存されたペアリング情報との論理積をとってマスク領域を一部取り除くマスク減算部１５０９（ＡＮＤ）と、マスクが完成するまでの間、画像を１ライン保持しておくラインメモリ１５１１と１５１２（ＬＩＮＥ＿ＲＡＭ）と、画像データとマスクデータとを組み合わせてマスク領域の値は０に、それ以外の領域の値はそのまま出力するマスク処理部１５１３と１５１４（ＭＡＳＫ）とを備える。

　続いて、本実施形態の回路の動作を説明する。

　カメラにおいて異なる発光条件で露光されて取得された２種類の画像は、カメラ入力部１５０１から同時に回路内に取り込まれる。これらの画像は、１ラインごとにラインメモリ１５１１、１５１２に保存されると共に、差分作成部１５０２に送られる。差分作成部１５０２は２つの信号の差を求めて出力する。極大値探索部１５０３は、差分作成部１５０２から送られてきた差分があらかじめ用意した一定の閾値以上かどうかを判定する。閾値以上であれば被写体の左エッジであると判定して、その結果を制御部１５０６に送る。極小値探索部１５０４は、差分作成部１５０２から送られてきた差分があらかじめ用意した一定の閾値以下かどうかを判定する。閾値以下であれば被写体の右エッジであると判定して、その結果を制御部１５０６に送る。

　カウンタ部１５１５は、カメラ入力部１５０１の水平同期信号でリセットされ、ピクセルクロックでインクリメントされるカウンタである。カウンタ部１５１５の値は画像ライン中の現在の読み込みピクセル位置を表す。この値は、マスク情報記録部としてのフリップフロップ１５０７とペアリング情報記録部としてのフリップフロップ１５０８にアドレス情報として送られる。

　マスク生成部１５０５は、差分作成部１５０２から送られてきた差分の絶対値が、あらかじめ用意した一定の閾値以上かどうかを判定する。閾値よりも小さければマスクすべき領域（非被写体領域）と判定して、マスク情報記録部としてのフリップフロップ１５０７における、カウンタ部１５１５から送られてきているアドレス位置のフリップフロップをセットする。

　制御部１５０６は、カメラ入力部１５０１の水平同期信号を受けて、マスク情報記録部としてのフリップフロップ１５０７のすべてのフリップフロップをリセットする。自らは第１の動作状態になり、極大値探索部１５０３から左エッジ情報が来るまで待機する。

　制御部１５０６は、極大値探索部１５０３から左エッジ情報が来た場合、ペアリング情報記録部としてのフリップフロップ１５０８のすべてのフリップフロップをセットした後に、第２の動作状態に遷移する。

　制御部１５０６は、第２の動作状態では、ペアリング情報記録部としてのフリップフロップ１５０８における、カウンタ部１５１５から送られてきているアドレス位置のフリップフロップをリセットする。

　制御部１５０６は、第２の動作状態の時に極小値探索部１５０４から右エッジ情報が送られてきた場合は、そのときのペアリング情報記録部としてのフリップフロップ１５０８のリセットされている領域をペアリング領域とする。そして、マスク減算部１５０９を利用して、フリップフロップ１５０７にフリップフロップ１５０８の論理積を適用し、ペアリング領域のマスクを解除する。続けて、自らは第１の動作状態に遷移し、再び、極大値探索部１５０３から左エッジ情報が来るまで待機する。

　この操作を１ラインの終了まで続けた後に、ラインメモリ１５１１と１５１２に蓄えられた画像データは、それぞれマスク処理部１５１３と１５１４で処理される。これらの画像データは、マスク情報記録部としてのフリップフロップ１５０７の状態に基づいてマスク部分の画素の輝度値が０に近い値に変更されて、背景光領域の除去が行われた画像として出力される。

　以上の回路を構成することで、データの内容に依存することなく、すべてのケースで同一の時間で処理を完了できる背景光除去回路が実現できる。

　なお、極大値探索部１５０３が探索する極大値と極小値探索部１５０４が探索する極小値は、扱う信号の符号に依存し、信号の定義次第で逆になる場合もある。

　（他の実施形態）
　以上、本開示の技術の例示として、実施形態１～４を説明した。しかし、本開示の技術はこれらの実施形態に限定されない。以下、他の実施形態を例示する。

　図２４は、実施形態１に係るモーションセンサ装置を搭載したディスプレイ１００１を示している。このディスプレイ１００１は、２つの光源７０２、７０３を搭載している。このため、ディスプレイ１００１に向かってジェスチャー入力を行うことができる。図２４には、参考のため、ジェスチャー入力を行う手が模式的に示されている。図示されている手は、矢印の方向に移動しつつある。図２４に示されるディスプレイでは、このような手の動きを高い感度で検知してジェスチャー入力を行うことができる。

　本実施形態に係るモーションセンサ装置をディスプレイなどに利用すれば、ジェスチャー入力によるチャンネルの切り替えなどのユーザーインターフェースに用いることもできる。また、人間の各部の動きを認識したダンスゲームなどへの応用も可能である。

　図２４のディスプレイには、実施形態２などの他の実施形態に係るモーションセンサ装置を組み込んでも良い。このように、本開示は、上記のいずれかの実施形態に係るモーションセンサ装置と、当該モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイとを備える電子装置を含む。

　本開示によるモーションセンサ装置の各実施形態によれば、距離計測の対象物以外の背景光の影響を除去し、より高精度な検出が可能になる。本開示によれば、リアルタイムな検出が求められる３Ｄモーションセンサ装置を提供できる。

　なお、本開示によるモーションセンサ装置の少なくとも一部の機能が有線または無線のネットワークを介して接続された他の装置によって実現されていてもよい。

　以上の実施形態では、対象物までの距離情報を得る方法として、複数の画像における当該対象物の輝度の比に基づく方法を説明した。しかし、輝度比によらず、例えば米国特許出願公開第２０１３／０１８２０７７号明細書に開示されているように、像の輪郭情報に基づいて対象物までの距離情報を得てもよい。米国特許出願公開第２０１３／０１８２０７７号明細書の開示内容全体を本願明細書に援用する。

　本開示によるモーションセンサ装置の実施形態は、リアルタイムに物体の３次元位置を計測できる機能を有する。このため、表示装置などの各種電気製品の非接触ジェスチャーユーザーインターフェースの用途に有用である。車載機器として搭乗者の状態、車外の人物や障害物の検知へも応用できる。ビデオカメラのオートフォーカス等の用途にも応用できる。

　１００、７００　　基板
　１０１，７０１　　イメージセンサ
　１０２，１０３，７０２，７０３，７０４　　光源装置
　１０４，５０６，５０７，５０８，７０５，　　対象物
　３０１，３０２，１２０１，１２０２　　輝度
　３０３，３０４　　輝度の極大値
　５０５，７０６　　外部光源
　５０９　　光源装置からの反射光
　５１０　　外部直接光
　５１１　　外部１次反射光
　５１２　　外部２次反射光
　６０１，６１１，６２１，１００１，１０１１　　対象物の像
　６０２，６１２，１００２，１０１２　　外部光源の像
　７１０、８１０、９１０　　制御部
　７１１，１５０２　　差分作成部
　７１２，１５１３，１５１４　　マスク処理部
　７１３　　距離算出部
　８１４　　増幅部
　９０１　　レンズ
　９０２，９０３　　撮像素子
　９０４　　ハーフミラー
　１００１　　ディスプレイ
　１２０３　　輝度差分
　１２０４　　被写体領域
　１２０５　　外部光源領域
　１４０１，１５０３　　極大値探索部
　１４０２，１５０４　　極小値探索部
　１４０３　　ペアリング部
　１４０４，１５０９　　マスク減算部
　１５０１　　カメラ入力部
　１５０５　　マスク生成部
　１５０７　　マスク情報記録部としてのフリップフロップ
　１５０８　　ペアリング情報記録部としてのフリップフロップ
　１５１１，１５１２　　ラインメモリ
　１５１５　　カウンタ部

Claims (15)

1. 　イメージセンサと、
   　第１および第２の光源と、
   　前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御部と、
   を備え、
   　前記制御部は、
   　第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   　第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
   　前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差に基づくマスク処理を、前記第１および第２の画像について実行し、
   　前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得るように構成されている、
   モーションセンサ装置。
2. 　前記マスク処理は、前記第１の画像における画素の輝度値と、前記画素に対応する前記第２の画像における画素の輝度値との差分が閾値よりも小さい領域を、前記第１および第２の画像から除去する処理である、請求項１に記載のモーションセンサ装置。
3. 　前記制御部は、前記第２の光源を、前記第１の光源とは異なる出力で発光させるように構成されている、請求項１または２に記載のモーションセンサ装置。
4. 　イメージセンサと、
   　第１および第２の光源と、
   　前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御部と、
   を備え、
   　前記制御部は、
   　第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   　第２の時間で前記第２の光源を前記第１の光源とは異なる出力で発光させながら前記イメージセンサで第２のフレームの撮像を行い、
   　前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差に基づくマスク処理を、前記第１および第２の画像について実行し、
   　前記マスク処理後の前記第１の画像および前記マスク処理後の前記第２の画像の少なくとも一方に、前記第１および第２の光源の発光出力の差に応じた輝度補正処理を実行し、
   　前記輝度補正処理後の前記第１の画像から得られる対象物の輝度と、前記輝度補正処理後の前記第２の画像から得られる前記対象物の輝度との比に基づいて、前記対象物までの距離情報を得るように構成されている、
   モーションセンサ装置。
5. 　前記マスク処理は、前記第１の画像における画素の輝度値と、前記画素に対応する前記第２の画像における画素の輝度値との差分が閾値よりも小さい領域を、前記第１および第２の画像から除去する処理である、請求項４に記載のモーションセンサ装置。
6. 　前記第２の光源は、前記第１の光源よりも前記イメージセンサの近くに配置され、
   　前記制御部は、前記第２の光源を前記第１の光源よりも低い出力で発光させながら前記イメージセンサで前記第２のフレームの撮像を行うように構成されている、
   請求項４または５に記載のモーションセンサ装置。
7. 　第３の光源をさらに備え、
   　前記マスク処理を第１のマスク処理、前記輝度補正処理を第１の輝度補正処理、前記距離情報を第１の距離情報とするとき、
   　前記制御部は、
   　第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、
   　前記第２のフレームの撮像によって取得した前記第２の画像と、前記第３のフレームの撮像によって取得した第３の画像との差に基づく第２のマスク処理を、前記第２および第３の画像について実行し、
   　前記第２のマスク処理後の前記第２の画像および前記第２のマスク処理後の前記第３の画像の少なくとも一方に、前記第２および第３の光源の発光出力の差に応じた第２の輝度補正処理を実行し、
   　前記第２の輝度補正処理後の前記第２の画像から得られる前記対象物の輝度と、前記第２の輝度補正処理後の前記第３の画像から得られる前記対象物の輝度との比に基づいて、前記対象物までの第２の距離情報を生成するように構成されている、
   請求項４から６のいずれかに記載のモーションセンサ装置。
8. 　前記第２の光源は、前記第１および第３の光源よりも前記イメージセンサの近くに配置され、
   　前記制御部は、前記第２の光源を前記第１および第３の光源よりも低い出力で発光させながら前記イメージセンサで前記第２のフレームの撮像を行うように構成されている、
   請求項７に記載のモーションセンサ装置。
9. 　イメージセンサと、
   　第１および第２の光源と、
   　前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御部と、
   を備え、
   　前記制御部は、
   　第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   　第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
   　前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差分データを生成し、
   　前記差分データにおける、前記第１および第２の光源の配列方向に対応する方向のデータにおいて、差分が極大値になる位置と前記差分が極小値になる位置との間に含まれる推定対象物領域を決定し、
   　前記第１の画像と前記第２の画像との差に基づくマスク処理を、前記第１および第２の画像における前記推定対象物領域を除く領域について実行し、
   　前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得るように構成されている、
   モーションセンサ装置。
10. 　前記マスク処理は、前記第１の画像における画素の輝度値と、前記画素に対応する前記第２の画像における画素における輝度値との差分が、閾値よりも小さい領域を、前記第１および第２の画像から除去する処理である、請求項９に記載のモーションセンサ装置。
11. 　前記制御部は、前記第１の光源の発光出力、前記第２の光源の発光出力、前記イメージセンサの露光時間、前記イメージセンサのゲイン、前記イメージセンサのフォーカス状態、および絞りの設定値の少なくとも１つに基づいて、前記マスク処理の有無または前記マスク処理の計算に使用する係数を変化させるように構成されている、請求項１から１０のいずれかに記載のモーションセンサ装置。
12. 　前記制御部は、前記対象物の距離情報、サイズ情報、および材質情報の少なくとも１つに基づいて、前記マスク処理の有無または前記マスク処理に使用する係数を変化させるように構成されている、請求項１から１１のいずれかに記載のモーションセンサ装置。
13. 　イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる回路であって、
    　第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行うことによって取得された第１の画像と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行うことによって取得された第２の画像との差分データを求めて出力する差分作成部と、
    　前記差分データにおける１つの水平ラインのデータにおいて、差分が第１の閾値以上か否かを判定する極大値探索部と、
    　前記差分データにおける前記１つの水平ラインのデータにおいて、差分が前記第１の閾値よりも小さい第２の閾値以下か否かを判定する極小値探索部と、
    　前記差分データの絶対値が第３の閾値以下か否かを判定するマスク作成部と、
    　前記極大値探索部から、前記差分が前記第１の閾値以上であることを示す情報を受けたとき、第１の動作状態から第２の動作状態に遷移し、前記極小値探索部から、前記差分が前記第２の閾値以下であることを示す情報を受けたとき、前記第２の動作状態から前記第１の動作状態に遷移する制御部と、
    　前記マスク作成部の判定結果に基づいて背景領域のマスク情報を格納するマスク情報記録部と、
    　前記制御部が前記第２の動作状態にあるとき、前記差分が前記第１の閾値以上になる位置と、前記差分が前記第２の閾値以下になる位置との間の領域であるペアリング領域の情報を格納するペアリング情報記録部と、
    　前記制御部が前記第２の動作状態から前記第１の動作状態に遷移したとき、前記マスク情報記録部に格納された前記マスク情報に対して前記ペアリング情報記録部に格納された前記ペアリング情報の論理積を適用するマスク減算部と、
    　を備えた回路。
14. 　再構成可能ロジックで実行するための請求項１３の回路情報を格納した記録媒体。
15. 　イメージセンサと、第１および第２の光源と、前記イメージセンサから出力された複数の画像を処理する画像処理装置を備えるシステムにおいて使用される画像処理装置であって、
    　プロセッサと、
    　メモリと、
    　前記メモリに格納されたコンピュータプログラムと、
    を備え、
    　前記コンピュータプログラムは、前記プロセッサに、
    　第１の時間で前記第１の光源を発光させながら前記イメージセンサで取得された第１の画像を取得させ、
    　第２の時間で前記第２の光源を発光させながら前記イメージセンサで撮像された第２の画像を取得させ、
    　前記第１の画像と前記第２の画像との差に基づくマスク処理を、前記第１および第２の画像について実行させ、
    　前記マスク処理後の前記第１の画像と、前記マスク処理後の前記第２の画像とに基づいて、前記第１および第２の画像に含まれる対象物までの距離情報を得させる、
    画像処理装置。

Images