JP6827875B2 - 姿勢推定システム、距離画像カメラ、及び姿勢推定装置 - Google Patents

Description

本発明は、姿勢推定システム、距離画像カメラ、及び姿勢推定装置に関する。

距離画像センサ（「深度カメラ」ともいう）から取得した距離画像（「深度画像」ともいう）を用いて、人等の被写体の関節位置及び姿勢を推定する技術が知られている。

特許文献１には、「距離画像センサ部２は窓３２の外側に設定した対象空間３３に光を照射する発光源５を備えるとともに、対象空間３３からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子３を備えており」、「距離画像センサ部２の画像生成部８で得られた対象空間３３の距離画像は信号処理回路１０に入力され、信号処理回路１０によって対象空間３３内で人の存否を検出する処理が行われる」、「信号処理回路１０では、各画素の画素値（距離値）の入力範囲を所定の上限値以下に制限することで、センサの検知エリアを所定の上限値以下に制限しており」などと記載されている。

特許文献２には、内視鏡に関して、共焦点用ピンホールとして機能する点光源を移動させて該点光源からの光束を走査することにより、被検面を観察する走査型共焦点光学システムが記載されている。

特開２００６−４６９６１号公報 特許４４７５９１２号

例えば、工場の生産ライン等において作業者の動きを分析して、生産性の向上などに活用したいというニーズが出てきている。これに対応するシステムとして、様々な場所に設置した多数の距離画像カメラと、これらの距離画像カメラにネットワークを介して接続される遠隔サーバ装置とを用意し、この遠隔サーバ装置で各距離画像センサから受信した各距離画像から人等の被写体の姿勢推定を実行する、コンピュータシステム（例えば監視システム）が検討されている。

ここで、例えば複数の人が存在する工場の生産ライン等を考えた場合、距離画像カメラから得られる距離画像では、人が存在する場所が状況によって変化したり特定の場所に偏ったりすることがある。この場合、遠隔サーバ装置は、得られた距離画像中の実際は人が存在しない領域に対しても姿勢推定処理を実行することになる。そのため、計算リソースを効率的に使用することができず、姿勢推定処理の推定精度を向上するのが難しい。また、距離画像カメラの撮像範囲の中で光が当たり難い暗い場所に人が存在する場合には、姿勢推定処理の推定精度が低下してしまう。

本発明の目的は、距離画像カメラから送信される距離画像を用いて被写体の姿勢推定を行うコンピュータシステムの推定精度を向上することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記の課題を解決する本発明の一態様は、距離画像カメラと、前記距離画像カメラとネットワークを介して接続される姿勢推定装置とを含む姿勢推定システムであって、前記距離画像カメラは、対象空間に光を照射する光源部と、前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、前記生成された画像情報から距離画像を生成する距離画像生成部と、前記生成された距離画像を前記姿勢推定装置に送信する通信部と、を備え、前記姿勢推定装置は、前記距離画像カメラから前記距離画像を受信する距離画像受信部と、前記受信された距離画像から１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、前記生成された推定姿勢情報を出力する出力部と、を備え、前記距離画像カメラは、前記光源部の光の出射方向を調節する方向調節部を備える。

本発明の一態様によれば、距離画像カメラから送信される距離画像を用いて被写体の姿勢推定を行うコンピュータシステムの推定精度を向上することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１実施形態に係る、姿勢推定システムのシステム構成例を示す図である。 本発明の第１実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。 本発明の第１実施形態に係る、光が照射される撮像範囲を模式的に説明する図である。 本発明の第１実施形態に係る、光源部の構成例を模式的に示す図である。 本発明の第１実施形態に係る、前景画素を抽出する方法の例を説明する図である。 本発明の第１実施形態に係る、姿勢推定装置を実現するコンピュータのハードウェア構成例を示す図である。 本発明の第１実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。 本発明の第１実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。 本発明の第２実施形態に係る、光源部の構成例を模式的に示す図である。 本発明の第３実施形態に係る、光源部の構成例を模式的に示す図である。 本発明の第４実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。 本発明の第４実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。 本発明の第５実施形態に係る、光源部の構成例を模式的に示す図である。 本発明の第５実施形態に係る、光源部の構成例を模式的に示す図である。

以下、本発明の複数の実施形態について、図面を参照して説明する。

［第１実施形態］
図１は、第１実施形態に係る、姿勢推定システムのシステム構成例を示す図である。姿勢推定システムは、１台以上の距離画像カメラ１と、１台の姿勢推定装置２とを含む。各距離画像カメラ１と姿勢推定装置２は、ネットワークＮを介して接続され、互いに通信することができる。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）、モバイル通信網、インターネット等の電気通信網であり、これらの２つ以上を組み合わせてもよい。

距離画像カメラ１は、人等の被写体が存在する対象空間の距離画像を撮像する撮像装置である。距離画像（「深度画像」ともいう）とは、画像中の各画素に、その階調情報（例えば、ＲＧＢ）に加え深さ方向の距離情報が所定のスケーリングで記録された画像である。距離画像カメラ１は、例えばＴＯＦ（Time of Flight）方式のカメラであるが、距離画像を出力できれば、例えば可視光により撮像する２つの光学系を備えたステレオカメラ等の他の方式のカメラであってもよい。距離画像カメラは、距離画像センサと呼んでもよい。

本実施形態の距離画像カメラ１は、背景画素の階調情報及び距離情報に所定値（例えば「１」）を設定することにより、撮像した距離画像から背景を消去し、前景画素を含む距離画像を姿勢推定装置２に送信する。前景画素とは、人や当該人が持つ道具等の動作する被写体に対応する画素群である。背景画素とは、前景画素以外の画素であり、背景に対応する画素群である。

また、本実施形態の距離画像カメラ１は、対象空間に光を照射する光源と、光源から出射される光の出射方向を調節する方向調節部とを備える。これにより、距離画像カメラ１は、撮像される撮像範囲全体に均一に光が照射されるように出射方向を調節するだけでなく、撮像範囲のうち所望の領域（例えば前景画素を含む領域）に光が集中するように出射方向を調節することができる。

姿勢推定装置２は、距離画像に含まれる前景画素から人等の被写体の姿勢を推定する装置である。姿勢推定装置２は、例えば、後述するようにサーバ等のコンピュータ装置で実現される。姿勢推定装置２は、複数台のコンピュータで実現されてもよい。

本実施形態の姿勢推定装置２は、距離画像に含まれる前景画素の距離情報に基づいて、対象を構成する部位（例えば、頭、腕、手、胴体などの体のパーツ、関節は含まない）を識別し、各部位に対して関節位置を識別し、識別した関節位置に基づいて対象の姿勢を推定する。

本実施形態では、距離画像カメラ１によって距離画像から背景が消去され、この距離画像が姿勢推定装置２に送信されて処理される。これにより、背景画素と前景画素の両方を含む一般的な距離画像を送信する場合と比べ、ネットワークＮの通信負荷を低減することができる。また、姿勢推定装置２は前景画素に対して処理を実行すればよいため、一般的な距離画像を処理する場合と比べ、姿勢推定装置２の処理負荷を低減することができる。距離画像カメラ１の台数あるいは距離画像カメラ１の撮像レートが増加するほど、効果が大きくなる。さらに、姿勢推定装置２は、前景画素に対して計算リソースを集中的に使用することができるため、姿勢推定の推定精度を向上することができる。

また、本実施形態の距離画像カメラ１は、撮像範囲のうち所望の領域（例えば前景画素を含む領域）に光を集中させることができる。これにより、距離画像カメラ１は、被写体（前景画素）を含む領域がその他の領域よりも明るく照らされた距離画像を生成することができる。その結果、姿勢推定装置２は、撮像範囲全体に均一に光が照射された距離画像に対して姿勢推定処理を施す場合と比べ、より明るい前景画素に対して姿勢推定処理を実行できるため、姿勢推定の推定精度を向上することができる。

図２は、第１実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。距離画像カメラ１は、制御部１１と、光源部１２と、距離画像センサ１３と、距離画像生成部１４と、通信部１５とを含む。姿勢推定装置２は、通信部２１と、距離画像受信部２２と、姿勢推定部２３と、出力部２７とを含む。姿勢推定部２３は、特徴量算出部２４と、部位識別部２５と、関節識別部２６とを含む。

制御部１１は、光源部１２、距離画像センサ１３、距離画像生成部１４、及び通信部１５を制御する。例えば、制御部１１は、光源部１２に光の照射を指示し、距離画像センサ１３に照射光と反射光の位相差情報の生成を指示し、距離画像生成部１４に距離画像の生成を指示し、通信部１５に距離画像の送信を指示する。また例えば、制御部１１は、後述するように、光源部１２から照射される光の出射方向が変更されるように、光源部１２を制御することができる。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を含むマイクロコンピュータや、専用ハードウェア回路により実現することができる。

光源部１２は、人等の被写体が存在する対象空間に対して光を照射する。また、光源部１２は、光源から出射される光の出射方向を制御することができる。

図３は、第１実施形態に係る、光が照射される撮像範囲を模式的に説明する図である。通常、距離画像カメラ１から照射された光は、撮像範囲Ａ全体を均一に照らす。ここで、人等の被写体Ｆが撮像範囲Ａのうち一部の領域ａ（図の例では、破線で分割した６つの領域ａのうち左下の領域ａ）のみに存在する場合を考える。この場合、被写体Ｆ（前景画素）が存在する領域ａ（前景画素領域）以外の５つの領域ａに照射された光は、被写体Ｆが存在しない背景に照射されることになり、距離画像から姿勢推定を行う際には無駄となってしまう。そこで、本実施形態の距離画像カメラ１は、被写体が存在しない領域へ照射される光の少なくとも一部を、被写体が存在する領域に照射するための機構を有する。

図４は、第１実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。

光源部１２は、光源Ｌと、複数の回折格子Ｇ（「方向調節部」ともいう）とを備える。本図の例では、光源部１２は、３個の回折格子Ｇ１〜Ｇ３を備える。

光源Ｌは、例えば、２次元アレイ状に配置された複数の発光ダイオードを備える。もちろん、光源Ｌは、発光ダイオードに限らず、例えば半導体レーザ等のデバイスにより実現してもよい。光源Ｌのオン又はオフは、制御部１１によって制御される。光源Ｌの一部の領域をオン又はオフできてもよい。

複数の回折格子Ｇは、それぞれ面状に構成され、光源Ｌと向かい合うように光の出射方向に配置される。複数の回折格子Ｇは、２次元アレイ状に配列されてもよいし、１次元リニア状に配列されてもよい。図４では、説明を分かり易くするため、１次元リニア状の場合を示している。

各回折格子Ｇは、それぞれ個別に電気的にオン又はオフを切り替え可能である。各回折格子Ｇのオン又はオフは、制御部１１によって制御される。オフされた回折格子Ｇは、光源Ｌから出射された光の光路を回折によって曲げることなく、真っすぐ通過させる。オンされた回折格子Ｇは、光源Ｌから出射された光の光路を回折によって曲げる。もちろん、各回折格子Ｇは、オフのときに光を曲げるように構成してもよい。

全ての回折格子Ｇがオフされている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。

図４（Ｂ）〜（Ｄ）に示すように、各回折格子Ｇ１〜Ｇ３は、領域ａ１〜ａ３それぞれに対応するように配置されており、光源Ｌから出射された光は、各回折格子Ｇ１〜Ｇ３を通過して領域ａ１〜ａ３に照射される。

図４（Ｂ）は、回折格子Ｇ１〜Ｇ３の全てがオフされた状態を示している。この場合、光源Ｌのうち回折格子Ｇ１に対応する部分から出射された光は、回折格子Ｇ１を真っすぐ通過して、対応する領域ａ１に照射される。同様に、光源Ｌのうち回折格子Ｇ２及びＧ３に対応する部分から出射された光は、回折格子Ｇ２及びＧ３を真っすぐ通過して、対応する領域ａ２及びａ３に照射される。その結果、領域ａ１〜ａ３は、均一な光量で照射される。

図４（Ｃ）は、回折格子Ｇ２がオフされ、かつ、回折格子Ｇ１及びＧ３がオンされた状態を示している。この場合、光源Ｌのうち回折格子Ｇ１に対応する部分から出射された光の一部は、回折格子Ｇ１で曲げられ、対応する領域ａ１に隣接する領域ａ２にも照射される。同様に、光源Ｌのうち回折格子Ｇ３に対応する部分から出射された光の一部は、回折格子Ｇ３で曲げられ、対応する領域ａ３に隣接する領域ａ２にも照射される。その結果、領域ａ２は、領域ａ１及びａ３と比べて、回折格子Ｇ１とＧ３からの光も照射されるために光を集中させることができ、より多い光量で照射される。

図４（Ｄ）は、回折格子Ｇ２がオンされ、かつ、回折格子Ｇ１及びＧ３がオフされた状態を示している。この場合、光源Ｌのうち回折格子Ｇ２に対応する部分から出射された光の一部は、回折格子Ｇ２で曲げられ、対応する領域ａ２に隣接する領域ａ１及びａ３にも照射される。その結果、領域ａ１及びａ３は、領域ａ２と比べて、回折格子Ｇ２からの光も照射されるために光を集中させることができ、より多い光量で照射される。

このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、当該対象領域に隣接する１つ以上の領域に対応する１つ以上の回折格子Ｇをオンにすればよい。本実施形態では、制御部１１は、後述する距離画像生成部１４により距離画像から特定された前景画素を含む対象領域（前景画素領域）の光量が増加するように、各回折格子Ｇのオン又はオフを制御する。

なお、前景画素が１つの対象領域ａに含まれる場合は、制御部１１は、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにすればよい。また、前景画素が複数の対象領域ａに含まれる場合は、制御部１１は、当該複数の対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにすればよい。

図２の説明に戻る。距離画像センサ１３は、対象空間からの反射光を、結像レンズ（図示せず）を介して受光し、画素毎に、照射時と受光時の位相差情報と、階調情報とを生成して、所定の撮像範囲の画像情報として出力する。距離画像センサ１３は、例えば、照射時と受光時の位相差情報と階調情報とを生成する複数の受光素子を、面状に配列することで構成することができる。

距離画像生成部１４は、距離画像センサ１３から出力される画像情報に含まれる画素毎の位相差情報を用いて、画素毎にその距離情報を算出する。そして、画素毎に距離情報と階調情報を含む入力距離画像を生成する。

また、距離画像生成部１４は、入力距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する。例えば、距離画像生成部１４は、対象が存在しないときに取得した対象空間の距離画像（背景のみを含む）と入力距離画像との、対応する画素の距離の差分を取り、差分がある部分を前景画素として抽出することができる。前景画素の抽出方法はこれに限定されない。例えば、距離が所定値未満の画素を前景画素として抽出してもよい。例えば、距離画像生成部１４は、背景画素の階調情報及び距離情報を所定値（例えば「１」）に設定することにより、入力距離画像のサイズ（縦横の画素数を指す、以下同様）を変更することなく、背景を消去する。

図５は、第１実施形態に係る、前景画素を抽出する方法の例を説明する図である。距離画像生成部１４は、入力距離画像（Ａ）のうち、事前に取得した対象空間の背景画素（Ｂ）に所定値を設定し（所定値に置換し）、出力距離画像（Ｃ）を生成する。入力距離画像（Ａ）と出力距離画像（Ｃ）は、同じ座標系及びサイズを有する。

なお、距離画像生成部１４は、出力距離画像に対して所定の圧縮処理を施してデータ量を削減してもよい。上記の例では、背景画素が同じ値に設定されるため、背景画素が連続する領域では圧縮率を高めることができる。距離画像生成部１４は、例えば、ＣＰＵ、ＲＡＭ等を含むマイクロコンピュータや、専用ハードウェア回路により実現することができる。

制御部１１は、あるフレームの距離画像から抽出された前景画素が、撮像範囲Ａ内のいずれの領域ａに含まれるかを判定する。そして、制御部１１は、次フレームの撮像行われる前に、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。例えば図３に示すように、前景画素が左下の対象領域ａに含まれる場合、制御部１１は、当該対象領域ａの上及び右の領域ａに対応する２つの回折格子Ｇをオンにする。このようにすることで、前景画素が含まれる領域の光量が増加し、次フレームの撮像において当該前景画素領域が他の領域よりも明るく撮像される。

通信部１５は、ネットワークＮに接続され、距離画像生成部１４から出力された距離画像を、姿勢推定装置２に送信する。通信部１５は、例えば、ＬＡＮ等の規格のネットワークインターフェイスにより実現することができる。

通信部２１は、ネットワークＮに接続され、各距離画像カメラ１から送信された距離画像を受信する。

距離画像受信部２２は、距離画像を、通信部２１を介して受信し、姿勢推定部２３に出力する。なお、距離画像受信部２２は、受信した距離画像に所定の圧縮処理が施されている場合、当該距離画像に対して所定の伸長処理を施してもよい。

姿勢推定部２３は、距離画像受信部２２から出力された距離画像を用いて、当該距離画像に含まれる人等の被写体の姿勢を推定する。姿勢推定処理を行うため、姿勢推定部２３は、特徴量算出部２４、部位識別部２５、及び関節識別部２６を含むことができる。

特徴量算出部２４は、距離画像を構成する各画素の距離情報を取得する。また、特徴量算出部２４は、前景画素を構成する画素（注目画素）毎に、特徴量を算出する。上述のように背景画素には所定値が設定されているため、前景画素は背景画素から区別することができる。特徴量の算出方法は、既存の技術を用いることができ、限定されない。例えば、注目画素とその周囲画素の距離の差を特徴量とすればよい。具体例としては、注目画素を中心とする縦９画素×横９画素の矩形領域から、注目画素とその周囲の８０画素それぞれとの距離の差を有する８０次元（２次元配列）の特徴量ベクトルを用いることができる。

部位識別部２５は、各注目画素が含まれる部位（例えば、頭、腕、手、胴体などの体のパーツ、関節は含まない）を識別する。部位の識別方法は、既存の技術を用いることができ、限定されない。例えば、特徴量閾値と部位ラベルを関連付けた決定木（識別器）に対して、注目画素の特徴量を入力することで、当該注目画素の部位ラベルを取得すればよい。部位ラベルとは、各部位の種類を示す情報などの、部位の識別子である。識別器には、例えば、ランダムフォレスト等の複数の決定木を用いることができ、予め学習したものを姿勢推定装置２の備える記憶装置に記憶しておけばよい。

関節識別部２６は、識別された各注目画素の部位ラベルを用いて、対象の関節位置を識別する。関節位置の識別方法は、既存の技術を用いることができ、限定されない。例えば、同一部位ラベルが付与された注目画素群である部位毎に、その重心位置（関節位置候補）を取得すればよい。重心位置の取得には、例えば、mean-shift法を用いることができる。また、例えば、直線距離や角度などの関節間の関係を定義した人体の関節モデルを用いて、各重心位置の関節モデルに対する整合性を評価し、最終的な各関節位置を決定すればよい。また、各関節位置の関節ラベルを決定してもよい。関節ラベルとは、例えば、首関節、手首関節、肩関節など関節の種類を示す情報などの、関節の識別子である。

出力部２７は、関節識別部２６により識別された関節位置を含む推定姿勢情報を出力する。関節位置は、例えば、距離画像と同じ座標系の位置座標情報である。推定姿勢情報は、各関節位置の距離情報、各関節位置の関節ラベル、関節同士を結ぶ線分情報等を含んでもよい。例えば、出力部２７は、通信部２１を介して推定姿勢情報を外部のコンピュータやストレージに送信してもよいし、各関節位置を示す画像情報を姿勢推定装置２の備えるディスプレイに表示させてもよい。出力部２７は、距離画像を出力してもよい。

図６は、第１実施形態に係る、姿勢推定装置を実現するコンピュータのハードウェア構成例を示す図である。姿勢推定装置２は、例えば図６に示すようなコンピュータ９０により実現することができる。コンピュータ９０は、例えば、サーバーコンピュータであるが、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ等のコンピュータ機器であってもよい。また、姿勢推定装置２は、複数のコンピュータ９０により構成されてもよい。

コンピュータ９０は、演算装置９１と、主記憶装置９２と、外部記憶装置９３と、通信装置９４と、読み書き装置９５と、入力装置９６と、出力装置９７とを含む。

演算装置９１は、例えば、ＣＰＵなどの演算ユニットである。主記憶装置９２は、例えば、ＲＡＭなどの記憶装置である。外部記憶装置９３は、例えば、ハードディスクやＳＳＤ（Solid State Drive）、あるいはフラッシュＲＯＭ（Read Only Memory）などの記憶装置である。通信装置９４は、ネットワークケーブルを介して有線通信を行う通信装置、アンテナを介して無線通信を行う通信装置を含む、情報を送受信する装置である。読み書き装置９５は、DVD（Digital Versatile Disk）、USB（Universal Serial Bus）メモリー等の記録媒体に情報を読み書きする装置である。入力装置９６は、キーボードやマウスなどのポインティングデバイス、タッチパネル、マイクロフォンなどを含む、入力情報を受け付ける装置である。出力装置９７は、ディスプレイ、プリンター、スピーカーなどを含む、出力情報を出力する装置である。主記憶装置９２及び外部記憶装置９３の少なくとも一部は、例えば、通信装置９４を介して接続されるネットワークＮ上のストレージにより実現されてもよい。

距離画像受信部２２、姿勢推定部２３、及び出力部２７（これらを「制御部」と呼んでもよい）は、例えば、演算装置９１が所定のアプリケーションプログラムを実行することによって実現することができる。このアプリケーションプログラムは、例えば、外部記憶装置９３内に記憶され、実行にあたって主記憶装置９２上にロードされ、演算装置９１によって実行される。通信部２１は、例えば、通信装置９４によって実現される。

図７は、第１実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。本図のフローチャートのステップＳ２〜Ｓ５、Ｓ１１〜Ｓ１３は、１フレームの距離画像毎に実行される。

まず、光源部１２は、撮像範囲Ａの全領域に光を均一に照射する（ステップＳ１）。具体的には、制御部１１は、光源部１２の複数の回折格子Ｇの全てをオフに設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。

それから、距離画像生成部１４は、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像を生成する（ステップＳ２）。それから、距離画像生成部１４は、ステップＳ２で生成した入力距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む出力距離画像を生成する（ステップＳ３）。それから、距離画像生成部１４は、ステップＳ３で生成した出力距離画像を、通信部１５を介して姿勢推定装置２に送信する（ステップＳ４）。

それから、制御部１１は、ステップＳ３において入力距離画像から前景画素が抽出されたか否かを判定する（ステップＳ５）。前景画素が抽出されていないと判定する場合（ステップＳ５：ＮＯ）、制御部１１は、処理をステップＳ１に戻す。

前景画素が抽出されたと判定する場合（ステップＳ５：ＹＥＳ）、光源部１２は、前景画素領域に光を集中させる（ステップＳ６）。具体的には、制御部１１は、ステップＳ３において入力距離画像から抽出された前景画素が、撮像範囲Ａ内のいずれの領域ａに含まれるかを判定する。また、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。そして、制御部１１は、処理をステップＳ２に戻す。

距離画像受信部２２は、ステップＳ４で距離画像カメラ１から送信された距離画像を、通信部２１を介して受信する（ステップＳ１１）。それから、姿勢推定部２３は、ステップＳ１１で受信された距離画像を用いて、当該距離画像に含まれる人等の被写体の姿勢を推定する（ステップＳ１２）。それから、出力部２７は、ステップＳ１２で姿勢推定部２３から出力された関節位置を含む推定姿勢情報を出力し（ステップＳ１３）、処理をステップＳ１１に戻す。

図８は、第１実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。図８のフローチャートは、図７のステップＳ１２の詳細を示している。

まず、特徴量算出部２４は、前景画素から注目画素を１つ選択し（ステップＳ１２１）、選択した注目画素と１つ以上の周囲画素の距離情報を用いて、当該注目画素の特徴量を算出する（Ｓ１２２）。それから、部位識別部２５は、算出された注目画素の特徴量を、予め用意した識別器に入力することで、当該注目画素の部位ラベルを取得する（ステップＳ１２３）。

それから、姿勢推定部２３は、前景画素を構成する全ての注目画素を選択したかどうかを判定する（ステップＳ１２４）。全画素を選択していないと判定した場合（ステップＳ１２４：ＮＯ）、姿勢推定部２３は、処理をステップＳ１２１に戻す。全画素を選択したと判定した場合（ステップＳ１２４：ＹＥＳ）、姿勢推定部２３は、処理をステップＳ１２５に進める。

関節識別部２６は、ステップＳ１２３で識別された各注目画素の部位ラベルを用いて、部位毎に、その重心位置（関節位置候補）を取得する（ステップＳ１２５）。最後に、関節識別部２６は、取得した各部位の重心位置に基づいて、最終的な１つ以上の関節位置を決定する（ステップＳ１２６）。

以上、本発明の第１実施形態について説明した。第１実施形態の姿勢推定システムは、撮像範囲の被写体（前景画素）が存在する領域の光量を増加させたうえで撮像を行う。これにより、距離画像上の前景画素領域は周囲の領域よりも明るく写るため、被写体の姿勢推定処理の推定精度を向上することができる。例えば人等の被写体が存在する場所が特定の場所に偏っている場合でも、推定精度を向上することができる。

また、第１実施形態の姿勢推定システムは、被写体（前景画素）が撮像範囲内で移動する場合であっても、移動した被写体が存在する領域の光量を増加させる。これにより、例えば人等の被写体が存在する場所が状況によって変化する場合でも、推定精度を向上することができる。

［第２実施形態］
第２実施形態は、光源部１２の構成が第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。

図９は、第２実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。

光源部１２Ａは、光源Ｌと、複数のミラーＭ（「方向調節部」ともいう）とを備える。本図の例では、光源部１２Ａは、３個のミラーＭ１〜Ｍ３を備える。

光源Ｌは、第１実施形態と同様である。光源Ｌから出射された光は、光源Ｌに向かい合うように配置された複数のミラーＭに反射され、対象空間に照射される。

複数のミラーＭは、それぞれ面状に構成され、光源Ｌと向かい合うように光の出射方向に配置される。複数のミラーＭは、２次元アレイ状に配列されてもよいし、１次元リニア状に配列されてもよい。図９では、説明を分かり易くするため、１次元リニア状の場合を示している。

各ミラーＭは、入射された光の反射方向を選択可能に構成され、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーにより実現することができる。各ミラーＭは、それぞれ個別に電気的にオン又はオフを切り替え可能である。ミラーＭのオン又はオフは、制御部１１によって制御される。オフされたミラーＭは、対応する領域ａの方向に光を反射する。オンされたミラーＭは、対応する領域ａに隣接する他の領域ａの方向に光を反射する。もちろん、各ミラーＭは、オフのときに対応する領域ａに隣接する他の領域ａの方向に光を反射する構成としてもよい。

全てのミラーＭがオフされている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。

図９（Ｂ）〜（Ｄ）に示すように、各ミラーＭ１〜Ｍ３は、領域ａ１〜ａ３それぞれに対応するように配置されており、光源Ｌから出射された光は、各ミラーＭ１〜Ｍ３で反射されて領域ａ１〜ａ３に照射される。

図９（Ｂ）は、ミラーＭ１〜Ｍ３の全てがオフされた状態を示している。この場合、光源ＬのうちミラーＭ１に対応する部分から出射された光は、ミラーＭ１で第１の方向に反射されて、対応する領域ａ１に照射される。同様に、光源ＬのうちミラーＭ２及びＭ３に対応する部分から出射された光は、ミラーＭ２及びＭ３で第１の方向に反射されて、対応する領域ａ２及びａ３に照射される。その結果、領域ａ１〜ａ３は、均一な光量で照射される。

図９（Ｃ）は、ミラーＭ１がオンされ、かつ、ミラーＭ２及びＭ３がオフされた状態を示している。この場合、光源ＬのうちミラーＭ１に対応する部分から出射された光は、ミラーＭ１で第２の方向に反射され、対応する領域ａ１に隣接する領域ａ２に照射される。その結果、領域ａ２は、領域ａ１及びａ３と比べて、光を集中させることができ、より多い光量で照射される。

図９（Ｄ）は、ミラーＭ２がオンされ、かつ、ミラーＭ１及びＭ３がオフされた状態を示している。この場合、光源ＬのうちミラーＭ２に対応する部分から出射された光は、ミラーＭ２で第２の方向に反射され、対応する領域ａ２に隣接する領域ａ３に照射される。その結果、領域ａ３は、領域ａ１及びａ２と比べて、光を集中させることができ、より多い光量で照射される。

このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、当該対象領域に隣接する１つ以上の領域に対応する１つ以上のミラーＭをオンにすればよい。本実施形態では、制御部１１は、距離画像から特定された前景画素を含む対象領域（前景画素領域）の光量が増加するように、各ミラーＭのオン又はオフを制御する。

なお、前景画素が１つの対象領域ａに含まれる場合は、制御部１１は、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上のミラーＭをオンにすればよい。また、前景画素が複数の対象領域ａに含まれる場合は、制御部１１は、当該複数の対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上のミラーＭをオンにすればよい。

図７のフローチャートのステップＳ１では、制御部１１は、光源部１２Ａの複数のミラーＭの全てをオフに設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。ステップＳ６では、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上のミラーＭをオンにする。

以上、本発明の第２実施形態について説明した。第２実施形態によっても、第１実施形態と同様の効果を得ることができる。

［第３実施形態］
第３実施形態は、光源部１２の構成が第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。

図１０は、第３実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。

光源部１２Ｂは、光源Ｌと、ハーフミラーＨと、ズームレンズＺ（「方向調節部」ともいう）とを備える。

光源Ｌは、第１実施形態と同様である。光源Ｌからの出射光は、光源Ｌの前に設置されたハーフミラーＨを通過して、ズームレンズＺに入射され、対象空間に照射される。

ハーフミラーＨは、光源ＬとズームレンズＺの間に設置される。ハーフミラーＨは、光源Ｌから入射された光を、ズームレンズＺへ出射する。また、ハーフミラーＨは、ズームレンズから入射された光を、距離画像センサ１３（図示せず）の方向へ反射する。

ズームレンズＺは、ハーフミラーＨから入射された光を、対象空間へ出射する。また、ズームレンズＺは、対象空間から入射された光を、ハーフミラーＨへと出射する。ズームレンズＺは、電気的及び機械的に焦点距離を変更可能に構成され、撮像範囲Ａ全体をカバーする第１の画角と、撮像範囲Ａの１つ以上の領域ａ（撮像範囲Ａよりも小さい範囲）をカバーする第２の画角とを選択可能に構成される。ズームレンズＺの画角の切り替えは、制御部１１によって制御される。

ズームレンズＺが第１の画角に設定されている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。

また、ズームレンズＺは、撮像範囲Ａ内の光を集光する１つ以上の対象領域ａを第２の画角内に収めるため、その位置を移動可能に光源部１２Ｂに設けられる。例えば、ズームレンズＺを撮像面に平行に移動可能に保持する保持機構（図示せず）を設ければよい。あるいは例えば、ズームレンズＺの撮像面に対する向きを変更可能に保持する保持機構（図示せず）を設ければよい。当該保持機構は、制御部１１によって制御される。

図１０（Ｂ）〜（Ｃ）に示すように、ズームレンズＺは、領域ａ１〜ａ３に対応するように配置されており、光源Ｌから出射された光は、ハーフミラーＨ及びズームレンズＺを通過して、領域ａ１〜ａ３に照射される。

図１０（Ｂ）は、ズームレンズＺが第１の画角に設定された状態を示している。この場合、光源Ｌから出射された光は、ズームレンズＺを通過して、領域ａ１〜ａ３に照射される。その結果、領域ａ１〜ａ３は、均一な光量で照射される。なお、距離画像センサ１３では、撮像範囲Ａ全体に対応する画像情報が生成される。

図１０（Ｃ）は、ズームレンズＺが１つの領域ａ２をカバーする第２の画角に設定され、かつ、領域ａ２が当該第２の画角内に入るように保持機構により移動された状態を示している。この場合、光源Ｌから出射された光は、ズームレンズＺを通過して、領域ａ２に照射される。その結果、領域ａ２は、領域ａ１及びａ３と比べて、光を集中させることができ、より多い光量で照射される。なお、距離画像センサ１３では、領域ａ２を撮像範囲Ａのサイズまで拡大した画像情報が生成される。

このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、ズームレンズＺを第２の画角に設定し、かつ、当該対象領域が当該画角内に入るようにズームレンズＺの位置を移動させればよい。本実施形態では、制御部１１は、距離画像から特定された前景画素を含む対象領域（前景画素領域）の光量が増加するように、ズームレンズＺ及び保持機構を制御する。

なお、前景画素が複数の領域ａに含まれる場合は、制御部１１は、ズームレンズＺを当該複数の領域ａをカバーする第２の画角に設定し、かつ、当該複数の領域ａが当該画角内に入るようにズームレンズＺの位置を移動させればよい。

図７のフローチャートのステップＳ１では、制御部１１は、光源部１２ＢのズームレンズＺを第１の画角に設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。ステップＳ６では、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、ズームレンズＺを当該１つの対象領域ａをカバーする第２の画角に設定し、かつ、当該１つ以上対象領域ａが当該画角内に入るようにズームレンズＺの位置を移動させればよい。

以上、本発明の第３実施形態について説明した。第３実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第３実施形態では、前景画素が含まれる領域を、拡大及び高解像度化した画像情報として取得することができるため、姿勢推定処理の推定精度を向上することができる。

［第４実施形態］
第４実施形態は、制御部１１、距離画像生成部１４、及び姿勢推定部２３の処理が、第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。

図１１は、第４実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。

距離画像生成部１４Ｃは、入力距離画像から前景画素を抽出せずに、出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する。

制御部１１Ｃは、前景画素を含む領域を示す領域情報を、通信部１５を介して姿勢推定装置２から受信する。領域情報は、例えば、撮像範囲Ａの１つ又は複数の領域ａの識別子を含むか、又は前景画素が存在しないことを示す識別子を含むことができる。制御部１１Ｃは、領域情報が示す１つ以上の領域ａの光量が増加するように、当該１つ以上の領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。

姿勢推定部２３Ｃは、姿勢推定処理の前段に、受信した距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む距離画像を生成する。前景画素を抽出する方法は、第１実施形態と同様である。また、姿勢推定部２３Ｃは、抽出した前景画素を含む領域を示す領域情報を生成し、通信部２１を介して距離画像カメラ１に送信する。

図１２は、第４実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。本図のフローチャートのステップＳ２２〜Ｓ２４、Ｓ３１〜Ｓ３４は、１フレームの距離画像毎に実行される。

まず、光源部１２は、撮像範囲Ａの全領域に光を均一に照射する（ステップＳ２１）。具体的には、制御部１１Ｃは、光源部１２の複数の回折格子Ｇの全てをオフに設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。

それから、距離画像生成部１４Ｃは、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像を生成する（ステップＳ２２）。それから、距離画像生成部１４Ｃは、ステップＳ２２で生成した入力距離画像から出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する（ステップＳ２３）。

それから、制御部１１Ｃは、姿勢推定装置２から領域情報を受信したか否かを判定する（ステップＳ２４）。領域情報を受信していないと判定する場合（ステップＳ２４：ＮＯ）、制御部１１Ｃは、処理をステップＳ２１に戻す。

領域情報を受信したと判定する場合（ステップＳ２４：ＹＥＳ）、光源部１２は、前景画素領域に光を集中させる（ステップＳ２５）。具体的には、制御部１１Ｃは、ステップＳ２４で受信した領域情報が示す１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。なお、領域情報が前景画素が存在しないことを示す場合、制御部１１Ｃは、全ての回折格子Ｇをオフにする。そして、制御部１１Ｃは、処理をステップＳ２２に戻す。

一方、距離画像受信部２２は、ステップＳ２３で距離画像カメラ１から送信された距離画像を、通信部２１を介して受信する（ステップＳ３１）。それから、姿勢推定部２３Ｃは、ステップＳ３１で受信された距離画像を用いて、当該距離画像に含まれる人等の被写体の姿勢を推定する（ステップＳ３２）。ステップＳ３２の詳細は、図８と同様である。ただし、姿勢推定部２３Ｃは、姿勢推定処理の前段に、ステップＳ３１で受信した距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む距離画像を生成する。

それから、姿勢推定部２３Ｃは、ステップＳ３２で抽出した前景画素領域を示す領域情報を生成し、通信部２１を介して距離画像カメラ１に送信する（ステップＳ３３）。それから、出力部２７は、ステップＳ３２で姿勢推定部２３から出力された関節位置を含む推定姿勢情報を出力し（ステップＳ３４）、処理をステップＳ３１に戻す。

以上、本発明の第４実施形態について説明した。第４実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第４実施形態では、前景領域の抽出処理は、姿勢推定装置２で実行される。これにより、距離画像カメラ１の処理負荷を低減することができる。

［第５実施形態］
第５実施形態は、光源部１２の構成が第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。

図１３および図１４は、第５実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。２つの圧電素子により光ファイバをＸ方向とＹ方向のそれぞれに独立して振動させることで、二次元平面をスキャンすることが可能であるが、説明を分かり易くするため、ＸとＹ方向のうちの一方のみを図示する。

光源部１２Ｄは、光源Ｌと、光ファイバ１２１と、光ファイバ１２２と、積層型圧電素子１２３とを備える。光ファイバ１２１及び１２２と積層型圧電素子１２３とは、「方向調節部」とも言える。光源Ｌは、第１実施形態と同様である。

光ファイバ１２１は、一端が光源Ｌに面し、他端が対象空間に面するように配置される。光ファイバ１２２は、光ファイバ１２１に隣接して接着されており、一端が距離画像センサ１３に面し、他端が対象空間に面するよう配置される。光ファイバ１２１及１２２は、光源Ｌ及び距離画像センサ１３に面する側が固定され、反対側が自由端となった片持ち梁状態で、光源部１２Ｄに設けられる。光源Ｌからの出射光は、光ファイバ１２１に入射され、光ファイバ１２１を通過して対象空間に照射される。被写体で反射された光は、光ファイバ１２２に入射され、光ファイバ１２２を通過して距離画像センサ１３に照射される。距離画像センサ１３はＸＹ方向に画素が配置された二次元センサ（エリア型センサ）でもよいが、光ファイバ１２２からセンサ面に照射される領域と同等の大きさ（つまり、光ファイバの太さ程度）であれば十分であり、また対象領域の二次元スキャンは圧電素子により実現されるため、距離画像センサ１３は一次元センサ（ライン型センサ、リニア型センサ）でもよく、その場合、より低画素数のため低コストで低消費電力で省実装面積という効果がある。

積層型圧電素子１２３は、光ファイバ１２１及び１２２の少なくとも一方に接する（あるいは中間部材を介して接する）ように設置される。本図の例では、積層型圧電素子１２３は、光ファイバ１２１に接している。積層型圧電素子１２３に印加する電圧を制御することで、光ファイバ１２１及び１２２を片持ち梁モードでたわみ振動させることができる。積層型圧電素子１２３への電圧の印加は、制御部１１によって制御される。

光ファイバ１２１及び１２２は、電圧が印加された積層型圧電素子１２３によって振動の振幅（図中の左右方向の矢印Ｓ）の大きさを変更可能に構成される。光ファイバ１２１及び１２２の振幅は、撮像範囲Ａ全体をカバーする第１の画角と、撮像範囲Ａの１つ以上の領域ａ（撮像範囲Ａよりも小さい範囲）をカバーする第２の画角とを選択可能に構成される。光ファイバ１２１及び１２２の振幅による画角の切り替えは、制御部１１によって制御される積層型圧電素子１２３の動作によって制御される。

光ファイバ１２１及び１２２の振幅が第１の画角に設定されている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。

撮像範囲Ａ全体を均一に照射する場合には、光ファイバ１２１及び１２２の振幅は、第１の画角に設定され、光源Ｌは、常にオンされる。一方、撮像範囲Ａのうち前景画素が含まれる対象領域ａを照射する場合には、光ファイバ１２１及び１２２の振幅は、第１の画角あるいは第２の画角に設定され、光源Ｌは、光ファイバ１２１及び１２２の先端部が対象領域ａを向いている間に光が照射されるようにオンされる。前景画素が複数の対象領域ａに含まれる場合は、光源Ｌは、光ファイバ１２１及び１２２が各対象領域ａを向いている間に光が照射されるようにオンされる。

図１３は、光ファイバ１２１及び１２２の振幅が１つの対象領域ａ３をカバーする第２の画角に設定された状態を示している。この場合、光源Ｌは、光ファイバ１２１及び１２２が対象領域ａ３を向いている間オンされ、光源Ｌから出射された光は、光ファイバ１２１を通過して領域ａ２に照射される。その結果、領域ａ３は、領域ａ１、ａ２、ａ４、及びａ５と比べて、光を集中させることができ、より多い光量で照射される。また、第１の画角で照射する場合と比べて、光ファイバ１２１及び１２２の振幅が小さいため、領域ａ３に照射される単位時間当たりの光量が増加する。なお、距離画像センサ１３では、領域ａ３を撮像範囲Ａのサイズまで拡大した画像情報が生成されてもよい。

図１４は、光ファイバ１２１及び１２２の振幅が１つの対象領域ａ４をカバーする第２の画角に設定された状態を示している。この場合、光源Ｌは、光ファイバ１２１及び１２２が対象領域ａ４を向いている間オンされ、光源Ｌから出射された光は、光ファイバ１２１を通過して領域ａ４に照射される。光源Ｌは、光ファイバ１２１及び１２２が領域ａ１、ａ２、ａ３、及びａ５を向いている間オフされる。その結果、領域ａ４は、領域ａ１、ａ２、ａ３、及びａ５と比べて、光を集中させることができ、より多い光量で照射される。また、第１の画角で照射する場合と比べて、光ファイバ１２１及び１２２の振幅が小さいため、領域ａ４に照射される単位時間当たりの光量が増加する。なお、距離画像センサ１３では、領域ａ４を撮像範囲Ａのサイズまで拡大した画像情報が生成されてもよい。

なお、光ファイバ１２１及び１２２の振幅が全領域ａ１〜ａ５をカバーする第１の画角に設定された場合、光源Ｌは、常にオンされる。光源Ｌから出射された光は、光ファイバ１２１及び１２２の周期的な振幅により、各領域ａ１〜ａ５に順次照射される。その結果、領域ａ１〜ａ５は、均一な光量で照射される。なお、距離画像センサ１３では、撮像範囲Ａ全体に対応する画像情報が生成される。

このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、光ファイバ１２１及び１２２の振幅を、対象領域をカバーする最小限の第２の画角（最小限の第２の画角が第１の画角と等しい場合もある）に設定し、光ファイバ１２１及び１２２が対象領域を向いている間に光源Ｌをオンする。また、制御部１１は、撮像範囲内の全領域を均一に照らす場合、光ファイバ１２１及び１２２の振幅を、全領域をカバーする第１の画角に設定し、光源Ｌを常にオンする。

図７のフローチャートのステップＳ１では、制御部１１は、光源部１２Ｄの光ファイバ１２１及び１２２の振幅を第１の画角に設定し、光源Ｌを常にオンすることにより、撮像範囲Ａの全領域を均一な光量で照射する。ステップＳ６では、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、光ファイバ１２１及び１２２の振幅を第２の画角に設定し、光ファイバ１２１及び１２２が各対象領域ａを向いている間に光源Ｌをオンすればよい。

なお、ある変形例では、制御部１１は、光ファイバ１２１及び１２２の振幅を第２の画角に設定した場合、光源Ｌを常にオンしてもよい。このようにしても、第１の画角で照射する場合と比べて、光ファイバ１２１及び１２２の振幅が小さいため、対象領域ａに照射される単位時間当たりの光量が増加する。また、他の変形例では、光を伝送できれば光ファイバに限らず他の光伝送部材を用いてもよいし、光伝送部材を振幅させることができれば積層型圧電素子に限らず他の駆動部を用いてもよい。

以上、本発明の第５実施形態について説明した。第５実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第５実施形態では、前景画素が含まれる領域を、拡大及び高解像度化した画像情報として取得することができるため、姿勢推定処理の推定精度を向上することができる。

本発明は、上述の複数の実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。各実施形態および各変形例の２つ以上を適宜組み合わせることもできる。

例えば、第２実施形態、第３実施形態、又は第５実施形態についても、第４実施形態と同様に、姿勢推定装置２が領域情報を送信し、距離画像カメラ１が受信した領域情報に基づいて光源部１２を制御するように構成してもよい。

また例えば、第１〜第３実施形態、及び第５実施形態の距離画像生成部１４は、入力距離画像から背景を消去せずに、前景画素を含む領域を切り出してもよい。このようにすれば、さらに距離画像のデータ量を減らすことができる。

また例えば、第４実施形態において、姿勢推定部２３Ｃは、距離画像から推定された各関節位置の座標情報を領域情報として送信し、制御部１１Ｃは、この座標情報を用いて各関節位置が含まれる撮像範囲内の領域ａを特定するようにしてもよい。

また例えば、第３実施形態において、光源部１２ＢのハーフミラーＨを省略し、距離画像センサ１３はズームレンズＺを介さない別のルートで対象空間からの光を受光してもよい。この場合、距離画像センサ１３では、撮像範囲Ａ全体に対応する画像情報が生成される。

また例えば、第１〜第５実施形態において、距離画像を蓄積するデータベースをネットワークＮに接続し、各距離画像カメラは距離画像を当該データベースに送信して蓄積し、姿勢推定装置は当該データベースから距離画像を取得するようにしてもよい。

なお、図２、及び図１１で示した距離画像カメラ及び姿勢推定装置の構成は、これらのデバイスの構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本発明が制限されることはない。距離画像カメラ及び姿勢推定装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理又は機能の分担は、本発明の目的及び効果を達成できるのであれば、図示したものに限られない。

また、図７〜８、及び図１２で示したフローチャートの処理単位は、距離画像カメラ及び姿勢推定装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本発明が制限されることはない。距離画像カメラ及び姿勢推定装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、本発明の目的及び効果を達成できるのであれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリーや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、姿勢推定システム、姿勢推定装置、及び距離画像カメラだけでなく、姿勢推定装置や距離画像カメラで実行されるコンピュータ読み取り可能なプログラム、姿勢推定システム、姿勢推定装置、又は距離画像カメラにおける方法、などの様々な態様で提供することができる。

１…距離画像カメラ、２…姿勢推定装置、１１…制御部、１１Ｃ…制御部、１２…光源部、１２Ａ…光源部、１２Ｂ…光源部、１２Ｄ…光源部１３…距離画像センサ、１４…距離画像生成部、１４Ｃ…距離画像生成部、１５…通信部、２１…通信部、２２…距離画像受信部、２３…姿勢推定部、２３Ｃ…姿勢推定部、２４…特徴量算出部、２５…部位識別部、２６…関節識別部、２７…出力部、９０…コンピュータ、９１…演算装置、９２…主記憶装置、９３…外部記憶装置、９４…通信装置、９５…読み書き装置、９６…入力装置、９７…出力装置、１２１…光ファイバ、１２２…光ファイバ、１２３…積層型圧電素子、ａ…領域、Ａ…撮像範囲、Ｆ…被写体、Ｇ…回折格子、Ｈ…ハーフミラー、Ｌ…光源、Ｍ…ミラー、Ｎ…ネットワーク、Ｚ…ズームレンズ

Claims (14)

1. 距離画像カメラと、前記距離画像カメラとネットワークを介して接続される姿勢推定装置とを含む姿勢推定システムであって、
   前記距離画像カメラは、
   対象空間に光を照射する光源部と、
   前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、
   前記生成された画像情報から距離画像を生成する距離画像生成部と、
   前記生成された距離画像を前記姿勢推定装置に送信する通信部と、を備え、
   前記姿勢推定装置は、
   前記距離画像カメラから前記距離画像を受信する距離画像受信部と、
   前記受信された距離画像から１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、
   前記生成された推定姿勢情報を出力する出力部と、を備え、
   前記距離画像カメラは、
   前記光源部の光の出射方向を調節する方向調節部を備える
   姿勢推定システム。
2. 請求項１に記載の姿勢推定システムであって、
   前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
   前記距離画像生成部は、前記距離画像から前景画素を抽出し、
   前記制御部は、前記撮像範囲内の前記抽出された前景画素を含む対象領域に光が集中するように前記方向調節部を制御する
   姿勢推定システム。
3. 請求項２に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記距離画像から背景画素を消去し、前記抽出された前景画素と前記消去された背景画素を含む前記距離画像を生成する
   姿勢推定システム。
4. 請求項１に記載の姿勢推定システムであって、
   前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
   前記姿勢推定部は、前記距離画像から前景画素を抽出し、前記撮像範囲内の当該前景画素を含む対象領域を示す領域情報を前記距離画像カメラに送信し、
   前記通信部は、前記姿勢推定装置から前記領域情報を受信し、
   前記制御部は、前記撮像範囲内の前記受信された領域情報が示す対象領域に光が集中するように前記方向調節部を制御する
   姿勢推定システム。
5. 姿勢推定装置とネットワークを介して接続される距離画像カメラであって、
   対象空間に光を照射する光源部と、
   前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、
   前記生成された画像情報から距離画像を生成する距離画像生成部と、
   前記生成された距離画像を前記姿勢推定装置に送信する通信部と、
   前記光源部の光の出射方向を調節する方向調節部と
   を備える距離画像カメラ。
6. 請求項５に記載の距離画像カメラであって、
   前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
   前記距離画像生成部は、前記距離画像から前景画素を抽出し、
   前記制御部は、前記撮像範囲内の前記抽出された前景画素を含む対象領域に光が集中するように前記方向調節部を制御する
   距離画像カメラ。
7. 請求項６に記載の距離画像カメラであって、
   前記距離画像生成部は、前記距離画像から背景画素を消去し、前記抽出された前景画素と前記消去された背景画素を含む前記距離画像を生成する
   距離画像カメラ。
8. 請求項５に記載の距離画像カメラであって、
   前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
   前記通信部は、前記撮像範囲内の前景画素を含む対象領域を示す領域情報を、前記姿勢推定装置から受信し、
   前記制御部は、前記撮像範囲内の前記受信された領域情報が示す対象領域に光が集中するように前記方向調節部を制御する
   距離画像カメラ。
9. 請求項５に記載の距離画像カメラであって、
   前記光源部は、光源を含み、
   前記方向調節部は、それぞれ前記光源に向かい合って設けられる複数の回折格子を含み、前記複数の回折格子は、それぞれ第１の出射方向又は第２の出射方向のいずれかに前記光源からの光の出射方向を切り替える
   距離画像カメラ。
10. 請求項５に記載の距離画像カメラであって、
    前記光源部は、光源を含み、
    前記方向調節部は、それぞれ前記光源に向かい合って設けられる複数のミラーを含み、前記複数のミラーは、それぞれ第１の出射方向又は第２の出射方向のいずれかに前記光源からの光の反射方向を切り替える
    距離画像カメラ。
11. 請求項５に記載の距離画像カメラであって、
    前記光源部は、光源を含み、
    前記方向調節部は、前記光源に向かい合って設けられるズームレンズを含み、前記ズームレンズは、第１の画角又は第２の画角のいずれかに画角を切り替えることにより前記光源からの光の出射方向を切り替える
    距離画像カメラ。
12. 請求項１１に記載の距離画像カメラであって、
    前記ズームレンズの位置又は向きを変更可能に前記ズームレンズを保持する保持機構
    を備える距離画像カメラ。
13. 請求項５に記載の距離画像カメラであって、
    前記光源部は、光源を含み、
    前記方向調節部は、一端が前記光源に面し他端が自由端となるように設けられた光伝送部を含み、前記光伝送部の前記自由端を振幅させることで前記光源からの光の出射方向を切り替える
    距離画像カメラ。
14. 対象空間に光を照射する光源部と、前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、前記生成された画像情報から距離画像を生成する距離画像生成部と、前記生成された距離画像を送信する通信部と、前記光源部の光の出射方向を調節する方向調節部と、を備える距離画像カメラからネットワークを介して前記距離画像を受信する距離画像受信部と、
    前記受信された距離画像から１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、
    前記生成された推定姿勢情報を出力する出力部と、を備え、
    前記姿勢推定部は、前記距離画像から前景画素を抽出し、前記撮像範囲内の当該前景画素を含む対象領域を示す情報であって当該対象領域に光が集中するように光の出射方向を制御させるための領域情報を前記距離画像カメラに送信する
    姿勢推定装置。

Images