JP2021068088A - 画像処理装置、コンピュータプログラム、および画像処理システム - Google Patents

Abstract

【課題】撮像装置により取得された画像に写り込んだ人物の動作の判別精度を高めることができる画像処理装置、コンピュータプログラム及び画像処理システムを提供する。【解決手段】画像処理システム１０において、画像処理装置は、受付部と処理部を備えている。受付部は、被写体としての人物３０が写り込んだ画像に対応する画像データを受け付ける。処理部は、画像データに基づいて、人物３０の胸骨特徴点と仙骨特徴点を検出し、両特徴点を結ぶ直線に沿う方向に延びる軸を設定し、軸を基準として被写体としての人物３０の動作を判別する。【選択図】図１

Description

本発明は、画像処理装置、および当該画像処理装置の処理部により実行されるコンピュータプログラムに関連する。本発明は、当該画像処理装置を用いた画像処理システムにも関連する。

例えば特許文献１に開示されているように、撮像装置により取得された画像に写り込んだ人物の動作を判別し、当該動作に関連付けられた所望の処理を実行する技術が知られている。

特開２００１−３０６２４３号公報

本発明の目的は、撮像装置により取得された画像に写り込んだ人物の動作の判別精度を高めることである。

上記の目的を達成するための一態様は、画像処理装置であって、
人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
前記画像データに基づいて、前記人物の身体における二つの特徴的な部分に対応する第一特徴点と第二特徴点を検出し、当該第一特徴点と当該第二特徴点を結ぶ直線に沿う方向に延びる第一座標軸を設定し、当該第一座標軸を基準として前記人物の動作を判別する処理部と、
を備えている。

上記の目的を達成するための一態様は、画像処理装置の処理部によって実行されるコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
人物が写り込んだ画像に対応する画像データを受け付けさせ、
前記画像データに基づいて、前記人物の身体における二つの特徴的な部分に対応する第一特徴点と第二特徴点を検出させ、
前記第一特徴点と前記第二特徴点を結ぶ直線に沿う方向に延びる第一座標軸を設定させ、
前記第一座標軸を基準として前記人物の動作を判別させる。

上記の目的を達成するための一態様は、画像処理システムであって、
人物が写り込んだ画像に対応する画像データを出力する撮像装置と、
前記画像データに基づいて、前記人物の身体における二つの特徴的な部分に対応する第一特徴点と第二特徴点を検出し、当該第一特徴点と当該第二特徴点を結ぶ直線に沿う方向に延びる第一座標軸を設定し、当該第一座標軸を基準として前記人物の動作を判別する画像処理装置とを備えている。

上記の各態様に係る構成によれば、撮像装置の視野（撮像領域）内を移動しながら動作を行なっている人物について、当該動作のみを抽出することが可能になる。撮像領域内の人物の移動は、画像に写り込んだ当該人物の当該画像の背景との相対位置の変化として捉えられる。画像の背景は、画像について設定された固定座標軸に対応づけられうる。他方、撮像領域内の人物の動作は、画像に写り込んだ人物の身体部分同士の相対位置の変化として捉えられる。これら身体部分のうち特徴的な部分として選ばれた第一特徴点と第二特徴点に基づいて設定された第一座標軸の延びる方向は、画像に写り込んだ人物の姿勢に応じて変化する。また、第一座標軸の位置は、画像に写り込んだ人物の位置に応じて変化する。この第一次座標軸を基準にすることにより、人物の身体部分同士の相対位置の変化を画像の背景との相対位置の変化から分離できる。したがって、撮像装置により取得された画像に写り込んだ人物の動作の判別精度を高めることができる。

上記の目的を達成するための一態様は、画像処理装置であって、
人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
前記画像データに基づいて、前記人物の身体において第一方向に沿って並ぶように位置している二つの特徴的部分に対応する第一特徴点と第二特徴点を検出し、当該人物の身体において当該第一方向と交差する第二方向に沿って並ぶように位置している二つの特徴的部分に対応する第三特徴点と第四特徴点を検出し、当該第一特徴点および当該第二特徴点の間の距離と、当該第三特徴点および当該第四特徴点の間の距離との比の値を、前記人物の特徴量として取得する処理部と、
を備えている。

上記の目的を達成するための一態様は、画像処理装置の処理部によって実行されるコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
人物が写り込んだ画像に対応する画像データを受け付けさせ、
前記画像データに基づいて、前記人物の身体において第一方向に沿って並ぶように位置している二つの特徴的部分に対応する第一特徴点と第二特徴点を検出させ、
前記画像データに基づいて、前記人物の身体において前記第一方向と交差する第二方向に沿って並ぶように位置している二つの特徴的部分に対応する第三特徴点と第四特徴点を検出させ、
前記第一特徴点および前記第二特徴点の間の距離と、前記第三特徴点および前記第四特徴点の間の距離との比の値を、前記人物の特徴量として取得させる。

上記の目的を達成するための一態様は、画像処理システムであって、
人物が写り込んだ画像に対応する画像データを出力する撮像装置と、
前記画像データに基づいて、前記人物の身体において第一方向に沿って並ぶように位置している二つの特徴的部分に対応する第一特徴点と第二特徴点を検出し、当該人物の身体において当該第一方向と交差する第二方向に沿って並ぶように位置している二つの特徴的部分に対応する第三特徴点と第四特徴点を検出し、当該第一特徴点および当該第二特徴点の間の距離と、当該第三特徴点および当該第四特徴点の間の距離との比の値を、前記人物の特徴量として取得する画像処理装置と、
を備えている。

撮像装置により取得される画像に写り込む人物は、常に撮像装置に対して正面を向いて直立しているとは限らない。処理部は、画像に写り込んだ人物について取得された上記の比の値を、当該人物の姿勢を判別するために使用しうる。例えば、画像に写り込んだ人物が前に屈んでいる場合、撮像装置から見た第一特徴点と第二特徴点の間の距離が直立時よりも短くなる。あるいは、画像に写り込んだ人物が身体の正面を撮像装置に対して斜めに向けて立っている場合、身体の正面が撮像装置と正対しているときよりも撮像装置から見た第三特徴点と第四特徴点の間の距離が短くなる。結果として上記の比の値が増減するので、当該変化に基づいて画像に写り込んだ人物の姿勢を正確に判別できる。より正確に判別された人物の姿勢に基づいて当該人物の動作が判別されるので、動作の判別精度を高めることも容易になる。

一実施形態に係る画像処理システムの機能構成を例示している。 図１の画像処理システムが車両に搭載された例を示している。 被写体に骨格モデルが適用される処理の流れを例示している。 被写体に骨格モデルが適用される処理の流れを例示している。 図１の処理部により行なわれうる処理の一例を例示している。 図１の処理部により行なわれうる処理の一例を例示している。 図１の処理部により行なわれうる処理の一例を例示している。

添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図１は、一実施形態に係る画像処理システム１０の機能構成を例示している。画像処理システム１０は、撮像装置１１と画像処理装置１２を含んでいる。

撮像装置１１は、予め定められた撮像領域の画像を取得する装置である。撮像装置１１としては、カメラやイメージセンサが例示されうる。撮像装置１１は、取得した画像に対応する画像データＤＩを出力するように構成されている。画像データＤＩは、アナログデータでもよいし、デジタルデータでもよい。

画像処理装置１２は、受付部１２１、処理部１２２、及び出力部１２３を備えている。

受付部１２１は、画像データＤＩを受け付けるインターフェースとして構成されている。画像データＤＩがアナログデータである場合、受付部１２１は、Ａ／Ｄコンバータを含む適宜の変換回路を含みうる。

処理部１２２は、デジタルデータの形態である画像データＤＩを処理の対象とする。処理部１２２によって行なわれる処理の詳細については後述する。処理部１２２は、当該処理の結果に基づいて、出力部１２３からの制御データＤＣの出力を許容する。制御データＤＣは、各種の被制御装置の動作を制御するデータである。制御データＤＣは、デジタルデータでもよいし、アナログデータでもよい。制御データＤＣがアナログデータである場合、出力部１２３は、Ｄ／Ａコンバータを含む適宜の変換回路を含みうる。

画像処理システム１０は、例えば図２に示されるように、車両２０に搭載されうる。この場合、上記の制御データＤＣにより動作を制御される被制御装置の例としては、車両２０におけるドアの開閉装置、ドアの施錠装置、空調装置、照明装置、映像音響設備などが挙げられる。

撮像装置１１は、所望の撮像領域に応じて車両２０における適宜の位置に配置される。画像処理装置１２は、車両２０内の適宜の位置に配置される。本例においては、撮像装置１１は、車両２０の右側部に配置されており、車両２０の右側方に撮像領域Ａを規定している。換言すると、撮像装置１１は、撮像領域Ａの画像を取得している。

撮像領域Ａ内には様々な被写体３０が進入しうる。撮像領域Ａに被写体３０が進入すると、撮像装置１１により取得される画像に被写体３０が写り込む。画像に写り込んだ被写体３０は、画像データＤＩに反映される。

画像処理システム１０は、被写体３０が人物である場合において、当該人物の骨格を推定する機能を有している。

上記の機能を実現するために処理部１２２は、撮像装置１１により取得された画像に写り込んだ被写体３０に骨格モデルを適用する処理を、画像データＤＩに対して行なうように構成されている。

図３と図４を参照しつつ、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０に骨格モデルが適用される処理の一例を説明する。本例では、画像Ｉにおける左右方向および上下方向は、それぞれＸ方向およびＹ方向と規定されている。画像Ｉにおける任意の点の位置は、Ｘ方向に延びるＸ軸とＹ方向に延びるＹ軸により形成されるＸ−Ｙ座標平面上の位置として特定されうる。

画像処理装置１２の処理部１２２は、受付部１２１が受け付けた画像データＤＩに基づいて、画像Ｉ中に含まれる人物である尤度が高い物体を検出する処理を実行する。当該処理は、周知の手法を用いて適宜に行なわれうるので、詳細な説明は省略する。

続いて、処理部１２２は、被写体３０が人物であるとの仮定に基づき、複数の特徴点を検出する。画像Ｉに写り込んだ被写体３０から特徴的な複数の身体部位に対応する複数の特徴点を検出する処理は、周知の手法を用いて適宜に行なわれうるので、詳細な説明は省略する。画像Ｉにおける各特徴点の位置は、Ｘ−Ｙ座標平面上の座標として特定される。

本例においては、左肩特徴点ＬＵ１、左肘特徴点ＬＵ２、左手首特徴点ＬＵ３、右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、右手首特徴点ＲＵ３、左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、左足首特徴点ＬＬ３、右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、右足首特徴点ＲＬ３に加えて、左目特徴点ＬＹ、右目特徴点ＲＹ、鼻特徴点ＮＳ、口特徴点ＭＳ、左耳特徴点ＬＡ、および右耳特徴点ＲＡが検出されている。

左肩特徴点ＬＵ１は、人体の左肩に対応する点である。左肘特徴点ＬＵ２は、人体の左肘に対応する点である。左手首特徴点ＬＵ３は、人体の左手首に対応する点である。右肩特徴点ＲＵ１は、人体の右肩に対応する点である。右肘特徴点ＲＵ２は、人体の右肘に対応する点である。右手首特徴点ＲＵ３は、人体の右手首に対応する点である。

左腰特徴点ＬＬ１は、人体の腰の左部に対応する点である。左膝特徴点ＬＬ２は、人体の左膝に対応する点である。左足首特徴点ＬＬ３は、人体の左足首に対応する点である。右腰特徴点ＲＬ１は、人体の腰の右部に対応する点である。右膝特徴点ＲＬ２は、人体の右膝に対応する点である。右足首特徴点ＲＬ３は、人体の右足首に対応する点である。

左目特徴点ＬＹは、人体の左目に対応する特徴点である。右目特徴点ＲＹは、人体の右目に対応する特徴点である。鼻特徴点ＮＳは、人体の鼻に対応する特徴点である。口特徴点ＭＳは、人体の口に対応する特徴点である。左耳特徴点ＬＡは、人体の左耳に対応する特徴点である。右耳特徴点ＲＡは、人体の右耳に対応する特徴点である。

続いて、図４に例示されるように、処理部１２２は、複数の特徴点同士を所定の規則に基づいて接続する処理を行なう。具体的には、下記に列挙される特徴点同士が、骨格線により接続される。
・左肩特徴点ＬＵ１と左肘特徴点ＬＵ２
・左肘特徴点ＬＵ２と左手首特徴点ＬＵ３
・右肩特徴点ＲＵ１と右肘特徴点ＲＵ２
・右肘特徴点ＲＵ２と右手首特徴点ＲＵ３
・左腰特徴点ＬＬ１と左膝特徴点ＬＬ２
・左膝特徴点ＬＬ２と左足首特徴点ＬＬ３
・右腰特徴点ＲＬ１と右膝特徴点ＲＬ２
・右膝特徴点ＲＬ２と右足首特徴点ＲＬ３
・左肩特徴点ＬＵ１と右肩特徴点ＲＵ１
・左腰特徴点ＬＬ１と右腰特徴点ＲＬ１

加えて、左目特徴点ＬＹ、右目特徴点ＲＹ、鼻特徴点ＮＳ、口特徴点ＭＳ、左耳特徴点ＬＡ、および右耳特徴点ＲＡに基づいて、顔特徴点Ｆが定められる。これに加えてあるいは代えて、頭特徴点Ｈが定められてもよい。顔特徴点Ｆは、顔の位置や向きに係る情報を提供しうる。頭特徴点Ｈは、頭の中心部の推定位置を表しうる。人体の左目特徴点ＬＹ、右目特徴点ＲＹ、鼻特徴点ＮＳ、口特徴点ＭＳ、左耳特徴点ＬＡ、および右耳特徴点ＲＡに基づいて顔特徴点Ｆや頭特徴点Ｈを定める処理は、周知の手法を用いて適宜に行なわれうるので、詳細な説明は省略する。

続いて、処理部１２２は、胸骨特徴点Ｓ１と仙骨特徴点Ｓ２を定める処理を行なう。本例においては、胸骨特徴点Ｓ１は、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１を結ぶ骨格線の中点に対応する位置として定められる。仙骨特徴点Ｓ２は、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１を結ぶ骨格線の中点に対応する位置として定められる。

続いて、処理部１２２は、胸骨特徴点Ｓ１と仙骨特徴点Ｓ２を骨格線で接続し、顔特徴点Ｆと胸骨特徴点Ｓ１を骨格線で接続する。これにより、被写体３０としての人物への骨格モデルの適用が完了する。

処理部１２２は、各特徴点の位置や各骨格線の位置、長さ、傾きなどに基づいて、被写体３０としての人物の姿勢を判別できる。また、処理部１２２は、各特徴点の位置や各骨格線の位置、長さ、傾きなどの経時変化に基づいて、被写体３０としての人物の動作を判別できる。

次に、図４と図５を参照しつつ、人物の動作の判別精度を高めるために処理部１２２が行ないうる処理の一例を説明する。

図４に例示されるように、処理部１２２は、胸骨特徴点Ｓ１と仙骨特徴点Ｓ２を結ぶ骨格線に沿う方向に延びるＢＹ軸を設定するように構成されている。胸骨特徴点Ｓ１は、第一特徴点の一例である。仙骨特徴点Ｓ２は、第二特徴点の一例である。胸骨特徴点Ｓ１と仙骨特徴点Ｓ２を結ぶ骨格線は、第一特徴点と第二特徴点を結ぶ直線の一例である。ＢＹ軸は、第一座標軸の一例である。ＢＹ軸の原点Ｏは、胸骨特徴点Ｓ１と仙骨特徴点Ｓ２を結ぶ骨格線上の適宜の位置に設定される。

上記のように設定されたＢＹ軸の延びる方向は、画像Ｉに写り込んだ人物の姿勢に応じて変化する。また、上記のように設定されたＢＹ軸の位置は、画像Ｉに写り込んだ人物の位置に応じて変化する。処理部１２２は、ＢＹ軸を基準として画像Ｉに写り込んだ人物の動作を判別するように構成されている。

例えば、図４に例示される画像Ｉに写り込んだ人物は直立しているので、当該人物について設定されたＢＹ軸の延びる方向は、画像Ｉの上下方向に対応するＹ軸の延びる方向と一致している。他方、図５に例示される画像Ｉに写り込んだ人物の胸骨特徴点Ｓ１と仙骨特徴点Ｓ２を結ぶ骨格線は、鉛直方向に対して傾いているので、当該人物について設定されたＢＹ軸の延びる方向は、Ｙ軸の延びる方向と一致していない。また、ＢＹ軸の位置は、画像Ｉに写り込んだ人物とともに移動している。

このような構成によれば、撮像装置１１の視野（撮像領域Ａ）内を移動しながら動作を行なっている人物について、当該動作のみを抽出することが可能になる。撮像領域Ａ内の人物の移動は、画像Ｉに写り込んだ当該人物の画像Ｉの背景との相対位置の変化として捉えられる。画像Ｉの背景は、画像Ｉについて固定されたＹ軸に対応づけられうる。他方、撮像領域Ａ内の人物の動作は、画像Ｉに写り込んだ人物の身体部分同士の相対位置の変化として捉えられる。これら身体部分のうち特徴的な部分として選ばれた胸骨特徴点Ｓ１と仙骨特徴点Ｓ２に基づいて設定されたＢＹ軸を基準にすることにより、人物の身体部分同士の相対位置の変化を画像Ｉの背景との相対位置の変化から分離できる。

例えば、右手を掲げながら撮像領域Ａ内を右方に移動している人物の右手首特徴点ＲＵ３と、撮像領域Ａ内で立ち止まりつつ右手を右方に振っている人物の右手首特徴点ＲＵ３とは、ともに画像Ｉ内を左方に移動するように写り込む。画像Ｉについて設定されたＹ軸を基準とすると、当該人物の右手の動きを判別することが難しい。しかしながら、上記の構成によれば、当該人物の胴体に対する右手の相対移動の有無を判別できる。したがって、撮像装置１１により取得された画像Ｉに写り込んだ人物の動作の判別精度を高めることができる。

処理部１２２は、胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１に基づいて、ＢＹ軸に沿う距離を正規化するように構成されうる。胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１は、Ｘ−Ｙ座標平面における両特徴点の座標間の距離として特定されうる。胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１と、ＢＹ軸に沿う距離の正規化された値との関係は、適宜に定められうる。

画像Ｉに写り込む人物ごとに異なる胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１が、設定されるＢＹ軸においては同じ値をもつ。したがって、処理部１２２によってその後行なわれるＢＹ軸に基づく動作の判別に係る処理負荷の増大を抑制できる。また、正規化された胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１に基づいて、人物の動作の定性的な評価が可能になる。

本例では、ＢＹ軸を設定するために胸骨特徴点Ｓ１と仙骨特徴点Ｓ２が用いられている。胸骨と仙骨の各々は、人物の身体の正中線上に位置する部分である。

人物の身体の正中線上に位置する二つの部分の位置関係は、四肢の状態によって変化しにくい。したがって、両部分を結ぶ直線は、ＢＹ軸の基準として適している。このように設定されたＢＹ軸を撮像装置１１から見た人物の動作を判別する基準として用いることにより、判別精度を高めることが容易になる。

よって、人物の身体の正中線上に位置する部分に対応する特徴点であれば、ＢＹ軸を設定するための基準となりうる。そのような特徴点の例としては、首、臍、体中心、体重心などが挙げられる。

図４に例示されるように、処理部１２２は、ＢＹ軸に直交する向きに延びるＢＸ軸を設定しうる。ＢＸ軸は、第二座標軸の一例である。この場合、処理部１２２は、ＢＸ軸に沿って並ぶように位置している左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間の距離Ｌ２を取得しうる。左肩特徴点ＬＵ１は、第三特徴点の一例である。右肩特徴点ＲＵ１は、第四特徴点の一例である。

処理部１２２は、胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１に対する左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間の距離Ｌ２の比の値（Ｌ１／Ｌ２）を、画像Ｉに写り込んだ人物の特徴量として取得するように構成されうる。

撮像装置１１により取得される画像Ｉに写り込む被写体３０としての人物は、常に撮像装置１１に対して正面を向いて直立しているとは限らない。処理部１２２は、画像Ｉに写り込んだ人物について取得された上記の比の値（Ｌ１／Ｌ２）を、当該人物の姿勢を判別するために使用する。

図６は、前に屈んでいる人物が画像Ｉに写り込んでいる例を示している。この場合、撮像装置１１から見た胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１が直立時よりも短くなるので、図４に例示されるほぼ直立の姿勢と比較すると、比の値（Ｌ１／Ｌ２）は小さくなる傾向にある。

図７は、撮像装置１１に対して身体の正面を斜めに向けて立っている人物が画像Ｉに写り込んでいる例を示している。この場合、身体の正面が撮像装置１１と正対しているときよりも撮像装置１１から見た左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間の距離Ｌ２が短くなるので、図４に例示される身体の正面が撮像装置１１と正対している姿勢と比較すると、比の値（Ｌ１／Ｌ２）は大きくなる傾向にある。

したがって、処理部１２２は、比の値（Ｌ１／Ｌ２）を参照することによって、画像Ｉに写り込んだ人物の姿勢を、より正確に判別できる。より正確に判別された人物の姿勢に基づいて当該人物の動作が判別されるので、動作の判別精度を高めることも容易になる。

なお、比の値（Ｌ１／Ｌ２）の大小に係る評価は、図４に例示されるように画像Ｉに写り込んだ人物がほぼ直立時にある時点で取得された値を基準としてもよいし、予め定められた値を基準としてもよい。画像Ｉに写り込む人物の体格は様々であるが、比の値（Ｌ１／Ｌ２）は概ね一定の範囲に収まることが知られている。基準値は、この範囲に基づいて定められうる。

本例においては、ＢＸ軸に沿う距離Ｌ２を取得するために左肩特徴点ＬＵ１と右肩特徴点ＲＵ１が用いられている。左肩特徴点ＬＵ１の位置と右肩特徴点ＲＵ１の位置は、四肢の状態や上半身の前傾角度によらず比較的安定しているので、距離Ｌ２の基準とする上では有利である。

しかしながら、ＢＸ軸に沿って並ぶように位置している二つの特徴点であれば、距離Ｌ２を取得するための基準となりうる。そのような二つの特徴点の例としては、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１が挙げられる。

上記のように設定されたＢＹ軸とＢＸ軸により、ＢＸ−ＢＹ座標平面が形成されうる。この場合、図４と図５に例示されるように、当該座標平面の原点Ｏは、胸骨特徴点Ｓ１上に配置されることが好ましい。胸骨特徴点Ｓ１は、人物の四肢の状態によらずに比較的高い安定性で検出されうる。このような点を座標平面の原点として選ぶことにより、ＢＹ軸とＢＸ軸の少なくとも一方に基づいてなされる人物の動作の判別精度を高めることが容易になる。

上記のような機能を有する処理部１２２は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。汎用マイクロプロセッサは、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している記憶媒体の一例である。

処理部１２２は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶している記憶媒体の一例である。処理部１２２は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。

図４、図６、および図７を参照して説明した比の値（Ｌ１／Ｌ２）を取得する処理を行なうにあたっては、ＢＹ軸およびＢＸ軸の設定は必須ではない。すなわち、撮像装置１１により取得された画像Ｉに写り込んだ胸骨特徴点Ｓ１と仙骨特徴点Ｓ２の間の距離Ｌ１、および左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間の距離Ｌ２は、画像Ｉについて設定されたＸ−Ｙ座標平面上の距離として取得されうる。

画像処理システム１０は、車両２０以外の移動体にも搭載されうる。移動体の例としては、鉄道、航空機、船舶などが挙げられる。当該移動体は、運転者を必要としなくてもよい。撮像装置１１の撮像領域Ａは、移動体の内部に設定されてもよい。

画像処理システム１０は、車両２０などの移動体に搭載されることを要しない。画像処理システム１０は、住宅や施設における監視装置、施錠装置、空調装置、照明装置、映像音響設備などの動作を制御するために使用されうる。

１０：画像処理システム、１１：撮像装置、１２：画像処理装置、１２１：受付部、１２２：処理部、３０：被写体としての人物、Ｓ１：胸骨特徴点、Ｓ２：仙骨特徴点、ＬＵ１：左肩特徴点、ＲＵ１：右肩特徴点、Ｌ１：胸骨特徴点と仙骨特徴点の間の距離、Ｌ２：左肩特徴点と右肩特徴点の間の距離

Claims (11)

1. 人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
   前記画像データに基づいて、前記人物の身体における二つの特徴的な部分に対応する第一特徴点と第二特徴点を検出し、当該第一特徴点と当該第二特徴点を結ぶ直線に沿う方向に延びる第一座標軸を設定し、当該第一座標軸を基準として前記人物の動作を判別する処理部と、
   を備えている、
   画像処理装置。
2. 前記処理部は、前記第一特徴点と前記第二特徴点の間の距離に基づいて、前記第一座標軸に沿う距離を正規化する、
   請求項１に記載の画像処理装置。
3. 前記処理部は、前記人物の身体の正中線上に位置する部分を、前記第一特徴点と前記第二特徴点の各々に対応づける、
   請求項１または２に記載の画像処理装置。
4. 前記処理部は、
   前記人物の身体において前記第一座標軸と直交する第二座標軸に沿って並ぶように位置している二つの特徴点に対応する第三特徴点と第四特徴点を検出し、
   前記第一特徴点および前記第二特徴点の間の距離と、前記第三特徴点および前記第四特徴点の間の距離との比の値を、前記人物の特徴量として取得する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
   前記画像データに基づいて、前記人物の身体において第一方向に沿って並ぶように位置している二つの特徴的部分に対応する第一特徴点と第二特徴点を検出し、当該人物の身体において当該第一方向と交差する第二方向に沿って並ぶように位置している二つの特徴的部分に対応する第三特徴点と第四特徴点を検出し、当該第一特徴点および当該第二特徴点の間の距離と、当該第三特徴点および当該第四特徴点の間の距離との比の値を、前記人物の特徴量として取得する処理部と、
   を備えている、
   画像処理装置。
6. 前記処理部は、前記人物の正中線上に位置する部分を、前記第一特徴点と前記第二特徴点の各々に対応づける、
   請求項５に記載の画像処理装置。
7. 前記第三特徴点は、前記人物の左肩に対応する特徴点であり、
   前記第四特徴点は、前記人物の右肩に対応する特徴点である、
   請求項５または６に記載の画像処理装置。
8. 画像処理装置の処理部によって実行されるコンピュータプログラムであって、
   実行されることにより、前記画像処理装置に、
   人物が写り込んだ画像に対応する画像データを受け付けさせ、
   前記画像データに基づいて、前記人物の身体における二つの特徴的な部分に対応する第一特徴点と第二特徴点を検出させ、
   前記第一特徴点と前記第二特徴点を結ぶ直線に沿う方向に延びる第一座標軸を設定させ、
   前記第一座標軸を基準として前記人物の動作を判別させる、
   コンピュータプログラム。
9. 画像処理装置の処理部によって実行されるコンピュータプログラムであって、
   実行されることにより、前記画像処理装置に、
   人物が写り込んだ画像に対応する画像データを受け付けさせ、
   前記画像データに基づいて、前記人物の身体において第一方向に沿って並ぶように位置している二つの特徴的部分に対応する第一特徴点と第二特徴点を検出させ、
   前記画像データに基づいて、前記人物の身体において前記第一方向と交差する第二方向に沿って並ぶように位置している二つの特徴的部分に対応する第三特徴点と第四特徴点を検出させ、
   前記第一特徴点および前記第二特徴点の間の距離と、前記第三特徴点および前記第四特徴点の間の距離との比の値を、前記人物の特徴量として取得させる、
   コンピュータプログラム。
10. 人物が写り込んだ画像に対応する画像データを出力する撮像装置と、
    前記画像データに基づいて、前記人物の身体における二つの特徴的な部分に対応する第一特徴点と第二特徴点を検出し、当該第一特徴点と当該第二特徴点を結ぶ直線に沿う方向に延びる第一座標軸を設定し、当該第一座標軸を基準として前記人物の動作を判別する画像処理装置とを備えている、
    画像処理システム。
11. 人物が写り込んだ画像に対応する画像データを出力する撮像装置と、
    前記画像データに基づいて、前記人物の身体において第一方向に沿って並ぶように位置している二つの特徴的部分に対応する第一特徴点と第二特徴点を検出し、当該人物の身体において当該第一方向と交差する第二方向に沿って並ぶように位置している二つの特徴的部分に対応する第三特徴点と第四特徴点を検出し、当該第一特徴点および当該第二特徴点の間の距離と、当該第三特徴点および当該第四特徴点の間の距離との比の値を、前記人物の特徴量として取得する画像処理装置と、
    を備えている、
    画像処理システム。

Images