JP2021089615A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】 より高い精度で物体追跡を可能とする技術を提供すること【解決手段】 画像から検出された物体が含まれる画像上の領域を取得し、取得された領域に含まれる物体から、複数の特徴点を取得する。取得された特徴点の位置に基づき、前記領域を補正する。補正された領域に基づき物体追跡を行う。【選択図】 図１

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

様々な場面で、動画像から物体検出し、追跡することが行われている。特に、ディープラーニングを用いて、物体検出や物体追跡を行うことが多くなっており、近年は、特許文献１に記載された「Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」等を利用した物体追跡処理が行われている。

特開２０１８−２６１０８号公報

特許文献１に記載された「Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」は、２つの画像同士の似ている度合い（距離）を計測するものであり、現フレームから機械的に切り出された矩形領域の画像のうち、前フレームから切り出した追跡対象者の画像との距離が最小となった領域を、現フレームにおける追跡対象者の画像として特定するものである。このように、機械的に切り出された領域を追跡対象者の位置を示す矩形として設定することから、適切な矩形が設定されるとは言えず、追跡精度の面で十分とは言い難い。

そこで、本発明は、より高い精度で物体追跡を可能とする技術を提供することを目的とする。

本発明の情報処理装置は、撮影された画像から物体を検出する検出手段と、前記検出手段により検出された物体が含まれる画像上の領域を取得する領域取得手段と、前記領域取得手段により取得された領域に含まれる物体から、複数の特徴点を取得する特徴点取得手段と、前記特徴点取得手段により取得された特徴点の位置に基づき、前記領域取得手段で取得された領域を補正する領域補正手段と、を備えることを特徴とする。

本発明によれば、より高い精度で物体を追跡することが可能となる。

システム構成の一例を示す図 ハードウエア構成の一例を示す図 処理内容を示すフローチャート Ｓ３０４の人検出処理を説明する図 Ｓ３０９の追跡処理を説明する図 Ｓ３１２の姿勢推定処理を説明する図 Ｓ３１４の位置補正処理を説明する図 本発明が解決する課題を説明する図

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明における情報処理システムの構成の一例を示す図である。

図１に示す通り、本発明の情報処理システムは、情報処理装置１０１と撮像装置１０２とサーバ装置１０３が通信可能に接続されている。なお、図１に示すシステム構成は一例であり、不図示の他の装置が接続されていても良いし、情報処理装置１０１のみのシステムであっても良い。

図２は、本発明の情報処理装置１０１のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、よび通信Ｉ／Ｆコントローラ２０８が接続される。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

次に図３のフローチャートを用いて、
図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。

ステップＳ３０１では、情報処理装置１０１は撮像装置１０２で撮影された動画を読み込む。ここで読み込む動画は、撮像装置１０２により撮影された動画をリアルタイムに読み込んでも良いし、サーバ装置１０３や携帯記憶媒体等の外部記憶装置や情報処理装置１０１自身に一度記憶・保存されたものを読み込んでも良い。

ステップＳ３０２では、変数ｋに１を代入する。

ステップＳ３０３では、ステップＳ３０１で取得した動画のｋフレーム目の画像を取得する。

ステップＳ３０４では、ステップＳ３０３で取得した画像から人物の検出を行う。人物の検出には、公知の物体検出技術を用いるものとする。なお、公知の物体検出技術としては、例えば「ＹＯＬＯｖ３」や「Ｆａｓｔｅｒ Ｒ−ＣＮＮ」といった技術がある。
ステップＳ３０４の人物検出処理により、ステップＳ３０３で取得した画像に人物を囲む領域（本実施例では矩形領域として説明する）が表示される。

図４に、Ｓ３０３で取得した画像と、人物検出処理により出力される矩形領域および座標情報（座標情報は、後述のステップＳ３０６において出力される）の例を示す。図４の４０１がＳ３０３で取得した画像であり、図４の４０２がＳ３０４の処理の結果出力された矩形領域と座標情報である。本実施例においては、矩形領域の座標情報を、一例として、矩形の左上頂点座標（Ｘ，Ｙ）と矩形の幅Ｗ，矩形の高さｈにより表現している。

なお、図３のフローチャートでは不図示であるが、人物の検出ができなかった場合は、人物を検出できるまで、次のフレーム（ｋ＋１フレーム目）の画像を取得し、人物の検出処理を行う。

ステップＳ３０５では、ステップＳ３０４により検出された人物のうち、いずれを追跡対象者とするかの選択を受け付ける。選択受付の方法としては、例えば図４の４０３に示すような画面を表示し、矩形や人物に対するクリック操作を受け付ける方法がある。

なお、検出された人物が一人だけの場合には、選択を受け付けずに当該検出された人物を追跡対象者と決定してもよい。

ステップＳ３０６では、ステップＳ３０５で選択された追跡対象者の矩形の座標情報を出力する。この座標情報が、画像における追跡対象者の位置を示す情報となる。出力される座標情報は、図４の４０２に示す座標情報であり、上述の通り矩形の左上頂点座標（Ｘ，Ｙ）と矩形の幅Ｗ，矩形の高さｈにより表現されている。

ステップＳ３０７では、変数ｋにｋ＋１を代入する。

ステップＳ３０９では、（１）ｋ−１フレーム目の画像、（２）ｋフレーム目の画像、（３）ｋ−１フレーム目の追跡対象者の位置を入力情報として（Ｓ３０９）、追跡処理を実行する。

なお、（１）ｋ−１フレーム目の画像は、ステップＳ３０３で取得した画像であり、図５の５０１で示す画像である。

（２）ｋフレーム目の画像は、ステップＳ３０１で読み込んだ動画から取得される画像であり、図５の５０２で示す画像である。

（３）ｋ−１フレーム目の追跡対象者の位置は、ステップＳ３０６で取得した情報であり、図５の５０３で示す矩形領域である。なお、ステップＳ３１５でＹＥＳと判定された後の処理の場合は、ステップＳ３１４で補正された矩形領域（位置情報）が用いられる。

これらの情報を入力情報として、追跡処理が実行された結果が図５の５０４で示す画像である。

ステップＳ３０９における追跡処理は、公知の物体追跡技術を用いて実現されるものとする。公知の物体追跡技術の一例としては、「Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」を用いた技術がある。「Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」は２つの画像同士の似ている度合い（距離）を計測するものであり、画像同士が似ていれば画像間距離として小さな値を出力し、非類似であれば画像間距離として大きな値を出力するもの技術である。この画像を追跡処理に適用すると、現フレームの画像から追跡対象者の候補領域（例えば２０００個）を機械的に切り出し、切り出された２０００個の領域の画像と、前フレームから切り出した追跡対象者の画像との距離が最小となった領域を、現フレームにおける追跡対象者の画像として特定することが可能となる。

ステップＳ３１０では、ステップＳ３０９による追跡処理の結果として、ｋフレーム目の追跡対象者の位置情報を出力する。ここで出力される追跡対象者の位置情報は、図５の５０５に示す矩形を示す座標情報であり、本実施例においては、上述と同様、矩形の左上頂点座標（Ｘ，Ｙ）と矩形の幅Ｗ，矩形の高さｈにより表現されるものとする。

ステップＳ３１２では、（１）ｋフレーム目の画像、（２）ｋフレーム目の追跡対象者の位置情報を入力情報として（Ｓ３１１）、姿勢推定処理を実行する。

なお、（１）ｋフレーム目の画像は、ステップＳ３０８と同様、Ｓ３０１で読み込んだ動画から取得した画像であり、図６の６０１で示す画像である。

（２）ｋフレーム目の追跡対象者の位置情報は、ステップＳ３１０で出力された情報であり、図６の６０２に示す矩形領域である。

ステップＳ３１３では、ステップＳ３１２の姿勢推定処理の結果として、ｋフレーム目の追跡対象者の関節情報を出力する。なお、本実施例においては、追跡対象者の関節情報を出力する例を用いて説明するが、関節情報に限られず追跡対象者の姿勢を示す特徴点に係る情報であれば良い。また、姿勢推定処理は、公知の技術を用いて実現するものとし、例えば「Ｓｉｍｐｌｅ Ｂａｓｅｌｉｎｅ ｆｏｒ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ」がある。これはＲｅｓＮｅｔの出力特徴マップに対し、複数回のＤｅｃｏｎｖｏｌｕｔｉｏｎを行い関節点のヒートマップを予測することで、関節情報を取得するものである。
出力される関節情報の一例を、図６の６０３に示す。図６の６０３に示す通り、追跡対象者のひとつひとつの関節の座標情報（Ｘ，Ｙ）として、出力される。なお、出力される関節情報（どこの関節の座標を出力するか、どのような形式の情報として出力するか等）については、姿勢推定処理によって異なるものである。また、本実施例においては、関節の位置を出力する例により説明するが、関節である必要はなく、目や鼻や口の位置情報や、身体の重心となる位置情報など、身体の特徴点の位置情報を出力するものであっても良い。

ステップＳ３１４では、ステップＳ３１０で出力された追跡対象者の位置情報を補正する。

図７の７０１（点線で示した矩形）が補正前の位置情報（矩形）であり、７０２（実線で示した矩形）が補正後の位置情報（矩形）である。

具体的には、まずステップＳ３１３で出力された関節情報に基づき、出力された関節を全て含む矩形を作成する。例えば、ｎ個の関節について関節情報が出力された場合、作成される矩形は、ｘ＝ｍｉｎ（ｘ１，ｘ２，・・・，ｘｎ）、Ｙ＝ｍｉｎ（ｙ１，ｙ２・・・，ｙｎ）、ｗ＝ｍａｘ（ｘ１，ｘ２，・・・，ｘｎ）−ｘ、ｈ＝（ｙ１，ｙ２，・・・，ｙｎ）−ｙ により表される。すなわち、各関節がぴったり収まる矩形が作成される。

そして、作成された矩形について、予め定められた分だけ拡大する。拡大量は、予め定められたピクセル数だけＸ方向、Ｙ方向に拡大する方法でも良いし、予め定められた割合（％）だけＸ方向、Ｙ方向に拡大する方法でも良い。また、矩形の中心点を変えずに所定の割合（％）だけ面積を拡大する方法でも良い。

ステップＳ３１５では、ステップＳ３０１で取得した画像に次のフレームが存在するか（ｋ＋１フレーム目の画像が存在するか）を判定する。

存在する場合は、処理をステップＳ３０７に移行する。存在しない場合は、本フローチャートの処理を終了する。

次に、図８を用いて、本発明が解決する課題を具体的に説明する。

上述した「Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」のような物体追跡技術のみ用いて追跡対象者の位置を特定する場合、機械的に切り出された領域を追跡対象者の位置を示す矩形として設定することになるため、図８に示す通り、追跡対象者以外の人物や背景物体が矩形内に入り込んでしまう可能性が高い。この場合、入り込んだ物体も追跡対象者（の一部）として認識し、追跡処理を繰り返すたびに少しずつ追跡対象者の認識精度が落ちてしまうという課題がある（図８の例で説明すれば、ｋフレーム目、ｋ＋１フレーム目、ｋ＋２フレーム目と少しずつ矩形領域がずれていき、ｋ＋３フレーム目には、追跡対象者ではない人物に追跡対象が移ってしまっている）。この課題を解決すべく、本発明のように、物体追跡技術により特定された追跡対象者の位置を示す矩形について、姿勢推定技術により取得された関節情報を用いて補正することで、矩形内に追跡対象者以外の物体が入り込んでしまうことを低減させることが可能となる。そのため、繰り返し追跡処理を実行しても、図８に示すように少しずつ精度が落ちてしまう課題を解決することが可能となる。

また、本発明においては、関節情報を用いて補正した矩形について、さらに補正を行っている。これは、姿勢推定技術によって取得されるのが関節の位置である場合、当該位置は追跡対象者の身体の末端よりも少し内側の位置を示す（人体において関節は身体の末端ではないため少し内側の位置を示すことになる）ことから、身体の末端を矩形内に収めるための補正である。なお、身体の末端の位置を出力する姿勢推定技術を用いる場合には、この補正は実施しなくても良い。

以上説明した補正を行うことで、追跡対象者の位置を示す矩形を適切に設定することが可能となり、精度の高い追跡処理を行うことが可能となる。

なお、本実施例においては、追跡対象者として人物を例に挙げて説明したが、本発明の適用対象は人物に限られず、犬や猫などの動物や、ロボットや自動車や二輪車などの移動可能な機械なども適用対象となりうる。特に、自動車や二輪車等に適用する場合は、関節情報ではなくタイヤなど何らかの特徴点の情報が取得されることになる。

また、本発明は、例えば、介護やリハビリにおける効果測定や、異常姿勢状態の検出、運動機能計測、スポーツ分野におけるフォームチェックや採点補助、店舗や駅などにおける不審者・急病人の検知や消費者行動分析等に適用が可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図３に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 情報処理装置
１０２ 撮像装置
１０３ サーバ装置

Claims (9)

1. 撮影された画像から物体を検出する検出手段と、
   前記検出手段により検出された物体が含まれる画像上の領域を取得する領域取得手段と、
   前記領域取得手段により取得された領域に含まれる物体から、複数の特徴点を取得する特徴点取得手段と、
   前記特徴点取得手段により取得された特徴点の位置に基づき、前記領域取得手段で取得された領域を補正する領域補正手段と、
   を備えることを特徴とする情報処理装置。
2. 前記領域補正手段は、前記取得した特徴点のすべてが含まれるように前記領域を補正することを特徴とする請求項１に記載の情報処理装置。
3. 前記領域補正手段は、前記取得した特徴点のすべてが含まれるように補正された領域について、さらに、当該領域に前記物体が収まるように領域を補正することを特徴とする請求項２に記載の情報処理装置。
4. 前記検出手段により検出された物体を追跡する追跡手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記追跡手段は、前記領域補正手段により補正された領域に基づき、当該領域に含まれる物体の追跡処理を行うことを特徴とする請求項４に記載の情報処理装置。
6. 前記領域は、矩形により特定されることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記物体は、人物であることを特徴とし、前記特徴点は、人物の関節の位置であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 情報処理装置の検出手段が、撮影された画像から物体を検出する検出工程と、
   前記情報処理装置の領域取得手段が、前記検出工程により検出された物体が含まれる画像上の領域を取得する領域取得工程と、
   前記情報処理装置の特徴点取得手段が、前記領域取得工程により取得された領域に含まれる物体から、複数の特徴点を取得する特徴点取得工程と、
   前記情報処理装置の領域補正手段が、前記特徴点取得工程により取得された特徴点の位置に基づき、前記領域取得工程で取得された領域を補正する領域補正工程と、
   を備えることを特徴とする情報処理方法。
9. コンピュータを、
   撮影された画像から物体を検出する検出手段と、
   前記検出手段により検出された物体が含まれる画像上の領域を取得する領域取得手段と、
   前記領域取得手段により取得された領域に含まれる物体から、複数の特徴点を取得する特徴点取得手段と、
   前記特徴点取得手段により取得された特徴点の位置に基づき、前記領域取得手段で取得された領域を補正する領域補正手段として機能させるためのプログラム。
   

Images