JP7378232B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、複合現実システムにおける画像処理技術に関するものである。

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：Mixed Reality）技術や拡張現実感（ＡＲ：Augmented Reality）技術が知られている。ＭＲ（やＡＲ）による映像をユーザに提示する装置として、ビデオシースルー型の画像処理装置（ビデオシースルー端末）がある。これは、ビデオカメラで現実世界を撮影し、撮影画像に仮想物体を重畳した合成画像をリアルタイムにディスプレイ等に表示させ、ユーザに提示する装置である。例えば、ビデオシースルー端末には、背面にビデオカメラを有するタブレット端末や、ビデオシースルー型ＨＭＤ（Head Mounted Display）などが含まれる。

また、ＭＲの表示においては、表示装置における表示領域の制限やＣＧの描画領域など、現実世界の映像を遮る領域が存在し、使用者の現実世界における視界を狭くしている。そのため、複合現実感を体験する使用者が、他の使用者や周辺の物体へ衝突する危険が高まることになる。そのため、このような危険な状況を的確に把握可能とすることが求められている。

特許文献１は、ＨＭＤ使用者同士の距離を求め、距離が所定の値以下になった際に使用者同士の接近を報知する技術を開示している。特許文献２は、ＨＭＤの位置が予め定められた領域外に出た際に警告を発し、現実映像に切り替える技術を開示している。特許文献３は、リアルタイムに外部環境を測定し警告を発する技術を開示している。

特許第４６４２５３８号公報 米国特許第５，９００，８４９号 特開２０１４－１７０３３０号公報

しかしながら、特許文献１や２の技術では、危険物となる物体を事前に登録する必要があるという課題がある。また、移動する物体に対して対応することが出来ないという課題がある。また、特許文献３の技術では、移動する物体に対応することが可能であるが、自分自身の手や足なども障害物として誤認識してしまい、複合現実感の体験を妨げてしまうという課題がある。

本発明は上述の問題点に鑑みなされたものであり、複合現実感を体験中の使用者に現実世界の物体との接触の可能性をより好適に知覚可能とさせる技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
現実空間を撮像する撮像部により得られた映像に基づいて、前記現実空間における前記撮像部の自己位置を推定する位置推定手段と、
前記映像に基づいて、前記現実空間に存在する現実物体を認識する認識手段と、
前記映像に含まれる所定の画像特徴に基づいて前記現実空間における所定の領域を決定する領域決定手段と、
前記認識手段により認識された現実物体が前記所定の領域に含まれるか否かに従って、警告を行うか否かを判定する判定手段と、
を有し、
前記判定手段は、前記認識手段により認識された現実物体が前記所定の領域に含まれない場合、警告を行うと判定する。

本発明によれば、複合現実感を体験中の使用者に現実世界の物体との接触の可能性をより好適に知覚可能とさせる技術を提供することができる。

第１実施形態に係る情報処理システムの構成を示すブロック図である。 第１実施形態における処理を示すフローチャートである。 第２実施形態に係る情報処理システムの構成を示すブロック図である。 第２実施形態における処理を示すフローチャートである。 第３実施形態に係る情報処理システムの構成を示すブロック図である。 第３実施形態における処理を示すフローチャートである。 変形例４に係る情報処理システムの構成を示すブロック図である。 変形例４における処理を示すフローチャートである。 自己領域の推定を説明する図である。 自己領域の推定を説明する他の図である。 情報処理装置のハードウェア構成を示すブロック図である。 自己位置、自己領域、周辺環境の関係を説明する図である。 自己位置、自己領域、周辺環境の関係を説明する他の図である。 変形例１における発明の効果を例示的に説明する図である。 第４実施形態に係る情報処理システムの構成を示すブロック図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ビデオシースルー型ＨＭＤとして構成される情報処理システムを例に挙げて以下に説明する。特に、周辺に存在する障害物との接触（衝突）に関する警告をユーザに通知する形態について説明する。

＜システム構成＞
図１は、第１実施形態に係る情報処理システムの構成を示すブロック図である。上述のように、情報処理システムはビデオシースルー型ＨＭＤとして構成され、撮像部１００、提示部２００、指標登録部３００、情報処理装置１０００を含む。撮像部１００は、現実空間を撮像して映像を出力するビデオカメラである。提示部２００は、画像の表示（例えば、警告表示）を行う表示部や音声の再生（例えば、警告音再生）を行う音声再生部である。ここでは、撮像部１００及び提示部２００はＨＭＤに搭載され、指標登録部３００は取り外し可能な外部端末であることを想定する。なお、情報処理装置１０００に含まれる各処理部を、ＨＭＤの外部のＰＣ（不図示）により処理するよう構成してもよい。その場合、ＨＭＤと当該ＰＣ（不図示）とは、有線又は無線により相互に通信可能に構成される。

図１２は、自己位置、自己領域、障害物領域の関係を説明する図である。ＭＲ体験環境３４００においては、自己位置３４１０、自己領域３４２０、障害物領域３４４０を規定することが出来る。なお、破線の円３４５０は、自己位置３４１０から一定の距離の範囲を示している。

「自己位置」とは、空間における撮像部１００の位置（ＨＭＤを装着したユーザの視点位置）を示す。例えば、ＭＲ体験環境３４００における所与の一点を原点として、互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸として定義した座標系における位置を表す３個のパラメータにより表現される。更に姿勢（向き）を表す３個のパラメータを加えて表現してもよい。

「自己領域」とは、ＨＭＤを装着したユーザが存在する範囲（ユーザ自身の手や腕など体の存在する範囲）を示す用語である。なお、手持ち物体３４２０などユーザ自身の動きと同調して動く物体もユーザ自身の手や腕に加えて自己領域と考えてよい。例えば、ＭＲ体験環境３４００における所与の一点を原点として、互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸として定義した座標系における位置を表す３個のパラメータの複数の組により表現される。

「障害物領域」とは、ＨＭＤを装着したユーザの周辺環境に存在する障害物となる物体の存在する領域を示す用語である。例えば、ＭＲ体験環境３４００における所与の一点を原点として、互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸として定義した座標系における位置を表す３個のパラメータの複数の組により表現される。

以下の説明では、自己位置、自己領域、障害物領域は、同一の座標系における座標パラメータにより表現されるとして説明する。ただし、自己位置、自己領域、障害物領域それぞれを異なる座標系で表現し、座標変換により関連付けるよう構成してもよい。

情報処理装置１０００は、自己位置推定部１０１０、指標判定部１０２０、自己領域推定部１０３０、周辺環境認識部１０４０、警告表示判定部１０５０を含む。ユーザあるいはオペレータは指標登録部３００を介して、事前に自己領域の基準位置を示す指標画像（特定の模様やマーカなど）を情報処理装置１０００に登録する。情報処理装置１０００は、撮像部１００により取得された映像から登録された指標画像を検出し自己領域の推定を行う。

自己位置推定部１０１０は、撮像部１００から映像を取得し、自己位置を推定し、推定結果を警告表示判定部１０４０に通知する。なお、自己位置の取得はＳＬＡＭ（Simultaneous Localization And Mapping）による推定を用いることが出来る。また、映像中の特徴点の追跡による推定や、光学式や磁気式のセンサや画像中の既知の指標画像の検出による推定などが利用可能である。

指標判定部１０２０は、撮像部１００から映像を取得し、取得した映像中に映る画像特徴である所与の指標画像を検出し、自己領域推定部１０３０に通知する。具体的には、指標登録部３００からユーザの自己領域として判定したい領域に設置した指標画像中の２次元座標を取得する。ここで指標画像と画像中の領域を一意に特定でき、三次元空間中の座標を求めることが可能なものであれば公知のいずれの指標画像を用いてもよい。例えば、特開２０１７－１２９５６７号公報に示されるような、パターン画像を有する四角形指標が利用可能である。また、文献「LSD-SLAM: Large-Scale Direct Monocular SLAM, J. Engel, T. Schops, D. Cremers, European Conference on Computer Vision (ECCV), 2014」に示す手法を用いることも出来る。

自己領域推定部１０３０は、指標判定部１０２０から取得した指標画像の２次元座標に基づいて所定の領域を自己領域として領域決定し警告表示判定部１０５０に通知する。ここで自己領域として判定する領域は指標画像の存在する領域、指標画像の領域から一定の距離内にある領域、指標画像の領域から一定のオフセットを経て規定される定型領域など、様々な決定方法を用いることが出来る。一般には、指標画像の領域を包含する領域が自己領域として決定される。

周辺環境認識部１０４０は、撮像部１００から映像を取得し、周辺環境の物体を計測し、警告表示判定部１０５０に入力する。ここで、周辺環境の物体の計測は複数の視点からの映像による視差から奥行を推定したものや、深度センサによる奥行推定など公知のいずれの手法を用いて計測した値でもよい。

警告表示判定部１０５０は、提示部２００において警告表示を行うか否かを判定し。行う場合には提示部２００に警告表示命令を通知する。まず、自己位置推定部１０１０から取得した自己位置から一定の距離以内に周辺環境認識部１０４０により計測された物体が存在するかどうかを判定する。次に、自己領域推定部１０３０から自己領域を取得し、自己位置から一定の距離以内に存在する物体と自己領域が一致する（物体が自己領域に含まれる）か否かを判定する。そして、自己位置から一定の距離以内に存在する物体が自己領域と一致しない場合に提示部２００へ警告表示命令を通知する。なお、提示部２００は、画像による警告に限定されず、音声による警告など、ユーザが認識できる方法であれば様々な警告手法が利用可能である。

図１１は、情報処理装置のハードウェア構成を示すブロック図である。情報処理装置は、ＣＰＵ４００１、ＲＡＭ４００２、ＲＯＭ４００３，ユーザインタフェース（ＵＩ）４００４、外部記憶装置４００５、インタフェース（Ｉ／Ｆ）４００６を含む。各部はバス４０１０を介して相互に接続されている。

ＣＰＵ４００１は、読み出し専用メモリ（ＲＯＭ）４００３又は外部記憶装置４００５に記憶されたプログラムを読み出して実行することにより、バス４０１０を介して接続する各部を統括的に制御する。オペレーティングシステム（ＯＳ）をはじめ、後述する処理を実現するための各種プログラムやデータ等は、ＲＯＭ４００３又は外部記憶装置４００５に記憶されている。ＣＰＵ４００１は、プログラムを実行する際に、ランダムアクセスメモリ（ＲＡＭ）４００２をワークメモリとして利用する。ユーザインタフェース（ＵＩ）４００４は、ユーザからの指示入力を受け付ける。例えば、現実物体としてのＵＩ（キーボード、マウス、ペン、タッチパネルなど）の他、仮想のＵＩを実現するための各種センサに対応する。また、Ｉ／Ｆ４００６は、外部の装置（撮像部１００や提示部２００など）と接続するためのインタフェースである。なお、ここでは、以下に説明する処理を、ソフトウェアにより実現する（ＣＰＵ４００１がプログラムを実行する）ことを想定するが、処理の一部または全部をハードウェアにより実現してもよい。ハードウェアとしては、特定用途向け集積回路（ＡＳＩＣ）などが用いられる。

＜装置の動作＞
図２は、第１実施形態における処理を示すフローチャートである。情報処理装置１０００の処理手順について説明する。

ステップＳ２０１０では、指標判定部１０２０は、自己領域として判定する領域に付される指標の登録を指標登録部３００を介してユーザから受け付ける。登録した指標は、自己領域である物体（図１２の領域３４２０にある物体など）に付されることになる。

ステップＳ２０２０では、自己位置推定部１０１０は、撮像部１００から映像を取得し、映像中の特徴点を抽出し、３次元空間中での自己位置を推定する。ここで、自己位置の取得はＳＬＡＭによる推定を用いることが出来る。

ステップＳ２０３０では、自己領域推定部１０３０は、指標判定部１０２０から指標の検出結果として指標画像の３次元空間中での位置（または領域）を取得する。例えば、自己領域推定部１０３０は、取得した指標画像の位置（または領域）から一定の距離内の領域を自己領域とする。

ステップＳ２０４０では、周辺環境認識部１０４０は、周辺環境の奥行を取得し、周辺における物体の存在を認識する。例えば、撮像部１００から複数の視点からの映像を取得し、視差をもとに周辺環境の奥行を計測し、物体の存在を推定する。

ステップＳ２０５０では、警告表示判定部１０５０は、自己位置推定部１０１０から自己位置を取得し、周辺認識部１０４０から計測された物体の領域を取得する。取得した自己位置と物体の領域との位置関係（一定の距離以内であるか否か）を計算する。一定の距離以内の周辺環境に物体が存在する場合はＳ２０６０に進み、そうでなければ処理を終了する。

ステップＳ２０６０では、警告表示判定部１０５０は、自己領域推定部１０３０から自己領域を取得し、Ｓ２０５０で判定した自己位置と自己領域の位置関係を計算する。そして、Ｓ２０５０で決定された物体が自己領域に含まれるか否かを判定する。物体が自己領域に含まれる場合は処理を終了し、そうでない場合はＳ２０７０に進む。

ステップＳ２０７０では、警告表示判定部１０５０は、提示部２００に対して警告の表示を通知する。これにより、提示部２００は警告を表示することになる。

例えば図１２に示す状況では、周辺環境認識部１０４０は、撮像部１００により得られた映像に基づき計測された奥行に基づき、領域３４２０及び領域３４４０に存在する物体を周辺環境に存在する物体として認識する。特に、領域３４２０は、自己位置３４１０から一定の距離内にあると認識する。一方、自己領域推定部１０３０は、指標判定部１０２０による検出結果に基づき領域３４２０を自己領域と認識する。そのため、警告表示判定部１０５０は、領域３４２０に存在する物体は自己領域に含まれる物体であると判定し、警告表示をしないと判定する。

図１３は、自己位置、自己領域、周辺環境の関係を説明する他の図である。図１３に示す状況では、周辺環境認識部１０４０は、撮像部１００により得られた映像に基づき計測された奥行に基づき、領域３４２０及び領域３４４０に存在する物体を周辺環境に存在する物体として認識する。特に、領域３４４０は、自己位置３４１０から一定の距離内にあると認識する。一方、自己領域推定部１０３０は、指標判定部１０２０による検出結果に基づき領域３４２０を自己領域と認識する。そのため、警告表示判定部１０５０は、領域３４４０に存在する物体は自己領域に含まれない物体であると判定し、警告表示をすると判定する。

以上説明したとおり第１実施形態によれば、「自己領域」を推定することにより、周辺に存在する物体のうち障害物として警告すべき物体を好適に判定することが可能となる。これにより、複合現実感を体験中の使用者に現実世界の物体との接触（衝突）の可能性をより好適に知覚可能とさせることが可能となる。特に、障害物となる物体を事前に登録することなく、好適に警告を発することが可能となる。

（第２実施形態）
本発明に係る画像処理装置の第２実施形態として、ビデオシースルー型ＨＭＤとして構成される情報処理システムを例に挙げて以下に説明する。指標画像の代わりに所定の色を自己領域の推定に利用する点が第１実施形態と異なる。

＜システム構成＞
図３は、第２実施形態に係る情報処理システムの構成を示すブロック図である。なお、第１実施形態と同じ参照符号の処理部については、第１実施形態と同様であるため説明は省略する。図３に示すように、情報処理装置１２００は、第１実施形態における指標登録部３００及び指標判定部１０２０を含まず、色登録部４００及び色検出部１０６０を含んでいる。

ユーザあるいはオペレータは色登録部４００を介して、事前に自己領域を示す色を情報処理装置１２００に登録する。例えば、自身の手や足などの色を事前に登録し、色検出部１２６０に登録色として通知する。

色検出部１２６０は、撮像部１００から映像を取得し、取得した映像中に含まれる登録色の領域を検出し、自己領域推定部１０３０に通知する。具体的には、登録色の領域の２次元座標を取得する。そして、検出した領域を自己領域推定部１２３０に通知する。

自己領域推定部１２３０は、色検出部１２６０から取得した色領域に基づいて自己領域を推定する。ここで自己領域とする領域は２次元画像上での色領域でも良いし、複数の視点から検出した色領域の視差から推定した３次元中の領域でも良い。

＜装置の動作＞
図４は、第２実施形態における処理を示すフローチャートである。なお、第１実施形態と同じ参照符号のステップについては、第１実施形態と同様であるため説明は省略する。

ステップＳ２１００では、色検出部１２６０は、自己領域として判定する領域の色の登録を色登録部４００を介してユーザから受け付ける。登録した色は、自己領域である物体（図１２の領域３４２０にある物体、あるいは手や腕など）の色である。

ステップＳ２１１０では、色検出部１２６０は、撮像部１００から映像を取得し、映像中における登録色の領域を抽出する。

ステップＳ２１３０では、自己領域推定部１２３０は、色検出部１２６０が抽出した領域を取得する。そして、複数の視点から取得した色領域の視差情報をもとに３次元空間中での自己領域を推定する。例えば、自己領域推定部１２３０は、取得した領域から一定の距離内の領域を自己領域とする。

以上説明したとおり第２実施形態によれば、色に基づいて「自己領域」を推定することにより、周辺に存在する物体のうち障害物として警告すべき物体を好適に判定することが可能となる。特に、自己領域としたい領域すべてに指標画像を付すことなく、自己領域である手や腕を好適に判定することが可能となる。

（第３実施形態）
本発明に係る画像処理装置の第２実施形態として、ビデオシースルー型ＨＭＤとして構成される情報処理システムを例に挙げて以下に説明する。深度（奥行情報）の移動量を自己領域の推定に利用する点が第１及び第２実施形態と異なる。

＜システムの構成＞
図５は、第３実施形態に係る情報処理システムの構成を示すブロック図である。なお、第１実施形態と同じ参照符号の処理部については、第１実施形態と同様であるため説明は省略する。図５に示すように、情報処理装置１３００は、第１実施形態における指標登録部３００及び指標判定部１０２０を含まず、深度測定部５００と深度移動量計測部１３７０を含んでいる。

深度測定部５００は、周辺環境におけるＨＭＤからの距離を深度情報として計測し、深度移動量計測部１３７０と、周辺環境認識部１３４０に通知する。

深度移動量計測部１０７０は、深度測定部５００から深度を逐次取得する。そして、複数の時点からの深度を用いて、各点（各方向）における深度領域の移動特徴を計測する。ここでは、深度移動量を計測し、自己領域推定部１３３０に通知する。

また、周辺環境認識部１３４０は、深度測定部５００から通知された深度の情報に基づいて周辺環境の物体を計測する。もちろん、第１実施形態と同様に撮像部１００から映像に基づいて計測をしてもよいし、映像と深度の両方に基づいて計測をしてもよい。

＜装置の動作＞
図６は、第３実施形態における処理を示すフローチャートである。なお、第１実施形態と同じ参照符号のステップについては、第１実施形態と同様であるため説明は省略する。

ステップＳ２２００では、深度移動量計測部１３７０は、深度測定部５００から逐次深度の情報を取得する。例えば、撮像部１００の撮像範囲と同じ視野範囲における深度の情報を取得する。そして、複数の時点における視野範囲内の各点の深度を比較し、各点での深度移動量を計測する。

ステップＳ２２３０では、自己領域推定部１３３０は、深度移動量計測部１３７０から各点の深度移動量を取得する。そして、視野範囲内の各点の深度移動量を比較することにより、視野範囲内における自己領域と周辺環境とを推定する。例えば、視野範囲内において、同一方向に移動している領域かつより広い領域を周辺環境とし、それ以外の方向に動いている領域を自己領域とする。

図９は、深度移動量に基づく自己領域の推定を説明する図である。ここでは、ある時点から別の時点への時間経過に伴い環境３１００が環境３２００に変化する場合を示している。環境３１００においては、障害物領域である箱３０００、壁３０１０、箱３０２０と、自己領域である手３０３０と、が存在している。環境３２００においては、環境３１００における障害物領域と自己領域とが矢印で示されるようにそれぞれ独立して移動した状態を示している。そのため、ここでは、深度移動量に基づいて複数の部分領域に分割する。このとき、箱３０００、壁３０１０、箱３０２０は同一の移動方向（やや左回転）となるが、手３０３０は別の移動方向（右上への並進移動）となる。箱３０００、壁３０１０、箱３０２０に対応する領域の方が、手３０３０に対応する領域よりも広いため、箱３０００、壁３０１０、箱３０２０に対応する領域を周辺環境と推定する。そして、別の移動方向である手３０３０に対応する領域は自己領域として判定する。

以上説明したとおり第３実施形態によれば、深度移動量に基づいて「自己領域」を推定することにより、周辺に存在する物体のうち障害物として警告すべき物体を好適に判定することが可能となる。特に、自己領域としたい領域に指標画像を付すことなく、自己領域を好適に判定することが可能となる。

（変形例１）
警告表示判定部１０５０を、警告表示・ＣＧ表示変更部（不図示）に置き換えることも可能である。

警告表示・ＣＧ表示変更部は、自己位置と一定距離内にある周辺環境中の物体が自己領域に含まれる場合に警告表示とＣＧ表示を半透明にする。ここで、警告表示とＣＧ表示の変更は、半透明表示への変更に限定されず、警告表示のアイコン変更や、大きさ変更、ＣＧの透明度変更や色変更、ワイヤーフレーム表示、非表示への切り替え、色のブレンドなど様々な変更が可能である。

図１４は、変形例１における発明の効果を例示的に説明する図である。状況３６００は、ある方向から見たＭＲ体験環境を示しており、仮想物体３６１０に対して、仮想物体３６３０及び現実物体３６２０と組み合わせる作業を示している。状況３６００では、ユーザは、仮想物体３６１０の開口方向から観察しているため、仮想物体３６３０及び現実物体３６２０を容易に目視することが出来る。

一方、この状況を他の方向（上方）から見た場合、仮想物体３６３０及び現実物体３６２０を目視することが出来ない。すなわち、仮想物体３６１０の開口方向ではない方向から観察しているため、仮想物体３６１０により視界が遮られることになる。そのため、ユーザは、仮想物体３６１０に対して、仮想物体３６３０及び現実物体３６２０と組み合わせる作業を続けることが困難になってしまう。さらに、現実物体３６２０の位置を確認できないため、誤って（例えば現実物体３６２０を把持していない右手と）衝突してしまう危険がある。

変形例１の処理を適用することにより、仮想物体３６１０の表示を半透明にすることで、仮想物体３６１０に隠れていた手３６４０及び現実物体３６２０を確認しながら作業を続けることが可能となる。一方で、自己領域以外の周辺の壁や障害物については警告を通知することができる。

（変形例２）
第３実施形態の構成（図５）における自己領域推定部１３３０において、一定時間接近し続ける物体を自己領域から除外するよう構成することも可能である。

図１０は、自己領域の推定を説明する他の図である。環境３３００においては、障害物領域である箱３０００、壁３０１０、箱３０２０と、自己領域である手３０３０と、が存在している。更に、移動物体である障害物３０４０が存在する。

障害物３０４０は移動物体であるため、箱３０００、壁３０１０、箱３０２０とは異なる深度移動量を持つ。しかし、障害物３０４０が自身の方向に連続的に接近してくる場合、ユーザと衝突する危険がある。一方、手３０３０は自己領域であるため、連続的にユーザに接近し続けることはなく、近づいたり離れたりを繰り返す。このような状況で障害物３０４０に対して正しく警告を通知するために、一定時間自己位置に接近し続ける物体については、深度移動量が周辺環境と異なる場合であっても自己領域とみなさない。

変形例２の処理を適用することにより、周辺環境に移動する可能性のある障害物が存在する場合においても、好適に警告を表示できるようになる。

（変形例３）
第３実施形態の処理（図６）におけるＳ２０６０において、第３実施形態とは逆の処理をするよう構成してもよい。すなわち、警告表示判定部１０５０は、Ｓ２０５０で決定された物体が自己領域に含まれるか否かを判定し、物体が自己領域に含まれる場合はＳ２０７０に進み、そうでない場合は処理を終了する（警告の表示を通知しない）。

変形例３の処理を適用することにより、自己領域の接近に対してのみ警告を表示できるようになる。例えば、ユーザが壁などに囲まれたスペースにおいて検証デスクに座って作業する場合など、周辺環境と自己位置の関係がほぼ固定されたＭＲ体験環境において、より適切に警告を通知することができる。

（変形例４）
第１～第３実施形態に示す全ての処理部を備えるよう情報処理システムを構成してもよい。図７は、変形例４に係る情報処理システムの構成を示すブロック図である。情報処理装置１４００は、指標登録部３００及び指標判定部１０２０、色登録部４００及び色検出部１２６０、深度測定部５００及び深度移動量計測部１３７０を含んでいる。

図８は、変形例４における処理を示すフローチャートである。図８に示すように第３実施形態におけるＳ２０１０とＳ２３３０との間に、Ｓ２０２０、Ｓ２１００、２１１０、Ｓ２２００の処理が配置されている。

ステップＳ２３３０では、自己領域推定部１４３０は、深度移動量計測部１３７０から各点の深度移動量を取得する。そして、視野範囲内の各点の深度移動量を比較することにより、視野範囲内における自己領域と周辺環境とを推定する。例えば、視野範囲内において、同一方向に移動している領域かつより広い領域を周辺環境とし、それ以外の方向に動いている領域を自己領域とする。さらに、自己領域推定部１４３０は、指標判定部１０２０から取得した映像中の指標画像の領域と、色検出部１０６０から取得した映像中の登録色の領域を考慮して、自己領域を修正する。例えば、深度移動量に基づき推定した自己領域と、指標画像の領域と、登録色の領域と、の和（ＡＮＤ）の領域を修正された自己領域として警告表示判定部１０５０に通知する。なお、これらの３種類の領域のいずかの２つの組み合わせでも良い。なお、和（ＡＮＤ）の代わりに、積（ＯＲ）やＸＯＲを用いてもよい。

変形例４の処理を適用することにより、多様な状況における自己領域の検出の精度を高めることができる。

（第４実施形態）
本発明に係る画像処理装置の第４実施形態として、ビデオシースルー型ＨＭＤとして構成される情報処理システムを例に挙げて以下に説明する。自己位置の移動履歴を自己領域の推定に利用する点が第１～第３実施形態と異なる。

＜システムの構成＞
図１５は、第４実施形態に係る情報処理システムの構成を示すブロック図である。なお、第１実施形態と同じ参照符号の処理部については、第１実施形態と同様であるため説明は省略する。図１５に示すように、情報処理装置１５００は、第１実施形態における指標登録部３００及び指標判定部１０２０を含まず、自己位置記憶部１５８０を含んでいる。

自己位置記憶部１０８０は、自己位置推定部１０１０が推定した自己位置を逐次取得し、自己位置を時系列で一定期間保持する。自己領域推定部１２４０は、自己位置記憶部１０８０に保持された自己位置の時系列に基づいて自己領域を推定する。

＜装置の動作＞
情報処理装置１４００の処理手順は、第１実施形態（図２）における指標の入力（Ｓ２０１０）を削除したものになる。また、自己領域の推定（Ｓ２０３０）においては、自己位置の推定（Ｓ２０２０）における自己位置の履歴に基づいて自己位置を推定する。

例えば、直近１０分間の自己位置の履歴を受け取り、姿勢の平均を求める。求めた姿勢の下方向を鉛直下向きと推定する。そして、最新（現時点）の自己位置から所定半径（例えば５０ｃｍ）の円柱を鉛直下向きに延長した領域を自己領域とする。例えば、世界座標のｙ座標が０となるまで延長する。ここで、特開２０１７－１５６８８７号公報に示されるような、自己位置と人間の姿勢ＤＢからから自身の領域を推定する方法など、他の方法を用いることも可能である。

以上説明したとおり第４実施形態によれば、自己位置の移動履歴に基づいて「自己領域」を推定することにより、周辺に存在する物体のうち障害物として警告すべき物体を好適に判定することが可能となる。このような構成とすることにより、外部装置（指標登録部３００、色登録部、深度測定部５００）を削減することが可能となる。

（その他の実施例）
なお、上述した情報処理装置内の各処理部については、機械学習された学習済みモデルを代わりに用いて処理する構成とすることが出来る。すなわち、自己位置推定部１０１０、指標判定部１０２０、周辺環境認識部１０４０、色検出部１０６０、周辺環境認識部１３４０、深度移動量計測部１３７０における画像処理に適用することが出来る。また、自己領域推定部１０３０、１２３０、１３３０、１４３０、１５３０における領域推定に適用することが出来る。更に、警告表示判定部１０５０における判定に適用することが出来る。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ 撮像部； ２００ 提示部； ３００ 指標登録部； １０００ 情報処理装置； １０１０ 自己位置推定部； １０２０ 指標判定部； １０３０ 自己領域推定部； １０４０ 周辺環境認識部； １０５０ 警告表示判定部

Claims (10)

1. 現実空間を撮像する撮像部により得られた映像に基づいて、前記現実空間における前記撮像部の自己位置を推定する位置推定手段と、
   前記映像に基づいて、前記現実空間に存在する現実物体を認識する認識手段と、
   前記映像に含まれる所定の画像特徴に基づいて前記現実空間における所定の領域を決定する領域決定手段と、
   前記認識手段により認識された現実物体が前記所定の領域に含まれるか否かに従って、警告を行うか否かを判定する判定手段と、
   を有し、
   前記判定手段は、前記認識手段により認識された現実物体が前記所定の領域に含まれない場合、警告を行うと判定する
   ことを特徴とする画像処理装置。
2. 前記所定の画像特徴は所与の指標画像であり、
   前記領域決定手段は、前記所与の指標画像が付された現実物体を包含する領域を前記所定の領域として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記所与の指標画像の登録を受け付け、前記映像に含まれる前記所与の指標画像を検出する検出手段を更に有する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の画像特徴は所与の色であり、
   前記領域決定手段は、前記所与の色を有する現実物体を含む領域を前記所定の領域として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記所与の色の登録を受け付け、前記映像に含まれる前記所与の色を検出する色検出手段を更に有する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像部は、複数の視点から前記現実空間を撮像するよう構成されており、
   前記認識手段は、前記複数の視点からの映像による視差から奥行を推定することにより前記現実物体を認識する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記認識手段は、深度センサによる奥行推定にさらに基づいて前記現実物体を認識する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
8. 前記警告は、表示部における警告表示と音声再生部における警告音再生との少なくとも１つを含む
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 現実空間を撮像する撮像部により得られた映像を処理する画像処理装置の制御方法であって、
   前記映像に基づいて、前記現実空間における前記撮像部の自己位置を推定する位置推定工程と、
   前記映像に基づいて、前記現実空間に存在する現実物体を認識する認識工程と、
   前記映像に含まれる所定の画像特徴に基づいて前記現実空間における所定の領域を決定する領域決定工程と、
   前記認識工程により認識された現実物体が前記所定の領域に含まれるか否かに従って、警告を行うか否かを判定する判定工程と、
   を含み、
   前記判定工程では、前記認識工程により認識された現実物体が前記所定の領域に含まれない場合、警告を行うと判定する
   ことを特徴とする制御方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images