JP7577042B2 - 周囲画像推定装置 - Google Patents

Description

本開示の一側面は、周囲画像を推定する周囲画像推定装置に関する。

下記特許文献１には、移動体の周囲を撮像した周囲画像を用いる画像情報処理装置が開示されている。

特開２０２１－１１７８３３号公報

上記画像情報処理装置では実際に撮像された周囲画像を用いるため、例えば、推定した近未来の周囲画像に基づく処理を行うことはできない。そこで、移動する物体の近未来の周囲画像を推定することが望まれている。

本開示の一側面に係る周囲画像推定装置は、移動する物体に備えられた撮像手段により撮像された周囲画像に基づいて、所定時間後に撮像手段により撮像される周囲画像を推定する推定部と、推定部によって推定された周囲画像と、所定時間後に撮像手段により実際に撮像された周囲画像との合致度を算出する算出部と、算出部によって算出された合致度に基づいた出力を行う出力部と、を備える。

このような側面においては、移動する物体に備えられた撮像手段により所定時間後に撮像される周囲画像が推定される。すなわち、移動する物体の近未来の周囲画像を推定することができる。

本開示の一側面によれば、移動する物体の近未来の周囲画像を推定することができる。

実施形態に係る周囲画像推定装置を含む周囲画像推定システムのシステム構成の一例を示す図である。 シナリオ１の概念図である。 実施形態に係る周囲画像推定装置の機能構成の一例を示す図である。 周囲画像の一例を示す図である。 過去・現在・未来の周囲画像の一例を示す図である。 未来の周囲画像と実際の周囲画像との比較を示す図である。 実施形態に係る周囲画像推定装置が実行する処理の一例を示すフローチャートである。 シナリオ２の概念図である。 丁字路付近の周囲画像の一例を示す図である。 丁字路を右折した際の周囲画像の一例を示す図である。 丁字路を右折した際の概念図である。 丁字路を右折した際の推定された周囲画像の一例を示す図である。 シナリオ３の概念図である。 丁字路を右折した際の推定された周囲画像（オブジェクトを含む）の一例を示す図である。 実施形態に係る周囲画像推定装置が実行する処理の別の一例を示すフローチャートである。 実施形態に係る周囲画像推定装置で用いられるコンピュータのハードウェア構成の一例を示す図である。

以下、図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、以下の説明における本開示での実施形態は、本発明の具体例であり、特に本発明を限定する旨の記載がない限り、これらの実施形態に限定されないものとする。

図１は、実施形態に係る周囲画像推定装置１を含む周囲画像推定システム４のシステム構成の一例を示す図である。図１に示す通り、周囲画像推定システム４は、周囲画像推定装置１（周囲画像推定装置）と、移動体２（移動する物体）と、移動体２に備えられたカメラ３（撮像手段）とを含んで構成される。周囲画像推定装置１と移動体２とはネットワークなどを介して互いに通信接続され、互いに任意の情報を任意のタイミングで送受信可能である。

周囲画像推定装置１は、移動体２の近未来の周囲画像を推定するコンピュータ装置である。周囲画像推定装置１は、移動体２から離れた場所（遠隔）に位置していてもよいし、移動体２に備えられていてもよい。また、周囲画像推定装置１の一部が移動体２から離れた場所（遠隔）に位置し、周囲画像推定装置１の残りの部分が移動体２に備えられていてもよい。その場合、周囲画像推定装置１の一部と残りの部分とは無線ネットワークなどを介して互いに通信接続され、一部と残りの部分とが一体となって周囲画像推定装置１として機能する。周囲画像推定装置１の詳細については後述する。

移動体２は、移動する（移動可能な）物体である。物体は、人工物のような無生物であってもよいし、人のような生物であってもよい。移動体２は、例えば、車椅子、自転車、車及びトラックなどの車両、飛行機、ヘリコプター、ロケット及びドローンなどの飛行体、船（潜水艇も含む）、人、並びに、動物などである。移動体２は、それ自体が備える移動能力を用いて移動してもよいし、それ自体で移動能力を備えずに他の移動能力を用いて移動してもよい。移動体２は、位置情報を取得可能なＧＰＳ（Global Positioning System）、加速度センサ、角速度センサ及び磁気センサなどを備えてもよい。移動体２は、各種センサを用いて自身の現在の位置、加速度、速度及び移動（進行）方向並びに現在のタイムスタンプを含む移動情報を定期的に（例えば毎秒）生成し、ネットワークなどを介して周囲画像推定装置１に送信してもよい。

カメラ３は、撮像手段である。カメラ３は、周囲（周辺、近辺、近く、周り、近隣、側、あたり）を撮像し、周囲の画像である周囲画像を出力する。カメラ３は、周囲画像の時間的連なりである周囲映像（周囲動画）を出力してもよい。本実施形態では周囲画像を用いることを想定するが、それに限らず、周囲映像を用いてもよい。すなわち、本実施形態において、用語「画像」は、「映像」又は「動画」に適宜置き換えてもよい。

カメラ３は、撮像している画像中のオブジェクトとの距離（奥行き情報）を計測可能なカメラ３ａ（第一のカメラ）と、周囲を撮像可能なカメラ３ｂ（第二のカメラ）とから構成されてもよい。カメラ３ａは、例えば、ステレオカメラ又はＬｉＤＡＲ（Light Detection and Ranging、又は、Laser Imaging Detection and Ranging）カメラなどである。カメラ３ｂは、例えば、３６０度カメラ又は複数方向を撮像可能なカメラなどである。カメラ３ｂは、特殊なカメラではなく一般的なカメラであってもよい。カメラ３は、複数（２つ以上）のカメラから構成されてもよい。本実施形態において、複数のカメラで構成されるカメラ３により撮像された複数の周囲画像を総称して、カメラ３により撮像された周囲画像と適宜記す。カメラ３は、周囲画像を出力する際に、当該周囲画像に関する任意の情報である周囲情報を出力してもよい。周囲情報は、周囲画像を撮像したタイミングのタイムスタンプと、周囲画像中のオブジェクト及び当該オブジェクトとの距離に関する情報とを含んでもよい。

カメラ３により出力された周囲画像及び周囲情報は、移動体２及びネットワークなどを介して周囲画像推定装置１に送信され、周囲画像推定装置１の出力装置１００６（後述）などを介して、移動体２の移動を制御する制御者に表示されてもよい。また、制御者が、移動体２の移動の制御（前進、右折、停止など）に関する制御情報を周囲画像推定装置１から移動体２に送信し、移動体２が当該制御情報に従った移動を行ってもよい。すなわち、制御者は、移動体２から送信される周囲画像及び周囲情報に基づいて、移動体２の移動を遠隔制御（遠隔操縦、遠隔操作）してもよい。

カメラ３は、移動体２が備える上述の各種センサを備え、（移動体２ではなく）カメラ３が、上述の移動情報を定期的に（例えば毎秒）生成し、ネットワークなどを介して周囲画像推定装置１に送信してもよい。

図１において、移動体２は道路上を走行（移動）する車である。周囲画像Ｓは、移動体２に備えられたカメラ３であって移動体２の進行方向（前方向）に向けられているカメラ３によって撮像された進行方向の画像である。周囲画像Ｓでは、移動体２が走行中の道路と、道路横の歩道と、歩道上を歩いている人と、進行方向の奥側に広がる山などの景色とが主に写されている。

［シナリオ１］
以降ではシナリオ１での実施形態について説明する。図２は、シナリオ１の概念図である。シナリオ１では、図１で示したように、進行方向の見通しが良い道路上を車などの移動体２が走行し、進行方向に人又は障害物などの（移動する）オブジェクトＢ１などが存在する場面を想定する。シナリオ１では、移動体２に備えられたカメラ３（のみ）で撮像できる周囲画像（及び周囲情報）から近未来の周囲画像を推定する。

図３は、実施形態に係る周囲画像推定装置１の機能構成の一例を示す図である。図３に示す通り、周囲画像推定装置１は、格納部１０（格納部）と、取得部１１（取得部）と、推定部１２（推定部）と、算出部１３（算出部）と、出力部１４（出力部）とを含んで構成される。なお、図３に示す機能構成及び後述の当該機能構成の具体的な内容は、シナリオ１に限るものではなく、後述のシナリオ２及びシナリオ３でも共通する。

周囲画像推定装置１の各機能ブロックは、周囲画像推定装置１内にて機能することを想定しているが、これに限るものではない。例えば、周囲画像推定装置１の機能ブロックの一部は、周囲画像推定装置１とは異なるコンピュータ装置であって、周囲画像推定装置１とネットワーク接続されたコンピュータ装置内において、周囲画像推定装置１と情報を適宜送受信しつつ機能してもよい。また、周囲画像推定装置１の一部の機能ブロックは無くてもよいし、複数の機能ブロックを一つの機能ブロックに統合してもよいし、一つの機能ブロックを複数の機能ブロックに分解してもよい。

以下、図３に示す周囲画像推定装置１の各機能について説明する。

格納部１０は、周囲画像推定装置１における算出などで利用される任意の情報及び周囲画像推定装置１における算出の結果などを格納する。格納部１０によって格納された情報は、周囲画像推定装置１の各機能によって適宜参照されてもよい。

取得部１１は、周囲画像推定装置１における算出などで利用される任意の情報を取得する。より具体的には、取得部１１は、外部の装置などからネットワークなどを介して情報を取得する。取得部１１は、取得した情報を格納部１０によって格納させたり、周囲画像推定装置１の他の機能ブロックに出力したりする。

取得部１１は、移動体２からネットワークなどを介して、周囲画像、周囲情報及び移動情報を取得する。取得部１１によって取得された周囲画像、周囲情報及び移動情報は、周囲情報及び移動情報に含まれるタイムスタンプに基づいて、時系列に履歴情報として格納部１０によって格納される。

推定部１２は、移動体２に備えられたカメラ３により撮像された周囲画像（又は格納部１０によって格納された履歴情報）に基づいて、所定時間後にカメラ３により撮像される周囲画像を推定する。例えば、推定部１２は、カメラ３により現時点までに撮像された複数の周囲画像に基づいて、基準時刻（例えば現時点）である「１３時００分００秒」から所定時間「２秒」後の時刻「１３時００分０２秒」にカメラ３により撮像される周囲画像を推定する。ここで、移動体２は移動可能のため、移動体２は、時刻「１３時００分０２秒」の時点では時刻「１３時００分００秒」での位置とは異なる位置にいる可能性がある。推定部１２は、定期的（例えば１秒おき）・継続的に周囲画像を推定してもよい。推定部１２による具体的な推定処理については後述する。

推定部１２は、複数の異なる所定時間それぞれに対応する周囲画像を推定してもよい。例えば、推定部１２は、基準時刻「１３時００分００秒」から所定時間「２秒」後の時刻「１３時００分０２秒」にカメラ３により撮像される周囲画像と、基準時刻「１３時００分００秒」から所定時間「４秒」後の時刻「１３時００分０４秒」にカメラ３により撮像される周囲画像と、基準時刻「１３時００分００秒」から所定時間「６秒」後の時刻「１３時００分０６秒」にカメラ３により撮像される周囲画像とを推定する。

推定部１２は、カメラ３ａにより撮像された画像中のオブジェクトとの距離と、カメラ３ｂにより撮像された周囲画像とに基づいて推定してもよい。具体的な推定処理については後述する。

推定部１２は、推定した周囲画像を、格納部１０によって格納させてもよいし、周囲画像推定装置１の他の機能ブロックに出力してもよい。

図４は、周囲画像の一例を示す図である。図４の状況などは、図１と同様であり、主に差分について説明する。周囲画像Ｓａは、カメラ３ａにより立体的に（オブジェクトとの距離を計測可能に）撮像された周囲画像である。周囲画像Ｓｂは、カメラ３ｂにより全方位的に撮像された周囲画像である。図４に示す例では、周囲画像Ｓｂは周囲画像Ｓａよりも広い領域を撮像した周囲画像であり、周囲画像Ｓｂの領域は周囲画像Ｓａの領域を含む（内包する）。周囲画像Ｓａで示される領域は、制御者が注目する注目領域であってもよい。その場合、周囲画像Ｓｂで示される領域のうち、周囲画像Ｓａで示される領域を除く領域は、制御者が注目しない注目領域外となる。周囲画像Ｓａ及び周囲画像Ｓｂでは、向かって左側の歩道上を奥側から手前側に向かって（移動体２の進行方向とは逆方向に）歩いている人Ｂ２（オブジェクト）が写されている。周囲画像Ｓｂでは、向かって右側の歩道上を手前側から奥側に向かって（移動体２の進行方向に）歩いている人Ｂ３（オブジェクト）が写されている。

図５は、過去・現在・未来の周囲画像の一例を示す図である。

図５中の左側の図に示す過去の周囲画像は、過去（例えば現時点から２秒前）にカメラ３ａ及びカメラ３ｂによりそれぞれ撮像された周囲画像Ｓａ及び周囲画像Ｓｂである。過去の周囲画像のうち、注目領域である周囲画像Ｓａを過去フレームと呼ぶ。過去フレーム中に示されている人Ｂ２との距離「２０ｍ」は、カメラ３ａが計測した人Ｂ２との距離を示している。なお、本実施形態において、カメラ３ａが計測したオブジェクトとの距離に関する情報は、便宜上図５の周囲画像Ｓａ中に表示しているが、実際は周囲画像Ｓａに紐付く周囲情報に含まれているものとする。

図５中の真ん中の図に示す現在の周囲画像は、現在（現時点で）、カメラ３ａ及びカメラ３ｂによりそれぞれ撮像された周囲画像Ｓａ及び周囲画像Ｓｂである。現在の周囲画像のうち、注目領域である周囲画像Ｓａを現在フレームと呼ぶ。現在フレーム中に示されている人Ｂ２との距離は「１５ｍ」であり、過去フレームと比べて移動体２に近づいている。一方、現在の周囲画像中に示されている人Ｂ３は、過去の周囲画像と比べて移動体２から遠ざかっている。現在フレームは、過去フレームと比べて周囲画像Ｓｂの領域内を上方向に移動している。

図５中の右側の図に示す未来の周囲画像は、推定部１２によって、現在からｔ秒（所定時間）後にカメラ３ａ及びカメラ３ｂによりそれぞれ撮像されると推定された周囲画像Ｓａ及び周囲画像Ｓｂである。未来の周囲画像のうち、注目領域である周囲画像Ｓａを未来フレームと呼ぶ。未来フレーム中に示されている人Ｂ２との距離は「１０ｍ」であり、現在フレームと比べて移動体２に近づいている。一方、未来の周囲画像（及び未来フレーム）中に示されている人Ｂ３は、現在の周囲画像と比べて移動体２から遠ざかっている。未来フレームは、現在フレームと比べて周囲画像Ｓｂの領域内を上方向に移動している。

図５の未来の周囲画像を参照しながら、推定部１２による未来フレームの具体的な推定処理について説明する。まず、人Ｂ２及び人Ｂ３を除く周囲画像Ｓａについては、過去の周囲画像の周囲画像Ｓａとそのタイムスタンプ、現在の周囲画像の周囲画像Ｓａ及び周囲画像Ｓｂとそれらのタイムスタンプ、並びに、ｔ秒に基づいて（推定部１２が）推定する。例えば、過去の周囲画像の周囲画像Ｓａと現在の周囲画像の周囲画像Ｓａとのタイムスタンプの差分、及び、過去の周囲画像の周囲画像Ｓａの位置と現在の周囲画像の周囲画像Ｓａの位置との差分（上方向の移動量）から、ｔ秒での上方向の移動量を算出し（線形的に上方向に移動すると仮定）、現在の周囲画像の周囲画像Ｓａを、算出した上方向の移動量分移動した周囲画像を、（人Ｂ２及び人Ｂ３を除く）未来フレームとして推定する。上方向に移動した際に新たに推定が必要となる図５に示す領域Ｒ１（未来フレームの上側）の画像については、周囲画像Ｓｂに基づいて合成してもよい。例えば、現在の周囲画像の周囲画像Ｓｂにおける対応する箇所の画像を利用して、領域Ｒ１の画像を生成してもよい。なお、上述の算出において、格納部１０によって格納された履歴情報の移動情報に含まれる移動体２の位置、加速度、速度及び移動方向に関する情報を利用することで、移動体２の正確な移動を推定し、最終的に推定する周囲画像の推定精度を高めてもよい。未来の周囲画像の周囲画像Ｓｂについても、未来フレームと同様に推定してもよい。

次に、未来フレームの人Ｂ２については、過去フレーム及び現在フレームに紐付く周囲情報に基づいて（推定部１２が）推定する。例えば、過去フレーム及び現在フレームに紐付く周囲情報に含まれる人Ｂ２との距離に基づいて、人Ｂ２のｘ、ｙ及びｚ軸方向の移動ベクトルを、過去フレーム及び現在フレームの時間差分から算出し、算出した移動ベクトル及びｔ秒に基づいて、上述の周囲画像Ｓａの推定と同様に未来フレーム内での人Ｂ２を推定する。

最後に、未来フレームの人Ｂ３については、過去の周囲画像及び現在の周囲画像におけるカメラ３ｂにより取得された周囲画像Ｓｂに基づいて（推定部１２が）推定する。例えば、過去の周囲画像及び現在の周囲画像におけるカメラ３ｂにより取得された周囲画像Ｓｂに基づいて、人Ｂ３のｘ及びｙ軸方向の移動ベクトルを、過去の周囲画像及び現在の周囲画像の時間差分から算出し、算出した移動ベクトル及びｔ秒に基づいて、上述の周囲画像Ｓａの推定と同様に未来フレーム内での人Ｂ３を推定する。すなわち、人Ｂ３は、周囲画像Ｓｂに基づいて算出された移動ベクトルから、注目領域内に映り込むことが推定され、未来フレームに重ね合わせられる。

以上の通り、推定部１２が、移動体２に備えられたカメラ３により撮像された周囲画像に基づいて、ｔ秒後にカメラ３により撮像される未来フレーム（周囲画像）を推定する。

推定部１２は、周囲画像を推定した際のオブジェクトごとの推定精度を、当該周囲画像と紐付けて他の機能ブロックに出力してもよい。例えば、推定部１２は、高速で移動するオブジェクト及び直進でない動きをするオブジェクトなどは低い推定精度を出力し、静止オブジェクト及び低速で直進するオブジェクトなどは高い推定精度を出力してもよい。

算出部１３は、推定部１２によって推定された周囲画像と、所定時間後にカメラ３により実際に撮像された周囲画像との合致度を算出する。例えば、推定部１２が、基準時刻である「１３時００分００秒」から所定時間「２秒」後の時刻「１３時００分０２秒」にカメラ３により撮像される周囲画像を推定した場合、算出部１３は、推定された当該周囲画像と、基準時刻である「１３時００分００秒」から所定時間「２秒」後の時刻「１３時００分０２秒」にカメラ３により実際に撮像された周囲画像との合致度を算出する。

算出部１３が合致度を算出する対象である片方の、推定部１２によって推定された周囲画像は、推定部１２によって出力されたものであってもよいし、格納部１０によって格納されたものであってもよい。算出部１３が合致度を算出する対象であるもう片方の、所定時間後にカメラ３により実際に撮像された周囲画像は、移動体２からネットワークなどを介して周囲画像推定装置１が受信し、格納部１０によって格納されたものである。

合致度は、２つの画像が合致する度合である。合致度は、既存技術である画像間の類似度であってもよい。合致度は、例えば、「０」から「１」の実数値で表され、値が「０」に近いほど合致しておらず、値が「１」に近いほど合致していることを表してもよい。

算出部１３は、周囲画像中のオブジェクトの位置に基づいて合致度を算出してもよい。例えば、位置Ａ（ａ，ｂ）にいたオブジェクトが、所定時間後に位置Ｂ（ｃ，ｄ）にいたとする。また、推定部１２によって、当該オブジェクトは所定時間後に位置Ｘ（ｘ，ｙ）にいると推定されたとする。その場合、例えば、算出部１３は、位置Ｂの周囲画像と位置Ｘの周囲画像との類似度を算出することで合致度を算出してもよい。

算出部１３は、推定部１２によって推定された複数の周囲画像それぞれに対して合致度を算出してもよい。例えば、推定部１２が、基準時刻「１３時００分００秒」から所定時間「２秒」後の時刻「１３時００分０２秒」の周囲画像と、基準時刻「１３時００分００秒」から所定時間「４秒」後の時刻「１３時００分０４秒」の周囲画像と、基準時刻「１３時００分００秒」から所定時間「６秒」後の時刻「１３時００分０６秒」の周囲画像とを推定したとする。その場合、算出部１３は、時刻「１３時００分０２秒」の推定された周囲画像と当該時刻に実際に撮像された周囲画像との合致度を算出し、時刻「１３時００分０４秒」の推定された周囲画像と当該時刻に実際に撮像された周囲画像との合致度を算出し、時刻「１３時００分０６秒」の推定された周囲画像と当該時刻に実際に撮像された周囲画像との合致度を算出する。

算出部１３は、算出した合致度を、格納部１０によって格納させてもよいし、周囲画像推定装置１の他の機能ブロックに出力してもよい。

図６は、未来の周囲画像と実際の周囲画像との比較を示す図である。図６中の上側の図に示す未来の周囲画像は、図５の未来の周囲画像と同じである。すなわち、未来の周囲画像における未来フレームは、推定部１２によって推定された周囲画像である。図６中の下側の図に示す実際の周囲画像は、図５の現在フレームの撮像時点からｔ秒（所定時間）後にカメラ３ａ及びカメラ３ｂによりそれぞれ実際に撮像された周囲画像Ｓａ及び周囲画像Ｓｂである。実際の周囲画像のうち、注目領域である周囲画像Ｓａを実際フレームと呼ぶ。算出部１３は、図６に示す未来フレームと実際フレームとの合致度を算出する（比較する）。なお、未来フレームと実際フレームとを比較した際に、比較結果に基づいて、推定部１２によって行われる推定のパラメータチューニングを行い、推定の精度を向上させてもよい。パラメータチューニングを行うことで、例えば、制御者の癖などによる移動体２の速度や進行方向の特徴を反映することができる。

出力部１４は、算出部１３によって算出された合致度に基づいた出力を行う。例えば、出力部１４は、算出部１３によって算出された合致度を、出力装置１００６（後述）などを介して制御者に表示してもよい。また例えば、出力部１４は、算出部１３によって算出された合致度と当該合致度の算出の基となった推定部１２によって推定された周囲画像とを、出力装置１００６（後述）などを介して制御者に表示してもよい。出力部１４による出力は、表示に限らず、例えば周囲画像推定装置１の他の機能ブロックへの出力であってもよいし、ネットワークなどを介した他の装置への送信であってもよい。

出力部１４は、算出部１３によって算出された合致度に基づいて、合致度が所定の基準を満たす所定時間を算出し、推定部１２によって推定された当該所定時間後の周囲画像を出力してもよい。例えば、合致度が上述の通り「０」から「１」の実数値で表される場合、出力部１４は、算出部１３によって所定の基準「０．８」以上の合致度が算出された所定時間（例えば「２秒」）を算出し、推定部１２によって推定された（基準時刻から）当該所定時間後の周囲画像を出力する。

出力部１４は、算出部１３によって算出された複数の合致度のうち所定の基準を満たす合致度を選択し、選択した当該合致度の基となった所定時間を、（上述の）合致度が所定の基準を満たす所定時間として算出してもよい。例えば、基準時刻「１３時００分００秒」から所定時間「２秒」後の時刻「１３時００分０２秒」の周囲画像に関する合致度が「０．９」であり、基準時刻「１３時００分００秒」から所定時間「４秒」後の時刻「１３時００分０４秒」の周囲画像に関する合致度が「０．７」であり、基準時刻「１３時００分００秒」から所定時間「６秒」後の時刻「１３時００分０６秒」の周囲画像に関する合致度が「０．５」であり、所定の基準が「０．８」以上である場合、出力部１４は、所定の基準「０．８」以上を満たす「０．９」の合致度を選択し、選択した当該合致度の基となった所定時間「２秒」を、合致度が所定の基準を満たす所定時間として算出する。そして出力部１４は、推定部１２によって推定された（基準時刻から）当該所定時間「２秒」後の周囲画像を出力する。

出力部１４は、カメラ３により撮像された周囲画像が移動体２の移動を制御する制御者に表示されるまでの伝送遅延時間にさらに基づいた出力を行ってもよい。伝送遅延時間は、例えば、移動体２から遠隔（遠隔地）にいる制御者への画像伝送に関わる遅延時間である。伝送遅延時間は、周囲画像に紐付く周囲情報に含まれるタイムスタンプと周囲画像推定装置１が予め備える時刻機能で得られる（制御者に表示するタイミングでの）タイムスタンプとの差分で特定（予測）されてもよい。なお、周囲画像推定装置１とカメラ３とで時刻が同期されているものとする。例えば、出力部１４は、算出部１３によって算出された合致度に基づいて、合致度が所定の基準を満たし、かつ、伝送遅延時間との差が所定の基準（例えば「０．５秒」）以下の所定時間を算出し、推定部１２によって推定された当該所定時間後の周囲画像を出力してもよい。

出力部１４は、算出部１３によって算出された合致度に基づいて、合致度が所定の基準を満たす所定時間を算出し、伝送遅延時間が当該所定時間以内の場合に、推定部１２によって推定された当該伝送遅延時間後の周囲画像を出力してもよい。例えば、上述の例と同様に合致度が所定の基準「０．８」以上を満たす所定時間「２秒」が算出され、伝送遅延時間が「１．５秒」である場合、伝送遅延時間「１．５秒」は所定時間「２秒」以内であるため、出力部１４は、推定部１２によって推定された伝送遅延時間「１．５秒」後の周囲画像を出力する。

出力部１４は、推定部１２による推定の推定精度にさらに基づいた出力を行ってもよい。例えば、出力部１４は、推定部１２によって出力された、周囲画像中のオブジェクトごとの推定精度の値をオブジェクト上に出力（表示）してもよいし、推定精度に応じてオブジェクトの色分けを行ってもよく、それにより制御者に対して推定精度を出力することができる。

続いて、図７を参照しながら、周囲画像推定装置１が実行する処理の例を説明する。図７は、実施形態に係る周囲画像推定装置１が実行する処理の一例を示すフローチャートである。

まず、推定部１２が、移動体２に備えられたカメラ３により撮像された周囲画像Ｓに基づいて、所定時間ｔ秒後にカメラ３により撮像される周囲画像Ｓを推定する（ステップＳ１、推定ステップ）。次に、算出部１３が、Ｓ１において推定された周囲画像Ｓと、所定時間ｔ秒後にカメラ３により実際に撮像された周囲画像Ｓとの合致度を算出する（ステップＳ２、算出ステップ）。次に、出力部１４が、Ｓ２において算出された合致度に基づいた出力を行う（ステップＳ３、出力ステップ）。

以上がシナリオ１での実施形態の説明である。

［シナリオ２］
以降ではシナリオ２での実施形態について説明する。図８は、シナリオ２の概念図である。シナリオ２では、建物内の廊下を車椅子などの移動体２が進み、丁字路（曲がり角）を右折する場面を想定する。図９は、丁字路付近の周囲画像の一例を示す図である。シナリオ１と同様に、移動体２は制御者が遠隔で制御可能である。移動体２が丁字路を右折する前の段階では、移動体２が備えるカメラ３では丁字路の右折先を撮像できないため、当該カメラ３が撮像できる周囲画像のみでは近未来の周囲画像は推定できない。図１０は、丁字路を右折した際の周囲画像の一例を示す図である。図１０に示す周囲画像は、移動体２が丁字路を右折した後に当該移動体２が備えるカメラ３によって実際に撮像されたものであり、上述の通り丁字路を右折する前の段階では撮像も推定もできない。

推定部１２は、所定時間後の移動体２の予測位置付近の地図情報にさらに基づいて推定してもよい。図１１は、丁字路を右折した際の概念図である。推定部１２は、所定時間ｔ秒後の地点から撮像可能な撮像範囲の周囲画像を、当該地点付近の地図情報（マップデータ）に基づいて推定する。マップデータはネットワークなどを介してクラウドから取得可能であり、マップデータには当該マップデータに紐づく画像データ（航空写真、テクスチャ、風景写真など）も含まれていてもよい。推定部１２は、所定時間ｔ秒後の地点を、移動体２の速度と現在位置から予測してもよい。図１２は、丁字路を右折した際の推定された周囲画像の一例を示す図である。図１２に示す周囲画像のうち領域Ｒ２は、推定部１２が地図情報に基づいて推定した領域である。以上がシナリオ２での実施形態の説明である。

［シナリオ３］
以降ではシナリオ３での実施形態について説明する。図１３は、シナリオ３の概念図である。シナリオ３では、シナリオ２の場面に加えて、丁字路奥側の廊下に監視カメラＣと、人Ｂ４と、移動体２とは異なる他の移動体２ａとが存在する場面を想定する。シナリオ３では、丁字路の右折先の人Ｂ４（オブジェクト、障害物、動的物体）も推定する。

推定部１２は、所定時間後の移動体２の予測位置付近に存在する別のカメラ３（監視カメラＣ又は移動体２ａが備えるカメラ）により撮像された周囲画像にさらに基づいて推定してもよい。推定部１２は、所定時間後の移動体２の予測位置付近の地図情報と、当該予測位置付近に存在する別のカメラ３により撮像された周囲画像に含まれるオブジェクトとにさらに基づいて推定してもよい。

すなわち、丁字路の右折先に移動体２ａ又は監視カメラＣが存在する場合は、移動体２ａ又は監視カメラＣで撮像された画像を活用して、人Ｂ４を推定する。移動体２ａは、移動体２と同様の機能構成であり、撮像した周囲画像を移動体２ａの位置情報とともに周囲画像推定装置１に送信する。移動体２ａ又は監視カメラＣは、シナリオ１と同等の方法を採用することで、人Ｂ４の所定時間ｔ秒後の位置を推定する。移動体２の推定部１２は、所定時間ｔ秒後の周囲画像をシナリオ２と同等の方法で推定した後に、人Ｂ４を位置座標などをもとに推定する（人Ｂ４を再現可能である）。図１４は、丁字路を右折した際の推定された周囲画像（オブジェクトを含む）の一例を示す図である。図１４に示す周囲画像のうち領域Ｒ２には、推定部１２によって推定された人Ｂ４が含まれている。以上がシナリオ３での実施形態の説明である。

続いて、図１５を参照しながら、周囲画像推定装置１が実行するシナリオ１～３の処理の例を説明する。図１５は、実施形態に係る周囲画像推定装置１が実行する処理の別の一例を示すフローチャートである。

まず、周囲画像推定装置１が、伝送遅延時間ｄを予測する（ステップＳ１０）。次に、周囲画像推定装置１が、ｄ秒後の移動体２の位置（自己位置）を予測する（ステップＳ１１）。次に、周囲画像推定装置１が、移動体２が撮像した周囲画像のみでｄ秒後の周囲画像を推定可能（ｄ秒後の自己位置から撮像する周囲画像に曲がり角などはなく、移動体２で撮像する周囲画像のみで推定可能）であるか否かを判定する（ステップＳ１２）。Ｓ１２にて推定可能であると判定された場合（Ｓ１２：ＹＥＳ）、周囲画像推定装置１が、シナリオ１のパターンで周囲画像を推定する（ステップＳ１３）。次に、周囲画像推定装置１が、ｄ秒後に実際に撮像された周囲画像と比較してパラメータチューニングを行い（ステップＳ１４）、処理を終了する。Ｓ１２にて推定可能ではないと判定された場合（Ｓ１２：ＮＯ）、周囲画像推定装置１が、シナリオ２のパターンで周囲画像を推定する（ステップＳ１５）。Ｓ１５に続き、ｄ秒後の移動体２の予測位置付近に存在するカメラがオブジェクトを検知しているか否かを判定する（ステップＳ１６）。Ｓ１６にて検知していないと判定された場合（ステップＳ１６：ＮＯ）、Ｓ１４に続く。Ｓ１６にて検知していると判定された場合（ステップＳ１６：ＹＥＳ）、周囲画像推定装置１が、シナリオ３のパターンでオブジェクトを推定し（ステップＳ１７）、Ｓ１４に続く。

続いて、実施形態に係る周囲画像推定装置１の作用効果について説明する。

周囲画像推定装置１によれば、推定部１２が、移動体２に備えられたカメラ３により撮像された周囲画像に基づいて、所定時間後にカメラ３により撮像される周囲画像を推定し、算出部１３が、推定部１２によって推定された周囲画像と、所定時間後にカメラ３により実際に撮像された周囲画像との合致度を算出し、出力部１４が、算出部１３によって算出された合致度に基づいた出力を行う。この構成により、移動体２に備えられたカメラ３により所定時間後に撮像される周囲画像が推定される。すなわち、移動体２の近未来の周囲画像を推定することができる。また、推定された周囲画像と実際に撮像された周囲画像との合致度に基づいた出力が行われるため、例えば、推定された周囲画像の推定精度を容易かつ効果的に活用することができる。

また、周囲画像推定装置１によれば、出力部１４が、算出部１３によって算出された合致度に基づいて、合致度が所定の基準を満たす所定時間を算出し、推定部１２によって推定された当該所定時間後の周囲画像を出力してもよい。この構成により、一定の推定精度のある、推定された周囲画像を出力することができる。

また、周囲画像推定装置１によれば、推定部１２が、複数の異なる所定時間それぞれに対応する周囲画像を推定し、算出部１３が、推定部１２によって推定された複数の周囲画像それぞれに対して合致度を算出し、出力部１４が、算出部１３によって算出された複数の合致度のうち所定の基準を満たす合致度を選択し、選択した当該合致度の基となった所定時間を、合致度が所定の基準を満たす所定時間として算出してもよい。この構成により、より容易かつ確実に、一定の推定精度のある、推定された周囲画像を出力することができる。

また、周囲画像推定装置１によれば、カメラ３は、撮像している画像中のオブジェクトとの距離を計測可能なカメラ３ａと、周囲を撮像可能なカメラ３ｂとから構成され、推定部１２が、カメラ３ａにより撮像された画像中のオブジェクトとの距離と、カメラ３ｂにより撮像された周囲画像とに基づいて推定してもよい。この構成により、オブジェクトとの距離を加味した推定を行うことができ、かつ、異なるカメラで撮像された画像に基づく推定を行うことができるため、より精度の高い推定を行うことができる。また、カメラ３ａでｚ軸（奥行）方向の情報も取得することで、ｚ軸方向にベクトルの大きい移動も推定することができる。

また、周囲画像推定装置１によれば、出力部１４が、カメラ３により撮像された周囲画像が移動体２の移動を制御する制御者に表示されるまでの伝送遅延時間にさらに基づいた出力を行ってもよい。この構成により、伝送遅延時間を考慮した出力を行うことができる。例えば、伝送遅延時間分の近未来の周囲画像を制御者に出力することで、制御者にとってはまるでリアルタイムの移動体２の周囲画像を出力することができる。

また、周囲画像推定装置１によれば、出力部１４が、算出部１３によって算出された合致度に基づいて、合致度が所定の基準を満たす所定時間を算出し、伝送遅延時間が当該所定時間以内の場合に、推定部１２によって推定された当該伝送遅延時間後の周囲画像を出力してもよい。この構成により、例えば、一定の推定精度のある、リアルタイムの移動体２の周囲画像を出力することができる。

また、周囲画像推定装置１によれば、出力部１４が、推定部１２による推定の推定精度にさらに基づいた出力を行ってもよい。この構成により、推定精度を容易かつ効果的に活用することができる。

また、周囲画像推定装置１によれば、推定部１２は、所定時間後の移動体２の予測位置付近の地図情報にさらに基づいて推定してもよい。この構成により、移動体２自体では推定できない部分も地図情報によって補うことができる。

また、周囲画像推定装置１によれば、推定部１２は、所定時間後の移動体２の予測位置付近に存在する別のカメラ３により撮像された周囲画像にさらに基づいて推定してもよい。この構成により、移動体２自体では推定できない部分も別のカメラ３により撮像された周囲画像によって補うことができる。

また、周囲画像推定装置１によれば、推定部１２が、所定時間後の移動体２の予測位置付近の地図情報と、当該予測位置付近に存在する別のカメラ３により撮像された周囲画像に含まれるオブジェクトとにさらに基づいて推定してもよい。この構成により、移動体２自体では推定できない部分も、地図情報及び別のカメラ３により撮像された周囲画像に含まれるオブジェクトによって補うことができる。

ここで、従来の課題について説明する。移動する物体を遠隔地から操作するためには、遠隔操縦者が現地の様子をリアルタイムに把握する必要があり、現在は映像により現地の様子を把握する方法が主流である。遠隔操縦者まで現地の映像を届けるには映像伝送・エンコード・デコード等の処理により数十～数百ｍｓ程度の遅延が発生してしまうため、緊急停止の反応遅れ又は操縦者側の違和感につながってしまう。

本実施形態の周囲画像推定装置１は、制御者（遠隔操縦者）に画像（映像）を伝送する際に発生してしまう遅延を考慮し、伝送遅延時間に応じた数十～数百ｍｓ程度未来の現地映像を仮想的に生成することにより、画像伝送遅延を感じさせない遠隔制御システムを実現する。周囲画像推定装置１は、移動体２の進行方向・速度、及び周辺オブジェクトのベクトルから画像伝送に関わる伝送遅延時間分だけ未来における、制御者の注目領域部分の画像を生成することができる。周囲画像推定装置１は、未来画像作成する際には、その時の画像伝送遅延分の未来画像を生成する。ただし、所定の合致率以下の場合には、合致率になるように、少し遅れた画像の未来画像を生成する。例えば５秒遅延しているとして、５秒の未来画像を生成すると、合致率が低下してしまう場合、合致率以上となる３秒を生成する。周囲画像推定装置１によれば、遠隔操縦の反応遅れの防止、及び、違和感のない遠隔操縦の実現が可能である。周囲画像推定装置１による手法は、リアルタイム遠隔制御向けの近未来映像生成手法である。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における周囲画像推定装置１などは、本開示の周囲画像推定方法の処理を行うコンピュータとして機能してもよい。図１６は、本開示の一実施の形態に係る周囲画像推定装置１のハードウェア構成の一例を示す図である。上述の周囲画像推定装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。周囲画像推定装置１のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

周囲画像推定装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の取得部１１、推定部１２、算出部１３及び出力部１４などは、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、取得部１１、推定部１２、算出部１３及び出力部１４は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ROM）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の取得部１１、推定部１２、算出部１３及び出力部１４などは、通信装置１００４によって実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、周囲画像推定装置１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。

本開示で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up、search、inquiry）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa、an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１…周囲画像推定装置、２・２ａ…移動体、３・３ａ・３ｂ…カメラ、４…周囲画像推定システム、１０…格納部、１１…取得部、１２…推定部、１３…算出部、１４…出力部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス、Ｂ１…オブジェクト、Ｂ２・Ｂ３・Ｂ４…人、Ｃ…監視カメラ、Ｒ１・Ｒ２…領域、Ｓ・Ｓａ・Ｓｂ…周囲画像。

Claims (10)

1. 移動する物体に備えられた撮像手段により撮像された周囲画像に基づいて、所定時間後に前記撮像手段により撮像される周囲画像を推定する推定部と、
   前記推定部によって推定された周囲画像と、前記所定時間後に前記撮像手段により実際に撮像された周囲画像との合致度を算出する算出部と、
   前記算出部によって算出された前記合致度に基づいた出力を行う出力部と、
   を備える周囲画像推定装置。
2. 前記出力部は、前記算出部によって算出された前記合致度に基づいて、前記合致度が所定の基準を満たす前記所定時間を算出し、前記推定部によって推定された当該所定時間後の周囲画像を出力する、
   請求項１に記載の周囲画像推定装置。
3. 前記推定部は、複数の異なる前記所定時間それぞれに対応する周囲画像を推定し、
   前記算出部は、前記推定部によって推定された複数の周囲画像それぞれに対して前記合致度を算出し、
   前記出力部は、前記算出部によって算出された複数の前記合致度のうち所定の基準を満たす前記合致度を選択し、選択した当該合致度の基となった前記所定時間を、前記合致度が所定の基準を満たす前記所定時間として算出する、
   請求項２に記載の周囲画像推定装置。
4. 前記撮像手段は、撮像している画像中のオブジェクトとの距離を計測可能な第一のカメラと、周囲を撮像可能な第二のカメラとから構成され、
   前記推定部は、前記第一のカメラにより撮像された画像中のオブジェクトとの距離と、前記第二のカメラにより撮像された周囲画像とに基づいて推定する、
   請求項１～３の何れか一項に記載の周囲画像推定装置。
5. 前記出力部は、前記撮像手段により撮像された周囲画像が前記物体の移動を制御する制御者に表示されるまでの伝送遅延時間にさらに基づいた出力を行う、
   請求項１～４の何れか一項に記載の周囲画像推定装置。
6. 前記出力部は、前記算出部によって算出された前記合致度に基づいて、前記合致度が所定の基準を満たす前記所定時間を算出し、前記伝送遅延時間が当該所定時間以内の場合に、前記推定部によって推定された当該伝送遅延時間後の周囲画像を出力する、
   請求項５に記載の周囲画像推定装置。
7. 前記出力部は、前記推定部による推定の推定精度にさらに基づいた出力を行う、
   請求項１～６の何れか一項に記載の周囲画像推定装置。
8. 前記推定部は、前記所定時間後の前記物体の予測位置付近の地図情報にさらに基づいて推定する、
   請求項１～７の何れか一項に記載の周囲画像推定装置。
9. 前記推定部は、前記所定時間後の前記物体の予測位置付近に存在する別の撮像手段により撮像された周囲画像にさらに基づいて推定する、
   請求項１～８の何れか一項に記載の周囲画像推定装置。
10. 前記推定部は、前記所定時間後の前記物体の予測位置付近の地図情報と、当該予測位置付近に存在する別の撮像手段により撮像された周囲画像に含まれるオブジェクトとにさらに基づいて推定する、
    請求項１～９の何れか一項に記載の周囲画像推定装置。

Images