JP6487231B2 - 着目場所の拡張視界の生成 - Google Patents

Description

本発明の実施形態は、概して、拡張現実に関し、より詳細には、ユーザのために着目する場所の拡張された視界を生成することに関する。

ナビゲーションシステムは、ユーザの位置を判定するため、ならびに方向を提供して、ユーザが特定の目的地まで進めるようにするために、様々な用途で広く用いられている。ナビゲーションシステムは、典型的には、全地球測位システム（ＧＰＳ）衛星、無線アクセスポイント、ジャイロスコープ、慣性センサ、コンパスなどを含む１つまたは２つ以上の供給源から信号（例えば、地理位置情報信号）を受信する位置受信機を含む。位置受信機から受信される位置信号に基づいて、ナビゲーション情報がユーザに提供される。

ユーザに特定の目的地までの道順を提供することに加えて、現在のナビゲーションシステムは、しばしば、ユーザがナビゲーション経路および／または目的地の画像を見ることができるようにする。例えば、一部のナビゲーションシステムは、ユーザが、自身の走行することになる街路のデータベース画像を見ることによって、ナビゲーション経路を予め見ることができるようにする。このようにして、ユーザは、自身が走行することになる環境についてよく理解することができる。しかしながら、一旦ユーザが旅を始めてしまうと、ナビゲーション経路のデータベース画像を見ることは実際的ではない。例えば、目的地に向けて歩行または運転しながらスマートフォンなどのモバイル機器を介してデータベース画像を見ようとすることは、ユーザの気を散らし、自身のいる環境内を安全に進むユーザの能力を妨げる。そのため、ユーザが迷った場合や、ナビゲーション経路または目的地の画像を見たいと思う場合、ユーザは、自身のモバイル機器を操作するために、歩みまたは運転を止めなければならない場合もある。

これらの欠点に対処するために、一部のナビゲーションシステムは、ユーザの視野に重ねられるヘッドアップ表示装置（ＨＵＤ）などの拡張現実機構を実装する。例えば、ターンバイターン方式の指示、通りの名前、および目的地までの残りの距離などの情報は、ユーザの視野に表示され得て、ユーザが、ナビゲーション情報を見ることと、自身の周辺に注意を払うこととを同時にできるようにする。加えて、一部のナビゲーションシステムは、通りの名前、番地、および／または特定の建物に関する商号を重ねることなどによって、周辺領域における物体に関する関連情報を重ねようと試みている。しかしながら、現在の拡張現実システムによって生成されるオーバレイは、建物または自動車などの環境内の障害物が、ユーザの視野を遮っている場合、ユーザに関連情報を提供することができない。例えば、ユーザの目的地の視界が、周辺領域にある建物または自動車によって遮られている場合、ユーザは、ユーザが目的地に到着するまで拡張現実情報を見ることができない場合もある。

上述のように、ユーザに関連ナビゲーション情報を提供するための改良された技法は有用である。

本発明の一実施形態は、ユーザのために着目する場所の拡張された視界を生成するための方法を説明する。本方法は、着目する場所に基づいて画像撮像位置を判定するステップと、画像撮像位置に基づいて画像撮像方向を判定するステップとを含む。本方法は、画像撮像位置および画像撮像方向に関連付けられた画像を受信するステップをさらに含む。本方法は、処理画像を生成するために、ユーザの位置に関連付けられた見通し線に基づいて画像を処理するステップと、処理画像をユーザに表示するステップとをさらに含む。

さらなる実施形態は、その他の事柄の中でも、システムと、上記方法ステップを実行するように構成される非一時的コンピュータ可読媒体とを提供する。

有利なことに、開示される技法は、ユーザが、周辺環境内の障害物を透かして、着目する場所を見ることができるようにする。加えて、開示される技法は、ユーザが、着目する場所を見ると同時に、自身のリアルタイムの周辺に注意を払い続けることができるようにする。したがって、着目する場所の画像をユーザのリアルタイムの視野に重ねることによって、ナビゲーションの有効性およびユーザの安全性が高まる。

上述した本発明の特徴が詳細に理解され得るように、上に簡単に要約された本発明のより詳細な説明は、添付の図面にその一部が示される実施形態を参照することにより理解され得る。しかしながら、添付の図面は、本発明の典型的な実施形態のみを示しており、したがって、本発明はその他の等しく効果的な実施形態を認めることから、本発明の範囲を限定しているものとみなされるべきではないことに注意されたい。

本願発明は、例えば以下の項目を提供する。
（項目１）
ユーザのために着目する場所の拡張された視界を生成するためのコンピュータ利用の方法であって、上記方法が、
上記着目する場所に基づいて画像撮像位置を判定することと、
上記画像撮像位置に基づいて画像撮像方向を判定することと、
上記画像撮像位置および上記画像撮像方向に関連付けられた画像を受信することと、
処理された画像を生成するために、上記ユーザの位置に関連付けられた見通し線に基づいて上記画像を処理することと、
上記処理された画像を上記ユーザに表示することと
を備える、ユーザのために着目場所の拡張視界を生成するためのコンピュータ利用の方法。
（項目２）
上記画像を処理することが、
変換を決定するために、上記見通し線をディスプレイの表面を通して投影することと、
上記変換を上記画像に施すことと
を備える、上記項目に記載の方法。
（項目３）
自動車の窓が、上記ディスプレイの上記表面を備える、上記項目のいずれか一項に記載の方法。
（項目４）
上記見通し線に関連付けられたリアルタイムの視界の画像を受信することをさらに備え、
上記画像を処理することが、
上記画像を上記リアルタイムの視界の上記画像と比較することと、
上記画像の少なくとも一部分を上記リアルタイムの視界の上記画像の少なくとも一部分と整合することと
を備える、上記項目のいずれか一項に記載の方法。
（項目５）
上記リアルタイムの視界の上記画像が、上記着目する場所の遮蔽状態の視界を備え、上記画像が、上記着目する場所の実質的に未遮蔽の視界を備える、上記項目のいずれか一項に記載の方法。
（項目６）
上記画像を処理することが、上記画像を上記リアルタイムの視界の上記画像と合成することをさらに備える、上記項目のいずれか一項に記載の方法。
（項目７）
ズーム値を上記ユーザから受信することをさらに備え、上記画像撮像位置を判定することが、上記ズーム値にさらに基づく、上記項目のいずれか一項に記載の方法。
（項目８）
データベースから上記着目する場所を定義する座標を受信することをさらに備え、上記ユーザの上記位置が、１つまたは２つ以上の地理位置情報信号から送られる、上記項目のいずれか一項に記載の方法。
（項目９）
上記ユーザの視線の方向を判定することと、
上記ユーザの上記位置および上記視線の方向に基づいて上記着目する場所を選択することと
をさらに備える、上記項目のいずれか一項に記載の方法。
（項目１０）
ユーザのために着目する場所の拡張された視界を生成するためのシステムであって、
処理装置であって、
上記ユーザの位置および上記着目する場所に基づいて第１の画像撮像位置を判定し、
上記第１の画像撮像位置で取得された第１の画像を受信し、
処理された画像を生成するために、上記ユーザの上記位置に関連付けられた見通し線に基づいて上記第１の画像を処理する
ように構成される処理装置と、
上記処理された画像を上記ユーザに表示するように構成されるディスプレイと
を備える、ユーザのために着目する場所の拡張された視界を生成するためのシステム。
（項目１１）
上記処理装置が、上記第１の画像撮像位置および上記着目する場所に基づいて画像撮像方向を判定するようにさらに構成され、上記第１の画像が、上記画像撮像方向に関連付けられる、上記項目に記載のシステム。
（項目１２）
上記処理装置が、上記見通し線を上記ディスプレイの表面を通して投影して、変換を決定し、かつ上記変換を上記第１の画像に施すことによって、上記第１の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１３）
上記ディスプレイが、自動車の窓に配置される、上記項目のいずれか一項に記載のシステム。
（項目１４）
上記処理装置が、上記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、上記第１の画像を上記リアルタイムの視界の上記画像と比較して変換を判定し、かつ上記変換を上記第１の画像に施して上記第１の画像の少なくとも一部分を上記リアルタイムの視界の上記画像の少なくとも一部分と整合することによって、上記処理装置が上記第１の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１５）
上記リアルタイムの視界の上記画像が、上記着目する場所の遮蔽状態の視界を備え、上記第１の画像が、上記着目する場所の実質的に未遮蔽の視界を備える、上記項目のいずれか一項に記載のシステム。
（項目１６）
上記処理装置が、上記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、上記第１の画像の少なくとも一部分を上記リアルタイムの視界の上記画像の少なくとも一部分と整合し、かつ上記第１の画像を上記リアルタイムの視界の上記画像と合成することによって、上記処理装置が上記第１の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１７）
上記処理装置が、上記ユーザの上記位置および上記着目する場所に基づいて第２の画像撮像位置を判定し、かつ上記第２の画像撮像位置で取得された第２の画像を受信するようにさらに構成され、上記処理装置が、上記第１の画像を上記第２の画像と組み合わせることによって、上記第１の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
（項目１８）
上記第１の画像が、上記着目する場所の第１の視点に関連付けられ、上記第２の画像が、上記着目する場所の第２の視点に関連付けられる、上記項目のいずれか一項に記載のシステム。
（項目１９）
上記ユーザの視線の方向を判定するように構成される追跡装置をさらに備え、上記処理装置が、上記視線の方向を受信し、かつ上記ユーザの上記位置および上記視線の方向に基づいて上記着目する場所を選択するようにさらに構成される、上記項目のいずれか一項に記載のシステム。
（項目２０）
処理装置によって実行されると上記処理装置にユーザのために着目する場所の拡張された視界を生成させる命令を含む、非一時的コンピュータ可読記憶媒体であって、
上記ユーザの位置および上記着目する場所に基づいて画像撮像位置を判定するステップと、
上記画像撮像位置に基づいて画像撮像方向を判定するステップと、
上記画像撮像位置および上記画像撮像方向に関連付けられた画像を受信するステップと、
上記画像を上記ユーザに表示するステップと
を実行することによって、上記処理装置にユーザのために着目する場所の拡張された視界を生成させる命令を含む、非一時的コンピュータ可読記憶媒体。

（摘要）
本発明の一実施形態は、ユーザが着目する場所の拡張された視界を生成するための技法を説明する。本技法は、着目する場所に基づいて画像撮像位置を判定するステップと、画像撮像位置に基づいて画像撮像方向を判定するステップとを含む。本技法は、画像撮像位置および画像撮像方向に関連付けられた画像を受信するステップをさらに含む。本技法は、処理画像を生成するために、ユーザの位置に関連付けられた見通し線に基づいて画像を処理するステップと、処理画像をユーザに表示するステップとをさらに含む。有利なことに、開示される技法は、ユーザが、周辺環境内の障害物を透かして、着目する場所を見ることができるようにする。

本発明の様々な実施形態による、着目する場所の未遮蔽画像をリアルタイムの視界に合成して、着目する場所の拡張された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、着目する場所の未遮蔽画像をリアルタイムの視界に合成して、着目する場所の拡張された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、着目する場所の未遮蔽画像をリアルタイムの視界に合成して、着目する場所の拡張された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、着目する場所の拡張された視界を生成する際に、画像撮像位置および画像撮像方向を判定するための技法を示す概念図である。 本発明の様々な実施形態による、曲がり角によって遮られている着目する場所の拡張された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、曲がり角によって遮られている着目する場所の拡張された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、曲がり角によって遮られている着目する場所の拡張された視界を生成する際に、画像撮像位置（複数可）および画像撮像方向（複数可）を判定するための技法を示す概念図である。 本発明の様々な実施形態による、ユーザのために着目する場所の拡張された視界を生成するための方法ステップを示す流れ図である。 本発明の様々な実施形態による、着目する場所の拡大された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、着目する場所の拡大された視界を生成するための技法を示す概念図である。 本発明の様々な実施形態による、着目する場所の拡大された視界を生成する際に、ズームレベルに基づいて画像撮像位置を判定するための技法を示す概念図である。 本発明の様々な実施形態による、ユーザのために着目する場所１１０の拡大された視界を生成するための方法ステップを示す流れ図である。 本発明の１つまたは２つ以上の態様を実装するように構成されるコンピューティング装置を示すブロック図である。

以下の説明では、本発明の実施形態がより充分に理解されるように、多数の具体的な細部が説明される。しかしながら、これらの具体的な細部のうちの１つまたは２つ以上がなくとも本発明の実施形態が実施され得ることは、当業者には明らかであろう。

図１Ａ〜図１Ｃは、本発明の様々な実施形態による、着目する場所１１０の未遮蔽画像１１２をリアルタイムの視界１１６に合成して、着目する場所１１０について拡張された視界を生成するための技法を示す概念図である。図１Ａに示されるように、ユーザが走行している最中、周辺環境にある物体は、ユーザの視界を遮り、標識、道路、建物、ランドマークなどの着目する場所１１０を見るユーザの能力を妨げる。例えば、図１Ａでは、障害物１１４が、ユーザが向かっている着目する場所１１０（例えば、建物）についてのユーザの視界を遮っている。その結果、ユーザは、車線変更する、および／または適切な道へと曲がるのに適したタイミングで着目する場所１１０を見ることができない場合がある。さらに、ユーザは、障害物１１４によって遮られている着目する場所１１０を目で確認しようとして注意力を不必要に消耗し、周辺環境にいる歩行者およびその他の車両に注意を払うユーザの能力を低下させる場合もある。

ユーザが障害物１１４の背後にある着目する場所１１０を見ることができるようにするために、着目する場所１１０の画像１１２が、データベースおよび／または周辺環境に配置されたカメラから取得され得る。次いで、着目する場所１１０の画像１１２は、ユーザの視野に表示され得て、ユーザが、自身のリアルタイムの周辺を同時に見ながら、着目する場所１１０を見ることができるようにする。様々な実施形態では、着目する場所１１０の画像１１２は、ユーザにディスプレイ１２０上で示され得る。ディスプレイ１２０は、窓（例えば、側窓、風防、後窓など）、鏡（例えば、バックミラー、サイドミラーなど）、および／またはディスプレイスクリーンを含む、ユーザの車両の任意の表面上に配置および／または投影され得る。一部の実施形態では、ディスプレイ１２０は、実質的に透明であるヘッドアップ表示装置（ＨＵＤ）であり、ユーザが、自身のリアルタイムの周辺を同様に見ながら、着目する場所１１０を見ることができるようにする。その他の事柄の中でも、画像１１２を透明なディスプレイ１２０上に表示することにより、着目する場所１１０は、ユーザのリアルタイムの視界１１６に合成され得て、図１Ｂに示されるように、実質的に連続な周辺環境の視界を生成する。図１Ｃに示されるように、画像１１２を透明なディスプレイ１２０上に表示することにより、画像１１２の不透明度が変更されて、ユーザが、ディスプレイ１２０の着目する場所１１０の画像１１２が表示されている領域と同じ領域に、障害物１１４（例えば、バス）を見ることができるようにする。さらに、着目する場所１１０の画像１１２の不透明度は、ユーザの見通し線におけるリアルタイム画像を撮像し、リアルタイム画像を着目する場所１１０の画像１１２と合成し、合成された画像をディスプレイ１２０上に表示することによって、ユーザのリアルタイムの視界１１６に対して変化させ得る。このような技法は、図２と併せてさらに詳しく後述される。

図２は、本発明の様々な実施形態による、ユーザに着目する場所１１０について拡張された視界を表示するためのナビゲーションシステム２００の概念図である。図示のように、ナビゲーションシステム２００は、ディスプレイ１２０と、カメラ２１０と、および追跡装置２２０とを含み得る。カメラ２１０は、上述のリアルタイムの視界１１６などのユーザの周辺の画像を撮像するように構成され得る。カメラ２１０は、ユーザの視点からの画像を撮像できるような位置に配置され得る。例えば、カメラ２１０は、ユーザの見通し線の上方、下方、または脇に配置され得る。一部の実施形態では、カメラ２１０は、ユーザが乗る車両上および／またはユーザ自身に取り付けられ得る。

動作時、ナビゲーションシステム２００は、着目する場所１１０を受信する。着目する場所１１０は、ユーザによって入力される、ナビゲーションシステム２００によって判定される、および／または補助装置から受信され得る。着目する場所１１０は、街路の場所、番地、名称、市、州、座標、ならびに／またはナビゲーションシステム２００が着目する場所１１０の素性および／もしくは位置を判定できるようにする任意のその他の情報を含み得る。ナビゲーションシステム２００は、着目する場所１１０に対するユーザの位置をさらに判定し得る。ユーザの位置は、全地球測位システム（ＧＰＳ）、無線通信装置、飛行時間型装置、無線周波数（ＲＦ）装置、光学装置などを含む、任意のタイプの地理位置情報装置を用いて判定され得る。

着目する場所１１０を受信した後、ナビゲーションシステム２００は、着目する場所１１０に関連付けられた画像１１２をデータベースまたは周辺領域に配置されているカメラから受信する。一部の実施形態では、カメラは、着目する場所１１０の最も近くにあって、カメラが着目する場所１１０の未遮蔽画像１１２を撮像して、画像をナビゲーションシステム２００に送信し得るようにする。データベースは、複数の位置および複数の方向から撮像された様々な街路および経路の画像を含む、Ｇｏｏｇｌｅ（登録商標）Ｓｔｒｅｅｔ Ｖｉｅｗなどのナビゲーションデータベースであり得る。

データベースから受信された、および／またはカメラによって撮像された着目する場所１１０の画像１１２は、画像撮像位置に関連付けられる。画像撮像位置は、適切な視点（例えば、ユーザの視点に近い）であり、周辺環境にある物体によって比較的遮られていない、着目する場所１１０の画像１１２をユーザに提供するために選択され得る。様々な実施形態では、画像撮像位置は、着目する場所１１０およびユーザの位置の一方または両方に基づいて判定され得る。例えば、着目する場所１１０が、ユーザが歩行または運転する路上にある事業所である場合、画像撮像位置は、ユーザと着目する場所１１０との間、例えば、ユーザと着目する場所１１０との間の見通し線内に配置され得る。したがって、ユーザが着目する場所１１０に南から接近している場合、画像撮像位置は、適切な視点を有する画像１１２を提供するために、ユーザの位置と着目する場所１１０との間において、着目する場所１１０の南に配置され得る。

データベースから受信された、および／またはカメラによって撮像された着目する場所１１０の画像１１２はまた、画像撮像方向に関連付けられ得る。画像撮像位置に関して上述したように、画像撮像方向は、適切な視点（例えば、ユーザの視点に近い）である、着目する場所１１０の画像１１２をユーザに提供するために選択され得る。画像撮像方向は、着目する場所１１０、ユーザの位置、および画像撮像位置のうちの１つまたは２つ以上に基づいて判定され得る。例えば、画像撮像位置がユーザと着目する場所１１０との間に配置されている場合、画像撮像方向は、ユーザから着目する場所１１０への見通し線の方向と実質的に一致するように選択され得る。したがって、ユーザが着目する場所１１０に南から接近している場合、画像撮像方向は、適切な視点を有する画像１１２を提供するために、実質的に北向きにされ得る。あるいは、画像撮像位置が実質的にユーザと着目する場所１１０との間の見通し線に沿って配置されていない場合、例えば、上述の画像撮像位置に関連付けられた画像１１２が得られない場合、画像撮像方向は、画像撮像位置とユーザの位置との間の視点の差を補償するように選択され得る。加えて、さらに詳しく後述するように、画像１１２自体が（例えば、変換を介して）処理されて、画像撮像位置とユーザの位置との間の視点の差を補償し得る。

様々な実施形態では、画像撮像位置および／または画像撮像方向は、データベースに記憶された、または周辺領域にある１つまたは２つ以上のカメラによって撮像された着目する場所１１０の１つまたは２つ以上の画像１１２を、ユーザのリアルタイムの視界１１６と比較することによって判定され得る。例えば、ナビゲーションシステム２００は、１つまたは２つ以上の画像撮像位置および／または画像撮像方向で撮像された、着目する場所１１０の画像１１２の１つまたは２つ以上の関連部分を、カメラ２１０によって撮像されたリアルタイムの視界１１６の画像の対応部分と比較し得る。次いで、ナビゲーションシステム２００は、どの画像（複数可）がリアルタイムの視界１１６に最もよく一致するかを判定し得る。次いで、画像（複数可）１１２は、変換を施し、画像（複数可）１１２をリアルタイムの視界１１６と合成するなどによって、処理され、かつユーザにディスプレイ１２０上で表示され得る。

着目する場所１１０の画像１１２をユーザにディスプレイ１２０上で表示する前に、画像１１２が処理されてもよい。処理は、例えば、画像１１２に変換を施すこと、画像１１２の大きさを変更すること、画像１１２をクロッピングすること、および／または複数の画像１１２を単一の画像１１２に合成して、画像１１２がユーザに表示される時に画像１１２およびリアルタイムの視界１１６が実質的に連続になるようにすることを含み得る。加えて、画像１１２の不透明度は修正されて、画像１１２をリアルタイムの視界１１６により効果的に混ぜる、および／またはユーザが、画像１１２およびリアルタイムの視界１１６（例えば、障害物１１４）の対応する部分（複数可）の両方を同時に見ることができるようにし得る。さらに、一部の実施形態では、着目する場所１１０の画像１１２がリアルタイムの視界１１６の画像と合成され得て、結果として得られる合成された画像（複数可）がユーザにディスプレイ１２０上で表示され得る。着目する場所１１０の画像１１２をリアルタイムの視界１１６の画像と合成することは、ディスプレイ１２０がユーザと着目する場所１１０との間の見通し線にない場合、有用であり得る。その他の実施形態では、リアルタイムの視界１１６の画像を除く、着目する場所１１０の画像１１２（例えば、処理画像１１２）のみが車両の窓（例えば、風防）などのディスプレイ１２０上に表示される。

追跡装置２２０は、限定するものではないが、ユーザの位置および／または視線の方向２２３（例えば、水平角および／または鉛直角）を判定するように構成される１つまたは２つ以上のカメラおよび／またはセンサを含み得る。カメラ（複数可）および／またはセンサ（複数可）によって取得された画像は、追跡装置２２０に含まれる、および／またはナビゲーションシステム２００に関連付けられたコンピューティング装置によって解析され得る。例えば、図２に示されるように、カメラは、ユーザの目または顔の画像を取得するように構成され得る。次いで、画像は、ディスプレイ１２０に対するユーザの位置および／またはユーザが見ている方向を判定するように解析され得る。

ユーザの位置および／または視線の方向２２３は、着目する場所１１０、画像撮像位置、および／または画像撮像方向を判定するために用いられ得る。例えば、ユーザは、ナビゲーション装置２００の拡張視界機能を起動し、次いで着目する場所１１０の方向を見つめ得る。それに応じて、追跡装置２２０は、ユーザの視線の方向２２３を検出し、視線の方向２２３をナビゲーションシステム２００に関連付けられたコンピューティング装置に送信し得る。次いで、コンピューティング装置は、視線の方向２２３を用いて、ユーザが見つめている着目する場所１１０を判定し、適切な画像撮像位置および／または画像撮像方向を選択する。その次に、画像撮像位置および／または画像撮像方向に関連付けられた画像１１２は、ユーザに表示され得る。さらに、ディスプレイ１２０に対するユーザの位置（例えば、車両内のユーザの位置）は、画像撮像位置および／または画像撮像方向を判定および／または改善するために用いられ得る。例えば、ユーザが車両内で左または右に移動した場合、画像撮像位置および／または画像撮像方向は修正されて、ユーザに表示された着目する場所１１０の画像１１２が、より正確にユーザの視点を反映するようにする。また、ディスプレイ１２０に対するユーザの位置は、画像１１２をユーザに表示する前に、どのように画像１１２を処理するか（例えば、変換、拡大、クロッピングなどを介して）を決定するために用いられ得る。

ナビゲーションシステム２００が着目する場所１１０の画像１１２を受信すると、画像１１２は、画像１１２が撮像された高さとユーザの見通し線の高さとの差を補償するために処理され得る。例えば、画像１１２がＧｏｏｇｌｅ（登録商標）Ｓｔｒｅｅｔ Ｖｉｅｗなどのデータベースから取得される場合、画像１１２は、ユーザの見通し線よりも高い高さで撮像された可能性がある。したがって、ユーザの見通し線とカメラ（例えば、Ｇｏｏｇｌｅ（登録商標）Ｓｔｒｅｅｔ Ｖｉｅｗカメラ）の見通し線との間の角度２２２を補償するために、画像１１２に変換が施され得る。

一部の実施形態では、ナビゲーション装置２００は、ユーザによって装着される。例えば、ナビゲーション装置２００は、ユーザによって装着されるヘッドセットまたはメガネであり得る。このような実施形態では、カメラ２１０、追跡装置２２０、および／またはディスプレイ１２０は、視線の方向２２３を判定し、ユーザに着目する場所１１０の画像１１２を提供するために、ユーザの目の近くにあるナビゲーション装置２００に配置され得る。例えば、１つまたは２つ以上のカメラが、ユーザの目の近くにあるヘッドセットまたはメガネに配置され得る。

特定の状況下では、ナビゲーション装置２００のユーザは、曲がり角の向こう側にある着目する場所１１０を見ることを希望する場合がある。例えば、ユーザが進む際、ユーザは、特定の街路に曲がって入るかどうかを決めるために、その街路に至る前に、その街路に何があるかを見ることを希望する場合がある。したがって、建物および／または角を曲がった所にあるその他の着目する場所１１０の画像１１２をユーザに提供するために、上述の技法の一部が適用されてもよい。このような実施形態は、図３Ａ〜図５と併せて以下に説明される。

図３Ａおよび図３Ｂは、本発明の様々な実施形態による、曲がり角によって遮られている着目する場所１１０について拡張された視界を生成するための技法を示す概念図である。図示のように、曲がり角に近づく場合、ユーザは、曲がり角に遮られている建物、ランドマーク、標識などを見ることを希望する場合がある。そこで、ユーザは、ナビゲーション装置２００の拡張視界機能を起動し、関連する着目する場所１１０を入力し得る（例えば、キーボード、音声コマンド、視線の方向２２３などを介して）。それに応じて、ナビゲーションシステム２００は、図４と併せてさらに詳しく後述するように、着目する場所１１０に対するユーザの位置に基づいて、画像撮像位置および／または画像撮像方向を判定し得る。次いで、ナビゲーションシステム２００は、画像撮像位置および／または画像撮像方向に基づいて着目する場所１１０の画像１１２を受信し、また画像１１２に対してオプションの処理を実行し得る。次いで、画像１１２は、ユーザにディスプレイ１２０上で表示される。例えば、図３Ｂに示されるように、曲がり角の向こう側にある着目する場所１１０の画像１１２は、車の窓などの透明ディスプレイ１２０上でユーザに表示され得て、ユーザが、画像１１２と併せてリアルタイムの視界１１６を見ることができるようにする。

図４は、本発明の様々な実施形態による、曲がり角によって遮られている着目する場所１１０について拡張された視界を生成する際に、画像撮像位置（複数可）４１５および画像撮像方向（複数可）を判定するための技法を示す概念図である。図示のように、１つまたは２つ以上の画像１１２は、それぞれが異なる画像撮像位置４１５および／または画像撮像方向に関連付けられているが、データベースおよび／または着目する場所１１０の近くにあるカメラから取得され得る。複数の画像１１２が取得された場合、画像１１２は組み合わせられて、ユーザに表示される単一の連続画像１１２を形成し得る。加えて、画像（複数可）１１２は、ユーザのリアルタイムの視界１１６と組み合わせられ得る。例えば、図示のように、ユーザ４１０の位置に関連付けられたリアルタイムの視界１１６−１およびリアルタイムの視界１１６−２の画像は、画像撮像位置４１５−１で撮像された画像１１２−１および画像撮像位置４１５−２で撮像された画像１１２−２と組み合わされて、ユーザに表示される連続画像を形成し得る。その他の実施形態では、連続画像は、画像１１２−１および画像１１２−２だけを組み合わせることによって生成され得る。次いで、結果として得られた画像１１２は、処理され（例えば、ユーザの視点にしたがって）、ユーザの視野の適切な位置に表示されて、画像１１２がリアルタイムの視界１１６−１およびリアルタイムの視界１１６−２と実質的に連続に見えるようにする。

リアルタイムの視界（複数可）１１６を着目する場所１１０の画像１１２と合成することに加えて、リアルタイムの視界（複数可）１１６は、どの画像撮像位置（複数可）および／または画像撮像方向（複数可）が、ユーザ４１０の位置に関連付けられたリアルタイムの視界１１６に最もよく一致するかを判定するために用いられ得る。例えば、ナビゲーションシステム２００に関連付けられたコンピューティング装置は、リアルタイムの視界１１６（例えば、リアルタイムの視界１１６−１および１１６−２）の１つまたは２つ以上の部分を、データベースまたはカメラから取得された画像１１２の１つまたは２つ以上の対応する部分と比較して、どの画像（複数可）１１２がユーザの視点に最もよく一致するかを判定し得る。次いで、リアルタイムの視界１１６と適切な水準の連続性を提供する画像１１２が処理され、ユーザに表示され得る。

図５は、本発明の様々な実施形態による、ユーザのために着目する場所の拡張された視界を生成するための方法ステップの流れ図である。本方法ステップは図１〜図４のシステムと併せて説明されているが、当業者であれば、本方法ステップを実行するように構成される任意のシステムが、いかなる順番であっても、本発明の範囲内に属することを理解するであろう。

図示のように、方法５００はステップ５１０で開始し、そこでは、ナビゲーションシステム２００は、着目する場所１１０を受信する。着目する場所１１０は、ユーザによって入力される、ナビゲーションシステム２００によって判定される、および／または補助装置から受信され得る。ステップ５１５において、ナビゲーションシステム２００は、ユーザの位置を判定する。ユーザの位置は、全地球測位システム（ＧＰＳ）、無線通信装置、飛行時間型装置、無線周波数（ＲＦ）装置、光学装置などを含む、任意のタイプの地理位置情報装置を用いて判定され得る。

次に、ステップ５２０において、ナビゲーションシステム２００は、着目する場所１１０およびユーザの位置に基づいて画像撮像位置を判定する。ステップ５２５において、ナビゲーションシステム２００は、着目する場所１１０、ユーザの位置、および／または画像撮像位置に基づいて画像撮像方向を判定し得る。次いで、ステップ５３０において、ナビゲーションシステム２００は、画像撮像位置およびオプションの画像撮像方向に関連付けられた着目する場所１１０の画像１１２を受信する。

ステップ５４０において、ナビゲーションシステム２００および／またはナビゲーションシステム２００に関連付けられたコンピューティング装置は、画像１１２を処理し得る。処理は、例えば、画像１１２に変換を施すこと、画像１１２の大きさを変更すること、画像１１２をクロッピングすること、複数の画像１１２を単一の画像１１２に合成することなどを含み得る。ステップ５５０において、処理画像１１２は、ユーザにディスプレイ１２０上で表示される。

ステップ５６０において、ナビゲーションシステム２００は、ユーザの位置に変化があったかどうかを判定する。ユーザの位置に変化があった場合、方法５００は、ユーザの位置が判定されるステップ５１５に戻る。ユーザの位置に変化がなかった場合、方法５００は、ステップ５７０に進む。ステップ５７０において、ナビゲーションシステム２００は、着目する場所１１０に変化があったかどうかを判定する。着目する場所１１０に変化があった場合、方法５００は、様々な着目する場所１１０が受信されるステップ５１０に戻る。着目する場所に変化がなかった場合、方法５００は終了する。

ユーザのために遮られている着目する場所１１０について拡張された視界を生成することに加えて、ナビゲーションシステム２００は、比較的遮られていないが比較的ユーザから遠い着目する場所１１０について拡張された視界を生成するように構成され得る。このような実装が図６Ａおよび図６Ｂに示されており、これらは、本発明の様々な実施形態による、着目する場所１１０について拡大された視界を生成するための技法を示す概念図である。図６Ａに示されるように、ユーザが未遮蔽の着目する場所１１０に近づく場合、ユーザは、着目する場所１１０に関する細部をもっと容易に見ることを希望する場合がある。したがって、ナビゲーションシステム２００は、着目する場所１１０の画像１１２を取得して、ユーザが指定する、またはナビゲーションシステム２００によって判定されるズームレベルで、画像１１２をディスプレイ１２０上に表示し得る。結果として得られる着目する場所１１０の画像１１２が、図６Ｂに示されている。図示のように、着目する場所１１０について拡大画像を生成することによって、ユーザは、着目する場所１１０に関する細部をもっと容易に見ることができる。

ユーザに表示される拡大画像１１２は、上述のように、データベースから、または着目する場所１１０の近くにあるカメラから取得され得る。このような実装は、図６と併せてさらに詳しく後述される。あるいは、ユーザに表示される拡大画像１１２は、ナビゲーションシステム２００に関連付けられた、および／またはユーザまたはユーザの車両に連結されたカメラ（例えば、カメラ２１０）によって取得され得る。例えば、ナビゲーションシステム２００に関連付けられたカメラ２１０は、光学ズームまたはデジタルズーム機能を介して、着目する場所１１０の拡大画像１１２を提供し得る。その他の実施形態では、カメラ２１０によって撮像された画像１１２は、ナビゲーションシステム２００に関連付けられたコンピューティング装置によって拡大され得る。次いで、拡大画像１１２は、ユーザにリアルタイムの視界１１６に対して適切な位置で表示され得る。

図７は、本発明の様々な実施形態による、着目する場所１１０について拡大された視界を生成する際に、ズームレベルに基づいて画像撮像位置を判定するための技法を示す概念図である。図示のように、ナビゲーションシステム２００によって選択される画像撮像位置４１５は、ユーザによって指定される、またはナビゲーションシステム２００によって選択されるズームレベルに基づき得る。例えば、画像撮像位置４１５−３は、ユーザがズームレベル２×などの比較的低いズームレベルを入力した場合に、ナビゲーションシステム２００によって選択され得、また画像撮像位置４１５−５は、ユーザがズームレベル２４×などの比較的高いズームレベルを入力した場合に、ナビゲーションシステム２００によって選択され得る。様々な実施形態では、ユーザは、ナビゲーションシステム２００に対して音声コマンドを出すことによって、またはキーボード、スイッチ、ノブ、またはその他の入力装置からズームレベルを入力することによって、着目する場所１１０が表示されるズームレベルを指定し得る。

ズームレベルに基づいて適切な画像撮像位置を選択することに加えて、一部の実施形態では、画像撮像方向が選択されて、図１Ａ〜図５と併せて上述したように、適切な視点を有する画像１１２を提供し得る。また、所与のズームレベルに対して取得される画像１１２は、上述の技法により処理されて、画像撮像位置とユーザ４１０の位置との間の視点の差を補償し得る。さらに、図６の画像１１２は、Ｇｏｏｇｌｅ（登録商標）Ｓｔｒｅｅｔ Ｖｉｅｗまたは周辺環境に配置された車両（例えば、車両間通信（Ｖ２Ｖ）を介する）などの車両によって撮像されるとして示されているが、画像１１２は、周辺環境にあるその他の物体（例えば、支柱、道路標識、建物などの上の監視カメラ）および位置から撮像され得る。

一部の実施形態では、図１Ａ〜図５と併せて上述した、物体および／または曲がり角によって遮られている着目する場所１１０を見るための技法は、図６Ａ〜図７と併せて上述した、ユーザに着目する場所１１０の拡大画像１１２を表示するための技法と組み合わせられ得る。例えば、着目する場所１１０の画像１１２を表示して、ユーザの視点から連続画像を生成する代わりに、画像１１２は拡大されて、ユーザが、着目する場所１１０に関する細部をもっと容易に見ることができるようにし得る。上述のように、画像１１２の倍率は、ユーザによって指定される、および／またはナビゲーションシステムによって選択されて、画像１１２が実質的にリアルタイムの視界１１６と連続であるような、ズームなしから、高ズームレベル（例えば、１２×、２４×、またはそれ以上）までのズームレベルを提供し得る。

図８は、本発明の様々な実施形態による、ユーザのために着目する場所の拡大された視界を生成するための方法ステップの流れ図である。本方法ステップは図１〜図４および図６〜図７のシステムと併せて説明されているが、当業者であれば、本方法ステップを実行するように構成される任意のシステムが、いかなる順番であっても、本発明の範囲内に属することを理解するであろう。

図示のように、方法８００はステップ８１０で開始し、そこでは、ナビゲーションシステム２００は、着目する場所１１０を受信する。ステップ８１２において、ナビゲーションシステム２００は、ユーザの位置を判定する。ステップ８１４において、ナビゲーションシステム２００は、ズームレベルを受信する。ズームレベルは、ナビゲーションシステム２００によって（例えば、アルゴリズムに基づいて）選択され得る、あるいは、ユーザが、ナビゲーションシステム２００に対して音声コマンドを出すことによって、またはキーボード、スイッチ、ノブ、もしくはその他の入力装置からズームレベルを入力することによって、ズームレベルを指定し得る。

次に、ステップ８２０において、ナビゲーションシステム２００は、着目する場所１１０、ユーザの位置、および／またはズームレベルに基づいて画像撮像位置およびオプションの画像撮像方向を判定する。ステップ８３０において、ナビゲーションシステム２００は、画像撮像位置およびオプションの画像撮像方向に関連付けられた着目する場所１１０の画像１１２を受信する。次いで、ステップ８４０において、ナビゲーションシステム２００および／またはナビゲーションシステム２００に関連付けられたコンピューティング装置は、画像１１２を処理し得る。ステップ８５０において、処理画像１１２は、ユーザにディスプレイ１２０上で表示される。

ステップ８６０において、ナビゲーションシステム２００は、ズームレベルに変化があったかどうかを判定する。ズームレベルに変化があった場合、方法８００は、様々なズームレベルが受信されるステップ８１４に戻る。ズームレベルに変化がなかった場合、方法８００は、ステップ８７０に進む。ステップ８７０において、ナビゲーションシステム２００は、ユーザの位置に変化があったかどうかを判定する。ユーザの位置に変化があった場合、方法８００は、ユーザの位置が判定されるステップ８１２に戻る。ユーザの位置に変化がなかった場合、方法８００は、ステップ８８０に進む。ステップ８８０において、ナビゲーションシステム２００は、着目する場所１１０に変化があったかどうかを判定する。着目する場所１１０に変化があった場合、方法８００は、様々な着目する場所１１０が受信されるステップ８１０に戻る。着目する場所に変化がなかった場合、方法８００は終了する。

図９は、本発明の１つまたは２つ以上の態様を実装するように構成されるコンピューティング装置９００を示すブロック図である。図示のように、コンピューティング装置９００は、処理装置９０２と、入力／出力（Ｉ／Ｏ）装置９０４と、記憶装置９１０とを含む。記憶装置９１０は、データベース９１４と相互作用するように構成されるアプリケーション９１２を含む。

処理装置９０２は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）などを含み得る。Ｉ／Ｏ装置９０４は、入力装置、出力装置、ならびに入力の受信および出力の提供の両方を行い得る装置を含み得る。記憶装置９１０は、メモリモジュールまたはメモリモジュール群を含み得る。記憶装置９１０内のソフトウェアアプリケーション９１２は、処理装置９０２によって実行されて、コンピューティング装置９００の全機能を実装し、ひいては、ナビゲーションシステム２００の動作を全体として調整し得る。データベース９１４は、着目する場所１１０、画像１１２、リアルタイムの視界１１６に関連付けられた画像、ＧＰＳ座標、物体の位置、物体との距離、ルックアップテーブル、ならびに着目する場所１１０について拡張された視界を生成するためおよび着目する場所１１０に関連付けられた情報を取得するためのその他のデータを記憶し得る。

コンピューティング装置９００は、カメラ２１０および追跡装置２２０に連結され得る。カメラ２１０は、ユーザのリアルタイムの視界１１６の画像を撮像するように構成され得る。追跡装置２２０は、１つまたは２つ以上のカメラおよび／または奥行きセンサなどの１つまたは２つ以上のセンサを含み得る。追跡装置２２０は、ユーザが属する環境の様々な特性、ならびにユーザに関連付けられた様々な特性（例えば、場所、位置、向き、および視線の方向２２３）を測定するように構成され得る。追跡装置２２０は、任意の数のカメラ、奥行きセンサ、光センサ、または任意のその他のタイプのセンサを含み得る。概して、追跡装置２２０は、環境に関連付けられた知覚データおよびユーザに関連付けられた知覚データを取得し、そのデータをコンピューティング装置９００に提供する。

コンピューティング装置９００全体としては、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、タブレットコンピュータもしくは携帯電話などのモバイルコンピューティングデバイス、メディアプレーヤなどであり得る。概して、コンピューティング装置９００は、ナビゲーションシステム２００の全動作を調整するように構成される。ナビゲーションシステム２００の機能を実装するように構成される、あらゆる技術的に実現可能なシステムが、本発明の範囲内に属する。

要約すると、ナビゲーションシステムは、着目する場所およびユーザの位置に基づいて、画像撮像位置および画像撮像方向を判定する。次いで、ナビゲーションシステムは、データベースから、および／または着目する場所の近くにあるカメラから、着目する場所の画像を受信する。画像は、画像撮像位置および／または画像撮像方向に基づく。次に、ナビゲーションシステムは、ユーザの位置に基づいて変換を施すことにより画像を処理し得る。次いで、処理画像は、ユーザにディスプレイ上で表示される。

本明細書に開示される技法の１つの有利な点は、ユーザが、周辺環境内の障害物を透かして、着目する場所を見ることができることである。加えて、開示される技法は、ユーザが、着目する場所を見ると同時に、自身のリアルタイムの周辺に注意を払い続けることができるようにする。したがって、着目する場所の画像をユーザのリアルタイムの視野に重ねることによって、ナビゲーションの有効性およびユーザの安全性が高まる。

本発明の一実施形態は、コンピューティングデバイスで用いるためのプログラム製品として実装され得る。プログラム製品のプログラム（複数可）は、（本明細書に説明される方法を含む）実施形態の機能を定義し、様々なコンピュータ可読記憶媒体上に収容され得る。例示的なコンピュータ可読記憶媒体には、限定されるものではないが、（ｉ）情報が永続的に記憶される書き込み不可記憶媒体（例えば、ＣＤ−ＲＯＭドライブで読み出し可能なコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）ディスク、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）チップまたは任意のタイプのソリッドステート不揮発性半導体メモリなどのコンピュータ内の読み出し専用メモリ装置）、および（ｉｉ）変更可能な情報が記憶される書き込み可能記憶媒体（例えば、ディスケットドライブまたはハードディスクドライブ内のフロッピー（登録商標）ディスクあるいは任意のタイプのソリッドステートランダムアクセス半導体メモリ）が含まれる。

ここまで、本発明は、具体的な実施形態を参照しながら説明されてきた。しかしながら、当業者であれば、添付の特許請求の範囲に説明される本発明の広範な精神および範囲から逸脱することなしに、ここに様々な修正および変更がなされ得ることを理解するであろう。例えば、本明細書の記載の多くがユーザを運転者または車両の乗客としているが、当業者であれば、本明細書に説明されるシステムおよび技法が、着目する場所の拡張された視界を生成することがユーザの体験および／またはユーザの安全を拡張し得るその他の状況（例えば、非車両用）に適用可能であることを理解するはずである。上記の説明および図面は、したがって、限定的な意味ではなく、説明的な意味で考慮されるべきである。

したがって、本発明の実施形態の範囲は、以下の特許請求の範囲に説明される。

Claims (18)

1. ユーザのために着目する場所の拡張された視界を生成するためのコンピュータ利用の方法であって、前記方法が、
   前記ユーザの視線の方向を検出することと、
   前記視線の方向に基づいて前記ユーザが見つめている障害物の直接の背後にある前記着目する場所を判定することと、
   前記着目する場所に基づいて画像撮像位置を選択することと、
   前記画像撮像位置に基づいて画像撮像方向を選択することと、
   前記画像撮像位置および前記画像撮像方向に関連付けられた画像を受信することと、
   処理された画像を生成するために、前記ユーザの位置に関連付けられた見通し線に基づいて前記画像を処理することと、
   前記処理された画像を前記ユーザに表示することと
   を備える、方法。
2. 前記画像を処理することが、
   前記ユーザの前記位置に関連付けられた前記見通し線と前記画像撮像位置に関連付けられた見通し線との間の角度を補償するために、変換を前記画像に施すことを備える、請求項１に記載の方法。
3. 前記処理された画像を前記表示することが、自動車の窓に配置されるディスプレイによって実行される、請求項２に記載の方法。
4. 前記見通し線に関連付けられたリアルタイムの視界の画像を受信することをさらに備え、
   前記画像を処理することが、
   前記画像を前記リアルタイムの視界の前記画像と比較することと、
   前記画像の少なくとも一部分を前記リアルタイムの視界の前記画像の少なくとも一部分と整合することと
   を備える、請求項１に記載の方法。
5. 前記リアルタイムの視界の前記画像が、前記着目する場所の遮蔽状態の視界を備え、前記画像が、前記着目する場所の実質的に未遮蔽の視界を備える、請求項４に記載の方法。
6. 前記画像を処理することが、前記画像を前記リアルタイムの視界の前記画像と合成することをさらに備える、請求項４に記載の方法。
7. ズーム値を前記ユーザから受信することをさらに備え、前記画像撮像位置を選択することが、前記ズーム値にさらに基づく、請求項１に記載の方法。
8. 前記ユーザの前記位置が、１つまたは２つ以上の地理位置情報信号から導出される、請求項１に記載の方法。
9. ユーザのために着目する場所の拡張された視界を生成するためのシステムであって、前記システムが、処理装置とディスプレイとを備え、
   前記処理装置が、
   前記ユーザの視線の方向を受信することと、
   前記視線の方向に基づいて前記ユーザが見つめている障害物の直接の背後にある前記着目する場所を判定することと、
   前記着目する場所に基づいて第１の画像撮像位置を選択することと、
   前記第１の画像撮像位置に基づいて画像撮像方向を選択することと、
   前記画像撮像方向に基づいて前記第１の画像撮像位置で取得された第１の画像を受信することと、
   処理された画像を生成するために、前記ユーザの位置に関連付けられた見通し線に基づいて前記第１の画像を処理することと
   を実行するように構成され、
   前記ディスプレイは、前記処理された画像を前記ユーザに表示するように構成される、システム。
10. 前記処理装置が、前記ユーザの前記位置に関連付けられた前記見通し線と前記第１の画像撮像位置に関連付けられた見通し線との間の角度を補償するために、変換を前記第１の画像に施すことによって、前記第１の画像を処理するように構成される、請求項９に記載のシステム。
11. 前記ディスプレイが、自動車の窓に配置される、請求項１０に記載のシステム。
12. 前記処理装置が、前記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、前記処理装置が、前記第１の画像を前記リアルタイムの視界の前記画像と比較して変換を判定し、かつ前記変換を前記第１の画像に施して前記第１の画像の少なくとも一部分を前記リアルタイムの視界の前記画像の少なくとも一部分と整合することによって、前記第１の画像を処理するように構成される、請求項９に記載のシステム。
13. 前記リアルタイムの視界の前記画像が、前記着目する場所の遮蔽状態の視界を備え、前記第１の画像が、前記着目する場所の実質的に未遮蔽の視界を備える、請求項１２に記載のシステム。
14. 前記処理装置が、前記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、前記処理装置が、前記第１の画像の少なくとも一部分を前記リアルタイムの視界の前記画像の少なくとも一部分と整合し、かつ前記第１の画像を前記リアルタイムの視界の前記画像と合成することによって、前記第１の画像を処理するように構成される、請求項９に記載のシステム。
15. 前記処理装置が、前記ユーザの前記位置および前記着目する場所に基づいて第２の画像撮像位置を選択し、かつ前記第２の画像撮像位置で取得された第２の画像を受信するようにさらに構成され、前記処理装置が、前記第１の画像を前記第２の画像と組み合わせることによって、前記第１の画像を処理するように構成される、請求項９に記載のシステム。
16. 前記第１の画像が、前記着目する場所の第１の視点に関連付けられ、前記第２の画像が、前記着目する場所の第２の視点に関連付けられる、請求項１５に記載のシステム。
17. 前記ユーザの前記視線の方向を判定するように構成される追跡装置をさらに備える、請求項９に記載のシステム。
18. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、処理装置によって実行されると前記処理装置にユーザのために着目する場所の拡張された視界を、
    前記ユーザの視線の方向を検出するステップと、
    前記視線の方向に基づいて前記ユーザが見つめている障害物の直接の背後にある前記着目する場所を判定するステップと、
    前記ユーザの位置および前記着目する場所に基づいて画像撮像位置を選択するステップと、
    前記画像撮像位置に基づいて画像撮像方向を選択するステップと、
    前記画像撮像位置および前記画像撮像方向に関連付けられた画像を受信するステップと、
    処理された画像を生成するために、前記ユーザの位置に関連付けられた見通し線に基づいて前記画像を処理するステップと、
    前記処理された画像を前記ユーザに表示するステップと
    を実行することによって、生成させる、非一時的コンピュータ可読記憶媒体。

Images