JP3893983B2

JP3893983B2 - 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム

Info

Publication number: JP3893983B2
Application number: JP2002009238A
Authority: JP
Inventors: 康紀大戸; 光晴大木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-01-17
Filing date: 2002-01-17
Publication date: 2007-03-14
Anticipated expiration: 2022-01-17
Also published as: US20030160867A1; US7119831B2; JP2003216982A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラなどにより撮影された実画像に関連する情報を提供する情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、ＧＰＳ（Global Positioning System）などにより得られた位置情報と結び付けてカメラにより撮影された実画像を提供する情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、カメラによる実画像に所定の情報を付加して提供する情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、カメラの実画像に対してその位置情報に関連する情報を付加して、撮影された場所と付加された情報の関係がつかみ易い画像情報を提供する情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
ＧＰＳ（Global Positioning System）は、地球上での現在位置を算出するために開発されたシステムである。すなわち、地球上を周回する３以上の低軌道衛星から送信される電波を受信することで、現在位置を算出する。通常、地上からは常時４〜１２個程度の衛星の電波を受信することができ、これらの位相を計算することで、現在位置を算出できる。１回の測定誤差は３０ｍ〜１００ｍとされている。
【０００４】
ＧＰＳは、そもそも軍事用の車両、船艦、航空機などの位置を測定するために構築されたものであるが、その後民間にも解放され、最近では民間への利用がさかんに進められている。ＧＰＳなどを利用した位置測定サービスを他の情報処理サービスや情報提供サービスと結び付けたさまざまなサービスが出現してきている。
【０００５】
例えば、ＧＰＳなどによる位置測定結果と地図情報システムを組み合わせることで、道路情報などをリアルタイムに表示する車載用ナビゲーション・システムは既に広範に普及している。この種のナビゲーション・システムでは、走行中の車両の位置をＧＰＳなどを利用して検出するとともに、地図データからは該当する区域の道路地図を読み出して、液晶ディスプレイなどの表示画面に車両の位置をこの道路地図に重畳させて表示させるようになっている。
【０００６】
さらには、単に車両の位置を示した道路地図を表示するだけでなく、計算機の演算能力を活用して、ドライバに対して注意を促したり付加価値の高い映像表示を行なうナビゲーション・システムについても開発がなされている。
【０００７】
例えば、特開平１０−７９８９号公報には、３次元コンピュータ・グラフィックス技術を利用して、道路などの立体的画像を表示して、カーブがあるとか、道路幅が狭くなっていくとか、坂道になっているとか、ドライバが特に注意しなければならない道路をドライバが分かり易く表示することができる前方画像表示装置について開示されている。
【０００８】
また、ＧＰＳは、車両以外にも、さまざまな情報機器と結び付いて利用されている。例えば、ＧＰＳとビデオ・カメラなどの映像情報記録装置と組み合わせることにより、記録映像の撮影場所の通知や撮影画像の管理に利用することができる。
【０００９】
例えば、本出願人に既に譲渡されている特開平１１−２０５７２５号公報には、撮影位置と映像情報の記録位置とを対応付けて記録・再生することができる映像情報記録再生装置について開示されている。このような映像情報記録再生装置によれば、位置情報を映像の管理に利用することができる。すなわち、再生時には撮影された映像と撮影を行った場所を示す地図を同時に表示することによって、映像がどこで撮影されたかを示すことができる。また、地図上で撮影位置を指定することによって、指定された場所で撮影された映像を簡単に取り出すことができる。
【００１０】
【発明が解決しようとする課題】
位置情報を利用した情報提供サービスの一例として、携帯電話に対するニュース配信を挙げることができる。すなわち、携帯電話の受信局を同定して、それに応じた情報をニュースとして配信している。
【００１１】
しかしながら、現在行われている情報提供サービスで配信される情報の多くは、実際にユーザが見ている周囲の情報とはリンクされていないことから、ある地点で配信される情報が、実際にはどこから提供されているものかを同定することが難しいものとなっている。
【００１２】
また、地図情報を用いたナビゲーション・システムでも、情報提供装置に表示される画像情報は、２次元地図あるいは３次元地図に配置された形として提供されたものであるが、実際のユーザが見ているものとは大いに相違するので、ユーザは提示された画像情報の中から所望の情報オブジェクトを即座に見つけ出すことは難しい。
【００１３】
また、たとえ非常にリアルな仮想空間を実現して、情報提供装置で情報を提供しえたとしても、情報提供装置のディスプレイの方向とユーザの視線方向が異なってしまうことから、提供された情報と実画像中の建造物などとの対応関係を取ることは困難である。
【００１４】
また、非常にリアルな仮想空間を実現するためには、豊富なテクスチャを用意する必要があり、また、精密なモデリングも必要となる。さらに、仮想空間の更新を頻繁に行わないと、実際に見えている風景との差異が大きくなってしまうなどといった問題がある。
【００１５】
本発明は、上述したような技術的課題を鑑みたものであり、その主な目的は、ＧＰＳなどにより得られた位置情報と結び付けてカメラにより撮影された実画像を提供することができる、優れた情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１６】
本発明のさらなる目的は、カメラによる実画像に所定の情報を付加して提供することができる、優れた情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１７】
本発明のさらなる目的は、カメラの実画像に対してその位置情報に関連する情報を付加して、撮影された場所と付加された情報の関係がつかみ易い画像情報を提供することができる、優れた情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１８】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、位置情報に関連付けられた付加情報を場所との関係を分かり易く提示する情報提供装置又は情報提供方法であって、
実画像を取得する実画像取得手段又はステップと、
実画像が取得された立体位置を取得する立体位置取得手段又はステップと、
該取得された立体位置に基づいて、実画像に含まれる各建物の建物データを取得する建物データ取得手段又はステップと、
該取得された立体位置に基づいて、関連する付加情報を取得する付加情報取得手段又はステップと、
付加情報を実画像中に合成する画像合成手段又はステップと、
該付加情報が合成された実画像から所定の表示ウィンドウで切り出してユーザに提示する表示手段又はステップと、
を具備することを特徴とする情報提供装置又は情報提供方法である。
【００１９】
本発明の第１の側面に係る情報提供装置又は情報提供方法によれば、カメラ付き表示装置をユーザの視線方向に挿入して、カメラによって撮像された画像に対して、２次元乃至は３次元のコンピュータ・グラフィックス（ＣＧ）・オブジェクトを付加することによって、ユーザに情報提示を行うことができる。
【００２０】
ここで言うＣＧオブジェクトには、建物に取り付ける看板のような広告情報や、道路に貼り付ける道案内情報などを適用することができる。
【００２１】
また、カメラの撮影画像ではなく、自動車のフロン・トガラスから見える風景と同じ領域を取得し、車内に設置した情報提供装置によって、同様に付加情報のの表示を行うこともできる。
【００２２】
本発明の第１の側面に係る情報提供装置又は情報提供方法によれば、ユーザの視線方向にある景色をそのまま利用し、これに対して情報を付加して提示することができるので、情報とそれが付加された場所との関係がつかみ易くなる。
【００２３】
また、本発明の第１の側面に係る情報提供装置又は情報提供方法によれば、付加情報の提示に実画像を積極的に用いていることから、仮想空間による情報提示で問題となるテクスチャやモデルの作成量の多さや即時性を克服することができる。
【００２４】
また、本発明の第１の側面に係る情報提供装置又は情報提供方法によれば、情報提示位置が画像とずれないことから、バーチャル・スタジオや現実融合（オーギュメンテッド・リアリティ）などにおいて問題であった、カメラ移動によって生じる現実にある物体と仮想オブジェクト間の相対位置のずれを回避することができる。
【００２５】
ここで、前記立体位置取得手段又はステップでは、ジャイロ及びＧＰＳのうち少なくとも１つを用いて、実画像を捕捉するカメラについての大まかな立体位置を取得するようにしてもよい。
【００２６】
また、実画像から抽出された特徴点列と建物データとをマッチングして、実画像が取得された大まかな立体位置を修正する立体位置修正手段又はステップをさらに備えていてもよい。
【００２７】
また、前記画像取得手段又はステップにより実画像を取得する際に、装置の手ぶれによって画像が流れる場合には、前記表示手段又はステップは、表示ウィンドウを画像のオプティカル・フローから割り出したカメラ方向の移動に合わせて移動するようにしてもよい。これによって、負荷の大きな、カメラの空間位置の補正と付加情報の合成による遅延によって生じる、実写映像と付加情報提示位置との相対距離が変位することを防ぐことができる。
【００２８】
また、前記画像取得手段又はステップにより実画像を取得する際に、画像の取得位置が大きく移動して表示ウィンドウの移動が表示フレームの範囲を越える場合には、前記表示手段又はステップは、該移動が充分小さくなるまでの間、既に取得されたいる実画像をそのままユーザに提示し続けるようにしてもよい。カメラの移動に追従して付加情報を合成すると、負荷が高いので処理のリアルタイム性が維持されず表示に遅延を生じてしまうし、付加情報が画角とともに流れていくとユーザには見え辛くて意味がないからである。
【００２９】
また、前記付加情報取得手段又はステップは、ユーザに近いものから一定数を選択して取得するようにしてもよい。あるいは、前記付加情報取得手段又はステップは、ユーザからその提示が求められているものを優先的に取得するようにしてもよい。
【００３０】
また、本発明の第２の側面は、位置情報に関連付けられた付加情報を場所との関係を分かり易く提示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
実画像を取得する実画像取得ステップと、
実画像が取得された立体位置を取得する立体位置取得ステップと、
該取得された立体位置に基づいて、実画像に含まれる各建物の建物データを取得する建物データ取得ステップと、
該取得された立体位置に基づいて、関連する付加情報を取得する付加情報取得ステップと、
付加情報を実画像中に合成する画像合成ステップと、
該付加情報が合成された実画像から所定の表示ウィンドウで切り出してユーザに提示する表示ステップと、
を具備することを特徴とする記憶媒体である。
【００３１】
本発明の第２の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）やＦＤ（Flexible Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００３２】
また、第２の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、第２の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報提供装置又は情報提供方法と同様の作用効果を得ることができる。
【００３３】
また、本発明の第３の側面は、位置情報に関連付けられた付加情報を場所との関係を分かり易く提示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
実画像を取得する実画像取得ステップと、
実画像が取得された立体位置を取得する立体位置取得ステップと、
該取得された立体位置に基づいて、実画像に含まれる各建物の建物データを取得する建物データ取得ステップと、
該取得された立体位置に基づいて、関連する付加情報を取得する付加情報取得ステップと、
付加情報を実画像中に合成する画像合成ステップと、
該付加情報が合成された実画像から所定の表示ウィンドウで切り出してユーザに提示する表示ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３４】
本発明の第３の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報提供装置又は情報提供方法と同様の作用効果を得ることができる。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３７】
図１には、本発明の実施に供される情報提供装置１００のハードウェア構成を模式的に示している。以下、同図を参照しながら各部について説明する。
【００３８】
メイン・コントローラであるＣＰＵ（Central Processing Unit）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、画像処理アプリケーションなどを実行することができる。本実施形態では、画像処理アプリケーションは、カメラによる実画像などユーザの視線方向にある景色に対して情報を付加して情報と場所との関係を理解し易く提示することができるが、その処理の詳細については後述に譲る。
【００３９】
図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。
【００４０】
主メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードをロードしたり、プログラム実行中の作業データを一時保管するために使用される記憶装置であり、例えばＤＲＡＭ（Dynamic RAM）のような半導体メモリが使用される。主メモリ１０２にロードされるプログラムとして、例えば、カメラによる実画像などユーザの視線方向にある景色に対して情報を付加して情報と場所との関係を理解し易く提示する画像処理アプリケーションを挙げることができる。また、主メモリ１０２に格納される作業データとして、例えば、ジャイロやＧＰＳから得られたカメラの立体位置情報や、ネットワークなどを介して取得された建物データ、建物データ（あるいは立体位置情報）に関連付けられたサービス情報などを挙げることができる。
【００４１】
また、ＲＯＭ（Read Only Memory）１０３は、データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト（ＰＯＳＴ：Power On Self Test）や、ハードウェア入出力操作用のプログラム・コード（ＢＩＯＳ：Basic Input/Output System）などが書き込まれている。
【００４２】
ディスプレイ・コントローラ１０４は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ１１２に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。
【００４３】
ディスプレイ１１１の表示画面は、一般に、ユーザからの入力内容やその処理結果、あるいはエラーその他のシステム・メッセージをユーザに視覚的にフィードバックする役割を持つ。また、本実施形態においては、ディスプレイ１１１の表示画面は、位置情報を利用して取得されたサービス情報が画像処理により付加されたカメラの実画像の表示に利用される。
【００４４】
入力機器インターフェース１０５は、キーボード１１３やマウス１１４などのユーザ入力機器を情報提供装置１００に接続するための装置である。
【００４５】
キーボード１１３やマウス１１４は、データやコマンドなどのユーザ入力をシステムに取り込む役割を持つ。本実施形態では、カメラによる実画像などユーザの視線方向にある景色に対して情報を付加して情報と場所との関係を理解し易く提示する画像処理アプリケーションの起動、その他のデータやコマンドの入力のために使用される。
【００４６】
ネットワーク・インターフェース１０６は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１００をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【００４７】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、カメラによる実画像などユーザの視線方向にある景色に対して情報を付加して情報と場所との関係を理解し易く提示する画像処理アプリケーションなどを、ネットワーク経由でダウンロードすることができる。また、建物データ、建物データ（あるいは立体位置情報）に関連付けられたサービス情報、本画像処理アプリケーションにより合成されて撮影された場所と付加情報との関係がつかみ易い画像情報などを、ネットワーク経由で他のホスト装置との間で配信したり配布することができる。
【００４８】
外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１５やメディア・ドライブ１１６などの外部装置を本情報提供装置１００に接続するための装置である。
【００４９】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、カメラによる実画像などユーザの視線方向にある景色に対して情報を付加して情報と場所との関係を理解し易く提示する画像処理アプリケーションなどを、ＨＤＤ１１４上にインストールすることができる。また、ジャイロやＧＰＳから得られたカメラの立体位置情報や、建物データ、建物データ（あるいは立体位置情報）に関連付けられたサービス情報、本画像処理アプリケーションにより合成されて撮影された場所と付加情報との関係がつかみ易い画像情報などをＨＤＤ１１４上に蓄積しておいてもよい。
【００５０】
メディア・ドライブ１１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【００５１】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、カメラによる実画像などユーザの視線方向にある景色に対して情報を付加して情報と場所との関係を理解し易く提示する画像処理アプリケーションなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、建物データ、建物データ（あるいは立体位置情報）に関連付けられたサービス情報、本画像処理アプリケーションにより合成されて撮影された場所と付加情報との関係がつかみ易い画像情報などを他の装置との間で交換するために、可搬型メディアを利用する。
【００５２】
ビデオ・キャプチャ・インターフェース１２１は、カメラにより捕捉された静止画又は動画などの画像データを、所定フォーマットのコンピュータ・データ（例えばカラー表示画像であればＲＧＢ形式）として本情報提供装置１００内に取り込むためのインターフェース装置である。
【００５３】
位置情報取得インターフェース１２２は、ジャイロによるカメラの角度（姿勢）検出信号やＧＰＳによるカメラの位置測定信号を、コンピュータ・データとして本情報提供装置１００内に取り込むためのインターフェース装置である。ＣＰＵ１０１では、これらの検出信号を統合して、カメラの本装置１００の大まかな立体位置情報を取得することができる。
【００５４】
なお、図１に示すような情報提供装置１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る情報提供装置１００として適用することも可能である。
【００５５】
図２には、情報提供装置１００上で、位置情報を利用して目標とする建物が分かり易く表示されるようにカメラの実画像を処理するための処理モジュール構成を模式的に示している。各処理モジュールの実体は、ＣＰＵ１０１において実行されるプログラム・コードや、メモリ１０２に格納されたデータなどである。
【００５６】
カメラ立体位置取得部６は、ジャイロ４によるカメラ８の角度（姿勢）検出信号やＧＰＳ５によるカメラ８の位置測定信号を統合して、カメラ８の大まかな立体位置情報を取得する。
【００５７】
画像フレーム・バッファ７は、カメラ８の撮影動作により取得された実画像を一時的に蓄積する。画像フレーム・バッファ７に蓄積された画像フレームは、手ぶれ補正処理（後述）や、ユーザの視線方向にある景色に対する付加情報の提示に利用される。
【００５８】
情報付加対象認識部９は、カメラ立体位置取得部６により取得された大まかな位置情報に対して、同位置（カメラの実画像内）に存在する各建物データを、ネットワーク３経由で地図データベース２を利用して取得する。そして、建物データと画像フレーム・バッファ７に格納されている実画像との間で特徴点のマッチングを行なうことにより、情報を付加しようとしている各対象物を認識する。
【００５９】
画像への情報合成部１０は、情報を付加しようとしている対象物（すなわちカメラの実画像内の各建物）に対して付加すべきサービス情報１を、ネットワーク３経由で地図データベース２を利用して取得する。そして、画像フレーム・バッファ７に蓄積されている実画像に対してこれらサービス情報を合成して、ユーザの視線方向にある景色をそのまま利用した付加情報をユーザに提示する。
【００６０】
本情報提示装置１００によれば、ユーザの視線方向にある景色をそのまま利用し、これに対して情報を付加して提示するので、情報とそれが付加された場所との関係がつかみ易くなる。
【００６１】
また、付加情報の提示に実画像を積極的に用いていることから、仮想空間による情報提示で問題となるテクスチャやモデルの作成量の多さや即時性を克服することができる。
【００６２】
また、情報提示位置が画像とずれないことから、バーチャル・スタジオや現実融合（オーギュメンテッド・リアリティ）などにおいて問題であった、カメラ移動によって生じる現実にある物体と仮想オブジェクト間の相対位置のずれを回避することができる。
【００６３】
図３には、本実施形態に係る情報提示装置１００による付加情報の提示処理の流れを模式的に示している。
【００６４】
カメラ８で撮影された画像は、画像フレーム・バッファ７に保存される。また、その場所に存在する建物の３次元データをネットワーク経由で取得して、画像フレーム内の各対象物との間でマッチングして、位置修正を行う。
【００６５】
また、システムは、ネットワーク経由で取得されたサービス情報を、３次元ＣＧデータとして３次元データ内に配置して、画像フレーム・バッファ７に保存されている画像データと合成を行った後、表示フレームに保存する。このとき、建物データは合成しない。
【００６６】
そして、表示ウィンドウによってカリングを行った後、サービス情報が付加された実画像をユーザに提示する。
【００６７】
なお、カメラ８などの装置の手ぶれによって画像が流れる場合には、表示ウィンドウを画像のオプティカル・フローから割り出したカメラ方向の移動に合わせて移動するようにする。このような操作によって、負荷の大きな、カメラの空間位置の補正と付加情報の合成による遅延によって生じる、実写映像と付加情報提示位置との相対距離が変位することを防ぐことができる。
【００６８】
また、パンやチルトなどによりカメラが大きく移動した場合や、表示ウィンドウの移動が表示フレームの範囲を越える場合には、カメラ８の移動が小さくなるまで、画像フレーム・バッファに蓄積されている撮影画像をそのままユーザに提示し続けるようにする。
【００６９】
図４には、実画像に対してサービス情報を合成してユーザの視線方向にある景色をそのまま利用した付加情報をユーザに提示するための処理手順をフローチャートの形式で示している。この付加情報の提示処理は、上述したようなカメラの手ぶれ処理や、パンやチルト時の処理を含んでいる。また、この処理手順は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、このフローチャートを参照しながら、付加情報をユーザに提示するための処理手順について説明する。
【００７０】
まず、初期設定として、カメラ８が手ぶれやパン／チルトなどによりフレームアウトを生じたか否かを示すフレームアウト・フラグをＴ（真）に設定する（ステップＳ１）
【００７１】
次いで、カメラ８から撮影画像を取得した後（ステップＳ２）、フレームアウト・フラグのチェックを行う（ステップＳ３）。
【００７２】
フレームアウト・フラグがＴのとき、撮影画像に対する提供情報の合成を行い（ステップＳ４）、これをディスプレイ１１１の表示画面上でユーザに提示した後（ステップＳ１０）、ステップＳ２に戻って、再びカメラ８による画像取得を行なう。
【００７３】
提供情報の合成により、ユーザの視線方向にある景色をそのまま利用して情報を付加して提示することができるので、ユーザにとっては情報とそれが付加された場所との関係がつかみ易くなる。但し、実画像に対する提供情報の合成処理の詳細については、後述に譲る。
【００７４】
一方、ステップＳ３においてフレームアウト・フラグがＦであったときには、以前取得した画像との差分からオプティカル・フローを取得して（ステップＳ５）、カメラ８の移動量を計算して（ステップＳ６）、その移動量が大きいかどうかをチェックする（ステップＳ７）。
【００７５】
カメラ８の移動量が小さいときには、システムはこのカメラ８の移動を「手ぶれ」と判断して、オプティカル・フローに従って表示ウィンドウの位置を移動する（ステップＳ８）。そして、表示ウィンドウの移動が表示フレームを越えるかどうか判断して（ステップＳ９）、これを越えない場合には移動した表示ウィンドウを用いて、情報が付加された画像を表示する（ステップＳ１０）。その後、ステップＳ２に戻って、再びカメラ８による画像取得を行なう。
【００７６】
このように、表示ウィンドウを画像のオプティカル・フローから割り出したカメラ方向の移動に合わせて移動することによって、負荷の大きな、カメラの空間位置の補正と付加情報の合成による遅延によって生じる、実写映像と付加情報提示位置との相対距離が変位することを防ぐことができる。
【００７７】
一方、ステップＳ９において表示ウィンドウの移動が表示フレームを越えていると判断された場合には、フレームアウト・フラグをＴにした後（ステップＳ１１）、ステップＳ２に戻って、再びカメラ８による画像取得を行なう。
【００７８】
また、ステップＳ７において、カメラの移動量が大きいと判断された場合には、システムは「カメラの移動（パン／チルト）」とみなして、提供情報の合成を停止する（ステップＳ１２）。この後、カメラの位置が停止したと判断されるまでの間（ステップＳ１４）、取得した画像をそのままユーザに提示し続ける（ステップＳ１５）。そして、カメラ位置が停止したと判断されたとき（ステップＳ１４）、フレームアウト・フラグをＴとして（ステップＳ１１）、ステップＳ２に戻って、再びカメラ８による画像取得を行なう。
【００７９】
また、図５には、図４に示したフローチャート中のステップＳ４において実行される、情報付加対象を認識して、実画像に情報の付加を行うための詳細な処理手順の詳細をフローチャートの形式で示している。
【００８０】
まず、ジャイロ４によるカメラ８の角度（姿勢）検出信号やＧＰＳ５によるカメラ８の位置測定信号を統合して、カメラ８の大まかな立体位置情報を取得する（ステップＳ２１）。
【００８１】
次いで、ユーザの現在位置の近傍にある建物データ１を、ネットワーク３経由で（あるいはＣＤ−ＲＯＭやＤＶＤなどの他の配布媒体を介して）、取得する（ステップＳ２２）。
【００８２】
次いで、画像フレーム・バッファ７に格納されている実画像から特徴点列を抽出する（ステップＳ２３）。
【００８３】
そして、抽出された特徴点列と、ステップＳ２で取得された建物データの間でマッチングを行なう（ステップＳ２４）。
【００８４】
さらに、マッチング結果を利用して、大まかであったカメラの立体位置を修正しておく（ステップＳ２５）。
【００８５】
図６〜８には、実写画像に対して建物情報を合わせることによってカメラ８の空間座標を修正する様子を示している。
【００８６】
図６は、カメラ８により取得された実画像から特徴点となる要素を抽出した様子を示している。本実施形態では、画素情報の空間差分を取り、細線化処理を行ったものに対して、直方体や円筒形などの建物が多いことを利用して、異常値を取り除いたものを用いる。
【００８７】
また、ステップＳ２１により取得した立体位置にある建物情報がネットワーク３を介して情報提供装置１００に送られてくる。このとき、ＧＰＳによる位置情報の誤差を考慮して、その周辺の建物情報も送られてくる。これらの建物情報は３次元データであり、建物の輪郭や色調の異なる部分など、実画像を画像処理することによって得られるであろう特徴量を含んだものとなっている。図７には、ネットワーク３経由で取得された建物情報で構成される３次元画像を示している。この３次元画像は、ジャイロによって検出されたカメラの向きや姿勢（すなわち視線方向）も考慮して構成される。
【００８８】
そして、図８に示すように、画像処理で得られた結果と、ネットワークから送られてきた建物データとをマッチングすることによって、装置の位置および向きの誤差を修正する。かかる誤差は、特徴点列と建物データに一般的な画像すり合せ（Image Registration）を適用することによって、修正することができる。また、実画像に対して、情報を付加しようとする建物の同定も、この時点で行なう。
【００８９】
再び図５に戻って、実画像に情報の付加を行うための処理について説明する。
【００９０】
情報を付加すべき建物がフレーム内に含まれている場合には、ネットワーク３を介して、建物への付加情報を取得する（ステップＳ２６）。
【００９１】
ここで、実画像に付加すべきサービス情報の一例は、建物に対して付加する看板やその他の広告情報を挙げることができる。また、サービス情報の他の例として、道路に付加する道案内情報を挙げることができる。但し、本発明は、ユーザの視線方向にある景色をそのまま利用して情報を付加して提示することを目的とするものであり、付加すべき情報が何であるか、付加情報の属性については特に限定されない。
【００９２】
次いで、建物情報からカメラ８までの距離が求められる。これに応じて、付加情報を三次元コンピュータ・グラフィックス画像として表現して（ステップＳ２７）、実画像との合成処理を行なう（ステップＳ２８）。すなわち、実画像に含まれるそれぞれの建物と、建物や道路、その他の実在するオブジェクトに付加される付加情報オブジェクトを順次重ねるようにして陰面処理して、表示フレーム上に投影していく。生成された表示フレームは、画像フレーム・バッファ７に保存される。
【００９３】
付加情報が合成された画像は、画像フレーム・バッファ７へ転送されて、手ぶれ処理（前述）が行なわれる（ステップＳ２９）。そして、ディスプレイ１１１の表示画面を介して、ユーザに提示される（ステップＳ３０）。
【００９４】
図９には、市街地においてユーザが本情報提供装置１００を適用している様子を示している。すなわち、ユーザは、カメラ８を携行して市街地を散策して、目標とする建物を含んだ画角すなわち表示フレームを、カメラ８のファインダ越しに眺めている。
【００９５】
また、図１０には、図９において本情報提供装置１００を使用しているユーザの姿を示している。ユーザは、情報が欲しいシーンに対して、カメラ８のファインダを視線方向を遮るようにかざすように用いる。
【００９６】
本情報提供装置１００には、ＧＰＳが装備されており、複数のＧＰＳ衛星からの電波を用いて本装置の位置を取得することができる（図１１を参照のこと）。但し、ＧＰＳで取得可能な位置情報の精度は数メートル単位であり、取得された位置情報には一定の誤差が含まれている。本システムでは、このような誤差を、カメラ８で撮影された実画像から抽出された特徴点列と、ネットワーク３経由で取得された建物データとをマッチングすることによって修正している（図５に示すフローチャートのステップＳ２５を参照のこと）。
【００９７】
なお、ＧＰＳシステムを利用する以外にも、各建物に、ＩＤを示す標識や、電波あるいは赤外線発信装置などを設置しておき、カメラや信号を受信する装置を介して、情報提供装置１００の位置を取得することもできる。
【００９８】
また、本情報提供装置１００には、ジャイロが装備されており、本装置の姿勢や方向を取得することができる。ジャイロは、３軸の回転を取得することにより、本情報提供装置１００がどの方向を向いているのか（すなわちカメラ８の視線方向）を取得することができる（図１２を参照のこと）。
【００９９】
なお、本実施形態では、ジャイロで取得したカメラ方向に対しても、カメラ８で撮影された実画像から抽出された特徴点列と、ネットワーク３経由で取得された建物データとをマッチングすることによって、誤差を修正している（図５に示すフローチャートのステップＳ２５を参照のこと）。
【０１００】
図１３には、図９において本実施形態に係る情報提示装置１００が提示する画像情報の例を示している。同図に示す例では、実際に撮影された市街地風景には、３次元コンピュータ・グラフィックス技術を利用して、建物に対して広告看板などのサービス情報が貼り付けられたり、あるいは、道路には道案内用の矢印が付加されて、ユーザに提示されている。
【０１０１】
また、本実施形態では、カメラの移動量によっては実画像への情報の付加を抑制して、無駄な演算の実行を節約するようにしている。図１４〜１６には、カメラ移動に対して情報の付加が抑制された結果を示している。
【０１０２】
図１４に示す例では、システムが表示するウィンドウ５１の中に、建物情報５３や、道案内情報５２が付加情報として合成された実画像が表示されている。
【０１０３】
また、図１５に示す例では、参照番号５５で表した矢印で示しているように、カメラ８の画角が右下方向へ移動している。このとき、システムが表示するウィンドウ５１の中には、システムが付加する情報は提示されていない。カメラ８の移動に追従して付加情報を合成すると、負荷が高いので処理のリアルタイム性が維持されず表示に遅延を生じてしまうし、付加情報が画角とともに流れていくとユーザには見え辛くて意味がないからである。
【０１０４】
また、図１６に示す例では、カメラの移動が休止した状態を示しており、システムが表示するウィンドウ５１の中には、建物情報５６や、道案内情報５２などの付加情報がユーザの視線方向にある景色をそのまま利用して表示されている。
【０１０５】
ここで、本実施形態では、参照番号５３や５４で示されていた付加情報は、ウィンドウの位置の移動によってフレームアウトしたと判断されて非表示状態となり、また、参照番号５６で示す建物情報がフレームに入ったと判断されて表示状態となっている。
【０１０６】
なお、本実実施形態における表示情報は、ユーザに近いものから一定数のものを選択するようにしている。また、道案内情報などのような、ユーザからその提示が求められているものを優先的に表示するようにしている。
【０１０７】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１０８】
【発明の効果】
以上詳記したように、本発明によれば、ＧＰＳなどにより得られた位置情報と結び付けてカメラにより撮影された実画像を提供することができる、優れた情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１０９】
また、本発明によれば、カメラによる実画像に所定の情報を付加して提供することができる、優れた情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１１０】
また、本発明によれば、カメラの実画像に対してその位置情報に関連する情報を付加して、撮影された場所と付加された情報の関係がつかみ易い画像情報を提供することができる、優れた情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１１１】
本発明によれば、ユーザの視線方向にある景色をそのまま利用し、これに対して情報を付加して提示するので、情報とそれが付加された場所との関係がつかみ易くなる。
【０１１２】
また、本発明によれば、付加情報の提示に実画像を積極的に用いていることから、仮想空間による情報提示で問題となるテクスチャやモデルの作成量の多さや即時性を克服することができる。
【０１１３】
また、本発明によれば、情報提示位置が画像とずれないことから、バーチャル・スタジオや現実融合（オーギュメンテッド・リアリティ）などにおいて問題であった、カメラ移動によって生じる現実にある物体と仮想オブジェクト間の相対位置のずれを回避することができる。
【図面の簡単な説明】
【図１】本発明の実施に供される情報提供装置１００のハードウェア構成を模式的に示した図である。
【図２】情報提供装置１００上で、位置情報を利用して目標とする建物が分かり易く表示されるようにカメラの実画像を処理するための処理モジュール構成を模式的に示した図である。
【図３】本実施形態に係る情報提示装置１００による付加情報の提示処理の流れを模式的に示した図である。
【図４】実画像に対してサービス情報を合成してユーザの視線方向にある景色をそのまま利用した付加情報をユーザに提示するための処理手順を示したフローチャートである。
【図５】図４に示したフローチャート中のステップＳ４において実行される情報付加対象を認識して、実画像に情報の付加を行うための詳細な処理手順の詳細を示したフローチャートである。
【図６】カメラ８により取得された実画像から特徴点となる要素を抽出した様子を示した図である。
【図７】ネットワーク３経由で取得された建物情報で構成される３次元画像を示した図である。
【図８】実写画像に対して建物情報を合わせることによってカメラ８の空間座標を修正する様子を示した図である。
【図９】市街地においてユーザが本情報提供装置１００を適用している様子を示した図である。
【図１０】図９において本情報提供装置１００を使用しているユーザの姿を示した図である。
【図１１】ＧＰＳを用いて本情報提供装置１００の位置を取得する様子を示した図である。
【図１２】ジャイロを用いて本情報提供装置１００の方向を取得する様子を示した図である。
【図１３】図９において本実施形態に係る情報提示装置１００が提示する画像情報の例を示した図である。
【図１４】カメラ移動に対して情報の付加が抑制された結果を示した図である。
【図１５】カメラ移動に対して情報の付加が抑制された結果を示した図である。
【図１６】カメラ移動に対して情報の付加が抑制された結果を示した図である。
【符号の説明】
６…カメラ立体位置取得部
７…画像フレーム・バッファ
８…カメラ
９…情報付加対象認識部
１０…画像への情報合成部
１００…情報提供装置
１０１…ＣＰＵ
１０２…主メモリ，１０３…ＲＯＭ
１０４…ディスプレイ・コントローラ
１０５…入力機器インターフェース
１０６…ネットワーク・インターフェース
１０７…外部機器インターフェース
１０８…バス
１１１…ディスプレイ，１１２…フレーム・バッファ
１１３…キーボード，１１４…マウス
１１５…ハード・ディスク装置
１１６…メディア・ドライブ
１２１…ビデオ・キャプチャ・インターフェース
１２２…位置情報取得インターフェース

Claims

位置情報に関連付けられた付加情報を場所との関係を分かり易く提示する情報提供装置であって、
実画像を取得する実画像取得手段と、
取得した実画像を蓄積する画像フレーム・バッファと、
実画像が取得された立体位置を取得する立体位置取得手段と、
該取得された立体位置に基づいて、実画像に含まれる各建物の建物データを取得する建物データ取得手段と、
該取得された立体位置に基づいて、関連する付加情報をネットワーク経由で外部装置から取得する付加情報取得手段と、
付加情報を表現する３次元コンピュータ・グラフィックス画像を作成する画像作成手段と、
３次元コンピュータ・グラフィックス画像として表現された付加情報を前記画像フレーム・バッファに蓄積されている実画像中に合成する画像合成手段と、
前記画像フレーム・バッファに蓄積されている実画像から所定の表示ウィンドウで切り出してユーザに提示する表示手段と、
前記実画像取得手段により実画像を取得した際に、以前取得した画像との差分に基づいてオプティカル・フローを取得するとともに、実画像を取得するカメラの移動量を算出する手段とを備え、
カメラの移動による表示ウィンドウの移動が表示フレームを越えるときには、前記画像合成手段が実画像中に付加情報を合成する処理を停止し、前記表示手段は、前記画像フレーム・バッファに蓄積されている実画像をそのままユーザに提示し続ける、
ことを特徴とする情報提供装置。
前記立体位置取得手段は、ジャイロ及びＧＰＳのうち少なくとも１つを用いて立体位置を取得する、
ことを特徴とする請求項１に記載の情報提供装置。
実画像から抽出された特徴点列と建物データとをマッチングして、実画像が取得された立体位置を修正する立体位置修正手段をさらに備える、
ことを特徴とする請求項１に記載の情報提供装置。
カメラの移動による表示ウィンドウの移動が表示フレームを越えないときには、前記表示手段は、画像のオプティカル・フローから割り出したカメラ方向の移動に合わせて移動した表示ウィンドウで前記画像フレーム・バッファに蓄積されている実画像を切り出してユーザに提示する、
ことを特徴とする請求項１に記載の情報提供装置。
前記付加情報取得手段は、ユーザに近いものから一定数を選択して取得し、又は、ユーザからその提示が求められている種類のものを優先的に取得する、
ことを特徴とする請求項１に記載の情報提供装置。
コンピュータを用いて構成される情報提供システムにおいて、位置情報に関連付けられた付加情報を場所との関係を分かり易く提示する情報提供方法であって、
前記コンピュータが備える実画像取得手段が、実画像を取得して前記コンピュータが備える画像フレーム・バッファに蓄積する実画像取得ステップと、
前記コンピュータが備える立体位置取得手段が、実画像が取得された立体位置を取得する立体位置取得ステップと、
前記コンピュータが備える建物データ取得手段が、該取得された立体位置に基づいて、実画像に含まれる各建物の建物データを取得する建物データ取得ステップと、
前記コンピュータが備える付加情報取得手段が、該取得された立体位置に基づいて、関連する付加情報をネットワーク経由で外部装置から取得する付加情報取得ステップと、
前記コンピュータが備える画像作成手段が、付加情報を表現する３次元コンピュータ・グラフィックス画像を作成する画像作成ステップと、
前記コンピュータが備える画像合成手段が、３次元コンピュータ・グラフィックス画像として表現された付加情報を前記画像フレーム・バッファに蓄積されている実画像中に合成する画像合成ステップと、
前記コンピュータが備える表示手段が、前記画像フレーム・バッファに蓄積されている実画像から所定の表示ウィンドウで切り出してユーザに提示する表示ステップと、
前記コンピュータが備える移動量算出手段が、前記実画像取得ステップにおいて実画像を取得した際に、以前取得した画像との差分に基づいてオプティカル・フローを取得するとともに、実画像を取得するカメラの移動量を算出するステップとを備え、
カメラの移動による表示ウィンドウの移動が表示フレームを越えるときには、前記画像合成ステップにおける実画像中に付加情報を合成する処理を停止し、前記表示ステップでは、前記画像フレーム・バッファに蓄積されている実画像をそのままユーザに提示し続ける、
することを特徴とする情報提供方法。
位置情報に関連付けられた付加情報を場所との関係を分かり易く提示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
実画像を取得して前記コンピュータ・システムが備える画像フレーム・バッファに蓄積する実画像取得手順と、
実画像が取得された立体位置を取得する立体位置取得手順と、
該取得された立体位置に基づいて、実画像に含まれる各建物の建物データを取得する建物データ取得手順と、
該取得された立体位置に基づいて、関連する付加情報をネットワーク経由で外部装置から取得する付加情報取得手順と、
付加情報を表現する３次元コンピュータ・グラフィックス画像を作成する画像作成手順と、
３次元コンピュータ・グラフィックス画像として表現された付加情報を前記画像フレーム・バッファに蓄積されている実画像中に合成する画像合成手順と、
前記画像フレーム・バッファに蓄積されている実画像から所定の表示ウィンドウで切り出してユーザに提示する表示手順と、
前記実画像取得手順において実画像を取得した際に、以前取得した画像との差分に基づいてオプティカル・フローを取得するとともに、実画像を取得するカメラの移動量を算出する手順とを実行させ、
カメラの移動による表示ウィンドウの移動が表示フレームを越えるときには、前記画像合成手順による実画像中に付加情報を合成する処理を停止し、前記表示手順により、前記画像フレーム・バッファに蓄積されている実画像をそのままユーザに提示し続ける、
ことを特徴とするコンピュータ・プログラム。