JP4464780B2 - 案内情報表示装置 - Google Patents

Description

本発明は、カメラ付き携帯電話やカメラ付きＰＤＡ（Personal Digital Assistant）などの携帯端末のための案内情報表示方法に係り、特に、携帯端末の所持者が撮影した現在位置の風景の画像上に、行き先方向の矢印を重ねて表示するようにした案内情報の表示方法に関する。

車載用のナビゲーション装置においては、出発地から目的地までの経路を矢印を付して地図上に表示する機能を持っており、また、ＧＰＳ（Gloval Positioning Sestem）衛星を利用した測位機能により、現在位置を認識するようになっている（例えば、特許文献１参照）。

また、携帯電話やＰＤＡなどの携帯端末において、人工衛星または擬似衛星または無線基地局のいずれかを用いて現在位置を測位し、地図や略図上に、現在位置と目的地への方向を示す矢印とを表示するようにした技術も知られている
特開２００４−２３３２３０号公報 特開２００４−１５６９９８号公報

地図上に目的地への案内情報を表示するようにした従来技術では、地図情報を、車載用のナビゲーション装置にあらかじめ保持させておくか、記憶容量に制限を受ける携帯電話やＰＤＡなどの携帯端末では、地図情報をダウンロードするようにしている。ところが、地図情報は、常に最新の情報に更新しなければ、店舗などの入れ替えが激しい地域では現状にそぐわないものとなる。また、地図での行き先表示では、地図と実際の風景との相関関係を理解する必要があるため、地図上の進行方向に対して実際に自分が進むべき進行方向がどの方向であるのかを、視認性よく直感的に掴みづらいという問題がある。

また、携帯電話などのように小型・軽量化が要求される機器に、自位置を測位する測位機能を搭載するのは実用的ではなく、例えばＧＰＳによる測位機能を搭載するとＧＰＳアンテナやそのための受信機などが必要となり、小型・軽量化を阻害する上、コストアップに繋がるという問題がある。また、ＧＰＳは屋内では使用できない。

本発明は上記の点に鑑みなされたもので、その目的とするところは、携帯端末の所持者が、携帯端末の表示部上の表示で、目的先に対して自身が進むべき進行方向がどの方向であるのかを、視認性よく簡単・容易に把握できるようにすることにある。また、本発明の目的とするところは、携帯端末が測位機能を持たなくても、かつ、地図情報をあらかじめ保持したりダウンロードしたりしなくても、携帯端末の所持者に対して、地図を用いない非常にわかりやすい形態の、行き先方向の案内表示ができるようにすることにある。

上記した目的を達成するため、本願による代表的な１つ発明では、携帯端末と、該携帯端末とネットワークを介して通信可能な案内情報提供用のサーバーと、各所に配置され、その撮影画像を画像解析することによりその所在位置が特定可能な情報が印されたサインマーカーとを用いるシステムにおける案内情報表示方法において、
前記携帯端末は、カメラ部と、ネットワークを介して外部と情報の送受信が可能な送受信部と、各種データを格納する記憶部と、表示部と、操作入力を行う入力部と、携帯端末全体の制御を司る制御部とを有し、
前記サーバーは、ネットワークを介して外部と情報の送受信が可能な送受信部と、地図情報を格納した地図情報データベースと、前記携帯端末から受け取ったまたは専用の入力端末から受け取った携帯端末の識別情報と目的先情報とを対応付けて格納する格納テーブルと、前記携帯端末から受け取った前記サインマーカーを含む撮影画像を解析して、撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定する位置・撮影方向認識部と、前記受け取った目的先情報と前記特定した前記サインマーカーの所在位置の情報とに基づき、前記地図情報データベースの内容を参照して目的先への経路を検索する経路検索部と、前記特定した撮影方向に基づき、前記携帯端末から受け取った前記撮影画像に、当該撮影画像での前記サインマーカーの画像に重ねて、前記サインマーカーの位置からまず進むべき前記目的先への行き先方向を示す矢印を合成するとともに、次に撮影する必要があるサインマーカーの位置を示すガイダンスメッセージを合成する合成画像生成部とを有し、
前記携帯端末の所持者が前記携帯端末または前記専用の入力端末を用いて前記サーバーにアクセスして、所持する前記携帯端末の識別情報と目的先情報とを送信することにより、前記サーバーが前記格納テーブルに前記携帯端末の識別情報と目的先情報とを格納するステップと、
前記携帯端末の所持者が前記サインマーカーを含む画像を前記カメラ部で撮影して、撮影した画像を前記サーバーに送信することにより、前記サーバーが、前記位置・撮影方向認識部によって撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定した後、前記経路検索部によって目的先への経路を検索し、前記合成画像生成部によって前記携帯端末から受け取った撮影画像に、前記サインマーカーからまず進むべき目的先への前記行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を生成して、生成した合成画像を前記携帯端末に送信するステップと、
前記携帯端末が、前記サーバーから受け取った合成画像を前記表示部上に表示するステップと
を備えることにより、前記携帯端末で撮影した撮影画像の前記サインマーカー上に前記サインマーカーからまず進むべき目的先への行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を、前記携帯端末の前記表示部に表示させて、前記サインマーカーからまず進むべき前記目的先への行先方向と次に撮影する必要があるサインマーカーの位置の案内を行うようにされる。

本発明によれば、目的先に対して自身が進むべき進行方向がどの方向であるのかを、携帯端末の表示部上での表示で、視認性よく簡単・容易に把握できる。また、携帯端末が測位機能を持たなくても、かつ、地図情報をあらかじめ保持したりダウンロードしたりしなくても、携帯端末の所持者に対して、地図を用いない非常にわかりやすい形態の、行き先方向の案内表示を提示できる。

以下、本発明の実施の形態を、図面を用いて説明する。

図１は、本発明の一実施形態（以下、本実施形態と記す）に係る案内情報表示方法を実現するためのシステムの概要を示す図である。図１において、１は、カメラ付き携帯電話やカメラ付きＰＤＡなどの携帯端末（カメラ付き携帯型端末）、２は、携帯端末１とネットワーク（公衆網（電話網、インターネット）、無線ＬＡＮなど）５を介して通信可能な案内情報提供用のサーバー、３は、駅や繁華街などに固定的に設置され、利用者（ここでは、携帯端末１の所持者）が入力操作を行うための専用の入力端末（据え置き型入力端末）で、サーバー２と専用ネットワーク６や公衆網などを介して通信を行う。また、４は、施設内や地下街や繁華街などの要所、要所に配置されたサインマーカ（画像認識用サインマーカー）であり、望ましくは、人の目に目立つように独自のカラーリング、マーキングを施されて、大人の身長よりも高い位置に配置され、サインマーカー４とともに周辺の風景（実空間）が撮影されるように配慮して設けられる。なお、サーバー２がカバーするサービス範囲は、任意の大きさの領域、任意の数の領域とすることが可能であるが、以下では説明の便宜上、サーバー２がカバーするサービス範囲は、ある特定の施設内であるとする。

図２は、図１のシステムにおける各構成要素１〜４の機能構成を示すブロック図である。図２の携帯端末１中において、１０１は携帯端末１全体の統括制御を司る制御部、１０２は映像と音声を双方向でやり取りするテレビ電話機能部（テレビ電話送受信機能部）、１０３はＥメールを送信し受信するＥメール機能部（Ｅメール送受信機能部）、１０４は携帯電話１の所持者が撮影を行うカメラ部（カメラ機能部）、１０５は撮影画像や各種ガイダンス画像などを表示する表示部（薄型画像表示パネル）、１０６は携帯電話１の所持者が送受信操作や撮影操作や文字入力等々の各種の操作を行うための入力操作部、１０７は携帯電話１の電話番号やＥメールアドレスを記憶した非接触式のＲＦＩＤ（Radio Frequency Identification）タグ、１０８はＷＥＢに則った通信プロトコルによりインターネットを介してサーバー２などに接続するためのＷＥＢ接続機能部、１０９は各種のデータを記憶し、またワークエリアとして使用される記憶部である。

また、図２のサーバー２中において、２０１はサーバー２全体の統括制御を司る制御部、２０２は、会員カードをもつ会員のＩＤとその会員の所有する携帯端末１の識別情報（電話番号、Ｅメールアドレス）とを対応付けたデータを記憶した会員ＩＤ／携帯端末識別情報対応データベース、２０３は、携帯端末１の識別情報と、当該携帯端末１から受け取った目的先情報または入力端末３から受け取った目的先情報とを対応付けたデータを、所定の期間保持する携帯端末識別情報／目的先情報対応テーブル、２０４は、サインマーカー４に印された個々のサインマーカー４に固有のマーカーＩＤと、そのサインマーカー４の所在位置を示す位置情報およびサインマーカー４の表示面の向く方向（方位）の情報とを対応付けたデータを格納したサインマーカー情報データベースである。

また、図２のサーバー２中において、２０５は、携帯端末１から受け取ったサインマーカー４を含む撮影画像から、撮影されたサインマーカー４の画像部分を抽出し、抽出した画像部分を画像処理により解析して、撮影されたサインマーカー４の所在位置とサインマーカー４を撮影した撮影方向とを特定する位置・撮影方向認識部（画像解析判定処理部）である。この位置・撮影方向認識部２０５は、撮影されたサインマーカー４にマーカーＩＤが印されている場合には、まず、マーカーＩＤ部分を認識して、マーカーＩＤを判読・特定する。そして、位置・撮影方向認識部２０５は、判読・特定したマーカーＩＤに基づき、サインマーカー情報データベース２０４の内容を参照して、当該サインマーカー４の所在位置と、サインマーカー４の表示面の向く方位と反対方向であるサインマーカー４を撮影した撮影方向とを、特定する。

あるいは、位置・撮影方向認識部２０５は、撮影されたサインマーカー４にマーカーＩＤが印されている場合には、特定したマーカーＩＤに基づき、サインマーカー情報データベース２０４の内容を参照して、当該サインマーカー４の所在位置を特定するとともに、受け取ったサインマーカー４を含む撮影画像から３次元認識処理によって、サインマーカー４を撮影した撮影方向を特定する（例えば、矩形のサインマーカ４の左辺が右辺より所定量だけ大きい場合には、サインマーカ４を左手前の所定角度から撮影したなどと、判定処理をする。なお、このような３次元認識処理プログラムは公知であり、インターネットを通じて簡単に入手可能である）。

あるいはまた、位置・撮影方向認識部２０５は、撮影されたサインマーカー４にマーカーＩＤが印されておらず、撮影されたサインマーカー４自体に、その所在位置を表す情報とその表示面の向く方向（方位）を表す情報とが印されている場合には、撮影されたサインマーカー４の画像部分を画像処理により解析して、サインマーカー４に印された所在位置の情報と表示面の向く方向の情報を取得し、当該サインマーカー４の所在位置と、サインマーカー４の表示面の向く方位と反対方向であるサインマーカーを撮影した撮影方向とを、特定する。または、位置・撮影方向認識部２０５は、撮影されたサインマーカー４にマーカーＩＤが印されておらず、撮影されたサインマーカー４自体に、その所在位置を表す情報のみが印されている場合には、撮影されたサインマーカー４の画像部分を画像処理により解析して、サインマーカー４に印された所在位置の情報を取得するとともに、受け取ったサインマーカー４を含む撮影画像から３次元認識処理によって、サインマーカー４を撮影した撮影方向を特定する。

なお、色抽出処理や輪郭抽出処理や交点抽出処理等々による情報の識別処理は公知であり、それを実現するためのプログラムも多数実現されている。

さらに、図２のサーバー２中において、２０６は最新の地図情報を格納した地図情報データベース、２０７は行き先情報と現在位置情報に基づき行き先までの経路を検索する経路検索部である。この経路検索部２０７は、サインマーカー４を含む撮影画像を送信してきた携帯端末１の識別情報に基づいて、携帯端末識別情報／目的先情報対応テーブル２０３を参照して得られる当該携帯端末１の所持者の望む行き先情報と、当該携帯端末１から受け取ったサインマーカー４を含む撮影画像から位置・撮影方向認識部２０５で特定したサインマーカー４の所在位置（当該携帯端末１の所持者の現在位置）と、地図情報データベース２０６の内容とに基づき、所定の検索アルゴリズムによって、当該携帯端末１の所持者の現在位置から行き先までの、最短経路ないしは分かり易い経路を検索する。

さらに、図２のサーバー２中において、２０８は、携帯端末１から受け取った撮影画像に行き先への進行方向を示すために付加する矢印画像を生成する３Ｄ矢印表示生成部、２０９は、携帯端末１から受け取った撮影画像に付加するコメントやアドバイスの文字画像を生成するコメント・アドバイス生成部、２１０は、携帯端末１から受け取った撮影画像に、３Ｄ矢印表示生成部２０８で生成した矢印画像や、コメント・アドバイス生成部２０９で生成した文字画像を合成した合成画像を生成する合成画像生成部である。なお、３Ｄ矢印表示生成部２０８は、位置・撮影方向認識部２０５で特定したサインマーカー４の撮影方向と、経路検索部２０７で検索した検索結果情報とに基づき、携帯端末１から受け取った撮影画像に付加するための３次元表現の矢印画像を生成する。また、コメント・アドバイス生成部２０９は、経路検索部２０７で検索した検索結果情報（経路情報）に基づき、例えば、「次のコーナーで右折し、右折後にサインマーカー４を撮影して下さい。」などといった、携帯端末１の所持者にとって有意なガイダンスメッセージを生成する。

さらに、図２のサーバー２中において、２１１は映像と音声を双方向でやり取りするテレビ電話機能部（テレビ電話送受信機能部）、２１２はＥメールを送信し受信するＥメール機能部（Ｅメール送受信機能部）、２１３はインターネットを通じて携帯端末１がアクセス可能なＷＥＢ接続機能部、２１４は各種のデータを記憶し、またワークエリアとして使用される記憶部である。

また、図２中の入力端末３において、３０１は入力端末３全体の統括制御を司る制御部、３０２は各種ガイダンス画像などを表示する大画面の表示部（薄型画像表示パネル）、３０３は表示部３０１上に一体に設けられた操作入力部としてのタッチパネル（例えば赤外線タッチパネル）、３０４は、表示部３０２の裏面側に設置され、携帯端末１に内蔵されたＲＦＩＤタグ１０７や会員のもつ会員カードに内蔵されたＲＦＩＤタグ１０７に記録された内容を非接触で読み取るＲＦＩＤリーダ、３０５はサーバー２との接続機能部（例えば、ＷＥＢ接続機能部）、３０６は各種のデータを記憶し、またワークエリアとして使用される記憶部である。

また、図２中のサインマーカー４において、４０１は個々のサインマーカーに固有のマーカーＩＤを表したマーカーＩＤ表現部である。なお、サインマーカー４には、マーカーＩＤ（マーカーＩＤ表現部４０１）を印さず、その代わりに、サインマーカー４の所在位置を表す情報と、その表示面の向く方向（方位）を表す情報とを、直接表現するようにしても差し支えない。また、サインマーカー４には、サーバー２の位置・撮影方向認識部（画像解析判定処理部）２０５が前記した３次元認識処理により、サインマーカー４を撮影した撮影方向を特定するための３次元認識処理対象の認識部（矩形表現部など）を設けてもよい。なおまた、サインマーカー４には、マーカーＩＤ、所在位置を表す情報、その表示面の向く方向（方位）を表す情報、３次元認識処理対象の認識部を全て設けても、これらから適宜に選択されたものを組み合わせて設けてもよい。

サインマーカー４は、先にも述べたように、施設内や地下街や繁華街などの要所、要所に配置され、例えば、店舗、建家などの通路に面した壁面に貼付されたり、店舗、建家などから通路に対して直角に突出した看板、案内板などの表裏に貼付されたりする。サインマーカー４の配置数や、配置位置の近接の如何は任意であるが、いずれにせよ、各サインマーカー４にはそれぞれ異なった情報が印される。つまり、同じ案内板の表裏に設けられた２つのサインマーカーであっても、例えば、マーカーＩＤや、表示面の向く方向（方位）を表す情報は異なったものとなる。

図１、図２に示すシステム構成において実現される、本実施形態の案内情報表示方法の概要について説明する。まず、携帯端末１の所持者が、専用の入力端末３または携帯端末１を用いてサーバー２にアクセスして、所持する携帯端末１の識別情報（電話番号、Ｅメールアドレス）と目的先の情報とを送信することにより、サーバー２が携帯端末識別情報／目的先情報対応テーブル２０３に、携帯端末１の識別情報と目的先情報とを格納する。次に、携帯端末１の所持者がサインマーカー４を含む画像をカメラ部１０４で撮影して、撮影した画像をサーバー１に送信すると、サーバー２の位置・撮影方向認識部２０５が、撮影されたサインマーカー４の所在位置とサインマーカー４を撮影した撮影方向とを特定した後、サーバー２の経路検索部２０７が当該サインマーカーの位置から目的先までへの経路を検索する。そして、サーバー２の３Ｄ矢印表示生成部２０８が、携帯端末１から受け取った撮影画像に付加するための３次元表現の矢印画像を生成し、サーバー２のコメント・アドバイス生成部２０９が携帯端末１から受け取った撮影画像に付加するためのガイダンスメッセージの文字画像を生成し、サーバー２の合成画像生成部２１０が、携帯端末から受け取った撮影画像に、行き先方向を示す矢印とガイダンスメッセージとを合成した合成画像を生成する。生成された合成画像はサーバー２から携帯端末１に送信され、携帯端末１は受け取った合成画像を表示部１０５上に表示し、これにより、携帯端末１の所持者は、その場の実空間を撮影した画像中の矢印表示により、行き先への進行方向を把握する。以上が、本実施形態の案内情報表示方法の概要である。なお、携帯端末１とサーバー２との間の画像データのやり取りは、ＴＶ電話機能を用いて行っても、あるいはＥメールの貼付ファイルとしておこなってもよい。

次に、専用の入力端末３を用いて行き先をサーバー２に設定する（記憶させる）手順について説明する。図３は入力端末３を示す図で、同図に示し前記したように、入力端末３は、最表層から順にタッチパネル３０３、薄型画像表示パネルよりなる表示部３０２、非接触で読み取りを行うＲＦＩＤリーダ３０４が積層された構造をとっている。したがって、ＲＦＩＤタグ１０７を内蔵した携帯端末１、あるいはＲＦＩＤタグを内蔵したカードで、表示部３０２上に表示された所望項目をタッチするだけで、入力端末３は、携帯端末１の所持者あるいはカードの所持者の選択した項目を認知するとともに、携帯端末１のＲＦＩＤタグ１０６に記憶された携帯端末１の識別情報（電話番号、Ｅメールアドレス）、あるいは、カードのＲＦＩＤタグに記憶された会員ＩＤ（カードＩＤ）を認知するようになっている。

図４は、入力端末３を用いて、携帯端末１の所持者がサーバー２に所望する行き先を設定する（記憶させる）様子を示す図である。図４の（ａ）は、入力端末３の初期メニュー画像の表示状態を示しており、この状態で、携帯端末１の所持者が「ナビサービス」の項目を指などでタッチすると、入力端末３は、図４の（ｂ）に示すようなナビサービスガイダンス画像の表示状態に遷移する。このナビサービスガイダンス画像では、例えば、上位概念の店の種別や商品種別などの項目と、「お探しのお店を会員カードもしくは、登録された携帯電話でタッチしてください。」などの操作ガイダンスが表示される。

携帯端末１の所持者は、図４の（ｂ）のナビサービスガイダンス画像により、行き先候補を選択し（行きたい店の種別、探している商品などを選択し）、図４の（ｃ）に示すように、会員カード７でナビサービスガイダンス画像中の所望する項目をタッチするか、もしくは、図４の（ｄ）に示すように、携帯端末１（ここでは携帯電話として示したあるがＰＤＡなどであってもよい）でナビサービスガイダンス画像中の所望する項目をタッチする。これにより、入力端末３は、会員カード７の会員ＩＤ（カードＩＤ）もしくは携帯端末１の識別情報（電話番号、Ｅメールアドレス）を取得すると同時に、タッチされた項目を認知する。図４の（ｃ）、（ｄ）でタッチして選択された項目が上位項目で、さらに下位項目がある場合には、入力端末３は、図４の（ｅ）に示すような次位のナビサービスガイダンス画像の表示状態に遷移する。携帯端末１の所持者は、さらに、図４の（ｅ）のナビサービスガイダンス画像により所望する行き先の項目を選択し、その項目にタッチする（この場合のタッチは、指であっても、会員カード７であっても、携帯端末１であってもよい）。そして、最下位のナビサービスガイダンス画像においてタッチされた項目を、入力端末３は、携帯端末１の所持者の行きたい行き先であると認知する。この認知の後は、入力端末３は、図４の（ｆ）に示すような、ナビサービス案内のためのユーザー操作が終了したことを示す表示画像に遷移した後、所定秒時後に、図４の（ａ）に示すの初期メニュー画像の表示状態に戻る。

そして、携帯端末１の所持者による上記したユーザー操作によって、会員カード７の会員ＩＤまたは携帯端末１の識別情報、と行き先の情報とを認知すると、入力端末３は、会員カード７の会員ＩＤまたは携帯端末１の識別情報と行き先の情報とを対応付けて、サーバー２に対して送信する（この際の通信手段や経路は任意である）。これを受けて、サーバー２は、携帯端末１の識別情報と行き先の情報とが送信されてきた場合には、これを携帯端末識別情報／目的先情報対応テーブル２０３に格納し、また、会員ＩＤの情報と行き先の情報とが送信されてきた場合には、会員ＩＤ／携帯端末識別情報対応データベース２０２の内容を参照して、会員ＩＤからこれに対応する携帯端末１の識別情報を検索して、携帯端末１の識別情報と行き先の情報を携帯端末識別情報／目的先情報対応テーブル２０３に格納して、当該携帯端末１に対する行き先案内動作モードをとる。

サーバー２は、当該携帯端末１に対する行き先案内動作モードに入ると、まず、当該携帯端末１に対してＥメールによって、行き先案内サービスの行き先入力を受け付けたことを知らせるメールを送信する。図４の（ｇ）は、このメールを受け取った携帯端末１の表示部でのメール表示の例を示しており、ここでは、携帯端末１の所持者の指定した行き先と、本発明の案内情報表示方法での行き先案内を所望しないユーザーに対して、地図・経路での案内を行うためのサーバー２のＷＥＢサイトのアドレス（ＵＲＬ）と、本発明の案内情報表示方法での行き先案内を所望し、かつＴＶ電話機能を有する携帯端末１を所持するユーザーに対して、撮影画像に対する矢印での案内を行うためのサーバー２の電話番号とが、表示されている。

そして、図４の（ｇ）の表示状態において、サーバー２の電話番号の箇所にカーソルを合わせて、携帯端末１の送信ボタンをプッシュすると、携帯端末１は電話番号の箇所とリンクしたサーバー２の電話番号を認知して、サーバー２に自動的に電話をかけ（自動的に発呼し）、また、図４の（ｇ）の表示状態において、ＷＥＢサイトのアドレスの箇所にカーソルを合わせて、携帯端末１の送信ボタンをプッシュすると、携帯端末１はアドレスの箇所とリンクしたサーバー２のＷＥＢサイトのアドレス（ＵＲＬ）を認知して、サーバー２のＷＥＢサイトに自動的にアクセスするようになっている（このような、仕組みは容易に構築可能である）。なお、以下の説明では、サーバー２の電話番号の選択を、「ＴＶ電話でナビサービス開始」の選択と称し、サーバー２のＷＥＢサイトのアドレスの選択を、「検索結果をＷＥＢで表示」の選択と称する。

図４の（ｇ）に示すメールを受け取った、本発明の案内情報表示方法での行き先案内を所望し、かつＴＶ電話機能を有する携帯端末１を所持するユーザーが、メールに表示された電話番号に電話をかけてサーバー２と回線接続すると、携帯端末１とサーバー２とは自動的にＴＶ電話接続状態となる。この後、携帯端末１の所持者（ユーザー）がサインマーカー４を撮影し（図４の（ｈ））、これによって、サインマーカー４を含む撮影画像がサーバー２に送信されることとなる。

また、図４の（ｇ）に示すメールを受け取った、本発明の案内情報表示方法での行き先案内を所望しないユーザーが、メールで示されたサーバー２のＷＥＢサイトにアクセスすると、地図・経路による案内情報が携帯端末１に送信され、携帯端末１の表示部１０５には、図４の（ｉ）に示すように、従来から提供されているサービスと同様な、簡単な地図上に現在位置と経路とが表示されることとなる。

このように、専用の入力端末３を用いて行き先をサーバー２に記憶させる手法をとると、入力端末３の大画面の表示によって、見やすく、容易・確実に行き先を検索することが可能となる。

なお、上述した専用の入力端末３を用いて行き先をサーバー２に記憶させる手順においては、ＲＦＩＤタグをもつ携帯端末１または会員カード７でタッチすることで、携帯端末１の識別情報や会員カード７の会員ＩＤを自動的に読み取ることで、ユーザーの手間を低減するようにしているが、携帯端末１の識別情報は、ユーザー自身が入力するように構成してもよい。また、ＲＦＩＤタグをもつ会員カード７以外にも、カードに携帯端末１と１対１にリンクするＩＤ情報が記してあるものならば、例えば磁気カードであってもよく、この場合には入力端末３に磁気カードリーダーが備えられることになる。

次に、携帯端末１を用いて行き先をサーバー２に設定する（記憶させる）手順について説明する。図５は、携帯端末１の所持者がサーバー２に所望する行き先を設定する（記憶させる）手順を示すフロー図である。

まず、携帯端末１の所持者であるユーザーは、案内情報の提供サービスを行っているサーバー２のＷＥＢサイトのアドレス（ＵＲＬ（Uniform Resource Locator））を取得する（ステップＳ１）。このＵＲＬの取得方法としては、携帯端末１から案内情報の提供サービスを行っているサーバー２に空メールを送信し、サーバー２からＷＥＢサイトのＵＲＬをメールで返信させる（この場合には、携帯端末１の電子メールアドレス帳に相手先のサーバー２のＥメールアドレスが記憶されていることなどが前提となる）、あるいは、サーバー２のＷＥＢサイトのＵＲＬを表した２次元バーコードを携帯端末１のカメラ部１０４で撮影して、携帯端末１が画像解析することにより、ＷＥＢサイトのＵＲＬを取得する、あるいは、携帯端末１の所持者（ユーザー）が自身でＷＥＢサイトのＵＲＬを取得する（人に聞く、印刷物から取得するなど）といった、方法が考えられる。なお、２次元バーコードは、サインマーカー４の近傍に配設しておくことが望まれる。何となれば、こうしておくことで、サインマーカー４の存在に気づいたユーザーが、案内情報の提供サービスエリア内にいると認識して、サービスの提供を受けようと思いつくと、その場で２次元バーコードを撮影することで、案内情報の提供サービスを行っているサーバー２のＷＥＢサイトのＵＲＬを、至って簡単に取得できるからである。なおまた、携帯端末１のＷＥＢ機能の「お気に入り」に、サーバー２のＷＥＢサイトのＵＲＬが登録されている場合には、ステップＳ１は省くことが可能である。

次に、携帯端末１の所持者は、ステップＳ１で取得したＵＲＬを用いて、携帯端末１から、案内情報の提供サービスを行っているサーバー２のＷＥＢサイトにアクセスする（ステップＳ２）。なお、２次元バーコードを撮影してＵＲＬを撮影した場合には、自動的に、サーバー２のＷＥＢサイトにアクセスするような仕組みにすることも可能である。

次に、携帯端末１からＷＥＢサイトへのアクセスを受けたサーバー２から、携帯端末１に適宜の電話番号およびＥメールアドレスを入力するため表示データを送信し、携帯端末１の所持者が、携帯端末１の表示部１０５の表示内容と対話式に、自機の電話番号およびＥメールアドレスを入力する（ステップＳ３）ことで、サーバー２は携帯端末１の電話番号およびＥメールアドレスを取得する。次に、サーバー２は、携帯端末１に対して、適宜の行き先入力用（あるいは行き先選択用）のナビサービスガイダンス表示データを送信し、これを受けた携帯端末１の表示部１０５上にはナビサービスガイダンス画像が表示されて、この表示内容と対話式に、携帯端末１の所持者が所望する行き先を入力する（ステップＳ３）。この行き先の入力方法としては、階層式のメニュー表示から選択する、住所を入力する、郵便番号を入力する、地図上の番号を入力する、探している商品や店、機能、イベントなどを入力するといった、方法が考えられる。このような方法を用いて、携帯端末１の所持者は最終的な行き先を入力・決定する。これにより、サーバー２は当該携帯端末１の識別情報と行き先の情報とを取得し、取得した携帯端末１の識別情報と行き先の情報を携帯端末識別情報／目的先情報対応テーブル２０３に格納して、当該携帯端末１に対する行き先案内動作モードをとる。

サーバー２は、当該携帯端末１に対する行き先案内動作モードに入ると、まず、当該携帯端末１に対してＷＥＢデータによって、行き先案内サービスの行き先入力を受け付けたことを知らせる表示データを送信する。この表示データを受けた携帯端末１の表示部１０５上での表示内容は、図示していないが、例えば前記した図４の（ｇ）の表示内容と略同様であり、携帯端末１の所持者の指定した行き先と、本発明の案内情報表示方法での行き先案内を所望しないユーザーに対して、地図・経路での案内を行うためのサーバー２のＷＥＢサイトのアドレス（ＵＲＬ）と、本発明の案内情報表示方法での行き先案内を所望し、かつＴＶ電話機能を有する携帯端末１を所持するユーザーに対して、撮影画像に対する矢印での案内を行うためのサーバー２の電話番号とが、表示される。そして、このような表示状態において、サーバー２の電話番号の箇所にカーソルを合わせて、携帯端末１の送信ボタンをプッシュすると、携帯端末１は電話番号の箇所とリンクしたサーバー２の電話番号を認知して、サーバー２に自動的に電話をかけ（ステップＳ４）、また、このような表示状態において、ＷＥＢサイトのアドレスの箇所にカーソルを合わせて、携帯端末１の送信ボタンをプッシュすると、携帯端末１はアドレスの箇所とリンクしたサーバー２のＷＥＢサイトのアドレス（ＵＲＬ）を認知して、サーバー２のＷＥＢサイトに自動的にアクセスする（ステップＳ４）ようになっている（このような、仕組みも容易に構築可能である）。なお、以下の説明では、このようなサーバー２の電話番号の選択も、「ＴＶ電話でナビサービス開始」の選択と称し、このようなサーバー２のＷＥＢサイトのアドレスの選択も、「検索結果をＷＥＢで表示」の選択と称する。「検索結果をＷＥＢで表示」を選択すると、地図・経路による案内情報が携帯端末１に送信され、携帯端末１の表示部１０５には、従来から提供されているサービスと同様な、簡単な地図上に現在位置と経路とが表示される（ステップＳ４）。「ＴＶ電話でナビサービス開始」を選択すると、サーバー２と回線接続されて、携帯端末１とサーバー２とは自動的にＴＶ電話接続状態となる（ステップＳ４）。

この後、携帯端末１の所持者（ユーザー）がサインマーカー４を撮影すると、これによって、サインマーカー４を含む撮影画像がサーバー２に送信されることとなる（ステップＳ５）。

次に、サーバー２が、合成画像を生成しこれを携帯端末１に送信する処理について、図６を用いて説明する。図６は、主としてサーバーによる処理の流れのイメージを示す説明である。

図６の（ａ）は、携帯端末１の所持者（ユーザー）が現在見ている実空間（実際の世界）のイメージを示しており、このような実空間において、携帯端末１の所持者は、カメラ部１０５でサインマーカー４を含む周囲の風景を、図６の（ｂ）のように撮影する。撮影されたサインマーカー４を含む撮影画像は、ＴＶ電話機能により携帯端末１からサーバー２へと自動的に送信される。

サーバー２は、位置・撮影方向認識部２０５によって、送信されてきたサインマーカー４を含む撮影画像からサインマーカー部分を検知・抽出し、抽出したサインマーカー部分の画像から、ここでは例えば、マーカーＩＤを判読して特定する。同時に、位置・撮影方向認識部２０５は、ここでは例えば、前記した３次元認識処理によって、サインマーカー４を撮影した撮影方向を特定する（図６の（ｃ））。さらに、位置・撮影方向認識部２０５は、特定したマーカーＩＤに基づき、サインマーカー情報データベース２０４を参照して、サインマーカー４の位置（ユーザーの現在位置）を特定する（図６の（ｄ））。なお、サインマーカー４の位置情報や撮影方向の特定手法は、前記したように他の手法を用いることも可能である。

次に、経路検索部２０７が、サインマーカー４を含む撮影画像を送信してきた携帯端末１の識別情報に基づいて、携帯端末識別情報／目的先情報対応テーブル２０３を参照して得られる当該携帯端末１の所持者の望む行き先情報と、位置・撮影方向認識部２０５で特定したサインマーカー４の所在位置（ユーザーの現在位置）の情報と、地図情報データベース２０６の内容とに基づき、所定の検索アルゴリズムによって、当該携帯端末１の所持者（ユーザー）の現在位置から行き先までの、最短経路ないしは分かり易い経路を検索する。また、経路検索部２０７は、検索結果から、現在位置からまずユーザーが進まなければならない方向を決定する（図６の（ｅ））。

次に、３Ｄ矢印表示生成部２０８が、位置・撮影方向認識部２０５で特定したサインマーカー４の撮影方向と、経路検索部２０７による検索結果情報とに基づき、携帯端末１から受け取った撮影画像に付加するための３次元表現の矢印画像（３Ｄ矢印画像）を生成する（図６の（ｆ））。なお、位置・撮影方向認識部２０５でのサインマーカー４の撮影方向の特定が、３次元認識処理による場合には、３Ｄ矢印はサインマーカー４の撮影方向と正確に一致したものとして作成される。また、位置・撮影方向認識部２０５でのサインマーカー４の撮影方向の特定が、サインマーカー４の表示面の向く方位情報に基づくものである場合で、サインマーカー４が店舗、建家などの通路に面した壁面に貼付されている際には、３Ｄ矢印は平面的な矢印として作成され、サインマーカー４が店舗、建家などから通路に対して直角に突出した看板、案内板などの表裏に貼付されている際には、３Ｄ矢印はある所定角度だけ傾けた矢印として作成される。

また、コメント・アドバイス生成部２０９が、経路検索部２０７による検索結果情報（経路情報）に基づき、携帯端末１の所持者（ユーザー）にとって有意なガイダンスメッセージ（コメント、アドバイス）を生成する（図６の（ｇ））。

次に、合成画像生成部２１０が、携帯端末１から送信されてきたサインマーカー４を含む撮影画像に、行き先方向を示す３Ｄ矢印とガイダンスメッセージとを合成した合成画像を生成し、生成された合成画像はサーバー２から携帯端末１に送信される（図６の（ｈ））。なお、３Ｄ矢印の表示位置は、抽出したサインマーカー４の位置と合致するように、画像合成が行われるようになっている。

図７は、携帯端末１の所持者（ユーザー）が現在見ている実空間（実際の世界）と、携帯端末１の表示部１０５上に表示された合成画像とを示す説明図である。ユーザーがサインマーカー４を見つけ、サインマーカー４を含むように周囲の風景を撮影するだけで、携帯端末１の表示部１０５上には、撮影した画像に、３Ｄ矢印と、行き先名称と、ガイダンスメッセージとを重畳した合成画像が表示される。よって、ユーザーは、その場で見ている実空間と同様の実空間撮影画像中の矢印表示により、目的先に対して自身が進むべき進行方向がどの方向であるのかを、視認性よく簡単・容易に把握できる。さらに、ガイダンスメッセージによって、矢印の方向に沿ってどの程度の距離だけ進むのであるなどを的確に把握でき、次にサインマーカー４を撮影する必要がある場所がどこであるかなどを事前に知ることができる。なお、ここでの例では、ガイダンスメッセージを表示するようにしているが、ガイダンスメッセージの表示と併せて、あるいはガイダンスメッセージの表示に代替して、サーバー２から携帯端末１に音声によるガイダンスメッセージを送信して、携帯端末１にガイダンスメッセージを音声出力させるように構成することも可能である。

図８は、入力端末３とサーバー２と携帯端末１とにおける処理の流れの関係を示す図であり、図９は、携帯端末１とサーバー２とにおける処理の流れの関係を示す図であり、各機器の処理の詳細は、上述した通りである。

なお、上述した実施形態では、携帯端末１とサーバー２との間での撮影画像や合成画像のやり取りを、ＴＶ電話機能で行う例を示したが、携帯端末１からサーバー２へ撮影画像をＥメールの貼付ファイルとして送信し、サーバー２から携帯端末１へ同様に合成画像をＥメールの貼付ファイルとして送信するようにしても構わない。この場合、携帯端末１の所持者は、サインマーカー４を含む画像を撮影する毎に、Ｅメールの貼付ファイルとして送信する操作と、サーバー２からＥメールを受け取る毎にＥメールのに貼付ファイルを開く操作とを行う必要があるが、ＴＶ電話機能のない携帯端末１であっても、本発明による案内情報表示方法を実現することが可能となる。

図１〜図９を用いて説明した上述の実施形態によれば、各所に、その撮影画像を画像解析することによりその所在位置が特定可能な情報が印されたサインマーカーが配置されている環境が前提となるが、携帯端末の所持者が、携帯端末のカメラ部で撮影したサインマーカーを含む撮影画像を、サーバー側で画像解析して、撮影されたサインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定し、経路検索処理の結果に応じて、携帯端末から受け取った撮影画像に行き先方向を示す矢印を合成した合成画像を生成して、これを携帯端末に送信するので、携帯端末の表示部には、その場の実空間を撮影した画像中に矢印が表示されることとなる。したがって、目的先に対して自身が進むべき進行方向がどの方向であるのかを、実空間の撮影画像上で、視認性よく簡単・容易に把握できる。また、携帯端末が測位機能を持たなくても、かつ、地図情報をあらかじめ保持したりダウンロードしたりしなくても、携帯端末の所持者に対して、地図を用いない非常にわかりやすい形態の、行き先方向の案内表示を提示できるので、携帯端末に掛ける負担が少なくて済み、携帯端末のコストアップを招来することもない。また、ＧＰＳ測位が困難な屋内等においても利用可能である。さらに、１０ｍ前後の誤差が生じることがあるＧＰＳによる測位機能を用いる場合に比べて、高い精度で案内表示を提示できるので、歩行者向けとして特に有効である。

本発明の一実施形態（以下、本実施形態と記す）に係る案内情報表示方法を実現するためのシステムの概要を示す説明図である。 図１のシステムにおける各構成要素の機能構成を示すブロック図である。 図１のシステムにおける入力装置の構成概要を示す説明図である。 本発明の一実施形態に係る案内情報表示方法における、入力装置を用いて、携帯端末の所持者がサーバーに所望する行き先を設定する様子を示す説明図である。 本発明の一実施形態に係る案内情報表示方法における、携帯端末を用いて、携帯端末の所持者がサーバーに所望する行き先を設定する手順を示すフロー図である。 本発明の一実施形態に係る案内情報表示方法における、主としてサーバーによる処理の流れのイメージを示す説明である。 本発明の一実施形態に係る案内情報表示方法における、ユーザーが現在見ている実空間（実際の世界）と、携帯端末の表示部に表示された合成画像とを示す説明図である。 本発明の一実施形態に係る案内情報表示方法における、入力端末とサーバーと携帯端末とにおける処理の流れの関係を示す説明図である。 本発明の一実施形態に係る案内情報表示方法における、携帯端末とサーバーとにおける処理の流れの関係を示す説明図である。

符号の説明

１ 携帯端末
２ サーバー
３ 入力端末
４ サインマーカー
１０１ 制御部
１０２ テレビ電話機能部
１０３ Ｅメール機能部
１０４ カメラ部
１０５ 表示部
１０６ 入力操作部
１０７ ＲＦＩＤタグ
１０８ ＷＥＢ接続機能部
１０９ 記憶部
２０１ 制御部
２０２ 会員ＩＤ／携帯端末識別情報対応データベース
２０３ 携帯端末識別情報／目的先情報対応テーブル
２０４ サインマーカー情報データベース
２０５ 位置・撮影方向認識部
２０６ 地図情報データベース
２０７ 経路検索部
２０８ ３Ｄ矢印表示生成部
２０９ コメント・アドバイス生成部
２１０ 合成画像生成部
２１１ テレビ電話機能部
２１２ Ｅメール機能部
２１３ ＷＥＢ接続機能部
２１４ 記憶部
３０１ 制御部
３０２ 表示部
３０３ タッチパネル
３０４ ＲＦＩＤリーダ
３０５ サーバーとの接続機能部
３０６ 記憶部
４０１ マーカーＩＤ表現部

Claims (9)

1. 携帯端末と、該携帯端末とネットワークを介して通信可能な案内情報提供用のサーバーと、各所に配置され、その撮影画像を画像解析することによりその所在位置が特定可能な情報が印されたサインマーカーとを用いるシステムにおける案内情報表示方法であって、
   前記携帯端末は、
   カメラ部と、
   ネットワークを介して外部と情報の送受信が可能な送受信部と、
   各種データを格納する記憶部と、
   表示部と、
   操作入力を行う入力部と、
   携帯端末全体の制御を司る制御部と
   を有し、
   前記サーバーは、
   ネットワークを介して外部と情報の送受信が可能な送受信部と、
   地図情報を格納した地図情報データベースと、
   前記携帯端末から受け取ったまたは専用の入力端末から受け取った携帯端末の識別情報と目的先情報とを対応付けて格納する格納テーブルと、
   前記携帯端末から受け取った前記サインマーカーを含む撮影画像を解析して、撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定する位置・撮影方向認識部と、
   前記受け取った目的先情報と前記特定した前記サインマーカーの所在位置の情報とに基づき、前記地図情報データベースの内容を参照して目的先への経路を検索する経路検索部と、
   前記特定した撮影方向に基づき、前記携帯端末から受け取った前記撮影画像に、当該撮影画像での前記サインマーカーの画像に重ねて、前記サインマーカーの位置からまず進むべき前記目的先への行き先方向を示す矢印を合成するとともに、次に撮影する必要があるサインマーカーの位置を示すガイダンスメッセージを合成する合成画像生成部と
   を有し、
   前記携帯端末の所持者が、前記携帯端末または前記専用の入力端末を用いて前記サーバーにアクセスして、所持する前記携帯端末の識別情報と目的先情報とを送信することにより、前記サーバーが前記格納テーブルに前記携帯端末の識別情報と目的先情報とを格納するステップと、
   前記携帯端末の所持者が前記サインマーカーを含む画像を前記カメラ部で撮影して、撮影した画像を前記サーバーに送信することにより、前記サーバーが、前記位置・撮影方向認識部によって撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定した後、前記経路検索部によって目的先への経路を検索し、前記合成画像生成部によって前記携帯端末から受け取った撮影画像に、前記サインマーカーからまず進むべき目的先への前記行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を生成して、生成した合成画像を前記携帯端末に送信するステップと、
   前記携帯端末が、前記サーバーから受け取った合成画像を前記表示部上に表示するステップと
   を備えることにより、前記携帯端末で撮影した撮影画像の前記サインマーカー上に前記サインマーカーからまず進むべき目的先への行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を、前記携帯端末の前記表示部に表示させて、前記サインマーカーからまず進むべき前記目的先への行先方向と次に撮影する必要があるサインマーカーの位置の案内を行うようにしたことを特徴とする案内情報表示方法。
2. 請求項１に記載の案内情報表示方法において、
   前記サインマーカーには、個々のサインマーカーを識別するためのＩＤ情報が印されており、
   前記サーバーには、各サインマーカーのＩＤ情報と対応付けた、位置情報およびサインマーカーの表示面の向く方向（方位）の情報を格納したサインマーカー情報データベースが設けられ、
   前記サーバーの前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像からサインマーカーのＩＤ情報を取得し、取得したＩＤ情報に基づき、前記サインマーカー情報データベースの情報を参照して、前記サインマーカーの所在位置と、サインマーカーの表示面の向く方位と反対方向であるサインマーカーを撮影した撮影方向とを特定する
   ことを特徴とする案内情報表示方法。
3. 請求項１に記載の案内情報表示方法において、
   前記サインマーカーには、その所在位置を表す情報とその表示面の向く方向（方位）を表す情報とが印されており、
   前記サーバーの前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像から、サインマーカーに印された所在位置の情報と表示面の向く方向の情報を取得して、前記サインマーカーの所在位置と、サインマーカーの表示面の向く方位と反対方向であるサインマーカーを撮影した撮影方向とを特定する
   ことを特徴とする案内情報表示方法。
4. 請求項１に記載の案内情報表示方法において、
   前記サインマーカーには、その所在位置を表す情報、または、個々のサインマーカーを識別するためのＩＤ情報が印されており、
   前記サーバーの前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像からサインマーカーに印された所在位置の情報を直接取得することで、または、サインマーカーに印されたＩＤ情報を取得し、各サインマーカーのＩＤ情報と対応付けた位置情報を格納したサインマーカー情報データベースを参照することで、前記サインマーカーの所在位置を特定し、
   かつ、前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像から３次元認識処理によって、サインマーカーを撮影した撮影方向を特定する
   ことを特徴とする案内情報表示方法。
5. 請求項１に記載の案内情報表示方法において、
   前記サインマーカーの近傍に、前記携帯端末のカメラ部で撮影することにより、前記携帯端末から前記サーバーにアクセスすることが可能な情報をもつ２次元バーコードを設けたことを特徴とする案内情報表示方法。
6. 請求項１に記載の案内情報表示方法において、
   前記携帯端末はテレビ電話機能をもつ携帯電話であって、前記携帯端末の識別情報は電話番号であり、前記携帯電話と前記サーバーとは、テレビ電話機能により画像情報の送受信を行うことを特徴とする案内情報表示方法。
7. 請求項１に記載の案内情報表示方法において、
   前記携帯端末はＥメール機能をもつ携帯端末であって、前記携帯端末の識別情報はメールアドレスであり、前記携帯端末と前記サーバーとは、Ｅメールの添付ファイルとして画像情報の送受信を行うことを特徴とする案内情報表示方法。
8. 請求項１に記載の案内情報表示方法において、
   前記サーバーから、前記合成画像とともにガイダンス音声が、もしくは前記合成画像とともに前記ガイダンスメッセージに替えてガイダンス音声が送信されることを特徴とする案内情報表示方法。
9. 請求項１に記載の案内情報表示方法において、
   前記専用の入力端末には、前記携帯端末に内蔵された非接触式のＲＦＩＤ（Radio Frequency Identification）タグから携帯端末の識別情報を読み取るＲＦＩＤリーダー、または、前記携帯端末の識別情報と対応付けられたカード識別情報をもつカードからカード識別情報を読み取るリーダーが備えられ、
   前記専用の入力端末から前記サーバーにカード識別情報が送信されてきた場合には、前記サーバーは、前記カード識別情報と前記携帯端末の識別情報との対応関係を格納したデータベースから、携帯端末の識別情報を特定する
   ことを特徴とする案内情報表示装置。

Images