JP6275310B1 - 拡張現実表示システム、プログラム及び方法 - Google Patents

Abstract

【課題】位置情報に基づく位置ゲームの多様化を図り、娯楽性をより向上させる。【解決手段】現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、現実世界の映像を撮影するカメラ１２１と、カメラ１２１が撮影した時点の座標及び方位を位置情報として取得する位置情報取得部１４４と、撮影された現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部１４５ａと、位置情報取得部１４４が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報Ｍ１上に仮想表示データを生成する仮想表示データ生成部１４５ｂと、深度情報に従って、カメラ１２１が撮影した映像に、仮想表示データ生成部１４５ｂが生成した仮想表示データを重畳させて表示させる合成処理部１４５ｇとを備える。【選択図】図１

Description

本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システム、プログラム及び方法に関する。

従来、携帯が可能で、無線通信による情報通信を行うスマートフォンや携帯電話、モバイルＰＣなどの情報処理装置が普及してきているとともに、ＧＰＳ等の位置情報サービスが利用可能となるなど、多機能化が進んでいる。

近年、このような情報処理装置の携帯性と、位置情報サービスとを利用した、いわゆる位置ゲームが種々提案されている（例えば、特許文献１）。この特許文献１に開示された技術では、ＧＰＳなどから得られる実世界の現在地及びその変位をロールプレイングゲームで示される画面（仮想世界）の仮想位置及び仮想変位として表示し制御するとともに、イベントアイコンにその位置が重なると第２の仮想世界が表示されるゲームシステムを構築する。これにより、位置情報を利用し従来のゲーム方式或いは従来にはないゲーム方式と実際の位置情報を組み合わせることで新たなエンタテイメントの実現と、実際に歩行者が移動することで楽しく運動ができるシステムの提供が可能となる。

特開２００１−７０６５８号公報

ところで、上述した位置情報サービスと連携させた位置ゲームでは、仮想上の建物やキャラクターやクリーチャー等が登場する場合が多く、ゲームの演出上、ユーザーの現在位置の風景に建物やキャラクターを合成して表示する、いわゆる拡張現実（AR：Augmented Reality）表示機能を備えたものも提供されている。このような拡張現実表示機能によれば、ユーザーの現在位置の周囲の風景をスマートフォンやゲーム機に備えられたカメラで撮影し、撮影された実映像にコンピューターグラフィックスで描画された映像を合成して、あたかも周囲の風景内にキャラクター等が存在するような映像を提供することで、ゲームのリアリティーを高めることができる。

このような位置ゲームでは、ユーザーの現在位置から遠方に、仮想上の建物やキャラクターが存在している場合があり、そのような建物やキャラクターを実映像に合成するときには、合成する建物の手前の風景と、背後の風景とを前後させて重畳させて奥行きを表現する必要がある。ところが、カメラで撮影した映像は二次元的なデータであるため、映像内に映り込んだ物体についての距離感や前後関係などは情報として含まれておらず、上述したような奥行きを表現することが困難である。

そこで、本発明は、上記のような問題を解決するものであり、位置情報に基づく位置ゲームにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示して、拡張現実の多様化を図り、より娯楽性を向上できるオブジェクト制御システム、プログラム及び方法を提供することを目的とする。

上記課題を解決するために、本発明のシステムは、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部、
物理的に離間された少なくとも２点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部と
を備え、
前記画像解析部は、前記撮影部が撮影した１枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。

また、本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
物理的に離間された少なくとも２点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部として
機能させ、
前記画像解析部は、前記撮影部が撮影した１枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。

さらに本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと、
物理的に離間された少なくとも２点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習処理部が学習を行うステップと
を含み、
前記深度情報を解析するステップでは、前記撮影部が撮影した１枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
をことを特徴とする。

なお、上記発明では、前記映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するレイヤー生成部をさらに設け、前記合成処理部が、前記位置情報に基づく前記撮影部及び前記仮想的なオブジェクト間の相対距離と、前記レイヤー生成部が生成したレイヤーに関する深度情報に従って前記仮想表示データを重畳させることができる。

また、上記発明において前記画像解析部は、物理的に離間された少なくとも２点における画像の視差に基づいて前記被写体間の相対距離を算出するようにしてもよい。さらには、上記発明では、前記画像を構成する画素の色及び前記画像中における位置と、前記位置情報と、前記画像解析部が算出した相対距離に関する情報との相関を相関情報として蓄積する学習処理部をさらに設けて、前記画像解析部が、前記相関情報を参照して、前記深度情報を解析するようにしてもよい。

さらには、上記発明において現実地図情報には、現実地図上に配置された建物又は地形の形状若しくは高さに関する情報が含まれ、前記学習処理部は、前記現実地図情報に含まれる建物又は地形の形状若しくは高さに関する情報に基づいて、前記相関情報を補正する機能を有することが好ましい。

実施形態に係るゲームシステムの全体構成を示す概念図である。 実施形態に係る現実地図情報Ｍ１と仮想地図情報Ｍ２の関係を示す説明図である。 実施形態に係る現実地図情報Ｍ１上におけるユーザー位置と仮想地図情報Ｍ２上のオブジェクトとの関係を示す説明図である。 実施形態に係る実画像及び拡張現実表示を示す説明図である。 実施形態に係る深度情報の解析処理を示す説明図である。 実施形態に係る深度情報の解析処理を示す説明図である。 実施形態に係る深度情報の解析処理におけるレイヤー処理を示す説明図である。 実施形態に係るゲームサーバー３の内部構成を示すブロック図である。 実施形態に係るスマートフォン１の内部構成を示すブロック図である。 実施形態に係る表示データ生成部の内部構成を示すブロック図である。 実施形態に係る認識機能モジュールによる認識処理の概要を示す説明図である。 実施形態に係るキャラクター移動とファンタジー化処理との関係を示す説明図である。 実施形態に係るファンタジー化処理との状態遷移を示す説明図である。 実施形態に係るファンタジー化処理の操作を示す説明図である。 実施形態に係る繰り返し往復移動によるポイント蓄積についての説明図である。 実施形態に係るファンタジー化処理における街区塗り操作を示す説明図である。 実施形態に係るポイント発行処理の手順を示すフローチャート図である。 実施形態に係る一括処理操作を示すシーケンス図である。 実施形態に係る一括処理操作の一例を示す説明図である。 実施形態に係る一括処理操作の一例を示す説明図である。

以下に添付図面を参照して、本実施形態に係るゲームシステム及びゲームプログラムの実施形態を詳細に説明する。

（システムの全体構成）
図１は、本実施形態に係るゲームシステムの全体構成を示す概念図である。本実施形態に係るゲームシステムは、図１に示すように、ユーザー１０が使用する携帯端末装置であるスマートフォン１と、インターネット２上に設置されたゲームサーバー３とから概略構成される。なお、本実施形態では、スマートフォン１を携帯端末装置の一例として説明する。

ゲームサーバー３は、本実施形態では、ゲーム進行処理を行うサーバーであり、単一のサーバー装置、又は複数のサーバー装置群により実現することができ、複数の機能モジュールをＣＰＵ上に仮想的に構築し、それぞれの機能モジュールが協動して処理を実行する。また、このゲームサーバー３は、通信機能によりインターネット２を通じて、データ送受信を行うことができるとともに、Ｗｅｂサーバー機能によりブラウザソフトを通じてＷｅｂページの提示などを行うことができる。

スマートフォン１は、無線通信を利用した携帯可能な情報処理端末装置であり、無線基地局２２等の中継点と携帯電話機が無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この携帯電話機の通信方式としては、例えば、３Ｇ（3rd. Generation）方式、ＬＴＥ（Long Term Evolution）方式、４Ｇ方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ−ＣＤＭＡの他、ＰＨＳ（Personal Handyphone System）方式等が挙げられる。また、このスマートフォン１は、デジタルカメラ機能、アプリケーションソフトの実行機能、ＧＰＳ（Global Positioning System）などによる位置情報取得機能等、種々の機能が搭載され、タブレットＰＣ等のモバイルコンピューターも含まれる。

位置情報取得機能は、自機の位置を示す位置情報を取得し、記録する機能であり、この位置情報取得機能としては、図１に示すように、例えば、ＧＰＳのように、衛星２１からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局２２や、Ｗｉｆｉ通信のアクセスポイントからの電波強度などによって位置を検出する方法が含まれる。

そして、このスマートフォン１は、情報を表示する表示部としての液晶ディスプレイを備えるとともに、ユーザーが入力操作を行うための操作ボタン等の操作デバイスを備え、この操作デバイスとしては、液晶ディスプレイに重畳されて配置され、液晶ディスプレイ上の座標位置を指定するタッチ操作などによる操作信号を取得する入力部としてのタッチパネルが含まれる。具体的にこのタッチパネルは、ユーザーの指先やペンなどを用いたタッチ操作による圧力や静電検知その他によって操作信号を入力する入力デバイスであり、グラフィックを表示する液晶ディスプレイと、この液晶ディスプレイに表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサーとが重畳されて構成されている。

（各装置の内部構造）
次いで、上述したゲームシステムを構成する各装置の内部構造について説明する。図８は、本実施形態に係るゲームサーバー３の内部構成を示すブロック図であり、図９は、本実施形態に係るスマートフォン１の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

（１）ゲームサーバー
先ず、ゲームサーバー３の内部構成について説明する。ゲームサーバー３は、インターネット２上に配置されたサーバー装置であり、インターネット２を通じて、各スマートフォン１とデータの送受信を行えるようになっている。ゲームサーバー３は、インターネット２を通じてデータ通信を行う通信インターフェース３１と、利用者や利用者端末の権限を認証する認証部３３と、各利用者端末の位置情報を収集して管理する位置情報管理部３２と、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理を実行するゲーム進行処理部３６と、仮想地図情報を生成する仮想地図情報管理部３７と、各ユーザーに対してゲームデータを配信する３４と種々のデータベース群を備えている。また、本実施形態に係るゲームサーバー３は、拡張現実表示システムのためのモジュールとして、深度情報管理部３９を備えている。

データベース群としては、現実世界における地理情報を含む現実地図情報を記憶する現実地図記憶部としての現実地図データベース３５ａと、利用者に関する情報を蓄積するユーザーデータベース３５ｂと、仮想地図情報、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理に関する情報を蓄積するゲーム用データベース３５ｃと、発行したポイントを管理するポイントデータベース３５ｄと、深度情報データベース３５ｅとが含まれる。これらの各データベースとしては、単一のデータベースとしてもよく、複数のデータベースに分割し、相互にリレーションを設定することで各データ同士を紐付けたリレーショナルデータベースとすることができる。

現実地図データベース３５ａは、現実世界における地理情報を含む現実地図情報を記憶する記憶装置であり、山や谷、河川等の自然的な地理的要素、建物や道路、鉄道などの人工物、地名や住所、交通規制などが地理情報として記憶される。この現実地図情報には、地理情報に関する文字情報、例えば地名や行政区名称、街道名、河川・山岳等の名称などが含まれている。なお、この現実地図データベース３５ａは、ゲームサーバー３を運用するサービス提供者自身が所有・運用するものの他、他の地図サービス提供者が運用する地図データベースであってもよい。

ユーザーデータベース３５ｂに蓄積される情報としては、利用者又は利用者が使用している携帯端末装置を特定する識別子（ユーザーＩＤ、端末ＩＤ）と、パスワード等とを紐付けた認証情報を含み、ユーザーＩＤに紐付けられた利用者の個人情報や、端末装置の機種なども含まれる。また、ユーザーデータベース３５ｂには、利用者毎或いは利用者端末毎の認証履歴（アクセス履歴）や、ゲーム用データベース３５ｃとのリレーションによりユーザー毎のゲーム進行に関する情報（緯度・経度等の現在位置、ゲーム中におけるステイタス、得点、利用履歴等）、ゲーム中に関する決済情報等も蓄積される。

ゲーム用データベース３５ｃに蓄積される情報としては、仮想世界の地図情報、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などがゲーム用データとして含まれるとともに、これらのゲーム用データと、現実地図に含まれる地理的要素や建物、道路、鉄道等とを関連づけるためのマッピングデータも含まれる。ポイントデータベース３５ｄは、発行されたポイントをユーザー、ユーザー端末若しくはアプリケーションと紐付けて管理し、各ポイントの利用履歴を蓄積する。

深度情報データベース３５ｅは、各スマートフォン１や情報収集車の車載カメラ等からアップロードされた映像・実画像と合わせて、それらの解析結果である深度情報を蓄積するデータベース装置である。この深度情報としては、各映像・実画像を構成する画素の色、輝度、及び画像中における座標位置と、位置情報（緯度・経度、標高、撮影方向、チルト角等）と、画像中における被写体間の相対距離に関する情報と、これらの情報相互の相関である相関情報が蓄積される。また、深度情報データベース３５ｅには、各深度情報で特定された被写体の位置情報（緯度・経度、標高、高度）と、現実地図データベース３５ａ中の現実地図情報に含まれる現実地図上に配置された建物又は地形の形状若しくは高さに関する情報とが含まれる。

認証部３３は、通信インターフェース３１を通じて、各スマートフォン１と通信セッションを確立させ、その確立された通信セッション毎に認証処理を行うモジュールである。この認証処理としては、アクセス者である利用者のスマートフォン１から認証情報を取得し、ユーザーデータベース３５ｂを参照して、利用者等を特定し、それらの権限を認証する。この認証部３３による認証結果（ユーザーＩＤ、認証時刻、セッションＩＤ等）は、ゲーム進行処理部３６に送出されるとともに、ユーザーデータベース３５ｂに認証履歴として蓄積される。

位置情報管理部３２は、利用者端末装置側で取得されてゲームサーバー３に送信される位置情報を取得するモジュールであり、位置情報管理部３２は、認証部３３による認証処理によって特定されたユーザーやユーザー端末装置の識別子（ユーザーＩＤ、端末ＩＤ等）と、それらの位置情報とを紐付けてユーザーデータベース３５ｂに利用履歴として蓄積する。ここで取得される位置情報としては、撮影部が映像を撮影した時点の座標（現実地図及び仮想地図上における緯度・経度・標高、撮影）及び撮影方位、その時点の日時も含まれる。

ゲーム進行処理部３６は、仮想世界において、各ユーザーに対応する各キャラクター、及びモンスターやその他のオブジェクトが移動して、種々のイベント処理を発生させてゲームを進行させるモジュールであり、一定のルール・ロジック・アルゴリズムを含むゲームプログラムを実行し、キャラクターやオブジェクトの位置関係（接近・接触等）に応じて、対決バトルやミニゲーム、ムービーの再生、街区のファンタジー化等のイベント処理を発生させる。特に、ゲーム進行処理部３６は、位置情報管理部３２から取得される各ユーザーの位置情報に基づいて各ユーザーの現在位置と、各ユーザーが所有するポイント数に応じて、仮想世界においてキャラクターＣ１を移動させる処理、又は仮想世界におけるキャラクターの移動により得られる効果、例えば地図上のファンタジー化や、アイテムの入手など、実際にキャラクターＣ１が歩いたのと同等の効果が得られるようなイベント処理も実行する。

なお、ゲーム進行処理部３６は、本実施形態では、スマートフォン１側のゲーム進行処理部１４１と協働するようになっており、ゲーム進行処理の一部をゲームサーバー３側で行い、グラフィック処理やイベント処理の一部をスマートフォン１側のゲーム進行処理部１４１で実行するようにしている。例えば、ゲームサーバー３側で、他のユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー３から受信した発生条件に基づいてスマートフォン１側で実行するようにしている。

仮想地図情報管理部３７は、ゲーム進行処理部３６によるゲーム進行に従って、図２に示すような、現実地図情報Ｍ１上の地理情報に対応した仮想地理情報上における他のユーザーのキャラクターや、建物等のオブジェクト座標情報を含む仮想地図情報Ｍ２の生成、蓄積及び配信を管理・制御するモジュールである。本実施形態では、ユーザー１０が実際に現実地図情報Ｍ１上を移動した距離に応じてポイントＴｐが発行され、このポイントＴｐを消費することによって、仮想地図情報Ｍ２上をユーザー１０に対応したキャラクターＣ１が移動し、その移動した経路に隣接するブロックＢ０をファンタジー化することができる。

このファンタジー化ブロックＢ０は、現実地図情報Ｍ１上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックＢ０によって、現実地図情報Ｍ１が部分的又は全体的に覆われることとなり、ブロックＢ０に覆われた部分には仮想地図情報Ｍ２上に配置された仮想的なオブジェクトが表示される。なお、図１４（ａ）及び（ｂ）にも示すように、このファンタジー化ブロックＢ０には、各ファンタジー化ブロックの表示位置に対応する現実地図情報Ｍ１の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。また、このファンタジー化ブロックＢ０は、立体表示された現実地図情報Ｍ１上に重畳合成される場合には、現実地図情報Ｍ１の立体表示に合わせて、同様の立体化処理されて３次元的な形状として表示される。このファンタジー化ブロックには、モンスターＭ０などの仮想的なオブジェクトが配置されており、現実地図情報Ｍ１上の現在位置においてカメラ１２１で実画像を撮影したときに、このモンスターＭ０等の仮想オブジェクトが、本実施形態の拡張表示処理によって、実画像に重畳されて表示される。

そして、このファンタジー化では、図１４（ａ）及び（ｂ）に示したように、ユーザーが画面上で、経路に隣接する街区に対応する形状に分割されたブロックＢ０をタッチすることによって、そのタッチされたブロックＢ０がファンタジー化され、仮想地図中の各種ブロックＢ２〜Ｂ５が現実地図情報Ｍ１上の街区に重畳されて表示される。

なお、ポイントＴｐは、ゲームサーバーにアクセスする頻度又は間隔に応じて、そのユーザーに対して付与してもよく、ユーザーによる決済操作やサーバー側の課金処理などによって、代金やポイントにより購入することもできる。さらにポイントＴｐは、ゲームにおける所定のイベントを完了したり、ミニゲームなどの得点や、キャラクターのレベルアップ、レベルクリアなどにより、適宜付与されるようにしてもよい。

なお、この仮想地図情報Ｍ２は、ゲームサーバー３側で生成する場合と、スマートフォン１側で生成する場合と、ゲームサーバー３とスマートフォン１の両者が協働して生成する場合とがあり、仮想地図情報管理部３７は、ゲームサーバー３側で生成、或いは蓄積された仮想地図情報Ｍ２と、スマートフォン１側で生成、蓄積された仮想地図情報Ｍ２に関する情報を管理し、両者の仮想地図情報Ｍ２を比較し、必要に応じて仮想地図情報Ｍ２の全部又は一部をスマートフォン１側に配信して、両者の同期を図る。

ゲームサーバー３側で仮想地図情報Ｍ２を生成する場合、仮想地図情報管理部３７は、現実地図データベース３５ａに蓄積された現実地図情報Ｍ１に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、ゲーム用データベース３５ｃに蓄積されたマッピングデータを参照し、現実地図情報Ｍ１に対応した仮想世界の地図情報、キャラクターやオブジェクトの特性（属性）、イベント処理に関する情報、グラフィック情報などに基づいて、仮想世界の地図情報をブロックＢ０単位で分割して生成する。

ゲームデータ配信部３４は、ユーザーの現在位置に基づき、仮想地図情報管理部３７による制御に従って、仮想地図情報管理部３７が生成した仮想地図情報Ｍ２を同期させるべく、地図情報や仮想世界のグラフィックを、通信インターフェース３１を通じて，各ユーザーに配信するモジュールである。なお、仮想世界のグラフィックは、現実地図情報Ｍ１に対応する街区毎にブロックに分割され、ブロック単位で配信される。なお、このブロックの分割は、ユーザーの仮想世界での移動速度、現実世界での移動速度、現実地図上又は仮想地図上の情報密度に応じて、その面積や形状が自動的に変化するようにしてもよい。例えば、ユーザーの移動速度が速い場合にはブロックの分割単位面積を大きくしたり、また、都心などのビルや店舗などが密集してその情報の密度が高い地域では、分割単位面積を小さくするようにしてもよい。

また、深度情報管理部３９は、スマートフォン１側の画像解析部１４５ａと協働して、各ユーザー端末や情報収集車の車載カメラ等からアップロードされた撮影画像を解析して深度情報を解析するモジュールであり、解析結果である深度情報を深度情報データベース３５ｅに蓄積するとともに、解析結果である深度情報を、通信インターフェース３１を通じて、各端末へ配信する機能を有する。また、深度情報管理部３９は、学習処理部３９ａを備えており、この学習処理部３９ａでは、ディープラーニング学習機能によって、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部１４５ａが算出した相対距離に関する情報との相関について、総勘定を参照して学習を行う。また、この学習処理部３９ａは、現実地図上に含まれた建物又は地形の形状若しくは高さに関する情報に基づいて、解析結果に含まれる相関情報を補正する機能を有している。

（２）スマートフォン１
次いで、スマートフォン１の内部構成について説明する。図９に示すように、スマートフォン１は、ゲームシステムのためのユーザーインターフェースに関するモジュールとして通信インターフェース１１と、入力インターフェース１２と、出力インターフェース１３と、アプリケーション実行部１４と、メモリ１５とを備えている。

通信インターフェース１１は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル、アダプタ手段等により接触（有線）通信をする機能を備えている。入力インターフェース１２は、マウス、キーボード、操作ボタンやタッチパネル１２ａなどユーザー操作を入力するデバイスである。また、出力インターフェース１３は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース１３には、液晶ディスプレイなどの表示部１３ａが含まれ、この表示部は、入力インターフェースであるタッチパネル１２ａに重畳されている。

メモリ１５は、ＯＳ（Operating System）やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ１５内には、ユーザーを識別するユーザーＩＤの他、ゲームサーバー３からダウンロードしたゲームアプリケーションデータを蓄積するとともに、アプリケーション実行部１４で処理されたゲームデータ等が蓄積される。特に、本実施形態では、メモリ１５には、ゲームサーバー３から取得した、仮想地図情報Ｍ２及び現実地図情報Ｍ１が格納されている。仮想地図情報Ｍ２は、現実地図情報Ｍ１中の街区に対応する形状に分割されたブロック単位で格納される。

アプリケーション実行部１４は、一般のＯＳやゲームアプリケーション、ブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。このアプリケーション実行部１４では、本発明に係るゲームプログラムが実行されることで、ゲーム進行処理部１４１、同期処理部１４２、イベント処理部１４３、表示制御部１４６、表示データ生成部１４５、位置情報取得部１４４が仮想的に構築される。

ゲーム進行処理部１４１は、ゲームサーバー３で実行されているゲームプログラムと同様のルール・ロジック・アルゴリズムにより、仮想世界において、各ユーザーに対応する各キャラクター、及びモンスターやその他のオブジェクトを移動させて、種々のイベント処理を発生させてゲームを進行させるモジュールであり、同期処理部１４２を通じて、ゲームサーバー３側のゲーム進行処理部３６と同期しつつ、キャラクターやオブジェクトの位置関係（接近・接触等）に応じて、対決バトルやミニゲーム、ムービーの再生、街区のファンタジー化等のイベント処理を発生させる。

ゲーム進行処理部１４１は、本実施形態では、ゲームサーバー３側のゲーム進行処理部１４１と協働するようになっており、ゲーム進行処理の一部をゲームサーバー３側で行い、グラフィック処理やイベント処理の一部をスマートフォン１側のゲーム進行処理部１４１で実行するようにしている。例えば、イベント発生の条件などをゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、スマートフォン１側で実行する。

同期処理部１４２は、スマートフォン１側でのゲーム進行処理や画像解析処理と、ゲームサーバー３側でのゲーム進行処理や画像解析処理とを同期させるモジュールである。具体的には、ゲームサーバー３側で、他のユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、この発生条件を同期処理部１４２で受信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー３から受信した発生条件に基づいてスマートフォン１側のゲーム進行処理部１４１で実行する。このスマートフォン１側のゲーム進行処理部１４１で実行されたイベント処理の結果（バトルやミニゲームの勝敗や得点、街区のファンタジー化等）は、同期処理部１４２を通じてゲームサーバー３側のゲーム進行処理部１４１に通知され、その後のゲーム進行処理に反映される。

また、同期処理部１４２は、ゲームサーバー３側の深度情報管理部３９と、スマートフォン１側の表示データ生成部１４５とを協働させて、各ユーザー端末や情報収集車の車載カメラ等から撮影画像をアップロードしたり、撮影画像解析を実行して深度情報を解析させる。また、同期処理部１４２は、解析結果である深度情報を、ゲームサーバー３側の深度情報データベース３５ｅに蓄積させるとともに、解析結果である深度情報を各端末間で共有するためにインターネット２を通じて、各端末へ配信する。さらに、同期処理部１４２は、ゲームサーバー３側の学習処理部３９ａとスマートフォン１側の画像解析部１４５ａとを協働させて、ディープラーニング学習機能によって、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部１４５ａが算出した相対距離に関する情報との相関について相関情報を参照して学習させる。

また、イベント処理部１４３は、ゲーム進行処理部１４１が発生させたイベント処理と、位置情報取得部１４４が取得する自機の現在位置の移動速度とを監視し、現在位置の移動速度が所定値以上であり、且つゲーム進行処理部１４１が発生させたイベント処理が予め定められた一括処理可能イベントである場合に、当該イベントの処理において一括処理を許可するモジュールであり、ゲーム進行処理部１４１は、一括処理可能イベントにおいて、複数の定型的な操作に代えて一括終了操作を許可して、操作を省略してゲームを進行させることができるようになっている。同期処理部１４２は、イベント処理部１４３が省略した操作によって遂行したイベント処理についてゲームサーバー３側のゲーム進行処理部１４１に通知し、イベント処理の発生要件を満たしたイベント処理に対する操作が省略されてゲームが進行されたことをゲームサーバー３側に報告する。

位置情報取得部１４４は、現実世界における座標位置を選択して取得するモジュールであり、ユーザーの現在位置や他のユーザーの現在位置、人工衛星を利用した全地球測位システム （ＧＰＳ：Global Positioning System）や、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、ＷｉｆｉのＳＳＩＤ（Service SetID）及び電波状況と経度緯度を組み合わせたデータベースを利用したＷｉｆｉ測位等により取得する。

また、この位置情報取得部１４４は、ユーザー操作やゲーム進行によるイベント発生に基づく任意の座標位置を選択して、位置情報を取得したり、移動速度を測定したりすることができる。また、位置情報取得部１４４は、任意のオブジェクトの座標位置を取得する機能も備えており、各データベース３５ａ〜ｃを検索して、現在の座標位置、或いは仮想地図上の座標位置、又はこれらの変位履歴を取得することができる。

特に、この任意のオブジェクトとしては、当該ユーザーの代理となるオブジェクトが代理オブジェクトとして現実地図情報上又は仮想地図情報上の任意の位置に設置された位置を各データベース３５ａ〜ｃから検索して取得することができる。この代理オブジェクトは、ゲーム進行処理部３６又は１４１によって、地図情報上の位置がゲーム進行に従って自動的に移動されるもので、特定のユーザーの現在位置と連動されたり、ゲーム進行に従って自動的に移動されたりする。

さらに、この位置情報取得部１４４による移動速度の測定では、加速度センサー１６からの検出信号により、瞬間的な移動も検知可能となっており、所定の値以上の加速度が生じたときには、ユーザーが移動中であると判定する。また、移動速度の測定では、例えばユーザーが乗り物に乗って高速移動しているときには、ＧＰＳの値の変化で移動中であると判定する。この高速移動に関し、地下鉄等の地下や駅構内において、ＧＰＳ信号が受信できない場合には、Ｗｉｆｉや３Ｇ・４Ｇ等の基地局の切り替わりや電波受信状態の変化から位置情報が更新されるのを監視し、歩行による通常の移動よりも大きく位置情報が変化したときに、ユーザーの移動を判定する。なお、この基地局の切り替わり等による移動判定では、位置情報の変化が不連続となることから、移動が判定された後の一定時間（例えば５分程度）は移動中であるとするなど、基地局間の距離や電波の変化量に応じ、一定の幅を持たせてユーザーの移動距離、移動速度を予測する。

また、本実施形態において位置情報取得部１４４は移動経路記録部１４４ａを備えており、この移動経路記録部１４４ａは、位置情報取得部１４４が取得した、ユーザーの現在位置や、他のユーザーの現在位置、任意のオブジェクトの座標位置など、各ユーザー又はオブジェクトの変位履歴に基づいて移動経路や移動速度を算出して記録するモジュールである。この移動経路記録部１４４ａによる移動経路の算出は、例えば、サンプリングされた各位置を時系列順に、隣接する２点間を最短距離で接続して移動経路を決定したり、地理情報を参照して２点間における道順に沿って経路を決定したりすることができる。

表示データ生成部１４５は、表示部１３ａに表示させるための表示データを生成するモジュールである。表示データは、グラフィックデータの他、画像データや、文字データ、動画データ、音声その他のデータを組み合わせて生成されるデータである。特に、本実施形態に係る表示データ生成部１４５は、位置情報取得部１４４が取得したユーザーの現在位置に基づいて、現実地図情報Ｍ１上にユーザーの現在位置を示した現実表示データを生成する現実表示データ生成部と、位置情報取得部１４４が取得した現在位置に基づいて、ユーザーの現在位置に対応した仮想地図情報Ｍ２上にキャラクターを表した仮想表示データを生成する仮想表示データ生成部の機能を果たしている。この表示データ生成部１４５で生成された表示データの表示処理は、表示制御部１４６で制御される。

この表示データ生成部１４５は、仮想地図情報生成部を備えており、この仮想地図情報生成部は、ゲーム進行処理部１４１によるゲーム進行に従って、図２に示すような、現実地図情報Ｍ１上の地理情報に対応した仮想地理情報上における他のユーザーのキャラクターや、ファンタジー化ブロック等の座標情報を含む仮想地図情報Ｍ２を生成するモジュールである。仮想地図情報生成部は、メモリ１５やネットワーク上の現実地図データベース３５ａに蓄積された現実地図情報Ｍ１に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、メモリ１５やゲーム用データベース３５ｃに蓄積されたマッピングデータを参照し、現実地図情報Ｍ１に対応した仮想世界の地図情報、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などに基づいて、仮想世界の地図情報を生成する。図２に示した例では、現実地図情報Ｍ１上の建物に対応した座標位置（座標範囲）に、森林や山、岩などの仮想的なオブジェクトが配置されている。

なお、本実施形態では、仮想地図情報Ｍ２をスマートフォン１側の仮想地図情報生成部で生成するようにしたが、ゲームサーバー３の仮想地図情報管理部３７で、予め、或いはリアルタイムに、現実地図情報Ｍ１上の地理情報に対応した仮想地図情報Ｍ２を生成し、ゲームデータ配信部３４によって各スマートフォン１に配信して、同期をとるようにしてもよい。

表示制御部１４６は、表示データ生成部１４５が生成した現実表示データと、仮想表示データとを、これら表示データの両方、選択されたいずれか、又は一方の一部分を他方に重畳させて表示する制御を実行するモジュールであり、表示部１３ａは、この表示制御部１４６の制御に従って現実表示データと仮想表示データとを表示する。

また、本実施形態における表示制御部１４６は、軌跡表示部を備えている。この軌跡表示部は、移動経路記録部１４４ａが記録した当該ユーザーの移動経路や、他のユーザーの移動経路、任意のオブジェクト移動経路を、現実地図情報Ｍ１上又は仮想地図情報Ｍ２上に軌跡として表示させるモジュールである。この軌跡表示部による軌跡の表示は、例えば、サンプリングされた各位置を時系列順に、隣接する２点間を最短距離で接続して決定された移動経路を一定の幅を持たせて着色したり、地理情報を参照して２点間における道順に沿って決定された経路を一定の幅を持たせて着色したりすることができる。さらに、この軌跡表示部による軌跡の表示では、現実地図情報Ｍ１上又は仮想地図情報Ｍ２上において、各ユーザーやオブジェクトの移動経路に近接する区画又はオブジェクトを軌跡の一部として着色して表示させるようにしてもよい。

この区画としては、実際の地理情報や仮想の地理情報に基づいて区画された行政区、街区、都道府県、市町村などのブロック単位で着色して表示させることもできる。このブロック単位での着色においても、隣接する２点間を最短距離で接続して決定された移動経路に接触するブロックを着色したり、地理情報を参照して２点間における道順に沿って決定された経路に接触するブロックを着色したりすることができる。

さらに、本実施形態に係る表示データ生成部１４５は、図１０に示すように、拡張現実表示システムに関わるモジュールとして、画像解析部１４５ａと、仮想表示データ生成部１４５ｂと、拡張現実表示処理部１４５ｅとを備えている。

仮想表示データ生成部１４５ｂは、拡張現実として実画像に重畳されるコンピューターグラフィックス等の仮想表示データを生成するモジュールであり、位置情報取得部１４４が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報上に仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する。生成された仮想表示データは、拡張現実表示処理部１４５ｅに入力される。

画像解析部１４５ａは、撮影された現実世界の映像（実画像）を構成する各画素に係る被写体間の相対距離を深度情報として解析するモジュールである。本実施形態において画像解析部１４５ａは、視差解析部１４５ｃと、相対距離算出部１４５ｄとを備えている。

視差解析部１４５ｃは、物理的に離間された少なくとも２点における画像の視差を解析するモジュールであり、少なくとも２点の画像を比較して、画像内に映り込んでいる建物や地形を認識する。この視差解析部１４５ｃによる解析結果は相対距離算出部１４５ｄに入力される。相対距離算出部１４５ｄは、視差解析部１４５ｃが解析した画像の視差に基づいて被写体間の相対距離を算出し、拡張現実表示処理部１４５ｅに入力される。

拡張現実表示処理部１４５ｅは、深度情報に従って、撮影部が撮影した映像に、仮想表示データ生成部１４５ｂが生成した仮想表示データを重畳させて表示させるモジュールである。本実施形態において、拡張現実表示処理部１４５ｅは、レイヤー生成部１４５ｆと、合成処理部１４５ｇとを備えている。

レイヤー生成部１４５ｆは、映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するモジュールであり、相対距離算出部１４５ｄが算出した被写体間の相対距離に基づいて、レイヤーを生成する。合成処理部１４５ｇは、レイヤー生成部１４５ｆが生成したレイヤーに関する深度情報に従って、仮想表示データ生成部１４５ｂが生成した仮想表示データを実画像中に重畳させるモジュールである。

なお、本実施形態における視差解析や相対距離算出は、ディープラーニング認識処理によって行われる。このディープラーニング認識処理では、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部１４５ａが算出した相対距離に関する情報との相関について相関情報を参照して、画素毎に被写体までの距離を深度情報として紐付ける認識を行う。

（システムの動作）
本実施形態では、ユーザーが移動して取得したポイントＴｐを消費することによって、その移動経路を仮想地図上において、キャラクターＣ１が移動するとともに、消費したポイントＴｐに応じた移動軌跡やファンタジー化ブロックとして記録及び表示するオブジェクト制御機能を備えている。また、ファンタジー化されたブロックではモンスターが出現し、このモンスターを退治するなどのイベント処理が発生され、その結果に応じてポイントＴｐが溜まったり、ファンタジー化領域が拡大されて位置ゲームが進行される。以下に各処理について説明する。

（１）ゲーム進行処理
本実施形態に係る位置ゲームでは、オブジェクト制御機能によってユーザーの現実世界における移動にリンクさせて仮想世界のキャラクターを移動させ、その移動軌跡に対応したブロックをファンタジー化することをゲームの基本的なコンセプトとしている。そして、本システムによる位置ゲームでは、ユーザーの現実世界における移動距離に応じてポイントＴｐを発行し、このポイントＴｐを消費させてユーザーに対応するキャラクターＣ１を、拡張現実世界内、或いは仮想世界内を移動させたり、街区に対応するブロックをファンタジー化させたり、ファンタジー化されたブロックに出現するモンスターとバトルをしたりなどのイベントを発生させることによってゲームを進行させる。

すなわち、ゲームサーバー３には、ポイント発行部３８が設けられており、スマートフォン１側の位置情報取得部１４４で検出したユーザー１０の移動距離に応じたポイントを発行する。ここでのポイントとは、交換価値を有する価値情報であり、ゲーム上の仮想世界で仮想上の通貨単位として取り扱われる。そして、本実施形態では、このポイント数に応じて、仮想世界においてキャラクターＣ１を移動させる処理、又は仮想世界におけるキャラクターの移動により得られる効果、例えば地図上のファンタジー化や、アイテムの入手など、実際にキャラクターＣ１が歩いたのと同等の効果が得られるようなイベント処理が実行されてゲームが進行されるようになっている。なお、このポイントの発行及びイベント処理を含むゲーム進行は、ゲーム進行処理部３６，１４１が協働して実行され、そのゲームの進行過程やポイントは、ユーザーデータベース３５ｂ及びゲーム用データベース３５ｃに記録される。

また、本実施形態では、ユーザーが移動した累積距離や地図上の特定施設へのアクセス回数、さらには既にファンタジー化したエリアを繰り返し往来することにより、ポイントが貯まるようになっている。例えば、図１５に示すように、ユーザー１０が、自宅（Ａ地点）と勤務先のビルＢｌｄとの間を、通勤・通学等によって繰り返し往復しているとすると、その頻度に応じてポイントＴｐが付与され、このポイントＴｐを消費することによって、上述したファンタジー化処理が可能となる。すなわち、ポイントＴｐを消費することによって地点ＡとビルＢｌｄとの間のブロックがファンタジー化できるようになり、そのブロックをタッチすることにより現実地図上にファンタジー化されたブロックが重畳表示される。さらに本実施形態では、このように既にファンタジー化したエリアで取得されたポイントを用いて、図１６（ａ）〜（ｃ）に示すように、既に未踏地エリアのブロックＢ０ｕも、遠隔的にファンタジー化することができるようになっている。

なお、本実施形態では、この通勤・通学経路の軌跡については通行回数に応じて色が濃くなったり、ファンタジー化ブロックの状態が変化したりするようになっている。また、この軌跡の記録によって特定の施設（ここではビルＢｌｄ）へのアクセス回数（往復回数）もカウントされ、そのカウントに応じてポイントが発行され、そのポイントを利用することで、種々の特典イベントの利用が可能となる。この特典イベントとしては、貯まったポイントにより未踏地のブロックをファンタジー化できたり、特典アイテムを入手できるようになっている。

また、本実施形態では、ファンタジー化されたブロックは時間経過或いはゲーム進行に応じて、その状態が遷移するようになっている。詳述すると、図１２及び図１３に示すように、ユーザー１０の移動距離に応じてポイントＴｐが発行され、そのポイントＴｐを消費することによって、ユーザー１０に対応するキャラクターＣ１が現実地図情報Ｍ１上が移動される。このキャラクターＣ１の移動により、その移動経路に沿った街区に対応するブロックは、ユーザーが画面上をタッチすることによりファンタジー化させることが可能となる（フェーズＦ１）。このファンタジー化の際には、ブロック毎にポイントＴｐが消費される。そして、このファンタジー化されたブロックは、図１３に示すように、時間経過或いはゲーム進行に応じて、その状態が遷移される。

先ず、キャラクターＣ１の移動に伴い、その移動経路に隣接するブロックでは、未タップ状態ブロックＢ１として現実地図情報Ｍ１の情報が白地図として表示される。そして、この未タップ状態ブロックＢ１をタッチする「現地タップ」操作によって活性化ブロックＢ２のようにファンタジー化される（フェーズＦ１）。なお、このときポイントＴｐを消費することにより、未踏地のブロックをタッチする「遠隔街区タップ」操作に応じて、移動経路から離れた未踏地ブロックＢ６もファンタジー化することができる（フェーズＦ６）。なお、この遠隔街区タップによってファンタジー化された未踏地ブロックＢ６では、通常の現地タップによるファンタジー化とは異なる画像が表示される。

このファンタジー化された活性化ブロックＢ２は、時間が経過することにより森林等の植物が育成された「キラキラ状態」になるなどグレードアップされた活性化ブロックＢ３に遷移する（フェーズＦ２）。なお、ポイントＴｐを消費することによって入手される「促進剤」等の特典アイテムを使用することで、時間経過を待たずに即「キラキラ状態」に遷移させることができる。このグレードアップされて「キラキラ状態」に遷移した活性化ブロックＢ３では、そのブロックをタップすることによって、森林を伐採したり穀物を収穫したりするなどのイベント処理を実行できる。この収穫イベント処理によってポイントやアイテムが入手できるとともに、ファンタジー化がリセットされ、不活性ブロックＢ４に遷移する（フェーズＦ３）。この不活性ブロックＢ４では所定時間だけタップ操作が禁止されて一定時間ファンタジー化が不可となり、時間待ち状態となる。その後、この不活性ブロックＢ４において所定時間が経過すると活性化ブロック（未タップ状態）Ｂ５へと遷移され（フェーズＦ４）、再度タップ操作によるファンタジー化及び育成が可能となる（フェーズＦ５）。このようにファンタジー化されたブロックの状態が、サイクル的に次々と遷移されることにより、既に攻略した地域であってもゲーム性が維持されることとなる。

（２）拡張表示処理
次いで、本実施形態に係る拡張現実表示処理について説明する。図３〜図７に拡張現実表示処理の手順を示す。
上述したとおり、本実施形態では、図２に示すように、ユーザー１０の現実地図情報Ｍ１上における移動にリンクさせて、仮想地図情報Ｍ２のキャラクターを移動させ、その移動軌跡に対応した区画（街区等）をブロック単位としてファンタジー化する。このファンタジー化されたブロックＢ０は、現実地図情報Ｍ１上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックＢ０によって、現実地図情報Ｍ１が部分的又は全体的に覆われることとなり、ブロックＢ０に覆われた部分には仮想地図情報Ｍ２上に配置された仮想的なオブジェクトが表示される。なお、このファンタジー化ブロックＢ０には、各ファンタジー化ブロックの表示位置に対応する現実地図情報Ｍ１の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。

また、図３に示すように、仮想地図情報Ｍ２上にはユーザー以外の仮想オブジェクトＣ２が配置され、その仮想地図上における位置に対応した現実世界の位置に、拡張現実として出現させるように、現実世界を撮影した映像（図４（ａ））に仮想オブジェクトＣ２を合成して表示させることができる（図４（ｂ））。この拡張現実に関する表示処理では、スマートフォン１のカメラ１２１で撮影した実映像と、仮想表示データ生成部１４５ｂが生成したコンピューターグラフィックス等の仮想表示データを合成して、スマートフォン１等のタッチパネル１２ａに表示させる。

詳述すると、仮想表示データ生成部１４５ｂが、ユーザーの位置情報に基づいて、現実地図情報Ｍ１上に仮想的なオブジェクトＣ２を配置した状態を表した仮想表示データを生成する。一方、画像解析部１４５ａは、カメラ１２１が撮影した実画像Ｇ１を構成する各画素に係る被写体間の相対距離を深度情報として解析する。この深度情報の解析に際し、画像解析部１４５ａは、深度情報データベース３５ｅにアクセスして、深度情報データベース３５ｅに蓄積された学習処理部３０ａによる学習結果を参照する。

深度情報データベース３５ｅには、画像解析部１４５ａの視差解析部１４５ｃにおいて、図５及び図６に示すように、物理的に離間された少なくとも２点のカメラＣｍ１及びＣｍ２で撮影した画像Ｇ１１及びＧ１２の視差を解析して得られた被写体までの距離が、撮影場所における位置情報と関連付けられて蓄積されている。

すなわち、視差解析部１４５ｃは、２点のカメラＣｍ１及びＣｍ２で撮影した画像Ｇ１１及びＧ１２を比較して、画像Ｇ１１及びＧ１２内に映り込んでいる建物や地形等の被写体Ｏｂ１〜Ｏｂ５を認識する。この視差解析部１４５ｃが解析した画像Ｇ１１及びＧ１２の視差に基づいて、相対距離算出部１４５ｄにおいて、被写体Ｏｂ１〜Ｏｂ５間の相対距離を算出し、各被写体を構成する画素ごとの深度、すなわちカメラ位置から被写体までの距離（奥行き）を深度情報として算出する。

なお、本実施形態における視差解析や相対距離算出は、ディープラーニング認識処理によって行われる。このディープラーニング認識処理では、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報（緯度、経度、高度、方角、日時等）と、画像解析部１４５ａが算出した相対距離に関する情報との相関である相関情報を上記深度情報として蓄積する。そして、相対距離算出部１４５ｄは、解析対象となる画像について、撮影時の位置情報を参照しつつ、各画素の特徴点と合致する相関情報を抽出し、相関情報に紐付けられた深度情報を参照して、画素毎に被写体までの距離を認識する。

詳述すると、本実施形態では、物理的に離間された２つのカメラ装置によって撮影された画像や、撮影車に搭載された車載カメラ装置等によって走行しながら撮影された多数の画像を教師データとして、学習処理部３９ａが、画像を構成する画素ごとの特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンを深度情報として深度情報データベース３５ｅに蓄積する。そして、スマートフォン１において拡張現実を表示する際には、カメラ１２１で撮影された実画像（ここでは１枚の画像）について、深度情報データベース３５ｅに蓄積された深度情報を参照して、実画像内の被写体を認識し、それら被写体までの深度を算出する。

この学習処理部３９ａによる認識処理の概要を図１１に示す。同図に示すように、学習処理部３９ａは多クラス識別器であり、複数種のオブジェクトの特徴が設定され、物理的に離間された２つのカメラ装置によって撮影された視差画像Ｇ１１及びＧ１２を解析し、複数のオブジェクトの中から特定の特徴点を含むオブジェクトＯｂｎ（ここでは、「建物」）を検出する。この学習処理部３９ａは、入力ユニット（入力層）３９７、第１重み係数３９８、隠れユニット（隠れ層）３９９、第２重み係数３９０、及び出力ユニット（出力層）３９１を有する。

入力ユニット３９７には複数個の特徴ベクトル３９２が入力される。第１重み係数３９８は、入力ユニット３９７からの出力に重み付けする。隠れユニット３９９は、入力ユニット３９７からの出力と第１重み係数３９８との線形結合を非線形変換する。第２重み係数３９０は隠れユニット３９９からの出力に重み付けをする。出力ユニット３９１は、各クラス（例えば、高層ビル、低層住宅、空等）の識別確率を算出する。ここでは出力ユニット３９１を３つ示すが、これに限定されない。出力ユニット３９１の数は、物体識別器が検出可能な物体の数と同じである。また、この学習に際して、画素毎の特徴点と、現実地図上における位置情報とを関連付けて、重み付けを行うようにしてもよい。

そして、このようにして学習処理部３９ａが蓄積した、画素ごとの特徴点の階層的な組合せパターンを含む深度情報を参照して、画像解析部４５ａは、カメラ１２１で撮影された実画像に対し、特徴点の組合せパターンとの合致度に応じた識別確率を算出し、その算出結果に応じて画像中の被写体を認識し、カメラの位置から被写体までの距離を算出し、各被写体に含まれる画素毎の深度情報として出力する。

拡張現実表示処理部１４５ｅでは、画像解析部４５ａにおいて算出された被写体間の相対距離を含む深度情報に従って、カメラ１２１が撮影した映像（ここでは、１枚の実画像）に、仮想表示データ生成部１４５ｂが生成した仮想表示データ（ここではキャラクターＣ２の二次元表示データ）を重畳又は合成して表示させる。具体的には、図７に示すように、レイヤー生成部１４５ｆが、映像（実画像Ｇ１）を構成する各画素を、画素それぞれの深度情報に基づいて、当該実画像Ｇ１の奥行き方向に階層をなす複数のレイヤーＬｙ１〜Ｌｙ５に分配した後、合成処理部１４５ｇにおいて、レイヤー生成部１４５ｆが生成した各レイヤーＬｙ１〜Ｌｙ５それぞれの深度情報に従って、キャラクターＣ２の二次元表示データを、実画像中に重畳させる。

（３）ポイント発行処理
図１７は、本実施形態に係る上記ポイント発行処理の手順を示すフローチャート図である。同図に示すように、ユーザー１０のスマートフォン１では、ゲームプログラムの実行中、常時或いは定期的に位置情報の取得処理及び移動速度の算出処理を実行しゲームサーバー３に報告する（Ｓ１０１）。具体的には、位置情報取得部１４４が、加速度センサー１６による検出値や、ユーザーの現在位置の変位、ＧＰＳによる緯度・経度、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、ＷｉｆｉのＳＳＩＤ（Service SetID）及び電波状況と経度緯度を組み合わせたデータベースを利用したＷｉｆｉ測位等による基地局測位の変化を位置情報として取得する。

ユーザー端末から位置情報の報告を受けたゲームサーバー３では、ユーザー毎の累積経路を記録し（Ｓ２０１）、ユーザー毎の移動量（累積移動距離）を算出して蓄積している。この移動量が一定以上蓄積されるまで、累積経路の記録を継続し（Ｓ２０２における「Ｎ」）、一定上の移動量が蓄積されると（Ｓ２０２における「Ｙ」）、その移動量に応じたポイント数が価値情報として発行される（Ｓ２０３）。この発行されたポイントは、ユーザーのスマートフォン１側でダウンロード等により受領される（Ｓ１０２）。

ユーザーのスマートフォン１側では、受領したポイントに応じてキャラクターＣ１を仮想地図情報Ｍ２上で移動させたり（Ｓ１０４）、そのポイントを貯めたりできる。また、継続してユーザー１０が移動し続けて、ポイント発行を繰り返し（Ｓ１０３における「Ｎ」）、ポイントが一定量以上蓄積されると（Ｓ１０３における「Ｙ」）、経路隣接ブロック路のファンタジー化或いは未踏地ブロックのファンタジー化をしたり、アイテムの購入などに使用したりなどの特典イベントの利用が可能となる（Ｓ１０５）。この特典イベントはポイント数に応じて選択的に利用が可能となり、ユーザーが利用可能な特典イベントを任意に選択し、利用要求の操作により実行される。この利用要求の操作は、ポイント数に応じたイベント発生処理に基づいて行われる。

ユーザーがイベントの利用を選択すると、それに伴いイベントが進展され、ユーザーによるタッチ操作により、隣接ブロックや未踏地ブロックのファンタジー化が行われ（Ｓ１０５）、その操作結果がゲームサーバー３に報告される。このイベント進展報告を受けたゲーム側では、進展されたイベントに基づいてゲームを進行させる処理を実行する（Ｓ２０４）。以上のポイント発行と、その蓄積及びポイント利用によるイベント進展をゲームが終了するまで（Ｓ１０６及びＳ２０５における「Ｙ」）繰り返すことができる（Ｓ１０６及びＳ２０５における「Ｎ」）。

（４）一括入力操作処理
次いで、イベント時における一括入力処理について説明する。本実施形態において、ゲーム進行処理部１４１は、例えば、ファンタジー化したブロック上に存在するモンスターＭ０などに接近すると、そのモンスターと遭遇したとしてバトル等のイベント処理が実行される。このバトル等のイベント処理においても、モンスターＭ０等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。

本実施形態に係るゲーム進行処理部１４１には、イベント発生領域を通過中に、モンスターと遭遇しイベント処理が発生した場合に、そのイベント処理において、各モンスターに対して本来個別的に入力すべき操作を、単一の一括終了操作で遂行する入力インターフェース制御機能が備えられている。このゲーム進行処理部１４１では、通常、定型的なイベント処理において登場する複数の処理対象（モンスターＭ０等）のそれぞれに対して、ユーザー操作の入力を個別的に受け付ける個別入力ステップが実行されるが、ユーザーの選択操作に基づいて、この個別入力ステップに代えて、複数のモンスターを一括して処理する単一の一括終了操作の入力が可能となる一括終了操作ステップが設けられている。この一括終了操作の入力によって、複数のモンスターが全て処理された場合に当該イベント処理が遂行されたものとしてゲームを進行される。

ここで、通常行われる個別入力としては、図２０に示すように、バトルに登場するモンスター一匹一匹に対して、タッチパネル上に斜線を素早く入力するスラッシュ操作や（同図（ａ））、タッチパネル上に○や×、△などの記号を描く（同図（ｂ））など、モンスターの種別に応じたサインを入力する方法が挙げられる。なお、同図に示すような、モンスターＭ０などの仮想オブジェクトが登場するバトル画面などでも、モンスターＭ０等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。

一方、一括終了操作としては、例えば図１９に示すように、スマートフォン１を傾斜させて、モンスターを一括して画面外へ排除する操作であったり、スマートフォン１を振ってモンスターを一括してショック死させる操作であったり、マイクに向かって息を吹きかけてマイクに風圧によるノイズ音を入力する操作であってもよい。なお、これら複数の処理対象であるモンスターには、処理完了に必要なしきい値としてライブポイントやレベルがそれぞれ設定されており、一括操作入力では、しきい値が所定の値以下であるモンスターのみが退治され、一定のしきい値を越えるモンスターに対しては、上述した個別入力が要求される。

このような一括入力操作処理について具体的に説明する。図１８は、イベント処理に関する動作を示すシーケンス図である。先ず、ゲーム進行に際し、周期的に各スマートフォン１において位置情報を取得してゲームサーバー３に送信する（Ｓ４０１及びＳ３０１）。ゲームサーバー３側では、この送信された各ユーザーの移動距離に従ってポイントを発行し（Ｓ３０２）、発行されたポイントをスマートフォン１側に送信して、ユーザーに付与する（Ｓ３０３）。スマートフォン１側では、この付与されたポイントを受信し、ユーザー操作に基づいてポイントの利用することにより、キャラクターＣ１が仮想地図上を移動させたり、ブロックをファンタジー化したりできるようになる（Ｓ４０２）。

そして、バトルのイベント処理が発生したときに（Ｓ４０３の「Ｙ」）、ユーザーが一括処理を選択した場合（Ｓ４０４の「Ｙ」）、個別処理を省略して、一括終了操作にてイベントを進行させる。また、ユーザーが一括処理を選択しない場合には、通常通りの定型的な個別入力を要求する（Ｓ４０６）。なお、ここでは、ユーザーによる任意の選択操作により一括処理を実行できるようにしているが、例えば、スマートフォン１側において位置情報取得部１４４が取得する自機の現在位置の移動速度を監視し、ユーザーの移動速度が所定値以上である場合に、当該イベントの処理において強制的に一括処理を実行するようにしてもよい。この場合、ゲーム進行処理部１４１が、一括処理可能イベントにおいて、複数の定型的な操作に代えて一括終了操作を強制的に選択して、個別入力操作を省略してバトルを終了させてゲームを進行させる。このとき、ユーザーの移動速度が所定値以上である場合には、バトルに登場するモンスターのレベルを低減させて、一括終了の成功率を高めるようにしてもよい。

一方、一括処理にによって（Ｓ４０４の「Ｙ」）、モンスターが全滅した場合（Ｓ４０５の「Ｙ」）には、当該イベント処理が遂行されたとして同期処理部１４２を通じてゲームサーバー３側のゲーム進行処理部１４１に通知され（Ｓ４０７）、ゲームサーバー３側で同期処理がなされ（Ｓ３０４）、その実行されたイベント処理の結果が後のゲーム進行処理に反映される（Ｓ３０５）。他方、ステップＳ４０４で一括処理を選択しなかった場合（Ｓ４０４の「Ｎ」）、又は一括処理でモンスターが全滅しなかった場合（Ｓ４０５の「Ｎ」」）、個別定型入力を受け付け（Ｓ４０６）、通常通りのバトル展開と実行する。そして、バトルの終了後、その結果を、サーバー側に送信して同期処理を行い（Ｓ４０７）、この報告を受けたゲームサーバー３側では、同期処理がなされ（Ｓ３０４）、バトルの結果が、後のゲーム進行処理に反映される（Ｓ３０５）。
以上の処理は、ゲームが終了されるまで繰り返され（Ｓ４０８の「Ｎ」）、ゲーム処理の操作がなされたときに（Ｓ４０８の「Ｙ」）、ゲームが終了される。

（作用・効果）
以上説明したように、本実施形態によれば、仮想世界において、ユーザーに対応するキャラクター及びその他のオブジェクトが移動して、種々のイベント処理を実行させてゲームを進行させるゲームシステムにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示することができ、拡張現実の多様化を図り、より娯楽性を向上させることができる。

Ｂ０…ブロック
Ｂ０ｕ…ブロック
Ｂ１…未タップ状態ブロック
Ｂ２…活性化ブロック
Ｂ３…グレードアップされた活性化ブロック
Ｂ４…不活性ブロック
Ｂ５…活性化ブロック（未タップ状態）
Ｂ６…未踏地ブロック
Ｂｌｄ…ビル
Ｃ１…キャラクター
Ｍ０…モンスター
Ｍ１…現実地図情報
Ｍ２…仮想地図情報
Ｔｐ…ポイント
１…スマートフォン
２…インターネット
３…ゲームサーバー
１０…ユーザー
１１…通信インターフェース
１２…入力インターフェース
１２ａ…タッチパネル
１３…出力インターフェース
１３ａ…表示部
１４…アプリケーション実行部
１５…メモリ
１６…加速度センサー
２１…衛星
２２…無線基地局
３１…通信インターフェース
３２…位置情報管理部
３３…認証部
３４…ゲームデータ配信部
３５ａ…現実地図データベース
３５ｂ…ユーザーデータベース
３５ｃ…ゲーム用データベース
３５ｄ…ポイントデータベース
３５ｅ…深度情報データベース
３６，１４１…ゲーム進行処理部
３７…仮想地図情報管理部
３８…ポイント発行部
３９…深度情報管理部
３９ａ…学習処理部
４５ａ…画像解析部
１２１…カメラ
１４１…ゲーム進行処理部
１４２…同期処理部
１４３…イベント処理部
１４４…位置情報取得部
１４４ａ…移動経路記録部
１４５…表示データ生成部
１４５ａ…画像解析部
１４５ｂ…仮想表示データ生成部
１４５ｃ…視差解析部
１４５ｄ…相対距離算出部
１４５ｅ…拡張現実表示処理部
１４５ｆ…レイヤー生成部
１４５ｇ…合成処理部
１４６…表示制御部
３９０，３９８…重み係数
３９１…出力ユニット
３９２…特徴ベクトル
３９７…入力ユニット
３９９…ユニット

Claims (6)

1. 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
   現実世界の映像を撮影する撮影部と、
   前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
   撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
   前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
   前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
   物理的に離間された少なくとも２点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部と
   を備え、
   前記画像解析部は、前記撮影部が撮影した１枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
   ことを特徴とする拡張現実表示システム。
2. 前記学習処理部は、前記２点で撮影された画像の視差を解析して得られた被写体までの距離を、画素毎の特徴点の階層的な組合せパターンと、その撮影場所における位置情報とを関連付けて相関情報として蓄積し、
   前記画像解析部は、前記撮影部が撮影した１枚の実画像について、蓄積された前記相関情報を参照し、当該実画像の特徴点の組合せパターンの合致度に応じて当該実画像の深度情報を解析する
   ことを特徴とする請求項１に記載の拡張現実表示システム。
3. 前記現実地図情報には、前記現実地図上に配置された建物又は地形の形状若しくは高さに関する情報が含まれ、前記学習処理部は、前記現実地図情報に含まれる建物又は地形の形状若しくは高さに関する情報に基づいて、前記相関情報を補正する
   ことを特徴とする請求項２に記載の拡張現実表示システム。
4. 前記映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するレイヤー生成部をさらに設け、前記合成処理部は、前記位置情報に基づく前記撮影部及び前記仮想的なオブジェクト間の相対距離と、前記レイヤー生成部が生成したレイヤーに関する深度情報に従って前記仮想表示データを重畳させる
   ことを特徴とする請求項１に記載の拡張現実表示システム。
5. 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
   現実世界の映像を撮影する撮影部と、
   前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
   撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
   前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
   前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
   物理的に離間された少なくとも２点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部として
   機能させ、
   前記画像解析部は、前記撮影部が撮影した１枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
   ことを特徴とする拡張現実表示プログラム。
6. 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
   現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
   撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を画像解析部が深度情報として解析するステップと、
   前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
   前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと、
   物理的に離間された少なくとも２点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習処理部が学習を行うステップと
   を含み、
   前記深度情報を解析するステップでは、前記撮影部が撮影した１枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
   ことを特徴とする拡張現実表示方法。