[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5705793B2 - Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program - Google Patents

Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program Download PDF

Info

Publication number
JP5705793B2
JP5705793B2 JP2012139961A JP2012139961A JP5705793B2 JP 5705793 B2 JP5705793 B2 JP 5705793B2 JP 2012139961 A JP2012139961 A JP 2012139961A JP 2012139961 A JP2012139961 A JP 2012139961A JP 5705793 B2 JP5705793 B2 JP 5705793B2
Authority
JP
Japan
Prior art keywords
point
information
augmented reality
display
content information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012139961A
Other languages
Japanese (ja)
Other versions
JP2014006582A (en
Inventor
高光 入山
高光 入山
浩史 宇野
浩史 宇野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2012139961A priority Critical patent/JP5705793B2/en
Publication of JP2014006582A publication Critical patent/JP2014006582A/en
Application granted granted Critical
Publication of JP5705793B2 publication Critical patent/JP5705793B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、拡張現実を表示させる拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラムに関する。   The present invention relates to an augmented reality display device that displays augmented reality, an augmented reality display system, an augmented reality display method, and an augmented reality display program.

従来、ユーザーが知覚する現実空間(現実環境)に対して情報を付加して表示させる拡張現実技術(AR(Augmented Reality)技術)が知られている(例えば、特許文献1参照)。
この特許文献1に記載の端末装置は、カメラ部による撮影により得られた映像データを表示部にライブビューとして表示し、続いて位置情報取得部により端末装置の現在位置における位置情報を取得する。そして、取得した位置情報をサーバに送信し、サーバによりレスポンスされた端末装置周辺の拡張現実感情報のリストを受信して、記憶部に記憶する。この後、方位センサーにより検出されたカメラの姿勢や角度と、位置情報とに基づいて、映像データ内の拡張現実感情報をライブビューに重畳させて表示させる。
Conventionally, augmented reality technology (AR (Augmented Reality) technology) that displays information added to a real space (real environment) perceived by a user is known (see, for example, Patent Document 1).
The terminal device described in Patent Document 1 displays video data obtained by photographing by a camera unit as a live view on a display unit, and subsequently acquires position information at the current position of the terminal device by a position information acquisition unit. Then, the acquired position information is transmitted to the server, and a list of augmented reality information around the terminal device responded by the server is received and stored in the storage unit. Thereafter, the augmented reality information in the video data is superimposed on the live view and displayed based on the posture and angle of the camera detected by the azimuth sensor and the position information.

特開2010−238096号公報JP 2010-238096 A

ところで、上記特許文献1に記載の装置では、カメラで撮影された範囲内の情報を表示部に表示させることはできるが、遠隔地における情報を表示させることはできない。また、遠隔地の情報のみを表示させると、拡張現実感が損なわれるという課題がある。   By the way, in the apparatus described in Patent Document 1, information within a range photographed by a camera can be displayed on the display unit, but information in a remote place cannot be displayed. Moreover, there is a problem in that augmented reality is impaired when only remote information is displayed.

本発明は、拡張現実感を損なうことなく、遠隔地の情報を表示可能な拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラムを提供することを目的とする。   An object of the present invention is to provide an augmented reality display device, an augmented reality display system, an augmented reality display method, and an augmented reality display program capable of displaying information on a remote location without impairing augmented reality.

本発明の拡張現実表示装置は、カメラにより撮像される撮像画像を取得する撮像画像取得手段と、前記カメラが向けられた方向を撮像方向として検出する撮像方向検出手段と、ユーザーの入力操作に基づいて、所定の指定地点を特定する地点特定手段と、地点に関連した内容を示す地点内容情報を記憶する地点情報記憶手段から、前記指定地点を含む所定範囲内にある地点に対応した地点内容情報を取得する地点内容情報取得手段と、画像を表示する表示部に、複数の地点を含み、かつ、前記撮像画像が取得された現在位置が含まれる領域とは異なる遠隔領域に対応したアイコンを重畳して表示させた前記撮像画像を表示させる表示手段と、を備え、前記地点内容情報取得手段は、ユーザーの入力操作により前記アイコンが選択されると、当該アイコンに対応する遠隔領域に含まれる地点に対応した前記地点内容情報を取得し、前記表示手段は、前記表示部に前記アイコンが重畳して表示された前記撮像画像を表示させ、前記地点内容情報取得手段により前記地点内容情報が取得されると、前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である前記地点内容情報を、前記撮像画像に重畳させて表示させることを特徴とする。
なお、本発明で述べる「前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である」とは、撮像方向と、指定地点から地点内容情報に対応する地点に向かう方向とが、厳密に一致している場合に限定されるものではない。すなわち、本発明における撮像方向とは、カメラのレンズ光軸方向を中心として、カメラの性能に応じた所定の画角(視野角)範囲を示すものであり、本発明では、指定地点から地点内容情報に対応する地点に向かう方向が、この画角範囲内である地点内容情報が、撮像画像に重畳されて表示される。
The augmented reality display device according to the present invention is based on a captured image acquisition unit that acquires a captured image captured by a camera, an imaging direction detection unit that detects a direction in which the camera is directed as an imaging direction, and a user's input operation. From point identification means for identifying a predetermined designated point and point information storage means for storing point content information indicating contents related to the point, point content information corresponding to a point within a predetermined range including the designated point and the point content information acquiring means for acquiring, on a display unit for displaying an image, viewed contains a plurality of points, and an icon the captured image corresponding to the different remote region from the region containing the acquired current position Display means for displaying the captured image displayed in a superimposed manner, and the point content information acquisition means, when the icon is selected by a user input operation, Acquiring the location content information corresponding to the points included in the remote area corresponding to the icon, the display means to display the captured image in which the icon is displayed superimposed on the display unit, the location content information When the point content information is acquired by the acquisition unit, the point content information in which the direction from the designated point to the point corresponding to the point content information is the same direction as the imaging direction is superimposed on the captured image. It is characterized by being displayed.
In the present invention, “the direction from the designated point to the point corresponding to the point content information is the same direction as the imaging direction” means the imaging direction and the point corresponding to the point content information from the designated point. It is not limited to the case where the direction toward is exactly the same. That is, the imaging direction in the present invention indicates a predetermined angle of view (viewing angle) range according to the performance of the camera with the lens optical axis direction of the camera as the center. The point content information in which the direction toward the point corresponding to the information is within this angle of view range is displayed superimposed on the captured image.

本発明では、現実空間の撮像画像に対して遠隔地の情報を表示させるため、拡張現実感を損なうことなく、遠隔地の情報を表示させることができる。   In the present invention, since the information on the remote location is displayed on the captured image of the real space, the information on the remote location can be displayed without impairing the augmented reality.

本発明に係る一実施形態の拡張現実表示システムの概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of an augmented reality display system according to an embodiment of the present invention. 本実施形態の拡張現実表示方法を示すフローチャート。The flowchart which shows the augmented reality display method of this embodiment. 地点情報に対応した地点を含む地域、及び端末装置の現在位置を示す図。The figure which shows the area | region containing the point corresponding to point information, and the present position of a terminal device. 端末装置のディスプレイに表示される拡張現実表示画面の一例を示す図。The figure which shows an example of the augmented reality display screen displayed on the display of a terminal device. 拡張現実表示画面において、アイコンが選択された際のフローチャート。The flowchart at the time of the icon being selected in an augmented reality display screen. アイコンが選択さた際の画像処理を示す図。The figure which shows the image process when an icon is selected. 選択地点の地点情報を表示させた拡張現実表示画面(選択地点情報表示画面)の一例を示す図。The figure which shows an example of the augmented reality display screen (selected point information display screen) which displayed the point information of the selected point. 投稿情報の投稿処理を示すフローチャート。The flowchart which shows the posting process of contribution information.

以下、本発明に係る一実施形態について、図面に基づいて詳細に説明する。
[拡張現実表示システムの全体構成]
図1は、本実施形態における拡張現実表示システムの概略構成を示すブロック図である。
図1に示すように、拡張現実表示システム1は、端末装置10(拡張現実表示装置)と、サーバ装置20と、を備え、これらの端末装置10及びサーバ装置20は、ネットワーク2を介して通信可能に接続されている。ネットワーク2としては、例えばTCP/IPなどの汎用のプロトコルに基づくインターネットを用いることができるが、その他のネットワークを用いてもよい。例えば、LAN(Local Area Network)等の無線媒体により情報の送受信が可能な複数の基地局によりネットワークを構成する通信回線網など、データを送受信させるいずれの構成も利用できる。
この拡張現実表示システム1は、カメラ11により撮像された撮像画像を端末装置10のディスプレイ12に表示させるとともに、当該撮像画像に所定の情報を重畳させて表示させる。すなわち、端末装置10のディスプレイ12に、拡張現実(AR:Augmented Reality)表示を行うシステムである。また、本実施形態の拡張現実表示システム1では、端末装置10は、カメラ11により撮像された撮像画像の拡張現実表示処理中に、ユーザーの操作により遠隔地点の情報を表示させる旨の要求を受け付けた際に、サーバ装置20から当該遠隔地点の情報を受信して、撮像画像に重畳させて表示させる。
Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings.
[Entire configuration of augmented reality display system]
FIG. 1 is a block diagram showing a schematic configuration of an augmented reality display system in the present embodiment.
As illustrated in FIG. 1, the augmented reality display system 1 includes a terminal device 10 (augmented reality display device) and a server device 20, and the terminal device 10 and the server device 20 communicate via a network 2. Connected as possible. As the network 2, for example, the Internet based on a general-purpose protocol such as TCP / IP can be used, but other networks may be used. For example, any configuration that transmits and receives data can be used, such as a communication network that forms a network with a plurality of base stations that can transmit and receive information using a wireless medium such as a LAN (Local Area Network).
The augmented reality display system 1 displays a captured image captured by the camera 11 on the display 12 of the terminal device 10 and displays predetermined information superimposed on the captured image. In other words, this is a system that performs augmented reality (AR) display on the display 12 of the terminal device 10. Further, in the augmented reality display system 1 of the present embodiment, the terminal device 10 accepts a request to display information on a remote location by a user operation during the augmented reality display process of the captured image captured by the camera 11. The remote location information is received from the server device 20 and displayed superimposed on the captured image.

[サーバ装置の構成]
サーバ装置20は、図1に示すように、ハードウェア構成として、RAM(Random Access Memory)やROM(Read Only Memory)等により構成されるサーバ記憶手段21と、CPU(Central Processing Unit)等により構成されるサーバ制御手段22と、を備えている。また、サーバ装置20として、ディスプレイや、例えばキーボード、マウス等により構成される操作部が設けられる構成としてもよい。また、サーバ装置20は、ネットワーク2を介して端末装置10と通信するためのサーバ通信手段(図示略)を備えている。
[Configuration of server device]
As shown in FIG. 1, the server device 20 is configured by a server storage unit 21 configured by a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and a CPU (Central Processing Unit) and the like as a hardware configuration. Server control means 22. Further, the server device 20 may have a configuration in which an operation unit including a display or a keyboard, a mouse, or the like is provided. Further, the server device 20 includes server communication means (not shown) for communicating with the terminal device 10 via the network 2.

サーバ記憶手段21には、サーバ装置20の全体動作を制御するためのOS(Operating System)や、各種プログラム、各種データが記憶される。
また、サーバ記憶手段21は、本発明の地点情報記憶手段、及び対象物情報記憶手段として機能する。つまり、サーバ記憶手段21には、端末装置10のディスプレイ12に、拡張現実情報を表示するための地点情報や、対象物情報等の各種情報が記録されている。
The server storage unit 21 stores an OS (Operating System) for controlling the overall operation of the server device 20, various programs, and various data.
The server storage unit 21 functions as the point information storage unit and the object information storage unit of the present invention. That is, various information such as point information for displaying augmented reality information and object information is recorded in the server storage unit 21 on the display 12 of the terminal device 10.

地点情報は、地点に関連する情報であり、例えば下記表1に示すように、地域ID、地域情報、地点名称、地点位置、表示領域サイズ、地点内容情報、地点内容情報に対応した表示位置等が記憶されている。
地点IDは、地点情報を識別するための情報であり、地点情報毎に異なるIDが割り振られる。
地域情報は、地点が含まれる地域を示す情報である。この地域は、地図を所定の境界で区分した領域であり、この境界としては、例えば東北地方、関東地方等のように、地図を地方単位で区切る境界を用いてもよく、都道府県レベルや市町村区レベル等の行政区分単位で区切る境界を用いてもよい。また、所定の代表地点を中心とした、所定径範囲内の領域としてもよい。さらに、ユーザーの操作に基づいて、地域が設定される構成などとしてもよい。
そして、地域情報には、その地域の名称や、地域の代表地点(例えば中心(重心)地点や、県庁所在地点、ユーザーにより指定された地点等)が記録されている。
地点名称は、例えば「東京」「大阪」「名古屋」等の地点名が記憶される。
地点位置は、地図上の地点の位置である。地点の位置としては、例えば緯度や経度、標高等が記憶されていてもよく、所定の地図情報における座標位置が記録されていてもよい。
地点内容情報は、地点に関連した内容を示す情報である。この地点内容情報としては、例えば、ユーザーにより投稿されたコメントや掲示板発言等の投稿情報、地点を含む所定範囲内の店舗や観光地等の案内情報等、その地点に関連する情報が記録される。
The point information is information related to the point. For example, as shown in Table 1 below, the region ID, the region information, the point name, the point position, the display area size, the point content information, the display position corresponding to the point content information, etc. Is remembered.
The spot ID is information for identifying the spot information, and a different ID is assigned to each spot information.
The area information is information indicating an area including the point. This area is an area obtained by dividing the map by a predetermined boundary. For this boundary, for example, a boundary that divides the map into local units, such as the Tohoku region and the Kanto region, may be used. A boundary delimited by administrative division units such as a ward level may be used. Moreover, it is good also as an area | region within the predetermined diameter range centering on a predetermined representative point. Furthermore, it is good also as a structure by which an area is set based on a user's operation.
In the area information, the name of the area and a representative point of the area (for example, the center (center of gravity) point, the prefectural office location point, the point designated by the user, etc.) are recorded.
As the spot name, for example, spot names such as “Tokyo”, “Osaka”, and “Nagoya” are stored.
The point position is the position of the point on the map. As the position of the point, for example, latitude, longitude, altitude, or the like may be stored, and a coordinate position in predetermined map information may be recorded.
The point content information is information indicating content related to the point. As this point content information, for example, information related to the point, such as posted information such as comments posted by the user and bulletin board statements, guidance information such as stores and sightseeing spots within a predetermined range including the point, is recorded. .

表示領域サイズは、表示位置として設定可能な座標範囲を規定する情報である。
詳細な説明は後述するが、本実施形態では、ディスプレイ12上に、例えば球体状のアイコンを撮像画像に重畳させることで、地点情報の存在をユーザーに通知し、ユーザーによりアイコンが選択されると、球体内部から撮像画像を見た状態に画像を変化させる。この際、球体のアイコン内面のうちディスプレイ12上に表示される領域内を特定し、その領域内に表示位置を有する地点内容情報が、ディスプレイ12上に表示される。表示領域サイズは、この球体内面の座標系と規定する情報となる。本実施形態では、表示領域サイズは、球体であり、例えば、球中心点を原点、中心点からの距離r、東方向をX軸、北方向をY軸、鉛直方向をZ軸とした球体方程式(r=x+y+z)により表すことができる。この場合、表示位置(x,y,z)は、球体方程式を満たす整数値x,y,zとして記録される。
なお、表示領域サイズとしては、地点によって予め設定されていてもよく、端末装置10から送信された投稿情報の数等に応じて、表示領域サイズを変更可能としてもよい。
The display area size is information that defines a coordinate range that can be set as a display position.
Although detailed description will be described later, in the present embodiment, for example, a spherical icon is superimposed on the captured image on the display 12 to notify the user of the presence of the point information, and the user selects the icon. Then, the image is changed to a state in which the captured image is viewed from the inside of the sphere. At this time, the area displayed on the display 12 in the icon inner surface of the sphere is specified, and the point content information having the display position in the area is displayed on the display 12. The display area size is information that defines the coordinate system of the inner surface of the sphere. In this embodiment, the display area size is a sphere, for example, a sphere equation with the sphere center point as the origin, the distance r from the center point, the east direction as the X axis, the north direction as the Y axis, and the vertical direction as the Z axis. It can be represented by (r 2 = x 2 + y 2 + z 2 ). In this case, the display position (x, y, z) is recorded as an integer value x, y, z that satisfies the spherical equation.
The display area size may be set in advance depending on the location, and the display area size may be changeable according to the number of pieces of post information transmitted from the terminal device 10 or the like.

表示位置は、地点内容情報を表示する表示位置座標が記録される。表示位置は、表示領域サイズにより規定される座標範囲内の座標に設定される。端末装置10のディスプレイ12により地点内容情報を表示させる際には、端末装置10は、この表示位置に基づいて地点内容情報を表示する。
なお、表示位置としては、例えば地域の代表地点に対する地点が位置する方向に基づいて設定されていてもよく、後述のように、ユーザーにより投稿情報が投稿された方向に基づいて設定された位置であってもよい。代表地点としては、その地域の中心地点(例えば地図における地域メッシュの重心位置等)を用いてもよく、人口が最も多い都市の県庁所在地点等を用いてもよい。例えば、下記表1において、「G地点」の代表地点が地点gである場合、地点IDが「ID1」の地点情報の表示位置は、地点gから地点Aに向かう方向の直線と、表示領域サイズにより規定される球体(アイコン)の内面との交点の座標が設定される。
また、表示領域内に地点内容情報を表示させる際に、均一な表示間隔で情報が表示されるように、適宜表示位置が最適化されていてもよい。
As the display position, display position coordinates for displaying the point content information are recorded. The display position is set to coordinates within a coordinate range defined by the display area size. When the point content information is displayed on the display 12 of the terminal device 10, the terminal device 10 displays the point content information based on the display position.
The display position may be set based on, for example, the direction in which the point with respect to the representative point in the region is located. As described later, the display position is set based on the direction in which the posting information is posted by the user. There may be. As the representative point, the central point of the region (for example, the position of the center of gravity of the regional mesh in the map) may be used, or the prefectural office location point of the city with the largest population may be used. For example, in Table 1 below, when the representative point of “G point” is the point g, the display position of the point information whose point ID is “ID1” is the straight line in the direction from the point g to the point A and the display area size. The coordinates of the intersection point with the inner surface of the sphere (icon) defined by is set.
Further, when displaying the point content information in the display area, the display position may be optimized as appropriate so that the information is displayed at a uniform display interval.

また、サーバ記憶手段21に記憶される対象物情報は、撮像画像内に含まれる対象物の拡張現実情報であり、例えば施設の情報等が記録される。
対象物情報は、例えば表2に示すように、対象物ID、対象物名、対象物タイプ、対象物位置、及び対象物案内情報等が記録される。なお、対象物情報としては、例えば、対象物が位置する高さ情報等が記録されていてもよい。また、対象物に対するユーザーのコメント(投稿情報)等が記録されていてもよい。
対象物IDは、対象物情報を識別するための情報であり、対象物情報毎に異なるIDが割り振られる。
対象物名は、例えば施設名等、対象物の名称である。
対象物タイプは、対象物の種別であり、例えば施設である場合、バス停、駅、学校、ホテル等、施設のジャンルが記録される。
対象物位置は、対象物の詳細な位置情報であり、例えば緯度、経度等が記録される。なお、所定の地図情報における座標位置が記録されていてもよく、住所等が記録されていてもよい。
対象物案内情報は、対象物(施設)の案内文や案内画像等、対象物に関する詳細な内容が記録されている。
The object information stored in the server storage unit 21 is augmented reality information of the object included in the captured image, and for example, facility information is recorded.
As the object information, for example, as shown in Table 2, an object ID, an object name, an object type, an object position, and object guide information are recorded. In addition, as target object information, the height information etc. in which a target object is located may be recorded, for example. Moreover, a user's comment (post information) etc. with respect to a target object may be recorded.
The object ID is information for identifying the object information, and a different ID is assigned to each object information.
The object name is the name of the object such as a facility name.
The object type is a type of the object. For example, in the case of a facility, the genre of the facility such as a bus stop, a station, a school, a hotel, or the like is recorded.
The object position is detailed position information of the object, and for example, latitude, longitude, and the like are recorded. In addition, the coordinate position in predetermined map information may be recorded, and an address etc. may be recorded.
In the object guidance information, detailed contents regarding the object such as a guidance sentence and a guidance image of the object (facility) are recorded.

なお、本実施形態では、端末装置10による拡張現実表示情報として、撮像画像上に、その撮像画像内に存在する施設に対する対象物情報を表示させる例を示すが、これに限定されない。例えば、撮像画像内の物体に関する情報を拡張現実情報として表示させてもよい。例えば、撮像画像内に、新商品の画像が映し出された場合に、サーバ装置20は、端末装置10からその撮像画像を受信して、画像検索を行い、該当する新商品の情報を端末装置10に送信して、端末装置10のディスプレイ12に拡張現実情報として表示させてもよい。このような場合、サーバ記憶手段21には、対象物情報として、例えば、対象となる物体の画像例が複数記憶されていればよい。   In the present embodiment, as the augmented reality display information by the terminal device 10, an example is shown in which target object information for a facility existing in the captured image is displayed on the captured image, but the present invention is not limited to this. For example, information regarding an object in the captured image may be displayed as augmented reality information. For example, when an image of a new product is displayed in the captured image, the server device 20 receives the captured image from the terminal device 10, performs an image search, and stores information on the corresponding new product in the terminal device 10. May be displayed on the display 12 of the terminal device 10 as augmented reality information. In such a case, the server storage unit 21 may store, for example, a plurality of image examples of the target object as the target object information.

サーバ制御手段22は、サーバ記憶手段21に記憶される各種プログラムを読み込んで実行することにより、図1に示すように、地点情報検索手段221、地点情報送信手段222、対象物情報送信手段223、及び投稿情報取得手段224として機能する。
地点情報検索手段221は、端末装置10から送信された所定の地点に対する地点情報の送信を要求する旨の地点情報要求を取得すると、要求された地点に対する地点情報をサーバ記憶手段21から検索する。
地点情報送信手段222は、検索された地点情報を端末装置10に送信する。
対象物情報送信手段223は、端末装置から送信された対象物情報要求に基づいて、対象物情報のリストを送信する。
投稿情報取得手段224は、端末装置10から送信された投稿情報を取得して、サーバ記憶手段21に記憶する。
The server control means 22 reads and executes various programs stored in the server storage means 21, thereby, as shown in FIG. 1, the spot information search means 221, the spot information transmission means 222, the object information transmission means 223, And the post information acquisition means 224.
When the point information search unit 221 obtains a point information request for requesting transmission of the point information for the predetermined point transmitted from the terminal device 10, the point information search unit 221 searches the server storage unit 21 for the point information for the requested point.
The spot information transmitting unit 222 transmits the searched spot information to the terminal device 10.
The object information transmitting unit 223 transmits a list of object information based on the object information request transmitted from the terminal device.
The posting information acquisition unit 224 acquires the posting information transmitted from the terminal device 10 and stores it in the server storage unit 21.

[端末装置の構成]
端末装置10は、図1に示すように、ハードウェア構成として、カメラ11と、ディスプレイ12(表示部)と、撮像方向検出手段13と、現在位置を測定する現在位置取得手段14と、例えばタッチパネル、キーボード、マウス、操作ボタン等により構成される操作手段15と、メモリー等により構成される端末記憶手段16と、CPU(Central Processing Unit)等により構成される端末制御手段17と、を備えている。また、端末装置10は、ネットワーク2を介してサーバ装置20と通信するための端末通信手段(図示略)を備えている。
このような端末装置10としては、例えば携帯電話機器やスマートフォン、タブレット型端末装置、ノート型パーソナルコンピューター等の携帯型端末装置を用いることが好ましい。なお、本実施形態では、端末装置10として携帯型端末装置を例示するが、これに限定されない。例えばデスクトップ型のパーソナルコンピューターなどの固定側の端末装置を用いてもよい。この場合、カメラ11を有線、又は無線により端末装置に接続することで、カメラ11により撮像された撮像画像に対して情報を付加する拡張表示を行うことができる。
[Configuration of terminal device]
As illustrated in FIG. 1, the terminal device 10 includes, as a hardware configuration, a camera 11, a display 12 (display unit), an imaging direction detection unit 13, a current position acquisition unit 14 that measures a current position, and a touch panel, for example. Operating means 15 constituted by a keyboard, mouse, operation buttons, etc., terminal storage means 16 constituted by a memory or the like, and terminal control means 17 constituted by a CPU (Central Processing Unit) or the like. . In addition, the terminal device 10 includes terminal communication means (not shown) for communicating with the server device 20 via the network 2.
As such a terminal device 10, it is preferable to use portable terminal devices, such as a mobile telephone apparatus, a smart phone, a tablet-type terminal device, a notebook-type personal computer, for example. In the present embodiment, a portable terminal device is illustrated as the terminal device 10, but the present invention is not limited to this. For example, a fixed-side terminal device such as a desktop personal computer may be used. In this case, by connecting the camera 11 to the terminal device by wire or wirelessly, it is possible to perform an extended display that adds information to the captured image captured by the camera 11.

撮像方向検出手段13は、カメラ11が向けられている撮像方向(撮像方位及び撮像角度)を検出する。この撮像方向検出手段13は、例えば3軸方向に対する地磁気を検出して方位を検出する電子コンパスと、3軸方向に対する端末装置10の傾き角を検知する3軸加速度センサーとを備えている。そして、電子コンパスにより検出される方位と、3軸加速度センサーにより検出される端末装置10の傾き角度に基づいて、カメラ11が向けられている撮像方向を検出する。
また、デスクトップ型のパーソナルコンピューター等、固定側の端末装置に対してカメラ11が接続される構成では、例えばカメラ11に撮像方向検出手段13が設けられる構成とすることで、カメラ11の撮像方向を取得することができる。
The imaging direction detection means 13 detects the imaging direction (imaging direction and angle) in which the camera 11 is directed. The imaging direction detection means 13 includes, for example, an electronic compass that detects the azimuth by detecting geomagnetism in the triaxial direction and a triaxial acceleration sensor that detects the tilt angle of the terminal device 10 with respect to the triaxial direction. Then, based on the orientation detected by the electronic compass and the tilt angle of the terminal device 10 detected by the triaxial acceleration sensor, the imaging direction in which the camera 11 is directed is detected.
Further, in a configuration in which the camera 11 is connected to a fixed-side terminal device such as a desktop personal computer, for example, the imaging direction of the camera 11 is changed by providing the imaging direction detecting means 13 in the camera 11. Can be acquired.

現在位置取得手段14は、例えば3つの位置測定衛星(例えばGPS衛星等)から送信される時刻情報を有する衛星信号を受信して、これらの衛星信号に基づいて、測定対象地点となる現在位置の座標(緯度、経度)を算出する。なお、現在位置取得手段14は、更に現在位置の標高を算出してもよい。
また、デスクトップ型のパーソナルコンピューター等、固定側の端末装置に対してカメラ11が接続される構成では、例えばカメラ11に現在位置取得手段14が設けられる構成とすることで、撮像画像の撮像位置(現在位置)を取得することができる。
The current position acquisition unit 14 receives satellite signals having time information transmitted from, for example, three position measurement satellites (for example, GPS satellites), and based on these satellite signals, the current position as a measurement target point Calculate coordinates (latitude, longitude). Note that the current position acquisition unit 14 may further calculate the altitude of the current position.
Further, in a configuration in which the camera 11 is connected to a fixed-side terminal device such as a desktop personal computer, the current position acquisition unit 14 is provided in the camera 11, for example. Current position) can be acquired.

端末記憶手段16は、RAM(Random Access Memory)やROM(Read Only Memory)等により構成されている。この端末記憶手段16は、OS(Operating System)や各種プログラム、各種アプリケーション、各種データ記憶する。また、端末記憶手段16は、例えばサーバ装置20から送信された各種データを一時的に記憶可能な一時領域を備える。   The terminal storage means 16 is configured by a RAM (Random Access Memory), a ROM (Read Only Memory), or the like. The terminal storage unit 16 stores an OS (Operating System), various programs, various applications, and various data. In addition, the terminal storage unit 16 includes a temporary area that can temporarily store various data transmitted from the server device 20, for example.

端末制御手段17は、端末記憶手段16に記憶される各種プログラムを読み込んで実行することにより、図2に示すように、撮像画像取得手段171、対象物情報取得手段172、地点方向判定手段173、地点特定手段174、地点情報取得手段175(地点内容情報取得手段)、表示領域設定手段176、投稿情報受付手段177、及び表示手段178として機能する。   The terminal control unit 17 reads and executes various programs stored in the terminal storage unit 16, thereby, as shown in FIG. 2, a captured image acquisition unit 171, an object information acquisition unit 172, a point direction determination unit 173, It functions as a spot specifying means 174, spot information acquiring means 175 (spot content information acquiring means), display area setting means 176, post information receiving means 177, and display means 178.

撮像画像取得手段171は、カメラ11により撮像された撮像画像を取得する。
対象物情報取得手段172は、サーバ装置20から撮像画像に対する対象物情報のリストを取得し、端末記憶手段16に記憶する。
The captured image acquisition unit 171 acquires a captured image captured by the camera 11.
The object information acquisition unit 172 acquires a list of object information for the captured image from the server device 20 and stores it in the terminal storage unit 16.

地点方向判定手段173は、サーバ装置20から遠隔地の地点のリスト(地域リスト)を取得し、撮像方向に地点内容情報を表示可能な地点(地域)が位置するか否かを判定する。
地点特定手段174は、ユーザーの操作手段15の操作に基づいて、所定の指定地点を選択地点として特定する。
地点情報取得手段175は、選択地点と同一の地域情報の地点情報をサーバ装置20から取得する。すなわち、地点情報取得手段175は、選択地点を含む所定範囲(地域)内の地点に対応した地点情報(地点内容情報を含む)を取得する。
The point direction determination unit 173 acquires a list (region list) of remote points from the server device 20 and determines whether or not a point (region) where the point content information can be displayed is located in the imaging direction.
The point specifying unit 174 specifies a predetermined designated point as the selected point based on the operation of the operation unit 15 by the user.
The spot information acquisition unit 175 acquires spot information of the same area information as the selected spot from the server device 20. That is, the spot information acquisition unit 175 acquires spot information (including spot content information) corresponding to a spot within a predetermined range (region) including the selected spot.

表示領域設定手段176は、地点情報を表示するための表示領域を設定する。上述のように、本実施形態では、ディスプレイ12上に、球体状のアイコンを撮像画像に重畳させることで、地点情報の存在をユーザーに通知する。そして、ユーザーによりアイコンが選択されると、球体内部から撮像画像を見た状態に画像を変化させる。この際、表示領域設定手段176は、球体内面のうち、ディスプレイ12上に表示される表示領域(座標範囲)を設定する。
投稿情報受付手段177は、ユーザーの操作手段15の操作により投稿情報が入力されると、当該投稿情報を受け付け、表示位置とともにサーバ装置20に送信する。
表示手段178は、ディスプレイ12に撮像画像取得手段171により取得された撮像画像を表示させ、当該撮像画像に対象物情報取得手段172により取得した対象物情報を重畳させて表示させる。また、表示手段178は、地点方向判定手段173により、撮像方向に地点情報を有する地点が存在すると判定された場合に、撮像画像上の球体状のアイコンを表示させる。更に、表示手段178は、ユーザーの操作手段15の操作によりアイコンが選択され、サーバ装置20から地点情報を受信すると、当該地点情報の地点内容情報を表示位置に従って撮像画像上に重畳させて表示させる。
The display area setting unit 176 sets a display area for displaying the spot information. As described above, in the present embodiment, a spherical icon is superimposed on the captured image on the display 12 to notify the user of the presence of point information. When the icon is selected by the user, the image is changed to a state in which the captured image is viewed from inside the sphere. At this time, the display area setting unit 176 sets a display area (coordinate range) displayed on the display 12 among the inner surface of the sphere.
When the posted information is input by the operation of the user operating unit 15, the posted information receiving unit 177 receives the posted information and transmits it to the server device 20 together with the display position.
The display unit 178 causes the display 12 to display the captured image acquired by the captured image acquisition unit 171, and displays the target information acquired by the target object information acquisition unit 172 so as to be superimposed on the captured image. Further, the display unit 178 displays a spherical icon on the captured image when the point direction determination unit 173 determines that there is a point having the point information in the imaging direction. Further, when the icon is selected by the user's operation unit 15 and the point information is received from the server device 20, the display unit 178 displays the point content information of the point information superimposed on the captured image according to the display position. .

[拡張現実表示処理]
次に、上記のような拡張現実表示システム1による拡張現実表示処理(拡張現実表示方法)について、図面に基づいて説明する。
図2は、本実施形態の拡張現実表示方法を示すフローチャートである。
この拡張現実表示処理は、ユーザーの操作手段15の操作により、拡張現実表示プログラムが起動されることで開始される。
拡張現実表示処理が開始されると、まず、カメラ11、撮像方向検出手段13、及び現在位置取得手段14が起動され、撮像画像取得手段171により、カメラ11により撮像された撮像画像が取得される。すなわち、撮像画像取得ステップ、撮像方向検出ステップ、及び現在位置取得ステップが実施される。また、この際、表示手段178は、取得した撮像画像をディスプレイ12上に表示させる(S11)。
そして、対象物情報取得手段172は、対象物情報を要求する旨の対象物情報要求をサーバ装置20に送信する(S12)。この際、対象物情報取得手段172は、撮像方向検出手段13により検出された撮像方向、及び現在位置取得手段14により算出された現在位置とともに、対象物情報要求をサーバ装置20に送信する。
[Augmented reality display processing]
Next, augmented reality display processing (augmented reality display method) by the augmented reality display system 1 as described above will be described with reference to the drawings.
FIG. 2 is a flowchart showing the augmented reality display method of the present embodiment.
This augmented reality display process is started when the augmented reality display program is started by the user's operation of the operation means 15.
When the augmented reality display process is started, first, the camera 11, the imaging direction detection unit 13, and the current position acquisition unit 14 are activated, and the captured image acquired by the camera 11 is acquired by the captured image acquisition unit 171. . That is, a captured image acquisition step, an imaging direction detection step, and a current position acquisition step are performed. At this time, the display unit 178 displays the acquired captured image on the display 12 (S11).
And the target object information acquisition means 172 transmits the target object information request | requirement to the effect of requesting target object information to the server apparatus 20 (S12). At this time, the object information acquisition unit 172 transmits the object information request to the server device 20 together with the imaging direction detected by the imaging direction detection unit 13 and the current position calculated by the current position acquisition unit 14.

サーバ装置20は、端末装置10から対象物情報要求を受信する(S21)と、対象物情報送信手段223は、対象物情報のリストを取得する(S22)。具体的には、対象物情報送信手段223は、サーバ記憶手段21から現在位置を中心とした所定範囲内の位置座標を対象物位置として有する対象物情報を抽出し、さらに、現在位置から撮像方向に位置する対象物に対応した対象物情報を抽出して、対象物情報のリストを生成する。
そして、対象物情報送信手段223は、S22で取得した対象物情報のリストを端末装置10に送信する(S23)。
When the server device 20 receives the object information request from the terminal device 10 (S21), the object information transmitting unit 223 acquires a list of object information (S22). Specifically, the object information transmitting unit 223 extracts object information having position coordinates within a predetermined range centered on the current position as the object position from the server storage unit 21, and further, the imaging direction from the current position. The object information corresponding to the object located at is extracted, and a list of object information is generated.
And the target object information transmission means 223 transmits the list of target object information acquired by S22 to the terminal device 10 (S23).

端末装置10の対象物情報取得手段172は、サーバ装置20から対象物情報のリストを受信すると(S13)、これらの対象物情報のリストを端末記憶手段16に記憶する。
この後、表示手段178は、各対象物情報の対象物位置と、現在位置取得手段14により算出された現在位置に基づいて、例えば対象物名等の対象物情報をディスプレイ12に表示されている撮像画像に重畳させて表示させる(S14)。
これにより、現実空間の撮像画像に対する拡張現実情報がディスプレイ12上に表示されることになる。
When the object information acquisition unit 172 of the terminal device 10 receives the list of the object information from the server device 20 (S13), the object information acquisition unit 172 stores the list of the object information in the terminal storage unit 16.
Thereafter, the display unit 178 displays the object information such as the object name on the display 12 based on the object position of each object information and the current position calculated by the current position acquisition unit 14. A superimposed image is displayed on the captured image (S14).
As a result, augmented reality information for the captured image in the real space is displayed on the display 12.

また、端末装置10の地点方向判定手段173は、サーバ装置20に遠隔地の地域リストの送信を要求する旨の地域リスト要求を送信する(S15)。
サーバ装置20は、端末装置10から地域リスト要求を受信すると(S24)、サーバ記憶手段21に記憶された各地点情報に基づいて、地域情報を抽出して、地域リストを生成し、端末装置10に送信する(S25)。なお、地域リストには、地域情報の他、その地域に含まれる各地点の地点ID等、地点を特定するための情報が含まれてもよい。
Further, the point direction determination means 173 of the terminal device 10 transmits a region list request for requesting the server device 20 to transmit a remote region list (S15).
When the server apparatus 20 receives the area list request from the terminal apparatus 10 (S24), the server apparatus 20 extracts area information based on each piece of point information stored in the server storage means 21, generates an area list, and the terminal apparatus 10 (S25). In addition to the area information, the area list may include information for specifying a point such as a point ID of each point included in the area.

端末装置10は、サーバ装置20から地域リストを受信すると(S16)、地点方向判定手段173は、現在位置から撮像方向に地域の少なくとも一部が位置しているか否かを判定する(S17)。
図3は、地点情報に対応した地点を含む地域、及び端末装置10の現在位置を示す図である。図4は、端末装置10のディスプレイ12に表示される拡張現実表示画面30の一例である。
図3において、点Aは、現在位置を示し、矢印は撮像方向を示している。図3に示すように、点Aに位置する端末装置10において、矢印A−1の方向にカメラ11が向けられている場合、地域B−1が撮像方向に位置することになり、矢印A−2の方向にカメラ11が向けられている場合、地域B−2、B−3が撮像方向に位置することになる。
一方、点Aに位置する端末装置10において、矢印A−3の方向にカメラ11が向けられている場合、地点情報に対応した地域(地点内容情報が登録された地点を含む地域)が撮像方向に位置していない。
When the terminal apparatus 10 receives the area list from the server apparatus 20 (S16), the point direction determination unit 173 determines whether or not at least a part of the area is located in the imaging direction from the current position (S17).
FIG. 3 is a diagram illustrating an area including a point corresponding to the point information and a current position of the terminal device 10. FIG. 4 is an example of the augmented reality display screen 30 displayed on the display 12 of the terminal device 10.
In FIG. 3, a point A indicates the current position, and an arrow indicates the imaging direction. As shown in FIG. 3, in the terminal device 10 located at the point A, when the camera 11 is pointed in the direction of the arrow A-1, the area B-1 is located in the imaging direction, and the arrow A- When the camera 11 is directed in the direction of 2, the areas B-2 and B-3 are located in the imaging direction.
On the other hand, in the terminal device 10 located at the point A, when the camera 11 is pointed in the direction of the arrow A-3, the region corresponding to the point information (the region including the point where the point content information is registered) is the imaging direction. Not located.

S17において、「No」と判定された場合、例えば図3において、撮像方向が矢印A−3の方向である場合等では、アイコン33の表示は行わず、後述のS19の処理を実施する。
一方、このS17において、「Yes」と判定された場合、すなわち、地点方向判定手段173により、少なくとも1つ以上の地域が撮像方向にあると判定されると、表示手段178は、図4に示すように、地点情報を有する地域があることを示すアイコン33(アイコン)を撮像画像上に重畳させて表示させる(S18)。
すなわち、表示手段178は、S11により取得された撮像画像31をディスプレイ12上に表示させるとともに、S14の処理により、当該撮像画像31上に、撮像画像内の対象物(施設)に関する対象物情報32を重畳させて表示させる。更に、表示手段178は、S17により撮像方向に地点情報を有する地域がある場合に、S18において、現在位置における撮像方向と、当該地域の位置とに基づいた画面位置に、アイコン33を表示させる。言い換えると、表示手段178は、撮像画像上に、複数の地点を含む領域に対応したアイコン33を表示させる。
なお、図3において、撮像方向が矢印A−2の方向である場合、撮像方向に地点情報を有する地域B−2,B−3が存在することになる。この場合、撮像画像31に対して、それぞれの地点に対応したアイコン33が重畳されて表示される。
また、表示手段178は、アイコン33とともに、地域情報に関連付けられた地域名称を表示させてもよい。この場合、複数のアイコン33が撮像画像31上に重畳された際に、ユーザーは、アイコン33を容易に判別することができる。
If “No” is determined in S17, for example, in FIG. 3, when the imaging direction is the direction of the arrow A-3, the icon 33 is not displayed, and the process of S19 described later is performed.
On the other hand, when it is determined as “Yes” in S17, that is, when the point direction determining unit 173 determines that at least one area is in the imaging direction, the display unit 178 is shown in FIG. As described above, the icon 33 (icon) indicating that there is an area having the point information is superimposed and displayed on the captured image (S18).
That is, the display unit 178 displays the captured image 31 acquired in S11 on the display 12, and the object information 32 related to the object (facility) in the captured image is displayed on the captured image 31 by the process of S14. Are superimposed and displayed. Further, when there is an area having point information in the imaging direction in S17, the display unit 178 displays the icon 33 at a screen position based on the imaging direction at the current position and the position of the area in S18. In other words, the display unit 178 displays the icon 33 corresponding to an area including a plurality of points on the captured image.
In FIG. 3, when the imaging direction is the direction of the arrow A-2, areas B-2 and B-3 having point information in the imaging direction exist. In this case, icons 33 corresponding to the respective points are superimposed on the captured image 31 and displayed.
Further, the display unit 178 may display the area name associated with the area information together with the icon 33. In this case, when a plurality of icons 33 are superimposed on the captured image 31, the user can easily determine the icons 33.

そして、S17において、「No」と判定された場合、又は、S18の処理の後、端末制御手段17は、拡張現実表示処理を継続するか否かを判定する(S19)。S19において、ユーザーの操作手段15の操作により処理を終了させる旨が入力されると(「No」と判定されると)、拡張現実表示処理を終了させる。また、S19において、処理を終了する旨の入力がない場合は、「Yes」と判定し、S11の処理に戻る。すなわち、端末装置10は、撮像方向に変化がない場合は、一定間隔で対象物情報や地点位置情報の取得を行って、情報の更新を行い、撮像方向に変化がある場合は、撮像方向の変化に伴って新たに取得された撮像画像に基づいて、対象物情報や地点位置情報の取得を新たに行う。   If it is determined as “No” in S17 or after the process of S18, the terminal control means 17 determines whether or not to continue the augmented reality display process (S19). In S <b> 19, when an instruction to end the process is input by the user's operation of the operation means 15 (determined as “No”), the augmented reality display process is ended. In S19, if there is no input to end the process, it is determined as “Yes” and the process returns to S11. That is, when there is no change in the imaging direction, the terminal device 10 acquires object information and point position information at regular intervals, updates the information, and when there is a change in the imaging direction, Based on the captured image newly acquired along with the change, the object information and the position position information are newly acquired.

(アイコンが選択された際の処理)
次に、S18において表示される拡張現実表示画面30において、ユーザーの操作手段15の操作により、アイコン33が選択された際の処理について、以下に説明する。
図5は、拡張現実表示画面30において、アイコン33が選択された際に実施される選択地点情報表示画面の表示処理を示すフローチャートである。
拡張現実表示画面30において、ユーザーの操作手段15の操作により、アイコン33が選択されると、地点特定手段174は、選択されたアイコン33に対応した地域を特定し、その地域の代表地点を選択地点として特定する(S101)。
次に、地点情報取得手段175は、選択地点に対応する地域の地点情報を要求する旨の地点情報要求を生成し、サーバ装置20に送信する(S102)。なお、地域リストとともに、地点IDが送信されている場合、選択地点を含む地域に含まれる地点の地点IDを送信してもよい。
(Process when icon is selected)
Next, processing when the icon 33 is selected by the user's operation of the operation means 15 on the augmented reality display screen 30 displayed in S18 will be described below.
FIG. 5 is a flowchart showing the display processing of the selected spot information display screen that is performed when the icon 33 is selected on the augmented reality display screen 30.
When the icon 33 is selected by the user's operation on the augmented reality display screen 30, the point specifying unit 174 specifies a region corresponding to the selected icon 33, and selects a representative point in the region. The point is specified (S101).
Next, the spot information acquisition unit 175 generates a spot information request for requesting spot information of the area corresponding to the selected spot, and transmits it to the server device 20 (S102). In addition, when the point ID is transmitted together with the region list, the point ID of the point included in the region including the selected point may be transmitted.

サーバ装置20の地点情報検索手段221は、地点情報要求を受信すると(S201)、サーバ記憶手段21に記憶された地点情報から、選択地点に対応した地点情報を検索する(S202)。
そして、地点情報送信手段222は、S202で検索された地点情報を端末装置10に送信する(S203)。
When receiving the point information request (S201), the point information search unit 221 of the server device 20 searches for the point information corresponding to the selected point from the point information stored in the server storage unit 21 (S202).
And the spot information transmission means 222 transmits the spot information searched by S202 to the terminal device 10 (S203).

端末装置10の地点情報取得手段175は、サーバ装置20から送信された選択地点に対応した地点情報を受信すると(S103)、その地点情報を端末記憶手段16に記憶する。   When the spot information acquisition unit 175 of the terminal device 10 receives the spot information corresponding to the selected spot transmitted from the server device 20 (S103), the spot information is stored in the terminal storage unit 16.

この後、表示手段178は、選択地点に対応した地点情報を撮像画像31上に重畳させて表示させる地点情報表示処理を実施する。
図6は、アイコン33が選択された際の画像処理を示す図である。図7は、選択地点の地点情報を表示させた拡張現実表示画面(選択地点情報表示画面)の一例である。
この地点情報表示処理では、まず、表示手段178は、図6に示すように、ユーザーの操作手段15の操作により選択されたアイコン33の球体画像を、徐々に拡大させて、アイコン33が画面手前側に近接するようなアニメーション処理を実施する。この時、表示手段178は、対象物情報32を非表示にする。
そして、表示手段178は、図7に示すように、球体状のアイコン33の内部から撮像画像を変化させた撮像画像31を表示させる(S104)。この際、表示手段178は、アイコンの球形状に応じて、撮像画像を湾曲させる画像編集を行い、編集された撮像画像をディスプレイ12上に表示させてもよい。
Thereafter, the display unit 178 performs a spot information display process in which spot information corresponding to the selected spot is superimposed on the captured image 31 and displayed.
FIG. 6 is a diagram illustrating image processing when the icon 33 is selected. FIG. 7 is an example of an augmented reality display screen (selected point information display screen) on which point information of a selected point is displayed.
In this point information display processing, first, as shown in FIG. 6, the display means 178 gradually enlarges the spherical image of the icon 33 selected by the user's operation of the operation means 15 so that the icon 33 is in front of the screen. Execute an animation process that is close to the side. At this time, the display unit 178 hides the object information 32.
Then, as shown in FIG. 7, the display unit 178 displays the captured image 31 in which the captured image is changed from the inside of the spherical icon 33 (S104). At this time, the display unit 178 may perform image editing for curving the captured image in accordance with the spherical shape of the icon, and display the edited captured image on the display 12.

そして、表示領域設定手段176は、アイコン33の内面のうち、ディスプレイ12で表示する表示領域を設定する(S105)。
ここで、アイコン33の内面の座標系は、上述したように、表示領域サイズによって異なる。例えば、地点に対する地点情報が多い場合、全ての地点情報を表示するために表示領域サイズは大きくなる。したがって、表示領域設定手段176は、例えば、1画面内(選択地点情報表示画面34内)に表示される地点内容情報が予め設定された所定数となるように、アイコン33の内面(アイコン画像内面)のうち、ディスプレイ12上に表示させる表示領域を設定する。
この後、表示手段178は、S103により受信した地点情報から、表示位置がS105により設定された表示領域内となる地点情報を抽出し(S106)、図7に示すように、表示位置に従って、撮像画像31上に地点内容情報35を表示させる(S107)。
Then, the display area setting unit 176 sets a display area to be displayed on the display 12 among the inner surfaces of the icon 33 (S105).
Here, as described above, the coordinate system of the inner surface of the icon 33 varies depending on the display area size. For example, when there is a lot of point information for a point, the display area size becomes large in order to display all the point information. Therefore, the display area setting unit 176, for example, the inner surface of the icon 33 (the inner surface of the icon image) so that the point content information displayed in one screen (in the selected spot information display screen 34) becomes a predetermined number. ), A display area to be displayed on the display 12 is set.
Thereafter, the display unit 178 extracts the spot information whose display position is within the display area set in S105 from the spot information received in S103 (S106), and performs imaging according to the display position as shown in FIG. The point content information 35 is displayed on the image 31 (S107).

また、選択地点情報表示画面34において、表示領域設定手段176は、カメラ11の撮像方向により、アイコン画像内面のうち、ディスプレイ12に表示させる領域を変化させる。例えば、撮像方向が東向きから西向きに変化された場合、表示領域設定手段176は、ディスプレイ12に表示されるアイコン画像内面の表示領域のx座標の符号を反転させる。これにより、表示手段178も、ディスプレイ12上に表示させる地点内容情報35を切り替える。
さらに、表示領域設定手段176は、例えばカメラ11のズーム機能により拡大、縮小処理が実施されると、アイコン画像内面のうちディスプレイ12に表示させる表示領域も変化させる。そして、表示手段178は、変化した表示領域に対応して地点内容情報の表示、非表示の切り替え、表示サイズの変更を行う。
例えば、カメラ11により、撮像画像がズームされた場合、表示領域設定手段176は、ディスプレイ12に表示されるアイコン画像内面の表示領域を小さくする。これにより、表示手段178は、表示領域から外れた地点内容情報を非表示とし、表示領域内の地点内容情報を拡大表示させる。
なお、表示領域設定手段176は、カメラ11の撮像方向や、ズーム機能に限られず、ユーザーの操作手段15の操作に応じて表示領域を変化させてもよい。
In addition, on the selected point information display screen 34, the display area setting unit 176 changes the area to be displayed on the display 12 among the inner surfaces of the icon images depending on the imaging direction of the camera 11. For example, when the imaging direction is changed from east to west, the display area setting unit 176 inverts the sign of the x coordinate of the display area on the inner surface of the icon image displayed on the display 12. Thereby, the display means 178 also switches the point content information 35 to be displayed on the display 12.
Further, the display area setting unit 176 changes the display area to be displayed on the display 12 in the inner surface of the icon image when the enlargement / reduction process is performed by the zoom function of the camera 11, for example. Then, the display unit 178 displays the point content information, switches between non-display, and changes the display size corresponding to the changed display area.
For example, when the captured image is zoomed by the camera 11, the display area setting unit 176 reduces the display area on the inner surface of the icon image displayed on the display 12. As a result, the display unit 178 hides the point content information outside the display area, and displays the point content information in the display area in an enlarged manner.
Note that the display area setting unit 176 is not limited to the imaging direction of the camera 11 and the zoom function, and may change the display area according to the operation of the operation unit 15 by the user.

この選択地点情報表示画面34において、表示される地点内容情報としては、図7に示すように、コメント情報や、アイコン等が含まれる。このアイコンには、例えば、選択地点を中心とした所定範囲内に位置する施設の情報や、掲示板等が含まれ、ユーザーの操作手段15の操作により、例えばアイコンが選択された場合、当該アイコンに対応した情報が更に表示される。   In the selected spot information display screen 34, the spot content information to be displayed includes comment information, icons, etc. as shown in FIG. This icon includes, for example, information on a facility located within a predetermined range centered on the selected point, a bulletin board, and the like. Corresponding information is further displayed.

この後、端末装置10は、選択地点情報表示画面34の表示を継続するか否かを判定する(S108)。S108において、ユーザーの操作手段15の操作により選択地点情報表示画面34の表示処理を終了させる旨が入力されると(「No」と判定されると)、図2におけるS11の処理に戻る。
また、S108において、処理を終了する旨の入力がない場合は、「Yes」と判定し、引き続き、S107の地点内容情報の表示を継続する。
Thereafter, the terminal device 10 determines whether or not to continue displaying the selected spot information display screen 34 (S108). In S108, when it is input that the display process of the selected spot information display screen 34 is to be terminated by the user's operation of the operation means 15 (determined as “No”), the process returns to the process of S11 in FIG.
In S108, if there is no input to end the process, it is determined as “Yes”, and the display of the point content information in S107 is continued.

(投稿情報の投稿処理)
次に、図7に示すような選択地点情報表示画面34において、投稿情報が投稿された際の投稿処理について、以下に説明する。
図8は、投稿処理のフローチャートである。
図8に示すように、ディスプレイ12に選択地点情報表示画面34が表示されている際に、ユーザーの操作手段15の操作により、投稿情報が入力されると、投稿情報受付手段177は、当該投稿情報を受け付ける(S111)。
そして、投稿情報受付手段177は、撮像方向検出手段13により検出される撮像方向と、アイコン画像内面との交点座標を取得する(S112)。
この後、投稿情報受付手段177は、投稿情報と、交点座標とを関連付けてサーバ装置20に送信する(S113)。
(Posting information posting process)
Next, posting processing when posting information is posted on the selected spot information display screen 34 as shown in FIG. 7 will be described below.
FIG. 8 is a flowchart of the posting process.
As shown in FIG. 8, when the posting information is input by the operation of the user operating means 15 while the selected spot information display screen 34 is displayed on the display 12, the posting information receiving means 177 Information is received (S111).
Then, the posted information receiving unit 177 acquires the intersection coordinates between the imaging direction detected by the imaging direction detection unit 13 and the inner surface of the icon image (S112).
Thereafter, the posting information receiving means 177 associates the posting information with the intersection coordinates and transmits them to the server device 20 (S113).

サーバ装置20の投稿情報取得手段224は、投稿情報及び交点座標を受信すると(S211)、投稿情報を地点内容情報とし、交点座標を表示位置とした地点情報を生成し、サーバ記憶手段21に記憶する(S212)。また、サーバ装置20は、投稿情報を受け付けた旨の応答信号を端末装置10に送信する(S213)。
これにより、サーバ記憶手段21には、ユーザーにより投稿された投稿情報が蓄積されることになり、サーバ記憶手段21に記憶される地点情報が更新される。
When the posting information acquisition unit 224 of the server device 20 receives the posting information and the intersection coordinates (S211), the posting information acquisition unit 224 generates the point information with the posting information as the point content information and the intersection point coordinates as the display position, and stores it in the server storage unit 21. (S212). In addition, the server device 20 transmits a response signal indicating that the posting information has been received to the terminal device 10 (S213).
As a result, post information posted by the user is accumulated in the server storage unit 21, and the spot information stored in the server storage unit 21 is updated.

端末装置10は、サーバ装置20から応答信号を受信すると(S114)、S102の処理に戻る。すなわち、更新された地点情報を受信してディスプレイ12に表示させる。これにより、投稿情報を反映した選択地点情報表示画面34が表示されることになる。   When receiving the response signal from the server device 20 (S114), the terminal device 10 returns to the process of S102. That is, the updated point information is received and displayed on the display 12. As a result, the selected point information display screen 34 reflecting the posted information is displayed.

[実施形態の作用効果]
本実施形態の拡張現実表示システム1における端末装置10は、撮像画像取得手段171により、カメラ11で撮像された撮像画像を取得し、撮像方向検出手段13により撮像方向を検出し、さらに、対象物情報取得手段172により撮像画像内の対象物に対応した対象物情報を取得する。そして、表示手段178は、ディスプレイ12上に撮像画像31を表示させるとともに、撮像画像31内の対象物に対して対象物名等の対象物情報32を表示させた、拡張現実表示画面30を表示させる。
また、地点特定手段174は、ユーザーの操作手段15の操作によりアイコン33が選択されることで、現在位置から離れた所定の指定地点を選択地点として特定し、地点情報取得手段175は、その選択地点に対応した地域の地点情報を取得する。そして、表示手段178は、取得した地点情報の表示位置と、表示領域設定手段176により設定される表示領域とに基づいて、所定の地点内容情報を、ディスプレイ12の撮像画像31上に重畳させて表示させる。つまり、本実施形態では、表示手段178は、指定地点(所定地域の代表地点)から地点内容情報に対応した地点に向かう方向が、撮像方向の画角内となる地点内情報を、撮像画像上を表示させる。
このため、端末装置10は、撮像画像31上に対象物情報32を重畳させて表示した拡張現実表示画面30に加え、現実空間である撮像画像31上に仮想情報である遠隔地の地点内容情報35を重畳させて表示した選択地点情報表示画面34を表示させることができる。すなわち、現実空間に対する撮像画像31を表示したまま、他の地域の情報をディスプレイ12上に表示させることができるので、現実空間と仮想情報との共有及び連携といった拡張現実技術の特質を失うことなく、他の地域の情報の表示を行うことができる。
[Effects of Embodiment]
The terminal device 10 in the augmented reality display system 1 according to the present embodiment acquires a captured image captured by the camera 11 using the captured image acquisition unit 171, detects the imaging direction using the imaging direction detection unit 13, and further detects the target object. Information acquisition means 172 acquires object information corresponding to the object in the captured image. The display unit 178 displays the augmented reality display screen 30 that displays the captured image 31 on the display 12 and displays the object information 32 such as the object name on the object in the captured image 31. Let
Further, the point specifying unit 174 specifies a predetermined designated point away from the current position as the selected point by selecting the icon 33 by the user's operation of the operating unit 15, and the point information acquiring unit 175 selects the selected point. Get local point information corresponding to the point. Then, the display unit 178 superimposes predetermined point content information on the captured image 31 of the display 12 based on the display position of the acquired spot information and the display area set by the display area setting unit 176. Display. That is, in the present embodiment, the display unit 178 displays the in-point information in which the direction from the designated point (representative point in the predetermined area) to the point corresponding to the point content information is within the angle of view of the imaging direction. Is displayed.
For this reason, in addition to the augmented reality display screen 30 displayed by superimposing the object information 32 on the captured image 31, the terminal device 10 includes point content information of a remote location that is virtual information on the captured image 31 that is a real space. The selected point information display screen 34 displayed by superimposing 35 can be displayed. That is, since the information on other regions can be displayed on the display 12 while the captured image 31 for the real space is displayed, the characteristics of the augmented reality technology such as sharing and cooperation between the real space and the virtual information are not lost. , Information on other regions can be displayed.

本実施形態では、撮像方向検出手段13によりカメラの撮像方向を検出し、現在位置取得手段14により撮像画像が撮像された現在位置を算出する。また、地点方向判定手段173は、サーバ装置20から取得した地点位置情報のリスト、撮像方向、及び現在位置に基づいて、撮像方向に地点情報を有する地域が存在するか否かを判定する。そして、表示手段178は、撮像方向に地点情報を有する地域が存在する場合に、撮像画像31上に地点情報を有する地点がある旨を示すアイコン33を重畳させて表示させる。つまり、撮像方向に、地点情報を有する地点が複数集まる領域(地域)がある場合に、その領域に対応するアイコン33を撮像画像上に表示させる。
このように撮像画像31上にアイコン33が表示されることで、選択可能な指定地点の存在を容易にユーザーに通知することができる。また、撮像方向を変えることで、他の地点に対応したアイコン33を表示させることも可能であり、ユーザーは、現在位置から遠隔地点の方向を容易に確認することができる。
また、本実施形態では、ユーザーの入力操作により、ディスプレイ12に表示されたアイコン33が選択されることで、地点特定手段174は、当該アイコン33に対応する地域に含まれた地点を選択地点として特定する。
このため、例えばメニュー画面等を呼び出して、所望の地点を選択するような処理に対して、容易に遠隔地点を選択することができ、選択地点情報表示画面34を表示させることができる。
In this embodiment, the imaging direction detection unit 13 detects the imaging direction of the camera, and the current position acquisition unit 14 calculates the current position where the captured image is captured. Further, the point direction determination unit 173 determines whether or not there is an area having the point information in the imaging direction based on the list of point position information acquired from the server device 20, the imaging direction, and the current position. The display unit 178 superimposes and displays an icon 33 indicating that there is a point having the point information on the captured image 31 when there is an area having the point information in the imaging direction. That is, when there is a region (region) where a plurality of points having point information gather in the imaging direction, the icon 33 corresponding to the region is displayed on the captured image.
Thus, by displaying the icon 33 on the captured image 31, it is possible to easily notify the user of the presence of a selectable designated point. Further, by changing the imaging direction, it is possible to display the icon 33 corresponding to another point, and the user can easily confirm the direction of the remote point from the current position.
In the present embodiment, when the icon 33 displayed on the display 12 is selected by a user input operation, the point specifying unit 174 selects a point included in the area corresponding to the icon 33 as a selected point. Identify.
For this reason, for example, a remote point can be easily selected for the process of calling a menu screen or the like and selecting a desired point, and the selected point information display screen 34 can be displayed.

本実施形態では、アイコン33は、球体状の画像であり、アイコン33が選択されると、表示手段178は、撮像画像をアイコン33の内部から見た状態に変化させ、そのアイコン33の球体内面(アイコン画像内面)に地点内容情報35を表示させる。
これにより、ユーザーは、現実空間に対する拡張現実情報(対象物情報)が表示されているものであるか、現実空間に対して他の地点の拡張現実情報(地点内容情報)が表示されているものであるかを容易に判別することができる。
In the present embodiment, the icon 33 is a spherical image, and when the icon 33 is selected, the display unit 178 changes the captured image to a state viewed from the inside of the icon 33, and the inner surface of the sphere of the icon 33 is displayed. The point content information 35 is displayed on the inner surface of the icon image.
This allows the user to display augmented reality information (object information) with respect to the real space or to display augmented reality information (point content information) of other points with respect to the real space. Can be easily determined.

本実施形態では、地点内容情報には、アイコン画像内面の座標系における表示位置が関連付けられている。そして、端末装置10は、ディスプレイ12上に表示させるアイコン画像内面の表示領域を設定する表示領域設定手段176を備え、表示手段178は、設定された表示領域内に対応した表示位置の地点内容情報35をディスプレイ12に表示させる。
これにより、複数の地点内容情報を1画面で表示しきれない場合でも、撮像方向を変化させてアイコン画像内面の表示領域を変化させることで、他の地点内容情報を表示させることができる。また、表示領域サイズを地点情報の数に応じて変更してもよく、この場合、より多くの地点内容情報35をユーザーが視認しやすい適切なサイズで表示することができる。
また、表示領域設定手段176は、カメラ11のズーム機能に基づいて、アイコン画像内面の表示領域を拡大又は縮小する。これにより、例えば地点内容情報35の表示サイズが小さい場合には、カメラ11の拡大機能を用いることで、ユーザーにより視認しやすい大きいサイズで地点内容情報35を表示させることができる。
In this embodiment, the point content information is associated with a display position in the coordinate system of the inner surface of the icon image. The terminal device 10 includes a display area setting unit 176 that sets a display area of the inner surface of the icon image to be displayed on the display 12, and the display unit 178 displays the point content information of the display position corresponding to the set display area. 35 is displayed on the display 12.
Thereby, even when a plurality of pieces of point content information cannot be displayed on one screen, the other point content information can be displayed by changing the imaging direction to change the display area on the inner surface of the icon image. Further, the display area size may be changed according to the number of point information. In this case, more point content information 35 can be displayed in an appropriate size that is easy for the user to visually recognize.
The display area setting unit 176 enlarges or reduces the display area on the inner surface of the icon image based on the zoom function of the camera 11. Thereby, for example, when the display size of the spot content information 35 is small, the spot content information 35 can be displayed in a large size that can be easily recognized by the user by using the enlargement function of the camera 11.

本実施形態では、ユーザーの操作手段15の操作に基づいて入力された投稿情報を受け付ける投稿情報受付手段177を備える。そして、投稿情報受付手段177は、投稿情報を受け付けると、撮像方向検出手段13により検出されたカメラ11の撮像方向とアイコン画像内面の座標との交点座標を算出する。そして、サーバ装置20の投稿情報取得手段224は、投稿情報を地点内容情報として、交点座標を表示位置とした地点情報を生成して、サーバ記憶手段21に記憶する。
これにより、ユーザーは、アイコン画像内面の所望の位置に投稿情報を投稿することができ、例えば関連した地点内容情報の近傍に、投稿情報を表示させることができる。
In the present embodiment, post information receiving means 177 for receiving post information input based on the user's operation of the operation means 15 is provided. When the posting information receiving unit 177 receives the posting information, the posting information receiving unit 177 calculates intersection coordinates between the imaging direction of the camera 11 detected by the imaging direction detection unit 13 and the coordinates of the icon image inner surface. Then, the posting information acquisition means 224 of the server device 20 generates the spot information with the posting information as the spot content information and the intersection coordinates as the display position, and stores it in the server storage means 21.
Thereby, the user can post the posting information at a desired position on the inner surface of the icon image, and for example, the posting information can be displayed in the vicinity of the related spot content information.

本実施形態では、表示手段178は、ディスプレイ12に拡張現実表示画面30から選択地点情報表示画面34に切り替える際、拡張現実表示画面30の対象物情報32を非表示にする。これにより、現実空間の撮像画像内の対象物に対する対象物情報32と、現在位置から離れた遠隔地における地点内容情報とが混ざり合うことがなく、情報の視認性を良好にできる。   In the present embodiment, the display unit 178 hides the object information 32 on the augmented reality display screen 30 when switching from the augmented reality display screen 30 to the selected spot information display screen 34 on the display 12. Thereby, the object information 32 on the object in the captured image in the real space and the point content information in the remote place away from the current position are not mixed, and the information visibility can be improved.

[他の実施形態]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上記実施形態では、拡張現実表示装置である端末装置10と、サーバ装置20とにより、本発明の拡張現実表示システム1を構成する例を示したが、端末装置単体でも本発明の拡張現実表示装置として機能させることができる。この場合、サーバ装置20のサーバ記憶手段21に記憶された地点情報、対象物情報を端末記憶手段16に記憶する。また、端末装置10の端末制御手段17は、更に、端末記憶手段16に記憶されたプログラムを実行することで、地点情報検索手段221として機能する。この場合でも、上記実施形態と同様に、現実空間に対応した撮像画像の対象物情報の表示と、遠隔地点に対応した地点内容情報の表示とを、撮像画像上で行うことができる。また、他の端末装置から送信された投稿情報を、サーバ装置を介して取得することで、投稿情報の逐次更新をも行うことができる。
[Other Embodiments]
In addition, this invention is not limited to embodiment mentioned above, In the range which can achieve the objective of this invention, the deformation | transformation shown below is also included.
For example, in the above-described embodiment, the example in which the augmented reality display system 1 of the present invention is configured by the terminal device 10 that is an augmented reality display device and the server device 20 is shown. It can function as a display device. In this case, the point information and the object information stored in the server storage unit 21 of the server device 20 are stored in the terminal storage unit 16. Further, the terminal control unit 17 of the terminal device 10 further functions as the point information search unit 221 by executing a program stored in the terminal storage unit 16. Even in this case, the display of the object information of the captured image corresponding to the real space and the display of the point content information corresponding to the remote point can be performed on the captured image as in the above embodiment. Moreover, the posting information transmitted from other terminal devices can be acquired via the server device, whereby the posting information can be updated sequentially.

上記実施形態では、表示手段178は、予め設定された地域に対応したアイコン33を、現在位置及び撮像方向に基づいてディスプレイ12上の撮像画像に表示させる例を示したが、これに限定されない。例えば、地点情報を有する地点の分布状態に基づいて、地点情報を有する地点が、所定範囲内に複数存在する場合に、その領域に対応するアイコン33を撮像画像上に表示させる処理をしてもよい。   In the above embodiment, the display unit 178 has shown an example in which the icon 33 corresponding to a preset region is displayed on the captured image on the display 12 based on the current position and the imaging direction, but the present invention is not limited to this. For example, when there are a plurality of points having the point information within a predetermined range based on the distribution state of the points having the point information, the icon 33 corresponding to the region may be displayed on the captured image. Good.

また、地点特定手段174により特定される指定地点として、予め設定された地域の代表地点に限定されず、ユーザーが任意に指定した指定地点であってもよい。この場合、サーバ装置20は、例えば、指定地点を中心とした所定の距離範囲内の地点(地点情報を有する地点)を検索し、検索された地点に対応した地点情報を端末装置10に送信すればよい。   Further, the designated point specified by the point specifying unit 174 is not limited to a representative point in a preset region, and may be a designated point arbitrarily designated by the user. In this case, for example, the server device 20 searches for a point (a point having point information) within a predetermined distance range centered on the specified point, and transmits the point information corresponding to the searched point to the terminal device 10. That's fine.

上記実施形態では、アイコンとして球体状のアイコン33を例示したが、例えば立方体等の他の立体画像のアイコンを用いてもよい。
さらに、アイコンとして立体画像を用いず、撮像画像を変形させずに、地点内容情報を表示させる構成としてもよい。この場合でも、例えば対象物情報を非表示にした上で地点内容情報を表示させることで、対象物情報と地点内容情報との混同を回避できる。
また、現在位置と撮像方向に基づいて、撮像方向に地点情報を有する地点が含まれる地域が存在する場合にアイコン33を撮像画像上に表示させる例を示したが、例えば、選択可能な地域(選択可能な指定地点)を別画面で表示させる構成としてもよく、撮像画像上に一覧表示させる構成としてもよい。
In the above-described embodiment, the spherical icon 33 is exemplified as the icon. However, for example, an icon of another stereoscopic image such as a cube may be used.
Furthermore, it is good also as a structure which displays a point content information, without using a stereo image as an icon and without changing a captured image. Even in this case, for example, by concealing the object information and displaying the point content information, confusion between the object information and the point content information can be avoided.
Moreover, although the example which displays the icon 33 on a captured image when the area | region where the point which has point information in an imaging direction exists based on the present position and an imaging direction was shown, for example, the selectable area ( (Selectable designated points) may be displayed on a separate screen, or a list may be displayed on the captured image.

上記実施形態において、S25の処理で、サーバ装置20は、地点位置情報のリストを端末装置10に送信するとしたが、例えば、地点情報のリストを端末装置10に送信してもよい。但し、全ての地点情報を送信すると送信データサイズが大きくなり、通信時間が長くなることが考えられる。この場合、例えば、端末装置10において、ユーザーの操作により、地点情報を取得する範囲(例えば、現在位置からの距離)を設定可能とし、設定された範囲のみの地点情報を取得する処理をしてもよい。   In the above-described embodiment, the server device 20 transmits the point location information list to the terminal device 10 in the process of S25. However, for example, the point information list may be transmitted to the terminal device 10. However, if all the point information is transmitted, the transmission data size increases, and the communication time may be longer. In this case, for example, in the terminal device 10, a range for acquiring point information (for example, a distance from the current position) can be set by a user operation, and processing for acquiring point information for only the set range is performed. Also good.

また、表示手段178は、拡張現実表示画面30において、撮像方向に複数の地点情報を有する地点が存在する場合に、ユーザーにより設定された距離範囲内の地点に対応したアイコン33のみを撮像画像31に重畳させて表示させてもよい。この場合、例えば表示手段178は、撮像画像31上に、アイコン33として表示する地点の距離を切り替えるためのアイコンを表示させ、ユーザーにより当該アイコンが選択されることで、表示するアイコン33を切り替える構成等が例示できる。   The display unit 178 displays only the icon 33 corresponding to the point within the distance range set by the user when there is a point having a plurality of pieces of point information in the imaging direction on the augmented reality display screen 30. You may superimpose on and display. In this case, for example, the display unit 178 displays an icon for switching the distance of the spot to be displayed as the icon 33 on the captured image 31, and the icon 33 is switched by the user selecting the icon. Etc. can be illustrated.

また、投稿情報の表示位置として、撮像方向とアイコン画像内面との交点座標を取得する例を示したが、これに限定されない。例えば、現在位置と、選択地点の地点座標に基づいて、投稿情報(地点内容情報)の表示位置を設定してもよい。例えば、選択地点の座標位置を中心地点とし、この中心地点から現在位置に向かう方向とアイコン画像内面との交点を表示位置としてもよい。   Moreover, although the example which acquires the intersection coordinate of an imaging direction and the icon image inner surface was shown as a display position of contribution information, it is not limited to this. For example, the display position of the posted information (point content information) may be set based on the current position and the point coordinates of the selected point. For example, the coordinate position of the selected point may be the central point, and the intersection of the direction from the central point toward the current position and the inner surface of the icon image may be the display position.

表示手段178が、地点情報が有する表示位置と、アイコン画像内面における座標系に基づいて、地点内容情報が表示される例を示したが、これに限定されない。例えば、アイコン画像内面の座標系とは関係なく、地点内容情報を表示させてもよい。この場合でも、地点特定手段174により特定された指定地点から地点情報に対応した地点に向かう方向が、撮像方向と同方向となる地点内容情報を、撮像画像上に重畳させて表示することがで、上記実施形態と同様の効果が得られる。
また、一画面で表示できない多数の地点内容情報が存在する場合、例えば、表示を切り替える旨のアイコン等を表示させ、ユーザーの操作手段15の操作によりアイコンが選択されることで、ディスプレイ12に表示させる地点内容情報を切り替えてもよい。
Although the display means 178 showed the example in which point content information is displayed based on the display position which point information has, and the coordinate system in the icon image inner surface, it is not limited to this. For example, the point content information may be displayed regardless of the coordinate system on the inner surface of the icon image. Even in this case, the point content information in which the direction from the designated point specified by the point specifying unit 174 to the point corresponding to the point information is the same as the imaging direction can be displayed superimposed on the captured image. The same effect as the above embodiment can be obtained.
Further, when there are a large number of pieces of point content information that cannot be displayed on one screen, for example, an icon for switching the display is displayed, and the icon is selected by the operation of the user operation means 15 to be displayed on the display 12. The point content information to be switched may be switched.

また、端末制御手段17が、端末記憶手段16に記憶されたプログラムを読み込んで実行することで、撮像画像取得手段171、対象物情報取得手段172、地点方向判定手段173、地点特定手段174、地点情報取得手段175、表示領域設定手段176、投稿情報受付手段177、及び表示手段178として機能する例を示したが、これに限定されない。例えば、上記のような各種機能を有するICチップ等を配置し、ハードウェアとして各構成を有するものであってもよい。地点情報検索手段221、地点情報送信手段222、対象物情報送信手段223、及び投稿情報取得手段224においても同様である。   Further, the terminal control unit 17 reads and executes the program stored in the terminal storage unit 16, so that the captured image acquisition unit 171, the object information acquisition unit 172, the point direction determination unit 173, the point identification unit 174, Although the example which functions as the information acquisition means 175, the display area setting means 176, the contribution information reception means 177, and the display means 178 was shown, it is not limited to this. For example, an IC chip having various functions as described above may be arranged and each component may be configured as hardware. The same applies to the spot information search means 221, the spot information transmission means 222, the object information transmission means 223, and the posted information acquisition means 224.

その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。   In addition, the specific structure and procedure for carrying out the present invention can be appropriately changed to other structures and the like within a range in which the object of the present invention can be achieved.

1…拡張現実表示システム、2…ネットワーク、10…端末装置、11…カメラ、12…ディスプレイ(表示部)、13…撮像方向検出手段、14…現在位置取得手段、15…操作手段、16…端末記憶手段、17…端末制御手段、20…サーバ装置、21…サーバ記憶手段(地点情報記憶手段、対象物情報記憶手段)、30…拡張現実表示画面、31…撮像画像、32…対象物情報、33…アイコン、34…選択地点情報表示画面、35…地点内容情報、171…撮像画像取得手段、172…対象物情報取得手段、173…地点方向判定手段、174…地点特定手段、175…地点情報取得手段、176…表示領域設定手段、177…投稿情報受付手段、178…表示手段、221…地点情報検索手段、224…投稿情報取得手段。   DESCRIPTION OF SYMBOLS 1 ... Augmented reality display system, 2 ... Network, 10 ... Terminal device, 11 ... Camera, 12 ... Display (display part), 13 ... Imaging direction detection means, 14 ... Current position acquisition means, 15 ... Operation means, 16 ... Terminal Storage means, 17 ... terminal control means, 20 ... server device, 21 ... server storage means (point information storage means, object information storage means), 30 ... augmented reality display screen, 31 ... captured image, 32 ... object information, 33 ... Icon, 34 ... Selected point information display screen, 35 ... Point content information, 171 ... Captured image acquisition means, 172 ... Object information acquisition means, 173 ... Point direction determination means, 174 ... Point identification means, 175 ... Point information Acquisition means, 176 ... display area setting means, 177 ... post information receiving means, 178 ... display means, 221 ... point information search means, 224 ... post information acquisition means.

Claims (10)

カメラにより撮像される撮像画像を取得する撮像画像取得手段と、
前記カメラが向けられた方向を撮像方向として検出する撮像方向検出手段と、
ユーザーの入力操作に基づいて、所定の指定地点を特定する地点特定手段と、
地点に関連した内容を示す地点内容情報を記憶する地点情報記憶手段から、前記指定地点を含む所定範囲内にある地点に対応した地点内容情報を取得する地点内容情報取得手段と、
画像を表示する表示部に、複数の地点を含み、かつ、前記撮像画像が取得された現在位置が含まれる領域とは異なる遠隔領域に対応したアイコンを重畳して表示させた前記撮像画像を表示させる表示手段と、を備え、
前記地点内容情報取得手段は、ユーザーの入力操作により前記アイコンが選択されると、当該アイコンに対応する遠隔領域に含まれる地点に対応した前記地点内容情報を取得し、
前記表示手段は、前記表示部に前記アイコンが重畳して表示された前記撮像画像を表示させ、前記地点内容情報取得手段により前記地点内容情報が取得されると、前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である前記地点内容情報を、前記撮像画像に重畳させて表示させる
ことを特徴とする拡張現実表示装置。
Captured image acquisition means for acquiring a captured image captured by the camera;
Imaging direction detection means for detecting a direction in which the camera is directed as an imaging direction;
A point identifying means for identifying a predetermined designated point based on a user input operation;
Point content information acquisition means for acquiring point content information corresponding to a point within a predetermined range including the designated point, from point information storage means for storing point content information indicating content related to the point;
A display unit for displaying an image, viewed contains a plurality of points, and the captured image displayed by superimposing the icon corresponding to different remote region from the region in which the captured image is included by the obtained current position Display means for displaying,
When the icon is selected by a user input operation, the spot content information acquisition unit acquires the spot content information corresponding to a spot included in a remote area corresponding to the icon,
The display unit displays the captured image displayed with the icon superimposed on the display unit, and when the point content information is acquired by the point content information acquisition unit, the point content information from the designated point. The augmented reality display device, wherein the point content information whose direction toward the point corresponding to is the same direction as the imaging direction is superimposed on the captured image.
請求項1に記載の拡張現実表示装置において、
前記表示手段は、前記撮像方向に前記遠隔領域の少なくとも一部が位置する場合、前記撮像画像に当該遠隔領域に対応した前記アイコンを表示させる
ことを特徴とする拡張現実表示装置。
The augmented reality display device according to claim 1,
The augmented reality display device, wherein when at least a part of the remote area is located in the imaging direction, the display means displays the icon corresponding to the remote area in the captured image.
請求項1または請求項2に記載の拡張現実表示装置において、
前記アイコンは立体物の画像であり、
前記表示手段は、ユーザーの入力操作により前記アイコンが選択されると、前記立体物の内部から前記撮像画像を見た状態で前記撮像画像を表示させ、かつ、前記立体物の内面に前記地点内容情報を表示させる
ことを特徴とする拡張現実表示装置。
The augmented reality display device according to claim 1 or 2,
The icon is a three-dimensional image,
When the icon is selected by a user input operation, the display means displays the captured image in a state where the captured image is viewed from the inside of the three-dimensional object, and the content of the spot on the inner surface of the three-dimensional object An augmented reality display device characterized by displaying information.
請求項3に記載の拡張現実表示装置において、
前記地点内容情報には、前記立体物の内面における当該地点内容情報の表示位置が関連付けられており、
前記拡張現実表示装置は、
前記撮像方向に基づいて、前記立体物の内面のうち前記表示部に表示させる表示領域を設定する表示領域設定手段を備え、
前記表示手段は、前記地点内容情報の表示位置が前記表示領域設定手段により設定された領域内に対応した前記表示位置の前記地点内容情報を、前記表示位置に基づいて表示させる
ことを特徴とする拡張現実表示装置。
The augmented reality display device according to claim 3,
The point content information is associated with a display position of the point content information on the inner surface of the three-dimensional object,
The augmented reality display device includes:
A display area setting unit configured to set a display area to be displayed on the display unit among the inner surfaces of the three-dimensional object based on the imaging direction;
The display means displays the point content information of the display position corresponding to the area where the display position of the point content information is set by the display area setting means based on the display position. Augmented reality display device.
請求項4に記載の拡張現実表示装置において、
ユーザーの入力操作により入力された前記地点に対する投稿情報を受け付ける投稿情報受付手段と、
前記投稿情報受付手段により受け付けた前記投稿情報を前記地点内容情報とし、前記撮像画像取得手段の撮像方向と前記立体物の内面との交差位置を前記表示位置として前記地点内容情報に関連付けて前記地点情報記憶手段に記憶する投稿情報取得手段と、
を備える
ことを特徴とする拡張現実表示装置。
The augmented reality display device according to claim 4,
Post information receiving means for receiving post information for the point input by the user's input operation;
The posted information received by the posted information receiving means is used as the spot content information, and an intersection position between the imaging direction of the captured image acquisition means and the inner surface of the three-dimensional object is associated with the spot content information as the display position. Posting information acquisition means stored in the information storage means;
An augmented reality display device comprising:
請求項1から請求項5のいずれか1項に記載の拡張現実表示装置において、
対象物に関する対象物情報を複数記憶する対象物情報記憶手段から、前記撮像画像内に存在する対象物に対応した前記対象物情報を取得する対象物情報取得手段を備え、
前記表示手段は、前記地点特定手段により前記地点が特定されていない場合に、前記撮像画像に前記対象物情報を重畳させて表示させ、前記地点特定手段により前記地点が特定され、前記地点内容情報が取得されると、前記対象物情報を非表示にして、取得された前記地点内容情報を前記撮像画像に重畳させて表示させる
ことを特徴とする拡張現実表示装置。
The augmented reality display device according to any one of claims 1 to 5,
From object information storage means for storing a plurality of object information relating to the object, comprising object information acquisition means for acquiring the object information corresponding to the object existing in the captured image;
The display means displays the target information superimposed on the captured image when the spot is not specified by the spot specifying means, the spot is specified by the spot specifying means, and the spot content information is displayed. Is acquired, the object information is hidden and the acquired point content information is displayed superimposed on the captured image.
請求項1から請求項6のいずれか1項に記載の拡張現実表示装置と、前記拡張現実表示装置と通信可能なサーバ装置とを備えた拡張現実表示システムであって、
前記サーバ装置は、
地点に関する地点内容情報を複数記憶する地点情報記憶手段と、
前記地点特定手段により特定された前記地点に対応した地点内容情報を検索する地点情報検索手段と、
検索された前記地点内容情報を前記拡張現実表示装置に送信する地点情報送信手段と、を備え、
前記地点内容情報取得手段は、前記地点情報送信手段により送信された前記地点内容情報を取得する
ことを特徴とする拡張現実表示システム。
An augmented reality display system comprising the augmented reality display device according to any one of claims 1 to 6 and a server device capable of communicating with the augmented reality display device,
The server device
Point information storage means for storing a plurality of pieces of point content information regarding points;
Point information searching means for searching for point content information corresponding to the point specified by the point specifying means;
Point information transmitting means for transmitting the searched point content information to the augmented reality display device,
The said point content information acquisition means acquires the said point content information transmitted by the said point information transmission means. The augmented reality display system characterized by the above-mentioned.
請求項7に記載の拡張現実表示システムにおいて、
前記拡張現実表示装置は、
ユーザーの入力操作により入力された前記地点に対する投稿情報を受け付ける投稿情報受付手段と、
前記投稿情報を前記サーバ装置に送信する投稿情報送信手段と、を備え、
前記サーバ装置は、
前記投稿情報送信手段により送信された前記投稿情報に基づいて前記地点内容情報を生成し、前記地点情報記憶手段に記憶する地点情報更新手段を備える
ことを特徴とする拡張現実表示システム。
The augmented reality display system according to claim 7,
The augmented reality display device includes:
Post information receiving means for receiving post information for the point input by the user's input operation;
Posting information transmitting means for transmitting the posted information to the server device,
The server device
An augmented reality display system comprising: spot information updating means for generating the spot content information based on the posted information transmitted by the posted information transmitting means and storing it in the spot information storage means.
コンピューターにより、拡張現実表示を実施する拡張現実表示方法であって、
前記コンピューターは、
カメラにより撮像される撮像画像を取得する撮像画像取得ステップと、
前記カメラが向けられた方向を撮像方向として検出する撮像方向検出ステップと、
ユーザーの入力操作に基づいて、所定の指定地点を特定する地点特定ステップと、
地点に関連した内容を示す地点内容情報を記憶する地点情報記憶手段から、前記指定地点を含む所定範囲内にある地点に対応した地点内容情報を取得する地点内容情報取得ステップと、
画像を表示する表示部に、複数の地点を含み、かつ、前記撮像画像が取得された現在位置が含まれる領域とは異なる遠隔領域に対応したアイコンを重畳して表示させた前記撮像画像を表示させる表示ステップと、を実施し、
前記地点内容情報取得ステップは、ユーザーの入力操作により前記アイコンが選択されると、当該アイコンに対応する遠隔領域に含まれる地点に対応した前記地点内容情報を取得し、
前記表示ステップは、前記表示部に前記アイコンが重畳して表示された前記撮像画像を表示させ、前記地点内容情報取得ステップにより前記地点内容情報が取得されると、前記指定地点から前記地点内容情報に対応する地点に向かう方向が、前記撮像方向と同方向である前記地点内容情報を、前記撮像画像に重畳させて表示させる
ことを特徴とする拡張現実表示方法。
An augmented reality display method for performing augmented reality display by a computer,
The computer
A captured image acquisition step of acquiring a captured image captured by the camera;
An imaging direction detection step of detecting a direction in which the camera is directed as an imaging direction;
A point identification step for identifying a predetermined designated point based on a user input operation;
A point content information acquisition step for acquiring point content information corresponding to a point within a predetermined range including the designated point, from point information storage means for storing point content information indicating content related to the point;
A display unit for displaying an image, viewed contains a plurality of points, and the captured image displayed by superimposing the icon corresponding to different remote region from the region in which the captured image is included by the obtained current position A display step to display, and
In the point content information acquisition step, when the icon is selected by a user input operation, the point content information corresponding to a point included in a remote area corresponding to the icon is acquired,
The display step displays the captured image displayed with the icon superimposed on the display unit, and the point content information is acquired from the designated point when the point content information is acquired by the point content information acquisition step. The augmented reality display method, wherein the point content information whose direction toward the point corresponding to is the same direction as the imaging direction is superimposed on the captured image.
コンピューターを、請求項1から請求項6のいずれか1項に記載の拡張現実表示装置として機能させることを特徴とする拡張現実表示プログラム。   An augmented reality display program for causing a computer to function as the augmented reality display device according to any one of claims 1 to 6.
JP2012139961A 2012-06-21 2012-06-21 Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program Active JP5705793B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012139961A JP5705793B2 (en) 2012-06-21 2012-06-21 Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012139961A JP5705793B2 (en) 2012-06-21 2012-06-21 Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program

Publications (2)

Publication Number Publication Date
JP2014006582A JP2014006582A (en) 2014-01-16
JP5705793B2 true JP5705793B2 (en) 2015-04-22

Family

ID=50104269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012139961A Active JP5705793B2 (en) 2012-06-21 2012-06-21 Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program

Country Status (1)

Country Link
JP (1) JP5705793B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145544A1 (en) * 2014-03-24 2015-10-01 パイオニア株式会社 Display control device, control method, program, and storage medium
CN108509044A (en) * 2018-03-29 2018-09-07 天津城建大学 School history information displaying method and system based on augmented reality and location-based service
US20220057636A1 (en) * 2019-01-24 2022-02-24 Maxell, Ltd. Display terminal, application control system and application control method
CN111915745A (en) * 2020-09-14 2020-11-10 国网上海市电力公司 Underground pipeline display device based on augmented reality

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5244012B2 (en) * 2009-03-31 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ Terminal device, augmented reality system, and terminal screen display method
JP5315111B2 (en) * 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ Terminal device, information presentation system, and terminal screen display method
JPWO2011004608A1 (en) * 2009-07-09 2012-12-20 頓智ドット株式会社 A system that can display virtual information added to view information
KR101303948B1 (en) * 2010-08-13 2013-09-05 주식회사 팬택 Apparatus and Method for Providing Augmented Reality Information of invisible Reality Object

Also Published As

Publication number Publication date
JP2014006582A (en) 2014-01-16

Similar Documents

Publication Publication Date Title
US9916673B2 (en) Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US9582166B2 (en) Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US8319772B2 (en) 3D layering of map metadata
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
US9488488B2 (en) Augmented reality maps
US20140320674A1 (en) Providing navigation information to a point of interest on real-time street views using a mobile device
US20110161875A1 (en) Method and apparatus for decluttering a mapping display
US20130314398A1 (en) Augmented reality using state plane coordinates
US20220076469A1 (en) Information display device and information display program
JP2012198668A (en) Information processing device, augmented reality provision method and program
JP5705793B2 (en) Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program
JP2011166589A (en) Portable terminal and information presentation method
KR20150088662A (en) Method and apparatus for providing mobile navigation service used augmented reality singularity
KR102583243B1 (en) A method for guiding based on augmented reality using mobile device
JP4710217B2 (en) Information presenting apparatus, information presenting method, information presenting system, and computer program
JP5513806B2 (en) Linked display device, linked display method, and program
JP7065455B2 (en) Spot information display system
KR20120014976A (en) Augmented reality apparatus using position information
JP5357966B2 (en) Information system, server device, terminal device, information processing method, and program
JP5578719B2 (en) Information system, terminal device, advertisement output method, and program
JP6431494B2 (en) User terminal and program
JP2019002747A (en) Destination specification system
JP5965515B2 (en) Information processing apparatus, augmented reality providing method, and program
JP2014021802A (en) Search system, search server and program for portable terminal
WO2021200187A1 (en) Portable terminal, information processing method, and storage medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150225

R150 Certificate of patent or registration of utility model

Ref document number: 5705793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250