[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021172137A1 - コンテンツ共有システム及び端末 - Google Patents

コンテンツ共有システム及び端末 Download PDF

Info

Publication number
WO2021172137A1
WO2021172137A1 PCT/JP2021/005962 JP2021005962W WO2021172137A1 WO 2021172137 A1 WO2021172137 A1 WO 2021172137A1 JP 2021005962 W JP2021005962 W JP 2021005962W WO 2021172137 A1 WO2021172137 A1 WO 2021172137A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
user
destination candidate
shared
candidate user
Prior art date
Application number
PCT/JP2021/005962
Other languages
English (en)
French (fr)
Inventor
林 宏樹
大関 江利子
後藤 修
真治 木村
幹生 岩村
泰士 山本
Original Assignee
株式会社Nttドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttドコモ filed Critical 株式会社Nttドコモ
Publication of WO2021172137A1 publication Critical patent/WO2021172137A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Definitions

  • One aspect of the present invention relates to a content sharing system and a terminal.
  • Document 1 describes a technique for displaying AR (Augmented Reality) content, which is a specific image in a virtual space, according to the position of a user terminal.
  • AR Augmented Reality
  • AR content is displayed around the sharing source user, and the AR content is shared with the sharing destination.
  • One aspect of the present invention has been made in view of the above circumstances, and an object of the present invention is to easily share content with an appropriate user as a sharing destination.
  • the content sharing system includes a first storage unit that stores spatial structure data representing the shape of an object at a position on a virtual space corresponding to the position of the object in the real space, and a content sharing destination candidate user.
  • Content sharing destination candidate users based on the estimation unit that estimates the position and viewing direction, the acquisition unit that acquires the display position of AR content, the position of the content sharing destination candidate user, the spatial structure data, and the display position of the AR content.
  • the content is determined by the first determination unit that determines whether or not the spatial structure data does not block the AR content.
  • the second determination unit that determines whether or not the sharing destination candidate user is in the second state of visually recognizing the AR content direction, the first determination unit determines that the first state is present, and the second determination unit determines that the first state is present. Only when it is determined that the second state is provided, the AR content is displayed at the display position of the AR content on the terminal of the content sharing destination candidate user, and a display unit for sharing the AR content with the content sharing destination candidate user is provided. ..
  • the spatial structure data considering the position and shape of the object in the real space, and the display position of the AR content.
  • Whether or not to share the AR content with the content sharing destination candidate user is determined.
  • the AR content is the content sharing destination only when the spatial structure data does not block between the content sharing destination candidate user and the AR content and the content sharing destination candidate user is visually recognizing the AR content direction. Shared with candidate users.
  • the case where the spatial structure data does not block between the content sharing destination candidate user and the AR content means that the content sharing destination candidate user and the AR content are spatially communicated (when not blocked by a wall or the like). be. Further, the case where the content sharing destination candidate user is visually recognizing the AR content direction is the case where the content sharing destination candidate user is paying attention to the AR content direction. In this way, users (user groups) who are paying attention to a specific area in the same unobstructed space are users who gather for a common purpose, such as users who are attending a common meeting or a meeting. Is assumed to be.
  • the spatial structure data does not block the AR content, and the AR content is shared only with the user who is visually recognizing the direction of the AR content, so that the AR content is gathered for a common purpose.
  • AR content will be shared only to users.
  • the content can be shared with an appropriate user as a sharing destination.
  • a content sharing method for example, a user who cannot see the AR content in the first place because it is blocked by a wall or the like, or a user who does not see the direction of the AR content (not gathered for the same purpose) automatically. Therefore, it is not necessary to select a user to share, and content sharing can be easily performed.
  • content sharing system according to one aspect of the present invention, content can be easily shared with an appropriate user as a sharing destination.
  • the content can be easily shared with an appropriate user as a sharing destination.
  • FIG. 1 is a diagram for explaining the outline of the AR (Augmented Reality) system 1 according to the present embodiment.
  • the AR system 1 shown in FIG. 1 is a system that displays AR contents according to the position of the communication terminal 50 (terminal).
  • the AR system 1 includes a positioning server 10, a content server 20, and a communication terminal 50. Note that FIG. 1 shows only a part of the configurations included in the AR system 1 for convenience of explanation. The detailed configuration of the AR system 1 will be described later with reference to FIG.
  • the image data captured by the communication terminal 50 is transmitted to the positioning server 10.
  • an image of a building is exemplified as image data captured by the communication terminal 50.
  • the positioning server 10 acquires global position information based on the image data captured by the communication terminal 50 (details will be described later), and transmits the global position information to the communication terminal 50.
  • the global position information is position information (absolute position information) indicated by a common coordinate system that can be used by any device, and may include position / direction / tilt information.
  • the communication terminal 50 acquires the position and the like of itself (specifically, its own camera that captures image data) by acquiring global position information from the positioning server 10.
  • the communication terminal 50 transmits the acquired global location information to the content server 20.
  • the content server 20 acquires AR content according to the global location information (details will be described later), and transmits the AR content according to the global location information to the communication terminal 50.
  • FIG. 1 an image of a girl is illustrated as AR content according to global location information.
  • the AR system 1 displays the AR content according to the position of the communication terminal 50.
  • FIG. 2 is a block diagram showing a functional configuration of the AR system 1 according to the present embodiment.
  • the AR system 1 includes a spatial structure server 30 in addition to the positioning server 10, the content server 20, and the communication terminal 50 described above.
  • a mode in which AR content is shared among a plurality of communication terminals 50 included in the AR system 1 (that is, a mode in which the AR system 1 is a content sharing system) will be described.
  • the communication terminal 50 of the content sharing source user will be referred to as a communication terminal 60
  • the communication terminal 50 of the content sharing destination candidate user will be described as a communication terminal 70, and functions different from each other will be described.
  • they have mutual functions and can be a communication terminal 60 or a communication terminal 70 depending on the situation (that is, the communication terminal 50 of the content sharing source user and the communication terminal of the content sharing destination candidate user). It may be as high as 50).
  • the positioning server 10 has a storage unit 11 (second storage unit) and a positioning unit 12 as functional components.
  • the storage unit 11 stores the map data 100.
  • the feature amount for example, the luminance direction vector
  • the global position information which is the absolute position information associated with the feature points.
  • the map data 100 is preliminarily imaged by a stereo camera (not shown) or the like capable of simultaneously capturing an object from a plurality of different directions, and is generated based on a large number of captured images.
  • the feature point is a point that is prominently detected in the image, and is, for example, a point whose brightness (intensity) is larger (or smaller) than that of other regions.
  • the global position information of the feature points is the global position information set in association with the feature points, and is the global position information in the real world about the region indicated by the feature points in the image. It should be noted that the association of the global position information with each feature point can be performed by a conventionally known method.
  • the storage unit 11 stores three-dimensional position information as global position information of the feature points of the map data 100.
  • the storage unit 11 stores, for example, the latitude, longitude, and height of the feature points as three-dimensional global position information of the feature points.
  • the storage unit 11 may store a plurality of divided map data divided for each fixed area according to the global position information of the map data 100.
  • the positioning unit 12 is based on the captured image captured by the communication terminals 60 and 70 and the map data 100 stored in the storage unit 11, and the global communication terminals 60 and 70 at the time of imaging by the communication terminals 60 and 70 are global. Estimate position information (three-dimensional position information). Specifically, the positioning unit 12 matches the feature points of the map data 100 with the feature points of the captured images captured by the communication terminals 60 and 70, and the map data 100 corresponding to the captured captured images. Identify the area. Then, the positioning unit 12 determines the imaging position of the captured image (that is, the global position information of the communication terminals 60 and 70 at the time of imaging) based on the global position information associated with the feature points of the map data 100 related to the specified area. To estimate.
  • the positioning unit 12 transmits the positioning result to the communication terminals 60 and 70.
  • the positioning unit 12 may acquire global position information based on the captured images captured by the communication terminals 60 and 70 at regular intervals, or may be captured at the timing of receiving instructions from the communication terminals 60 and 70. Global position information may be acquired based on the captured image.
  • the content server 20 has a storage unit 21 and a specific unit 22 as functional components.
  • the storage unit 21 stores the data 200 in which the global location information and the AR content are associated with each other.
  • the storage unit 21 links the data 200 with the AR content, information on whether or not the shared AR content is used, information on the user who can share the shared AR content, the adjusted display position of the AR content, and
  • the shareable distance of AR contents is memorized. These information are information acquired from the communication terminal 60 of the content sharing source user (details will be described later).
  • the shareable distance may be set to a default distance (for example, 5 m) if it is not specified by the user of the communication terminal 60 (content sharing source user).
  • the identification unit 22 specifies AR content according to the global location information of the communication terminals 60 and 70 based on the global location information transmitted from the communication terminals 60 and 70 and the data 200 stored in the storage unit 21. do.
  • the specific unit 22 transmits (outputs) the specified AR content to the communication terminals 60 and 70.
  • the specific unit 22 specifies the shared AR content based on the global location information transmitted from the communication terminal 70, the information of the shared AR content (shared AR content, display position of the shared AR content, and shared AR). Information including the shareable distance of the content) is transmitted to the communication terminal 70 (details will be described later).
  • the identification unit 22 may periodically specify the AR content based on the global location information of the communication terminals 60 and 70 at predetermined time intervals, or the communication terminal may specify the AR content at the timing of receiving the instruction from the communication terminals 60 and 70.
  • AR content may be specified based on 60,70 global location information.
  • the spatial structure server 30 specifies the spatial structure data according to the global location information based on the global location information transmitted from the communication terminal 70.
  • the spatial structure server 30 transmits the specified spatial structure data to the communication terminal 70.
  • the spatial structure server 30 has a storage unit 31 (first storage unit) and a specific unit 32 as functional components.
  • the storage unit 31 stores the data 300 in which the global position information and the spatial structure data are associated with each other.
  • Spatial structure data is data that represents an object in the real space in a three-dimensional virtual space.
  • Spatial structure data is data representing the shape of an object at a position in virtual space corresponding to the position of the object in the real space. For example, suppose that there are a plurality of buildings (plural objects) in an outdoor place in a real space. In that case, the structural data of the virtual space corresponding to the outdoor place (real space) represents an object on the ground and an object of a plurality of buildings arranged at the same position as the outdoor place. Further, for example, suppose that a chair exists in an indoor place where there is a real space.
  • the structural data of the virtual space corresponding to the indoor location includes wall objects, floor objects, ceiling objects, and chair objects arranged at the same positions as the indoor location. It is represented. That is, the object in the spatial structure data is linked to the object in the real space.
  • the spatial structure data may be data representing the shape of only a static object (basically an object that does not move). Further, the object of the spatial structure data may include an object that is not linked to the object in the real space.
  • the identification unit 32 identifies the spatial structure data according to the global position information of the communication terminal 70 based on the global position information transmitted from the communication terminal 70 and the data 300 stored in the storage unit 31.
  • the spatial structure data corresponding to the global position information of the communication terminal 70 is, for example, spatial structure data corresponding to an area within a predetermined range from the position indicated by the global position information of the communication terminal 70.
  • the specific unit 32 transmits the specified spatial structure data to the communication terminal 70.
  • the communication terminals 60 and 70 are, for example, terminals configured to perform wireless communication.
  • the communication terminals 60 and 70 are, for example, smartphones, tablet terminals, PCs, goggle-type wearable devices, and the like.
  • the communication terminal 60 shares the AR content displayed on its own terminal with the communication terminal 70 satisfying a predetermined condition (so that the AR content is also displayed on the communication terminal 70).
  • the communication terminal 60 has, as functional components, an imaging unit 61, a user information acquisition unit 62, a content acquisition unit 63, a display unit 64, a display position adjustment unit 65, a shareable distance setting unit 66, and the like. It has a storage unit 67 and.
  • the imaging unit 61 captures the surroundings of the communication terminal 60 by controlling the camera mounted on the communication terminal 60.
  • the imaging unit 61 continuously executes imaging when, for example, an application related to AR content is executed.
  • the imaging unit 61 stores the captured image in the storage unit 67.
  • the user information acquisition unit 62 acquires information about the content sharing source user. Specifically, the user information acquisition unit 62 acquires (estimates) the position of the content sharing source user as information about the content sharing source user.
  • the user information acquisition unit 62 transmits the captured image stored in the storage unit 67 to the positioning server 10, and acquires the global position information corresponding to the captured image from the positioning server 10 to obtain the position of the communication terminal 60. To estimate the position of the content sharing source user.
  • the user information acquisition unit 62 stores the estimated position of the content sharing source user in the storage unit 67.
  • the content acquisition unit 63 acquires AR content information according to the position of the content sharing source user.
  • the content acquisition unit 63 transmits the position of the content sharing source user stored in the storage unit 67 to the content server 20, and acquires AR content corresponding to the position of the sharing source user from the content server 20.
  • the AR content corresponding to the position is the AR content associated with the position (global position information) on the content server 20.
  • the content acquisition unit 63 stores the acquired AR content in the storage unit 67.
  • the content acquisition unit 63 receives input (selection) from the content sharing source user as to whether or not the acquired AR content is to be shared AR content, and if it is to be shared AR content, information indicating the shared AR content. Is transmitted to the content server 20.
  • the content acquisition unit 63 may accept input (selection) of a user who can share the AR content from the content sharing source user and transmit information of the user who can share the AR content to the content server 20.
  • the shared AR content is AR content to be shared (want to be shared) with the communication terminal 70 of a content sharing destination candidate user who satisfies a predetermined condition.
  • the display unit 64 displays the AR content acquired by the content acquisition unit 63.
  • the display unit 64 initially displays the AR content at a position separated from the content sharing source user by a predetermined distance (for example, 50 cm). Further, the display unit 64 may display the AR content at the position adjusted by the display position adjusting unit 65.
  • the display position adjustment unit 65 adjusts the display position of the AR content in response to the input from the content sharing source user.
  • the display position adjusting unit 65 receives an input of an arbitrary display position from the content sharing source user, and outputs the arbitrary display position to the display unit 64.
  • the display position adjusting unit 65 transmits the adjusted display position of the AR content to the content server 20.
  • the display unit 64 displays the AR content at the display position (display position after adjustment) input from the display position adjustment unit 65. If the display position adjustment unit 65 does not adjust the display position of the AR content, the AR content continues to be displayed at the initially displayed position.
  • the shareable distance setting unit 66 sets the shareable distance of AR content according to the input from the content sharing source user.
  • the shareable distance is an upper limit of the distance from the AR content that can receive the sharing of the AR content.
  • the shareable distance setting unit 66 receives the input of the shareable distance from the content sharing source user and transmits the shareable distance to the content server 20 to set the shareable distance of the AR content.
  • the communication terminal 70 is a communication terminal 50 of a content sharing destination candidate user who can receive sharing of the shared AR content specified by the communication terminal 60 of the content sharing source user (which can be a content sharing destination).
  • the communication terminal 70 has an imaging unit 71, a user information acquisition unit 72 (estimation unit), a content acquisition unit 73 (acquisition unit), and a shared determination unit 74 (first determination unit, second determination unit) as functional components. It has a determination unit, a third determination unit), a display unit 75, and a storage unit 76.
  • the imaging unit 71 captures the surroundings of the communication terminal 70 by controlling the camera mounted on the communication terminal 70.
  • the imaging unit 71 continuously executes imaging when, for example, an application related to AR content is executed.
  • the imaging unit 71 stores the captured image in the storage unit 76.
  • the user information acquisition unit 72 acquires information about the content sharing destination candidate user. Specifically, the user information acquisition unit 72 acquires (estimates) the position and viewing direction of the content sharing destination user as information about the content sharing source user. The user information acquisition unit 72 acquires the captured image stored in the storage unit 76 and transmits it to the positioning server 10, and acquires the global position information corresponding to the captured image from the positioning server 10 to obtain the communication terminal. The position of 70 is acquired and the position of the content sharing destination candidate user is estimated. The user information acquisition unit 72 stores the estimated position of the content sharing destination candidate user in the storage unit 76.
  • the user information acquisition unit 72 estimates the viewing direction based on the captured image stored in the storage unit 76.
  • the user information acquisition unit 72 stores the estimated viewing direction of the content sharing destination candidate user in the storage unit 76.
  • the viewing direction estimation method includes the following three estimation methods. Hereinafter, the three estimation methods will be described with reference to the example shown in FIG.
  • the communication terminal 70 (50) shown in FIG. 3 is a goggle-type wearable device and is worn by the user. The user is visually recognizing the vicinity of the center on the right side of the building B in the real space.
  • the first estimation method which is the first estimation method, is a method based on the region of the captured image.
  • the user information acquisition unit 72 estimates the direction from the user's position to the region of the captured image as the viewing direction.
  • the user information acquisition unit 52 estimates the direction from the user's position to the area of the image P1 (the area near the center in front of the building B) as the viewing direction. That is, the viewing direction of the user in the first estimation method is estimated on the assumption that the user captures the entire region of the captured image, not the narrow dot-shaped region.
  • the second estimation method which is the second estimation method, is a method based on the optical center region, which is the region corresponding to the optical center of the captured image. Specifically, the user information acquisition unit 72 estimates the direction from the user's position to the optical center region as the viewing direction. In the example shown in FIG. 3, the user information acquisition unit 72 estimates the direction from the user's position to the optical center region C of the image P1 as the viewing direction.
  • the third estimation method which is the third estimation method, is a method based on the area corresponding to the user's gaze point.
  • the user's gaze point can be specified.
  • the user information acquisition unit 72 estimates the direction from the user's position to the user's gaze point as the viewing direction.
  • the user information acquisition unit 72 estimates the direction from the user's position to the user's gazing point S as the viewing direction.
  • the viewing direction means a direction in which the user is presumed to be visually recognizing based on the information obtained from the communication terminal 70.
  • the content acquisition unit 73 acquires AR content according to the position of the content sharing destination candidate user.
  • the content acquisition unit 73 transmits the position of the content sharing destination candidate user stored in the storage unit 76 to the content server 20, and acquires AR content corresponding to the position of the sharing destination candidate user from the content server 20.
  • the AR content corresponding to the position is the AR content associated with the position (global position information) on the content server 20.
  • the content acquisition unit 73 stores the acquired AR content in the storage unit 76.
  • the content acquisition unit 73 transmits the position of the content sharing destination candidate user stored in the storage unit 76 to the content server 20, so that the content server 20 provides information on the shared AR content corresponding to the sharing destination candidate user.
  • the information of the shared AR content includes the shared AR content, the display position of the shared AR content, and the shareable distance of the shared AR content.
  • the shared AR content is AR content designated as AR content to be shared by the content sharing source user.
  • the shared AR content corresponding to the shared destination candidate user may be all the shared AR content stored in the content server 20, or the shared AR whose distance from the shared destination candidate user is within a predetermined range. It may be content.
  • the shared AR content corresponding to the sharing destination candidate user is designated as a user who can share the sharing destination candidate user. It may be only the shared AR content that exists.
  • the content acquisition unit 73 stores the acquired information on the shared AR content in the storage unit 76.
  • the sharing determination unit 74 determines whether the shared AR content stored in the storage unit 76 is in all of the predetermined first state, second state, and third state (whether all conditions are satisfied). do.
  • the sharing determination unit 74 is in the first state in which the spatial structure data does not block between the content sharing destination candidate user and the shared AR content based on the position of the content sharing destination candidate user, the spatial structure data, and the display position of the shared AR content. Determine if it exists.
  • the first state is a state in which the content sharing destination candidate user can visually recognize the shared AR content when the spatial structure data is taken into consideration (in terms of the spatial structure).
  • the sharing determination unit 74 acquires the position of the content sharing destination candidate user stored in the storage unit 76 and the display position of the shared AR content.
  • the sharing determination unit 74 corresponds to the position of the content sharing destination candidate user from the spatial structure server 30 by transmitting the position of the content sharing destination candidate user stored in the storage unit 76 to the spatial structure server 30 (for example).
  • the sharing determination unit 74 determines whether or not the sharing determination unit 74 is in the second state in which the content sharing destination candidate user is visually recognizing the shared AR content direction based on the position and viewing direction of the content sharing destination candidate user and the display position of the shared AR content. Is determined.
  • the second state is a state in which the content sharing destination candidate user can visually recognize the shared AR content when the viewing direction (line of sight) of the content sharing destination candidate user is taken into consideration.
  • the sharing determination unit 74 acquires the position and viewing direction of the content sharing destination candidate user stored in the storage unit 76, and the display position of the shared AR content.
  • the sharing determination unit 74 determines whether or not the shared AR content is displayed within a predetermined angle (for example, 150 °) centered on the viewing direction of the content sharing destination candidate user, and shares the content within the predetermined angle. When the AR content is displayed, it is determined to be in the second state.
  • a predetermined angle for example, 150 °
  • the sharing determination unit 74 identifies the separation distance between the content sharing destination candidate user and the shared AR content based on the position of the content sharing destination candidate user and the display position of the shared AR content, and the separation distance is a predetermined sharing possible distance. It is determined whether or not the third state is as follows.
  • the third state is a state in which the content sharing destination candidate user can visually recognize the shared AR content (or can be visually recognized by a natural response) when the distance between the content sharing destination candidate user and the shared AR content is taken into consideration. be.
  • the sharing determination unit 74 acquires the position of the content sharing destination candidate user stored in the storage unit 76, the display position of the shared AR content, and the shareable distance of the shared AR content.
  • the sharing determination unit 74 determines that it is in the third state when the separation distance between the content sharing destination candidate user and the shared AR content is equal to or less than the shareable distance.
  • the sharing determination unit 74 stores in the storage unit 76 information on whether or not the shared AR content is in all the states of the first state, the second state, and the third state (whether all the conditions are satisfied).
  • the display unit 75 displays the AR content acquired by the content acquisition unit 73.
  • the display unit 75 is the shared AR content on the communication terminal 70 of the content sharing destination candidate user only when the sharing determination unit 74 determines that all the states of the first state, the second state, and the third state are present.
  • the shared AR content is displayed at the display position of, and the shared AR content is shared with the content sharing destination candidate users.
  • the display unit 75 identifies the shared AR content determined to be in all the first state, the second state, and the third state by referring to the storage unit 76, and the shared AR
  • the display position of the content is specified, and the shared AR content is displayed at the display position.
  • the display unit 75 may decide whether or not to continuously display the shared AR content in response to an input from the content sharing destination candidate user. That is, even if the display unit 75 continuously displays the shared AR content only when it receives an instruction (input) to continuously display the actually displayed shared AR content from the content sharing destination candidate user who has visually recognized it. good.
  • FIG. 4 is a diagram illustrating an example in which shared AR content is shared / not shared.
  • the communication terminal 60 of the content sharing source user Y1 is trying to share the shared AR content 500 in the conference room A.
  • a group G1 including a content sharing destination candidate user Y21 and the like exists in the conference room A.
  • a group G2 including the content sharing destination candidate user Y22 and the like and a group G3 including the content sharing destination candidate user Y23 and the like exist.
  • the users such as the content sharing destination candidate user Y21 of the group G1 existing in the conference room A are in the first state because there is no object (wall or the like) blocking the shared AR content 500.
  • users such as the content sharing destination candidate user Y21 of the group G1 are visually recognizing the shared AR content 500 direction, which is the second state.
  • users such as the content sharing destination candidate user Y21 of the group G1 are close to the shared AR content 500, and the distance from the shared AR content 500 is short, which is the third state. Therefore, the shared AR content 500 is displayed (shared) on the communication terminal 60 of each user in the group G1.
  • the spatial structure data corresponding to the wall W is considered. Then, at least it is not the first state. Further, the content sharing destination candidate user Y22 and the like of the group G2 may not satisfy the third state because the distance from the shared AR content 500 is long. Further, the content sharing destination candidate user Y23 of the group G3 is not in the second state because the line-of-sight direction is not the shared AR content 500 direction.
  • the shared AR content 500 is not displayed (shared) on the communication terminal 60 of each user of the groups G2 and G3.
  • FIG. 5 is a flowchart showing a process (specifically, a process related to the display of the shared AR content) performed by the communication terminal 60 of the content sharing source user.
  • the communication terminal 60 continuously images the surroundings in response to the execution of, for example, an application related to AR content (step S1). Subsequently, the communication terminal 60 transmits the captured image to the positioning server 10 and acquires the positioning result (position of the content sharing source user) from the positioning server 10 (step S2). Subsequently, the communication terminal 60 transmits the position of the content sharing source user to the content server 20, and acquires the AR content corresponding to the position of the sharing source user from the content server 20 (step S3). The communication terminal 60 receives a selection input of AR content (shared AR content) to be shared from the content sharing source user (step S4).
  • AR content shared AR content
  • the communication terminal 60 receives the setting input of the display position and the shareable distance of the shared AR content from the content sharing source user (step S5). Then, the communication terminal 60 displays the shared AR content at the set display position (step S6).
  • FIG. 6 is a flowchart showing a process (specifically, a process related to the display of the shared AR content) performed by the communication terminal 70 of the content sharing destination candidate user.
  • the communication terminal 70 continuously images the surroundings in response to the execution of, for example, an application related to AR content (step S101). Subsequently, the communication terminal 70 transmits the captured image to the positioning server 10 and acquires the positioning result (position of the content sharing destination candidate user) from the positioning server 10 (step S102). Subsequently, the communication terminal 70 transmits the position of the content sharing destination candidate user to the content server 20, and acquires the information of the shared AR content corresponding to the sharing destination candidate user from the content server 20 (step S103).
  • the information of the shared AR content includes the shared AR content, the display position of the shared AR content, and the shareable distance of the shared AR content.
  • the communication terminal 70 determines whether or not the distance between the content sharing destination candidate user and the shared AR content is equal to or less than a predetermined shareable distance in the third state (step S104). In the third state in step S104, whether or not the communication terminal 70 is in the second state in which the content sharing destination candidate user is visually recognizing the shared AR content direction (the shared AR content is in the viewing direction). Is determined (step S105). In the second state in step S105, the communication terminal 70 determines whether or not it is the first state in which the spatial structure data does not block between the content sharing destination candidate user and the shared AR content (step S106).
  • the communication terminal 70 puts the shared AR content at the display position of the shared AR content. It is displayed and the shared AR content is shared with the content sharing destination candidate users (step S107).
  • the communication terminal 70 does not display the shared AR content (step S108).
  • processing such as applying a mosaic to the shared AR content may be performed.
  • the AR system 1 of the present embodiment includes a storage unit 31 of a spatial structure server 30 that stores spatial structure data representing the shape of an object at a position on a virtual space corresponding to the position of the object in the real space, and a content sharing destination candidate user.
  • the user information acquisition unit 72 that estimates the position and viewing direction of the content
  • the content acquisition unit 73 that acquires the display position of the shared AR content, the position of the content sharing destination candidate user, the spatial structure data, and the display position of the shared AR content. Based on this, it is determined whether or not the spatial structure data does not block between the content sharing destination candidate user and the shared AR content, and the position and viewing direction of the content sharing destination candidate user and the display position of the shared AR content are determined.
  • the sharing determination unit 74 that determines whether or not the content sharing destination candidate user is in the second state of visually recognizing the shared AR content direction, and the sharing determination unit 74 are the first state and the second state. Only when it is determined that the content sharing destination candidate user has the display unit 75 that displays the shared AR content at the display position of the shared AR content on the communication terminal 70 of the content sharing destination candidate user and shares the shared AR content with the content sharing destination candidate user. Be prepared.
  • the shared AR content is generated based on the position and viewing direction of the content sharing destination candidate user, the spatial structure data considering the position and shape of the object in the real space, and the display position of the shared AR content. It is determined whether to share the content with the candidate user for sharing the content (display it on the communication terminal 70 of the candidate user for sharing the content). Specifically, the shared AR content is available only when the spatial structure data does not block between the content sharing destination candidate user and the shared AR content and the content sharing destination candidate user is visually recognizing the shared AR content direction. Content is shared with potential users.
  • the case where the spatial structure data does not block between the content sharing destination candidate user and the shared AR content means that the content sharing destination candidate user and the shared AR content are spatially communicated (when not blocked by a wall or the like). ). Further, the case where the content sharing destination candidate user is visually recognizing the shared AR content direction is the case where the content sharing destination candidate user is paying attention to the shared AR content direction. In this way, users (user groups) who are paying attention to a specific area in the same unobstructed space are users who gather for a common purpose, such as users who are attending a common meeting or a meeting. Is assumed to be.
  • the spatial structure data does not block the shared AR content, and the shared AR content is shared only with the user who is visually recognizing the direction of the shared AR content, thereby having a common purpose.
  • the shared AR content will be shared only to the users who are supposed to be gathered.
  • the content can be shared with an appropriate user as a sharing destination.
  • a content sharing method for example, a user who cannot visually recognize the shared AR content because it is blocked by a wall or the like, or a user who does not visually recognize the shared AR content direction (not gathered for the same purpose). Is automatically eliminated, so that it is not necessary to select a user to share, and content sharing can be easily performed.
  • the content can be easily shared with an appropriate user as a sharing destination. Then, according to such a content sharing method, processing related to selection of a user who is not suitable as a sharing destination becomes unnecessary, so that a technical effect that the processing load can be reduced can be obtained.
  • the sharing determination unit 74 identifies the separation distance between the content sharing destination candidate user and the shared AR content based on the position of the content sharing destination candidate user and the display position of the shared AR content, and the separation distance is a predetermined sharing possible distance. It is determined whether or not the content is in the third state, which is as follows, and the display unit 75 further, only when the sharing determination unit 74 determines that the content is in the third state, provides the content sharing destination candidate user with the shared AR content. Share. As a result, users who are separated from the shared AR content and are not considered to be gathered for a common purpose can be excluded from the sharing destination, and the content can be shared with an appropriate user as the sharing destination.
  • the AR system 1 further includes a shareable distance setting unit 66 that sets the shareable distance in response to input from the sharing source user of the shared AR content. This makes it possible to arbitrarily (flexibly) change the range of users who can share the content according to, for example, the scale of the event.
  • the AR system 1 further includes a display position adjusting unit 65 that adjusts the display position of the shared AR content in response to an input from the sharing source user of the shared AR content.
  • a display position adjusting unit 65 that adjusts the display position of the shared AR content in response to an input from the sharing source user of the shared AR content.
  • the display unit 75 displays the shared AR content once at the display position of the shared AR content on the communication terminal 70 of the content sharing destination candidate user, and then continuously displays the shared AR content in response to the input from the content sharing destination candidate user. Decide whether to do it or not.
  • the shared AR content is shared by the above-mentioned process, for example, the user who has shared the shared AR content visually recognizes the shared AR content, and then determines whether or not to continuously display the shared AR content. Can be done.
  • the shared AR content can be continuously displayed only to the users who really want to share the shared AR content.
  • the AR system 1 further includes a storage unit 11 that stores map data 100 in which the feature amount of the feature point included in the image data acquired in advance and the position information associated with the feature point are associated with each other, and the user information
  • the acquisition unit 72 acquires the captured image captured by the communication terminal 70 of the content sharing destination candidate user, estimates the position of the content sharing destination candidate user based on the captured image and the map data 100, and is based on the captured image.
  • the viewing direction of the content sharing destination candidate user may be estimated. As a result, the position and viewing direction of the content sharing destination candidate user can be easily and accurately estimated.
  • the positioning server 10 the content server 20, the spatial structure server 30, the communication terminal 60, and the communication terminal 70 included in the AR system 1 will be described with reference to FIG. 7.
  • the positioning server 10, the content server 20, the spatial structure server 30, the communication terminal 60, and the communication terminal 70 are physically the processor 1001, the memory 1002, the storage 1003, the communication device 1004, the input device 1005, and the output device. It may be configured as a computer device including 1006, a bus 1007, and the like.
  • the word “device” can be read as a circuit, device, unit, etc.
  • the hardware configuration of the positioning server 10, the content server 20, the spatial structure server 30, the communication terminal 60, and the communication terminal 70 may be configured to include one or more of the devices shown in the figure. It may be configured without including the device of the unit.
  • Each function of the positioning server 10, the content server 20, the spatial structure server 30, the communication terminal 60, and the communication terminal 70 is performed by loading predetermined software (program) on hardware such as a processor 1001 and a memory 1002. It is realized by the processor 1001 performing the calculation and controlling the communication by the communication device 1004 and the reading and / or writing of the data in the memory 1002 and the storage 1003.
  • Processor 1001 operates, for example, an operating system to control the entire computer.
  • the processor 1001 may be composed of a central processing unit (CPU: Central Processing Unit) including an interface with peripheral devices, a control device, an arithmetic unit, a register, and the like.
  • CPU Central Processing Unit
  • the control function of the shared determination unit 74 of the communication terminal 70 may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), a software module, and data from the storage 1003 and / or the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program that causes a computer to execute at least a part of the operations described in the above-described embodiment is used.
  • the control function of the shared determination unit 74 of the communication terminal 70 or the like may be realized by a control program stored in the memory 1002 and operated by the processor 1001, or may be realized in the same manner for other functional blocks.
  • Processor 1001 may be mounted on one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). May be done.
  • the memory 1002 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code), a software module, or the like that can be executed to carry out the wireless communication method according to the embodiment of the present invention.
  • the storage 1003 is a computer-readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, or a Blu-ray). It may consist of at least one (registered trademark) disk), smart card, flash memory (eg, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be referred to as an auxiliary storage device.
  • the storage medium described above may be, for example, a database, server or other suitable medium containing memory 1002 and / or storage 1003.
  • the communication device 1004 is hardware (transmission / reception device) for communicating between computers via a wired and / or wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside.
  • the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • Bus 1007 may be composed of a single bus, or may be composed of different buses between devices.
  • the positioning server 10, the content server 20, the spatial structure server 30, the communication terminal 60, and the communication terminal 70 are a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and a PLD (application specific integrated circuit). It may be configured to include hardware such as Programmable Logic Device) and FPGA (Field Programmable Gate Array), and a part or all of each functional block may be realized by the hardware.
  • processor 1001 may be implemented on at least one of these hardware.
  • the AR system 1 has been described as being configured to include a positioning server 10, a content server 20, a spatial structure server 30, a communication terminal 60, and a communication terminal 70, but the present invention is not limited to this, and each of the AR systems 1 The function may be realized only by the communication terminal.
  • the various functions described as the functions of the communication terminal 70 of the content sharing destination candidate user may be the functions of the communication terminal 60 of the content sharing source user, or may be the functions of other processing servers.
  • the various functions described as the functions of the communication terminal 60 of the content sharing source user may be the functions of the communication terminal 70 of the content sharing destination candidate user, or may be the functions of other processing servers.
  • the function of the sharing determination unit 74 (first determination unit, second determination unit, third determination unit) may be the function of the communication terminal 60 of the content sharing source user. That is, various determinations related to content sharing may be performed on the communication terminal 60 of the content sharing source user.
  • Each aspect / embodiment described in the present specification includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA. (Registered Trademarks), GSM (Registered Trademarks), CDMA2000, UMB (Ultra Mobile Broad-band), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-Wide) It may be applied to Band), WiMAX®, and other systems that utilize suitable systems and / or next-generation systems that are extended based on them.
  • the input / output information and the like may be saved in a specific location (for example, memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1), by a boolean value (Boolean: true or false), or by comparing numerical values (for example, a predetermined value). It may be done by comparison with the value).
  • the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit notification, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name, is an instruction, instruction set, code, code segment, program code, program, subprogram, software module.
  • Applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, etc. should be broadly interpreted.
  • software, instructions, etc. may be transmitted and received via a transmission medium.
  • the software uses wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • the information, signals, etc. described herein may be represented using any of a variety of different techniques.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • information, parameters, etc. described in the present specification may be represented by an absolute value, a relative value from a predetermined value, or another corresponding information. ..
  • User terminals may be mobile communication terminals, subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, etc. It may also be referred to as a mobile device, wireless device, remote device, handset, user agent, mobile client, client, or some other suitable term.
  • determining and “determining” used herein may include a wide variety of actions.
  • “Judgment”, “decision” is, for example, calculating, computing, processing, deriving, investigating, looking up (eg, table, database or another). It can include searching in the data structure), and considering that the confirmation (ascertaining) is “judgment” or “decision”.
  • "judgment” and “decision” are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), and access.
  • (Accessing) for example, accessing data in memory) may be regarded as “judgment” or “decision”.
  • judgment and “decision” mean that the things such as solving, selecting, choosing, establishing, and comparing are regarded as “judgment” and “decision”. Can include. That is, “judgment” and “decision” may include considering some action as “judgment” and “decision”.
  • any reference to that element does not generally limit the quantity or order of those elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements can be adopted there, or that the first element must somehow precede the second element.
  • AR system content sharing system
  • 11 storage unit (second storage unit), 31 ... storage unit (first storage unit), 60, 70 ... communication terminal, 65 ... display position adjustment unit, 66 ... shareable Distance setting unit, 72 ... User information acquisition unit (estimation unit), 73 ... Content acquisition unit (acquisition unit), 74 ... Shared determination unit (first determination unit, second determination unit, third determination unit), 75 ... Display Department.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ARシステムは、空間構造データを記憶する空間構造サーバと、コンテンツ共有先候補ユーザの位置及び視認方向を推定するユーザ情報取得部と、共有ARコンテンツの表示位置を取得するコンテンツ取得部と、コンテンツ共有先候補ユーザ及び共有ARコンテンツ間を空間構造データが遮らない第1状態であるか否かを判定し、コンテンツ共有先候補ユーザが共有ARコンテンツ方向を視認している第2状態であるか否かを判定する共有判定部と、共有判定部によって第1状態及び第2状態であると判定された場合に限りコンテンツ共有先候補ユーザの通信端末において共有ARコンテンツの表示位置に共有ARコンテンツを表示し、コンテンツ共有先候補ユーザに共有ARコンテンツを共有する表示部とを備える。

Description

コンテンツ共有システム及び端末
 本発明の一態様は、コンテンツ共有システム及び端末に関する。
 文献1には、ユーザ端末の位置に応じて、仮想空間上の特定の画像であるAR(Augmented Reality)コンテンツを表示する技術が記載されている。
特開2018-158120号公報
 ここで、ARコンテンツに関するサービスにおいては、例えば打ち合わせ、飲み会、会議の聴講中等において、特定のユーザ間でARコンテンツを共有したい場合がある。ARコンテンツの共有は、例えば共有元のユーザの周辺にARコンテンツを表示して、共有先に対して当該ARコンテンツを共有する。
 このような場合のコンテンツの共有方法としては、例えばBluetooth(登録商標)が届く範囲の端末を検索してコンテンツを共有するか否かをユーザに選択させる仕組みが知られている。しかしながら、このような共有方法は、単に近隣にいるだけで無関係の端末も共有先候補としてリストアップされるため、共有したいユーザだけを選択する操作等が煩雑である。
 本発明の一態様は上記実情に鑑みてなされたものであり、共有先として適当なユーザに対して簡易にコンテンツを共有することを目的とする。
 本発明の一態様に係るコンテンツ共有システムは、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する第1記憶部と、コンテンツ共有先候補ユーザの位置及び視認方向を推定する推定部と、ARコンテンツの表示位置を取得する取得部と、コンテンツ共有先候補ユーザの位置と空間構造データとARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザ及びARコンテンツ間を空間構造データが遮らない第1状態であるか否かを判定する第1判定部と、コンテンツ共有先候補ユーザの位置及び視認方向とARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザがARコンテンツ方向を視認している第2状態であるか否かを判定する第2判定部と、第1判定部によって第1状態であると判定されると共に第2判定部によって第2状態であると判定された場合に限り、コンテンツ共有先候補ユーザの端末においてARコンテンツの表示位置にARコンテンツを表示し、コンテンツ共有先候補ユーザにARコンテンツを共有する表示部と、を備える。
 本発明の一態様に係るコンテンツ共有システムでは、コンテンツ共有先候補ユーザの位置及び視認方向と、現実空間のオブジェクトの位置及び形状が考慮された空間構造データと、ARコンテンツの表示位置とに基づいて、当該ARコンテンツをコンテンツ共有先候補ユーザに共有するか(コンテンツ共有先候補ユーザの端末に表示するか)否かが決定される。具体的には、コンテンツ共有先候補ユーザ及びARコンテンツ間を空間構造データが遮っておらず、且つ、コンテンツ共有先候補ユーザがARコンテンツ方向を視認している場合に限り、ARコンテンツがコンテンツ共有先候補ユーザに共有される。コンテンツ共有先候補ユーザ及びARコンテンツ間を空間構造データが遮っていない場合とは、コンテンツ共有先候補ユーザ及びARコンテンツ間が空間的に連通している場合(壁等によって遮られていない場合)である。また、コンテンツ共有先候補ユーザがARコンテンツ方向を視認している場合とは、コンテンツ共有先候補ユーザがARコンテンツ方向に注目している場合である。このように、遮られていない同じ空間において特定の領域に注目しているユーザ(ユーザ群)は、例えば共通の打ち合わせや会議に出席しているユーザ等、共通の目的を持って集まっているユーザであると想定される。このため、ARコンテンツとの間を空間構造データが遮っておらず、且つ、ARコンテンツ方向を視認しているユーザに対してのみARコンテンツを共有することにより、共通の目的を持って集まっているユーザに対してのみARコンテンツが共有されることになる。このことにより、共有先として適当なユーザにコンテンツを共有することができる。そして、このようなコンテンツの共有方法においては、例えば壁等によって遮られてそもそもARコンテンツを視認することができないユーザや、ARコンテンツ方向を視認していない(同じ目的で集まっていない)ユーザが自動的に排除されるため、共有するユーザを選択する操作等が不要となり、簡易にコンテンツ共有を行うことができる。以上のように、本発明の一態様に係るコンテンツ共有システムによれば、共有先として適当なユーザに対して簡易にコンテンツを共有することができる。
 本発明の一態様によれば、共有先として適当なユーザに対して簡易にコンテンツを共有することができる。
本実施形態に係るARシステムの概要を説明する図である。 本実施形態に係るARシステムの機能構成を示すブロック図である。 ユーザの視認方向の推定方法について説明する図である。 共有ARコンテンツが共有される例/されない例について説明する図である。 コンテンツ共有元ユーザの通信端末が行う処理を示すフローチャートである。 コンテンツ共有先候補ユーザの通信端末が行う処理を示すフローチャートである。 本実施形態に係るARシステムに含まれる各装置のハードウェア構成を示す図である。
 以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
 図1は、本実施形態に係るAR(Augmented Reality)システム1の概要を説明する図である。図1に示されるARシステム1は、通信端末50(端末)の位置に応じてARコンテンツを表示するシステムである。ARシステム1は、位置測位サーバ10と、コンテンツサーバ20と、通信端末50とを備えている。なお、図1においては、説明の便宜上、ARシステム1に含まれる一部の構成のみを示している。ARシステム1の詳細な構成については、図2を参照して後述する。
 図1に示されるように、ARシステム1では、通信端末50が撮像した画像データを位置測位サーバ10に送信する。図1中では、建物の画像が、通信端末50において撮像された画像データとして例示されている。位置測位サーバ10は、通信端末50において撮像された画像データに基づいてグローバル位置情報を取得し(詳細は後述)、該グローバル位置情報を通信端末50に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報(絶対的な位置情報)であり、位置・方向・傾きの情報が含まれていてもよい。通信端末50は、位置測位サーバ10からグローバル位置情報を取得することにより、自身(詳細には画像データを撮像する自身のカメラ)の位置等を取得する。そして、通信端末50は、取得したグローバル位置情報をコンテンツサーバ20に送信する。コンテンツサーバ20は、グローバル位置情報に応じたARコンテンツを取得し(詳細は後述)、グローバル位置情報に応じたARコンテンツを通信端末50に送信する。図1中では、女の子の画像が、グローバル位置情報に応じたARコンテンツとして例示されている。以上の処理を行うことにより、ARシステム1では、通信端末50の位置に応じたARコンテンツが表示される。
 図2は、本実施形態に係るARシステム1の機能構成を示すブロック図である。ARシステム1は、上述した位置測位サーバ10、コンテンツサーバ20、及び通信端末50に加えて、空間構造サーバ30を備えている。本実施形態では、ARシステム1において、ARシステム1に含まれる複数の通信端末50間でARコンテンツが共有される態様(すなわち、ARシステム1がコンテンツ共有システムである態様)について説明する。以下では、コンテンツ共有元ユーザの通信端末50を通信端末60、コンテンツ共有先候補ユーザの通信端末50を通信端末70と説明し、それぞれ互いに異なる機能について説明するが、通信端末60及び通信端末70は、実際には互いの機能を有しており、状況に応じて通信端末60にも通信端末70にもなり得る(すなわち、コンテンツ共有元ユーザの通信端末50にもコンテンツ共有先候補ユーザの通信端末50にもなり得る)ものであってもよい。
 位置測位サーバ10は、機能的な構成要素として、記憶部11(第2記憶部)と、測位部12と、を有している。
 記憶部11は、マップデータ100を記憶している。マップデータ100では、予め取得された撮像画像に含まれる特徴点の特徴量(例えば、輝度方向ベクトル)と、特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられている。マップデータ100は、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ(図示省略)等によって予め撮像され、大量の撮像画像に基づいて生成される。特徴点とは、画像中において際立って検出される点であって、例えば、他の領域と比べて輝度(強度)が大きい(又は小さい)点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であって、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。
 記憶部11は、マップデータ100の特徴点のグローバル位置情報として3次元の位置情報を記憶している。記憶部11は、特徴点の3次元のグローバル位置情報として、例えば、特徴点の緯度、経度及び高さを記憶している。なお、記憶部11は、マップデータ100についてグローバル位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。
 測位部12は、通信端末60,70において撮像された撮像画像と、記憶部11に記憶されているマップデータ100とに基づいて、通信端末60,70における撮像時の通信端末60,70のグローバル位置情報(3次元の位置情報)を推定する。具体的には、測位部12は、マップデータ100の特徴点と、通信端末60,70において撮像された撮像画像の特徴点とのマッチングを行い、撮像された撮像画像に対応するマップデータ100の領域を特定する。そして、測位部12は、特定した領域に係るマップデータ100の特徴点に関連付けられたグローバル位置情報に基づいて、撮像画像の撮像位置(すなわち、撮像時における通信端末60,70のグローバル位置情報)を推定する。測位部12は、測位結果を通信端末60,70に送信する。測位部12は、通信端末60,70において一定の周期で撮像された撮像画像に基づいてグローバル位置情報を取得してもよいし、通信端末60,70からの指示を受けたタイミングで撮像された撮像画像に基づいてグローバル位置情報を取得してもよい。
 コンテンツサーバ20は、機能的な構成要素として、記憶部21と、特定部22と、を有している。
 記憶部21は、グローバル位置情報とARコンテンツとが対応付けられたデータ200を記憶している。また、記憶部21は、データ200において、ARコンテンツに紐づけて、共有ARコンテンツとするか否かの情報、共有ARコンテンツを共有され得るユーザの情報、調整されたARコンテンツの表示位置、及びARコンテンツの共有可能距離を記憶している。これらの情報は、コンテンツ共有元ユーザの通信端末60から取得する情報である(詳細は後述)。なお、共有可能距離については、通信端末60のユーザ(コンテンツ共有元ユーザ)から指定されていない場合にはデフォルトの距離(例えば5m)が設定されていてもよい。
 特定部22は、通信端末60,70から送信されたグローバル位置情報と、記憶部21に記憶されているデータ200とに基づいて、通信端末60,70のグローバル位置情報に応じたARコンテンツを特定する。特定部22は、特定したARコンテンツを通信端末60,70に送信(出力)する。なお、特定部22は、通信端末70から送信されたグローバル位置情報に基づき、共有ARコンテンツを特定した場合には、共有ARコンテンツの情報(共有ARコンテンツ、共有ARコンテンツの表示位置、及び共有ARコンテンツの共有可能距離を含む情報)を通信端末70に送信する(詳細は後述)。特定部22は、所定の時間間隔で定期的に、通信端末60,70のグローバル位置情報に基づきARコンテンツを特定してもよいし、通信端末60,70からの指示を受けたタイミングで通信端末60,70のグローバル位置情報に基づきARコンテンツを特定してもよい。
 空間構造サーバ30は、通信端末70から送信されたグローバル位置情報に基づいて、グローバル位置情報に応じた空間構造データを特定する。空間構造サーバ30は、特定した空間構造データを通信端末70に送信する。空間構造サーバ30は、機能的な構成要素として、記憶部31(第1記憶部)と、特定部32とを有する。
 記憶部31は、グローバル位置情報と空間構造データとが対応付けられたデータ300を記憶している。空間構造データは、現実空間のオブジェクトを3次元の仮想空間に表したデータである。空間構造データは、現実空間のオブジェクトの位置に対応する仮想空間上の位置において当該オブジェクトの形状を表すデータである。例えば、現実空間においてある屋外の場所に複数の建物(複数のオブジェクト)が存在するとする。その場合、当該屋外の場所(現実空間)に対応する仮想空間の構造データには、地面のオブジェクト、及び当該屋外の場所と同じ位置に配置された複数の建物のオブジェクトが表されている。また、例えば、現実空間のある屋内の場所に椅子が存在するとする。その場合、当該室内の場所(現実空間)に対応する仮想空間の構造データには、当該屋内の場所と同じ位置に配置された壁のオブジェクト、床のオブジェクト、天井のオブジェクト、及び椅子のオブジェクトが表されている。つまり、空間構造データにおけるオブジェクトは、現実空間におけるオブジェクトとリンクしている。なお、空間構造データは、静的なオブジェクト(基本的に動かないオブジェクト)のみの形状を表すデータであってもよい。また、空間構造データのオブジェクトには、現実空間におけるオブジェクトとリンクしていないオブジェクトが含まれていてもよい。
 特定部32は、通信端末70から送信されたグローバル位置情報と、記憶部31に記憶されているデータ300とに基づいて、通信端末70のグローバル位置情報に応じた空間構造データを特定する。通信端末70のグローバル位置情報に応じた空間構造データとは、例えば通信端末70のグローバル位置情報が示す位置から所定の範囲内の領域に対応する空間構造データである。特定部32は、特定した空間構造データを通信端末70に送信する。
 通信端末60,70は、例えば、無線通信を行うよう構成された端末である。通信端末60,70は、例えば、スマートフォン、タブレット型端末、PC、ゴーグル型のウェアラブル機器等である。
 通信端末60は、所定の条件を満たした通信端末70に対して、自身の端末において表示されているARコンテンツを共有する(通信端末70においても当該ARコンテンツが表示されるようにする)コンテンツ共有元ユーザの通信端末50である。通信端末60は、機能的な構成要素として、撮像部61と、ユーザ情報取得部62と、コンテンツ取得部63と、表示部64と、表示位置調整部65と、共有可能距離設定部66と、記憶部67と、を有している。
 撮像部61は、通信端末60に実装されたカメラを制御することにより通信端末60の周囲を撮像する。撮像部61は、例えばARコンテンツに係るアプリケーションが実行されると継続的に撮像を実行する。撮像部61は、撮像画像を記憶部67に格納する。
 ユーザ情報取得部62は、コンテンツ共有元ユーザに関する情報を取得する。具体的には、ユーザ情報取得部62は、コンテンツ共有元ユーザに関する情報として、コンテンツ共有元ユーザの位置を取得(推定)する。ユーザ情報取得部62は、記憶部67に格納されている撮像画像を位置測位サーバ10に送信し、位置測位サーバ10から撮像画像に対応するグローバル位置情報を取得することにより、通信端末60の位置を取得してコンテンツ共有元ユーザの位置を推定する。ユーザ情報取得部62は、推定したコンテンツ共有元ユーザの位置を記憶部67に格納する。
 コンテンツ取得部63は、コンテンツ共有元ユーザの位置に応じたARコンテンツの情報を取得する。コンテンツ取得部63は、記憶部67に格納されているコンテンツ共有元ユーザの位置をコンテンツサーバ20に送信し、コンテンツサーバ20から共有元ユーザの位置に対応するARコンテンツを取得する。位置に対応するARコンテンツとは、コンテンツサーバ20において当該位置(グローバル位置情報)と対応付けられたARコンテンツである。コンテンツ取得部63は、取得したARコンテンツを記憶部67に格納する。また、コンテンツ取得部63は、コンテンツ共有元ユーザから、取得したARコンテンツを共有ARコンテンツとするか否かの入力(選択)を受け付け、共有ARコンテンツとする場合には、共有ARコンテンツを示す情報をコンテンツサーバ20に送信する。コンテンツ取得部63は、コンテンツ共有元ユーザから、ARコンテンツが共有され得るユーザの入力(選択)を受付け、該ARコンテンツが共有され得るユーザの情報をコンテンツサーバ20に送信してもよい。共有ARコンテンツとは、所定の条件を満たしたコンテンツ共有先候補ユーザの通信端末70に共有する(共有したい)ARコンテンツである。
 表示部64は、コンテンツ取得部63によって取得されたARコンテンツを表示する。表示部64は、例えばコンテンツ共有元ユーザから所定距離(例えば50cm)だけ離れた位置にARコンテンツを初期表示する。また、表示部64は、表示位置調整部65による調整後の位置にARコンテンツを表示してもよい。
 表示位置調整部65は、コンテンツ共有元ユーザからの入力に応じて、ARコンテンツの表示位置を調整する。表示位置調整部65は、コンテンツ共有元ユーザから任意の表示位置の入力を受付け、該任意の表示位置を表示部64に出力する。表示位置調整部65は、調整後のARコンテンツの表示位置をコンテンツサーバ20に送信する。表示部64は、表示位置調整部65にから入力された表示位置(調整後の表示位置)にARコンテンツを表示する。なお、表示位置調整部65によってARコンテンツの表示位置調整が行われない場合には、初期表示された位置にARコンテンツが表示され続ける。
 共有可能距離設定部66は、コンテンツ共有元ユーザからの入力に応じて、ARコンテンツの共有可能距離を設定する。共有可能距離とは、ARコンテンツの共有を受けうるARコンテンツからの離間距離の上限値である。共有可能距離設定部66は、コンテンツ共有元ユーザから共有可能距離の入力を受付け、該共有可能距離をコンテンツサーバ20に送信することにより、ARコンテンツの共有可能距離を設定する。
 通信端末70は、コンテンツ共有元ユーザの通信端末60が指定した共有ARコンテンツの共有を受け得る(コンテンツの共有先となり得る)コンテンツ共有先候補ユーザの通信端末50である。通信端末70は、機能的な構成要素として、撮像部71と、ユーザ情報取得部72(推定部)と、コンテンツ取得部73(取得部)と、共有判定部74(第1判定部,第2判定部,第3判定部)と、表示部75と、記憶部76と、を有している。
 撮像部71は、通信端末70に実装されたカメラを制御することにより通信端末70の周囲を撮像する。撮像部71は、例えばARコンテンツに係るアプリケーションが実行されると継続的に撮像を実行する。撮像部71は、撮像画像を記憶部76に格納する。
 ユーザ情報取得部72は、コンテンツ共有先候補ユーザに関する情報を取得する。具体的には、ユーザ情報取得部72は、コンテンツ共有元ユーザに関する情報として、コンテンツ共有先ユーザの位置及び視認方向を取得(推定)する。ユーザ情報取得部72は、記憶部76に格納されている撮像画像を取得して位置測位サーバ10に送信し、位置測位サーバ10から撮像画像に対応するグローバル位置情報を取得することにより、通信端末70の位置を取得してコンテンツ共有先候補ユーザの位置を推定する。ユーザ情報取得部72は、推定したコンテンツ共有先候補ユーザの位置を記憶部76に格納する。
 ユーザ情報取得部72は、記憶部76に格納されている撮像画像に基づいて、視認方向を推定する。ユーザ情報取得部72は、推定したコンテンツ共有先候補ユーザの視認方向を記憶部76に格納する。視認方向の推定方法には、以下の3つの推定方法が含まれる。以下、当該3つの推定方法について、図3に示される例を用いて説明する。図3に示される通信端末70(50)は、ゴーグル型のウェアラブル機器であって、ユーザに装着されている。ユーザは、現実空間において建物Bにおける右側中央付近を視認している。
 1つ目の推定方法である第1推定方法は、撮像画像の領域に基づいた方法である。具体的には、ユーザ情報取得部72は、ユーザの位置から撮像画像の領域に至る方向を視認方向として推定する。図3に示される例では、ユーザ情報取得部52は、ユーザの位置から画像P1の領域(建物Bの正面における中央付近の領域)に至る方向を、視認方向として推定する。つまり、第1推定方法におけるユーザの視認方向は、点状の狭い領域ではなく、撮像画像の領域全体をユーザが捉えているものと仮定して推定される。
 2つ目の推定方法である第2推定方法は、撮像画像の光学中心に対応する領域である光学中心領域に基づいた方法である。具体的には、ユーザ情報取得部72は、ユーザの位置から光学中心領域に至る方向を視認方向として推定する。図3に示される例では、ユーザ情報取得部72は、ユーザの位置から画像P1の光学中心領域Cに至る方向を視認方向として推定する。
 3つ目の推定方法である第3推定方法は、ユーザの注視点に対応する領域に基づいた方法である。通信端末70が、例えばゴーグル型のウェアラブル機器等であって、ユーザの視線情報を取得可能に構成されている場合には、ユーザの注視点を特定することができる。その場合、ユーザ情報取得部72は、ユーザの位置からユーザの注視点に至る方向を視認方向として推定する。図3に示される例では、ユーザ情報取得部72は、ユーザの位置からユーザの注視点Sに至る方向を視認方向として推定する。以上のように、視認方向とは、通信端末70から得られる情報に基づいて、ユーザが視認していると推測される方向のことを意味する。
 コンテンツ取得部73は、コンテンツ共有先候補ユーザの位置に応じたARコンテンツを取得する。コンテンツ取得部73は、記憶部76に格納されているコンテンツ共有先候補ユーザの位置をコンテンツサーバ20に送信し、コンテンツサーバ20から共有先候補ユーザの位置に対応するARコンテンツを取得する。位置に対応するARコンテンツとは、コンテンツサーバ20において当該位置(グローバル位置情報)と対応付けられたARコンテンツである。コンテンツ取得部73は、取得したARコンテンツを記憶部76に格納する。
 また、コンテンツ取得部73は、記憶部76に格納されているコンテンツ共有先候補ユーザの位置をコンテンツサーバ20に送信することにより、コンテンツサーバ20から、共有先候補ユーザに対応する共有ARコンテンツの情報を取得する。共有ARコンテンツの情報には、共有ARコンテンツ、共有ARコンテンツの表示位置、及び共有ARコンテンツの共有可能距離が含まれている。共有ARコンテンツとは、上述したように、コンテンツ共有元ユーザによって共有するARコンテンツとして指定されているARコンテンツである。共有先候補ユーザに対応する共有ARコンテンツとは、コンテンツサーバ20に記憶されている全ての共有ARコンテンツであってもよいし、共有先候補ユーザからの離間距離が所定の範囲内である共有ARコンテンツであってもよい。また、コンテンツサーバ20において各共有ARコンテンツを共有され得るユーザが指定されている場合には、共有先候補ユーザに対応する共有ARコンテンツとは該共有先候補ユーザが共有され得るユーザとして指定されている共有ARコンテンツのみであってもよい。コンテンツ取得部73は、取得した共有ARコンテンツの情報を記憶部76に格納する。
 共有判定部74は、記憶部76に格納されている共有ARコンテンツに関して、所定の第1状態、第2状態、及び第3状態の全ての状態であるか(全ての条件を満たすか)を判定する。
 共有判定部74は、コンテンツ共有先候補ユーザの位置と空間構造データと共有ARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザ及び共有ARコンテンツ間を空間構造データが遮らない第1状態であるか否かを判定する。第1状態とは、空間構造データを考慮した場合に(空間構造上)、コンテンツ共有先候補ユーザが共有ARコンテンツを視認可能である状態である。共有判定部74は、記憶部76に格納されているコンテンツ共有先候補ユーザの位置及び共有ARコンテンツの表示位置を取得する。共有判定部74は、記憶部76に格納されているコンテンツ共有先候補ユーザの位置を空間構造サーバ30に送信することにより、空間構造サーバ30から、コンテンツ共有先候補ユーザの位置に対応する(例えばコンテンツ共有先候補ユーザから数10mの範囲の)空間構造データを取得する。そして、共有判定部74は、コンテンツ共有先候補ユーザの位置から共有ARコンテンツの表示位置に向かって直線を引いた場合に、該直線が空間構造データによって遮られるか(空間構造データに衝突するか)否かを判定し、該直線が空間構造データによって遮られない場合に、第1状態であると判定する。
 共有判定部74は、コンテンツ共有先候補ユーザの位置及び視認方向と共有ARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザが共有ARコンテンツ方向を視認している第2状態であるか否かを判定する。第2状態とは、コンテンツ共有先候補ユーザの視認方向(視線)を考慮した場合に、コンテンツ共有先候補ユーザが共有ARコンテンツを視認可能である状態である。共有判定部74は、記憶部76に格納されているコンテンツ共有先候補ユーザの位置及び視認方向、並びに、共有ARコンテンツの表示位置を取得する。そして、共有判定部74は、コンテンツ共有先候補ユーザの視認方向を中心とした所定の角度(例えば150°)内に共有ARコンテンツが表示されているか否かを判定し、所定の角度内に共有ARコンテンツが表示されている場合に、第2状態であると判定する。
 共有判定部74は、コンテンツ共有先候補ユーザの位置と共有ARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザ及び共有ARコンテンツの離間距離を特定し、該離間距離が所定の共有可能距離以下である第3状態であるか否かを判定する。第3状態とは、コンテンツ共有先候補ユーザ及び共有ARコンテンツの離間距離を考慮した場合に、コンテンツ共有先候補ユーザが共有ARコンテンツを視認可能である(或いは、自然な対応で視認できる)状態である。共有判定部74は、記憶部76に格納されているコンテンツ共有先候補ユーザの位置、共有ARコンテンツの表示位置、及び共有ARコンテンツの共有可能距離を取得する。そして、共有判定部74は、コンテンツ共有先候補ユーザ及び共有ARコンテンツの離間距離が共有可能距離以下である場合に、第3状態であると判定する。共有判定部74は、共有ARコンテンツについて、第1状態、第2状態、及び第3状態の全ての状態であるか(全ての条件を満たすか)否かの情報を記憶部76に格納する。
 表示部75は、コンテンツ取得部73によって取得されたARコンテンツを表示する。表示部75は、共有判定部74によって、第1状態、第2状態、及び第3状態の全ての状態であると判定された場合に限り、コンテンツ共有先候補ユーザの通信端末70において共有ARコンテンツの表示位置に共有ARコンテンツを表示し、コンテンツ共有先候補ユーザに共有ARコンテンツを共有する。具体的には、表示部75は、記憶部76を参照することにより第1状態、第2状態、及び第3状態の全ての状態であると判定された共有ARコンテンツを特定すると共に該共有ARコンテンツの表示位置を特定し、該表示位置に共有ARコンテンツを表示する。表示部75は、共有ARコンテンツを一度表示した後において、コンテンツ共有先候補ユーザからの入力に応じて、該共有ARコンテンツを継続表示するか否かを決定してもよい。すなわち、表示部75は、実際に表示された共有ARコンテンツを視認したコンテンツ共有先候補ユーザから継続表示する旨の指示(入力)を受けた場合に限り、該共有ARコンテンツを継続表示してもよい。
 図4は、共有ARコンテンツが共有される例/されない例について説明する図である。図4に示される例では、会議室Aにおいてコンテンツ共有元ユーザY1の通信端末60が共有ARコンテンツ500の共有を試みている。会議室A内にはコンテンツ共有先候補ユーザY21等を含むグループG1が存在している。また、会議室Aと壁Wを介して隣接した会議室Bには、コンテンツ共有先候補ユーザY22等を含むグループG2、及び、コンテンツ共有先候補ユーザY23等を含むグループG3が存在している。
 いま、会議室A内に存在するグループG1のコンテンツ共有先候補ユーザY21等のユーザについては、共有ARコンテンツ500との間に遮るオブジェクト(壁等)がなく、第1状態である。また、図4に示されるように、グループG1のコンテンツ共有先候補ユーザY21等のユーザは共有ARコンテンツ500方向を視認しており、第2状態である。さらに、図4に示されるように、グループG1のコンテンツ共有先候補ユーザY21等のユーザは共有ARコンテンツ500に近接しており、共有ARコンテンツ500との離間距離が短く、第3状態である。このため、グループG1の各ユーザの通信端末60においては、共有ARコンテンツ500が表示(共有)される。
 一方で、会議室Bに存在するグループG2のコンテンツ共有先候補ユーザY22等については、会議室Aの共有ARコンテンツ500との間に壁Wがあるため、壁Wに相当する空間構造データを考慮すると、少なくとも第1状態ではない。また、グループG2のコンテンツ共有先候補ユーザY22等は共有ARコンテンツ500との離間距離が長いため、第3状態を満たさない可能性もある。また、グループG3のコンテンツ共有先候補ユーザY23等については、視線方向が共有ARコンテンツ500方向ではないため、第2状態ではない。このようなグループG2,G3の各ユーザの通信端末60には、共有ARコンテンツ500が表示(共有)されない。
 次に、図5を参照して、コンテンツ共有元ユーザの通信端末60が行う処理について説明する。図5は、コンテンツ共有元ユーザの通信端末60が行う処理(詳細には、共有ARコンテンツの表示に係る処理)を示すフローチャートである。
 図5に示されるように、通信端末60は、例えばARコンテンツに係るアプリケーションが実行されることに応じて、継続的に周囲を撮像する(ステップS1)。つづいて、通信端末60は、撮像画像を位置測位サーバ10に送信し、位置測位サーバ10から測位結果(コンテンツ共有元ユーザの位置)を取得する(ステップS2)。つづいて、通信端末60は、コンテンツ共有元ユーザの位置をコンテンツサーバ20に送信し、コンテンツサーバ20から共有元ユーザの位置に対応するARコンテンツを取得する(ステップS3)。通信端末60は、コンテンツ共有元ユーザから、共有したいARコンテンツ(共有ARコンテンツ)の選択入力を受け付ける(ステップS4)。
 つづいて、通信端末60は、コンテンツ共有元ユーザから共有ARコンテンツの表示位置及び共有可能距離の設定入力を受け付ける(ステップS5)。そして、通信端末60は、設定された表示位置に共有ARコンテンツを表示する(ステップS6)。
 次に、図6を参照して、コンテンツ共有先候補ユーザの通信端末70が行う処理について説明する。図6は、コンテンツ共有先候補ユーザの通信端末70が行う処理(詳細には、共有ARコンテンツの表示に係る処理)を示すフローチャートである。
 図6に示されるように、通信端末70は、例えばARコンテンツに係るアプリケーションが実行されることに応じて、継続的に周囲を撮像する(ステップS101)。つづいて、通信端末70は、撮像画像を位置測位サーバ10に送信し、位置測位サーバ10から測位結果(コンテンツ共有先候補ユーザの位置)を取得する(ステップS102)。つづいて、通信端末70は、コンテンツ共有先候補ユーザの位置をコンテンツサーバ20に送信し、コンテンツサーバ20から、共有先候補ユーザに対応する共有ARコンテンツの情報を取得する(ステップS103)。共有ARコンテンツの情報には、共有ARコンテンツ、共有ARコンテンツの表示位置、及び共有ARコンテンツの共有可能距離が含まれている。
 つづいて、通信端末70は、コンテンツ共有先候補ユーザ及び共有ARコンテンツの離間距離が所定の共有可能距離以下である第3状態であるか否かを判定する(ステップS104)。ステップS104において第3状態である場合には、通信端末70は、コンテンツ共有先候補ユーザが共有ARコンテンツ方向を視認している(共有ARコンテンツが視認方向にある)第2状態であるか否かを判定する(ステップS105)。ステップS105において第2状態である場合には、通信端末70は、コンテンツ共有先候補ユーザ及び共有ARコンテンツ間を空間構造データが遮らない第1状態であるか否かを判定する(ステップS106)。
 ステップS106において第1状態である場合(すなわち、第1状態、第2状態、第3状態の全ての状態である場合)には、通信端末70は、共有ARコンテンツの表示位置に共有ARコンテンツを表示し、コンテンツ共有先候補ユーザに共有ARコンテンツを共有する(ステップS107)。一方で、ステップS104において第3状態でない場合、ステップS105において第2状態でない場合、及びステップS106において第3状態でない場合には、通信端末70は、共有ARコンテンツを表示しない(ステップS108)。なお、共有ARコンテンツを共有しない(視認できない)ようにした場合には、共有ARコンテンツにモザイクを施す等の処理がなされてもよい。
 次に、本実施形態に係るARシステム1の作用効果について説明する。
 本実施形態のARシステム1は、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する空間構造サーバ30の記憶部31と、コンテンツ共有先候補ユーザの位置及び視認方向を推定するユーザ情報取得部72と、共有ARコンテンツの表示位置を取得するコンテンツ取得部73と、コンテンツ共有先候補ユーザの位置と空間構造データと共有ARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザ及び共有ARコンテンツ間を空間構造データが遮らない第1状態であるか否かを判定し、コンテンツ共有先候補ユーザの位置及び視認方向と共有ARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザが共有ARコンテンツ方向を視認している第2状態であるか否かを判定する共有判定部74と、共有判定部74によって第1状態及び第2状態であると判定された場合に限り、コンテンツ共有先候補ユーザの通信端末70において共有ARコンテンツの表示位置に共有ARコンテンツを表示し、コンテンツ共有先候補ユーザに共有ARコンテンツを共有する表示部75と、を備える。
 ARシステム1では、コンテンツ共有先候補ユーザの位置及び視認方向と、現実空間のオブジェクトの位置及び形状が考慮された空間構造データと、共有ARコンテンツの表示位置とに基づいて、当該共有ARコンテンツをコンテンツ共有先候補ユーザに共有するか(コンテンツ共有先候補ユーザの通信端末70に表示するか)否かが決定される。具体的には、コンテンツ共有先候補ユーザ及び共有ARコンテンツ間を空間構造データが遮っておらず、且つ、コンテンツ共有先候補ユーザが共有ARコンテンツ方向を視認している場合に限り、共有ARコンテンツがコンテンツ共有先候補ユーザに共有される。コンテンツ共有先候補ユーザ及び共有ARコンテンツ間を空間構造データが遮っていない場合とは、コンテンツ共有先候補ユーザ及び共有ARコンテンツ間が空間的に連通している場合(壁等によって遮られていない場合)である。また、コンテンツ共有先候補ユーザが共有ARコンテンツ方向を視認している場合とは、コンテンツ共有先候補ユーザが共有ARコンテンツ方向に注目している場合である。このように、遮られていない同じ空間において特定の領域に注目しているユーザ(ユーザ群)は、例えば共通の打ち合わせや会議に出席しているユーザ等、共通の目的を持って集まっているユーザであると想定される。このため、共有ARコンテンツとの間を空間構造データが遮っておらず、且つ、共有ARコンテンツ方向を視認しているユーザに対してのみ共有ARコンテンツを共有することにより、共通の目的を持って集まっていると想定されるユーザに対してのみ共有ARコンテンツが共有されることになる。このことにより、共有先として適当なユーザにコンテンツを共有することができる。そして、このようなコンテンツの共有方法においては、例えば壁等によって遮られてそもそも共有ARコンテンツを視認することができないユーザや、共有ARコンテンツ方向を視認していない(同じ目的で集まっていない)ユーザが自動的に排除されるため、共有するユーザを選択する操作等が不要となり、簡易にコンテンツ共有を行うことができる。以上のように、本実施形態に係るARシステムによれば、共有先として適当なユーザに対して簡易にコンテンツを共有することができる。そして、このようなコンテンツ共有方法によれば、共有先として適当でないユーザの選択に係る処理が不要となるため、処理負荷を軽減することができるという技術的効果を奏する。
 共有判定部74は、コンテンツ共有先候補ユーザの位置と共有ARコンテンツの表示位置とに基づいて、コンテンツ共有先候補ユーザ及び共有ARコンテンツの離間距離を特定し、該離間距離が所定の共有可能距離以下である第3状態であるか否かを判定し、表示部75は、さらに、共有判定部74によって第3状態であると判定された場合に限り、コンテンツ共有先候補ユーザに共有ARコンテンツを共有する。これにより、共有ARコンテンツとの離間距離が大きく共通の目的を持って集まっていないと思われるユーザを共有先から排除することができ、共有先として適当なユーザにコンテンツを共有することができる。
 ARシステム1は、共有ARコンテンツの共有元ユーザからの入力に応じて、共有可能距離を設定する共有可能距離設定部66を更に備えている。これにより、例えばイベントの規模等に応じて、コンテンツを共有し得るユーザの範囲を任意に(柔軟に)変更することが可能になる。
 ARシステム1は、共有ARコンテンツの共有元ユーザからの入力に応じて、共有ARコンテンツの表示位置を調整する表示位置調整部65を更に備えている。これにより、例えば表示する共有ARコンテンツの種別やイベントの規模等に応じて、共有ARコンテンツの表示位置を任意に(柔軟に)変更することが可能になる。
 表示部75は、コンテンツ共有先候補ユーザの通信端末70において共有ARコンテンツの表示位置に共有ARコンテンツを一度表示した後において、コンテンツ共有先候補ユーザからの入力に応じて、共有ARコンテンツを継続表示するか否かを決定する。これにより、上述した処理により共有ARコンテンツが共有された後において、例えば共有ARコンテンツを共有されたユーザが共有ARコンテンツを視認した上で、共有ARコンテンツを継続表示するか否かを決定することができる。このことで、真に共有ARコンテンツの共有を希望するユーザに対してのみ、継続的に共有ARコンテンツを表示することができる。
 ARシステム1は、予め取得された画像データに含まれる特徴点の特徴量と該特徴点に関連付けられた位置情報とが対応付けられたマップデータ100を記憶する記憶部11を更に備え、ユーザ情報取得部72は、コンテンツ共有先候補ユーザの通信端末70が撮像した撮像画像を取得し、該撮像画像とマップデータ100とに基づいてコンテンツ共有先候補ユーザの位置を推定すると共に、撮像画像に基づいてコンテンツ共有先候補ユーザの視認方向を推定してもよい。これにより、コンテンツ共有先候補ユーザの位置及び視認方向を簡易に精度良く推定することができる。
 最後に、ARシステム1に含まれた位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、通信端末60、及び通信端末70のハードウェア構成について、図7を参照して説明する。上述の位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、通信端末60、及び通信端末70は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
 なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、通信端末60、及び通信端末70のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
 位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、通信端末60、及び通信端末70における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002及びストレージ1003におけるデータの読み出し及び/又は書き込みを制御することで実現される。
 プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。例えば、通信端末70の共有判定部74等の制御機能はプロセッサ1001で実現されてもよい。
 また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003及び/又は通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、通信端末70の共有判定部74等の制御機能は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、1つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
 メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
 ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及び/又はストレージ1003を含むデータベース、サーバその他の適切な媒体であってもよい。
 通信装置1004は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
 入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
 また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
 また、位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、通信端末60、及び通信端末70は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つで実装されてもよい。
 以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
 例えば、ARシステム1は位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、通信端末60、及び通信端末70を含んで構成されているとして説明したがこれに限定されず、ARシステム1の各機能が、通信端末のみによって実現されてもよい。
 また、コンテンツ共有先候補ユーザの通信端末70の機能として説明した各種機能は、コンテンツ共有元ユーザの通信端末60の機能であってもよいし、他の処理サーバの機能であってもよい。同様に、コンテンツ共有元ユーザの通信端末60の機能として説明した各種機能は、コンテンツ共有先候補ユーザの通信端末70の機能であってもよいし、他の処理サーバの機能であってもよい。例えば、共有判定部74(第1判定部、第2判定部、第3判定部)の機能は、コンテンツ共有元ユーザの通信端末60の機能であってもよい。すなわち、コンテンツ共有元ユーザの通信端末60において、コンテンツ共有に係る各種判定が行われてもよい。
 本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broad-band)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-Wide Band)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
 本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
 入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
 判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
 本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
 ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
 また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
 本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
 なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
 また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
 ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
 本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベースまたは別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。
 本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
 本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
 「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
 本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
 本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
 1…ARシステム(コンテンツ共有システム)、11…記憶部(第2記憶部)、31…記憶部(第1記憶部)、60,70…通信端末、65…表示位置調整部、66…共有可能距離設定部、72…ユーザ情報取得部(推定部)、73…コンテンツ取得部(取得部)、74…共有判定部(第1判定部,第2判定部,第3判定部)、75…表示部。

Claims (7)

  1.  現実空間のオブジェクトの位置に対応する仮想空間上の位置において前記オブジェクトの形状を表す空間構造データを記憶する第1記憶部と、
     コンテンツ共有先候補ユーザの位置及び視認方向を推定する推定部と、
     ARコンテンツの表示位置を取得する取得部と、
     前記コンテンツ共有先候補ユーザの位置と前記空間構造データと前記ARコンテンツの表示位置とに基づいて、前記コンテンツ共有先候補ユーザ及び前記ARコンテンツ間を前記空間構造データが遮らない第1状態であるか否かを判定する第1判定部と、
     前記コンテンツ共有先候補ユーザの位置及び視認方向と前記ARコンテンツの表示位置とに基づいて、前記コンテンツ共有先候補ユーザが前記ARコンテンツ方向を視認している第2状態であるか否かを判定する第2判定部と、
     前記第1判定部によって前記第1状態であると判定されると共に前記第2判定部によって前記第2状態であると判定された場合に限り、前記コンテンツ共有先候補ユーザの端末において前記ARコンテンツの表示位置に前記ARコンテンツを表示し、前記コンテンツ共有先候補ユーザに前記ARコンテンツを共有する表示部と、を備える、コンテンツ共有システム。
  2.  前記コンテンツ共有先候補ユーザの位置と前記ARコンテンツの表示位置とに基づいて、前記コンテンツ共有先候補ユーザ及び前記ARコンテンツの離間距離を特定し、該離間距離が所定の共有可能距離以下である第3状態であるか否かを判定する第3判定部を更に備え、
     前記表示部は、さらに、前記第3判定部によって前記第3状態であると判定された場合に限り、前記コンテンツ共有先候補ユーザに前記ARコンテンツを共有する、請求項1記載のコンテンツ共有システム。
  3.  前記ARコンテンツの共有元ユーザからの入力に応じて、前記共有可能距離を設定する共有可能距離設定部を更に備える、請求項2記載のコンテンツ共有システム。
  4.  前記ARコンテンツの共有元ユーザからの入力に応じて、前記ARコンテンツの表示位置を調整する表示位置調整部を更に備える、請求項1~3のいずれか一項記載のコンテンツ共有システム。
  5.  前記表示部は、前記コンテンツ共有先候補ユーザの端末において前記ARコンテンツの表示位置に前記ARコンテンツを一度表示した後において、前記コンテンツ共有先候補ユーザからの入力に応じて、前記ARコンテンツを継続表示するか否かを決定する、請求項1~4のいずれか一項記載のコンテンツ共有システム。
  6.  予め取得された画像データに含まれる特徴点の特徴量と該特徴点に関連付けられた位置情報とが対応付けられたマップデータを記憶する第2記憶部を更に備え、
     前記推定部は、前記コンテンツ共有先候補ユーザの端末が撮像した撮像画像を取得し、前記撮像画像と前記マップデータとに基づいて前記コンテンツ共有先候補ユーザの位置を推定すると共に、前記撮像画像に基づいて前記コンテンツ共有先候補ユーザの視認方向を推定する、請求項1~5のいずれか一項記載のコンテンツ共有システム。
  7.  ユーザの位置及び視認方向を推定する推定部と、
     ARコンテンツの表示位置を取得する取得部と、
     前記ユーザの位置と、現実空間のオブジェクトの位置に対応する仮想空間上の位置において前記オブジェクトの形状を表す空間構造データと、前記ARコンテンツの表示位置とに基づいて、前記ユーザ及び前記ARコンテンツ間を前記空間構造データが遮らない第1状態であるか否かを判定する第1判定部と、
     前記ユーザの位置及び視認方向と前記ARコンテンツの表示位置とに基づいて、前記ユーザが前記ARコンテンツ方向を視認している第2状態であるか否かを判定する第2判定部と、
     前記第1判定部によって前記第1状態であると判定されると共に前記第2判定部によって前記第2状態であると判定された場合に限り、コンテンツ共有先候補ユーザの端末において前記ARコンテンツの表示位置に前記ARコンテンツを表示し、前記ユーザに前記ARコンテンツを共有する表示部と、を備える、端末。
PCT/JP2021/005962 2020-02-28 2021-02-17 コンテンツ共有システム及び端末 WO2021172137A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-033624 2020-02-28
JP2020033624A JP2023040322A (ja) 2020-02-28 2020-02-28 コンテンツ共有システム及び端末

Publications (1)

Publication Number Publication Date
WO2021172137A1 true WO2021172137A1 (ja) 2021-09-02

Family

ID=77490985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005962 WO2021172137A1 (ja) 2020-02-28 2021-02-17 コンテンツ共有システム及び端末

Country Status (2)

Country Link
JP (1) JP2023040322A (ja)
WO (1) WO2021172137A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013521544A (ja) * 2010-03-01 2013-06-10 キィ リー、ムーン 拡張現実のポインティング装置
JP2016071776A (ja) * 2014-10-01 2016-05-09 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP2017016466A (ja) * 2015-07-02 2017-01-19 富士通株式会社 端末制御方法、画像生成方法、端末制御プログラム、及び端末
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013521544A (ja) * 2010-03-01 2013-06-10 キィ リー、ムーン 拡張現実のポインティング装置
JP2016071776A (ja) * 2014-10-01 2016-05-09 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP2017016466A (ja) * 2015-07-02 2017-01-19 富士通株式会社 端末制御方法、画像生成方法、端末制御プログラム、及び端末
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OCHIAI, KEIICHI: "Information presentation and search method in AR service using location information", NTT DOCOMO TECHNICAL JOURNAL, vol. 18, no. 4, 1 January 2011 (2011-01-01), pages 4 - 10, XP009530605 *

Also Published As

Publication number Publication date
JP2023040322A (ja) 2023-03-23

Similar Documents

Publication Publication Date Title
US11132840B2 (en) Method and device for obtaining real time status and controlling of transmitting devices
US10075814B2 (en) Location-based selection of wireless peripheral devices
KR102499139B1 (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
EP3023971A2 (en) Method for displaying image and electronic device thereof
KR20160111211A (ko) 데이터 통신 방법 및 그 전자 장치
US10205882B2 (en) Method for providing service and electronic device thereof
KR20190056523A (ko) 가상현실 컨텐츠 디스플레이 동기화 시스템 및 방법
US11836978B2 (en) Related information output device
WO2021172137A1 (ja) コンテンツ共有システム及び端末
KR20160027699A (ko) 이미지 처리 방법 및 그 전자 장치
US11709645B2 (en) Wearable terminal device, control method, and system
WO2021192873A1 (ja) 測位システム
WO2023008277A1 (ja) コンテンツ共有システム
KR20150136856A (ko) 컨텐츠 처리 방법 및 그 전자 장치
WO2021199785A1 (ja) 情報処理システム
JP7529950B2 (ja) 情報処理システム
WO2021166747A1 (ja) 情報処理システム
WO2022163651A1 (ja) 情報処理システム
WO2021235147A1 (ja) 情報処理システム
JP7355840B2 (ja) Arシステム及び端末
JP6882130B2 (ja) 情報処理装置および情報処理システム
WO2023026634A1 (ja) 表示制御装置
WO2022190735A1 (ja) 表示制御装置
JP7267105B2 (ja) 情報処理装置及びプログラム
EP4390503A1 (en) Controlled display of content across multiple apparatuses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21761931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP