[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2014162825A1 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
WO2014162825A1
WO2014162825A1 PCT/JP2014/056162 JP2014056162W WO2014162825A1 WO 2014162825 A1 WO2014162825 A1 WO 2014162825A1 JP 2014056162 W JP2014056162 W JP 2014056162W WO 2014162825 A1 WO2014162825 A1 WO 2014162825A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
real space
annotation
displayed
Prior art date
Application number
PCT/JP2014/056162
Other languages
English (en)
French (fr)
Inventor
俊一 笠原
暦本　純一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP14779413.5A priority Critical patent/EP2983138A4/en
Priority to JP2015509967A priority patent/JP6304241B2/ja
Priority to CN201480018323.1A priority patent/CN105103198A/zh
Priority to US14/779,789 priority patent/US20160055676A1/en
Publication of WO2014162825A1 publication Critical patent/WO2014162825A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present disclosure relates to a display control device, a display control method, and a program.
  • AR augmented reality
  • Information presented to the user in AR technology is also called annotation, and can be visualized using various forms of virtual objects such as text, icons, or animation.
  • Patent Document 1 describes a technique for realizing the operation of the AR virtual object without impairing the user's immersion in the AR space.
  • Patent Document 1 The AR technology proposed in the above-mentioned Patent Document 1 has not been developed yet, and it is hard to say that technologies for utilizing AR in various aspects have been sufficiently proposed.
  • a technique for facilitating the interaction between users using the AR technique is one that has not been sufficiently proposed.
  • the present disclosure proposes a new and improved display control apparatus, display control method, and program capable of facilitating the interaction between users using the AR technology.
  • the display control unit that controls the display unit of the terminal device
  • the display control unit is a position in the real space that is associated with the virtual object that is displayed in the real space via the display unit.
  • the display position of the virtual object is determined based on the information, the control to display the virtual object in the real space based on the display position, and a part or all of the virtual object is within the visible range of the real space.
  • a display control apparatus that executes control for displaying a notification indicating the presence of the virtual object in the real space when the user is outside.
  • a processor that controls the display unit of the terminal device can perform the virtual object based on position information in the real space associated with the virtual object displayed in the real space via the display unit.
  • the virtual object is displayed in the real space based on the display position, and the virtual object is displayed when a part or all of the virtual object is outside the visible range of the real space.
  • a display control method including displaying a notification indicating the presence of an object in the real space is provided.
  • the virtual object based on the position information in the real space associated with the virtual object displayed in the real space via the display unit on the computer that controls the display unit of the terminal device.
  • a program for realizing a function for displaying a notification indicating the existence of an object in the real space is provided.
  • interaction between users using AR technology can be made smoother.
  • FIG. 5 is a diagram illustrating an example of annotation input according to an embodiment of the present disclosure.
  • FIG. It is a figure which shows another example of the sharing of the captured image in one Embodiment of this indication.
  • 5 is a flowchart illustrating an example of processing of technology that can be used in an embodiment of the present disclosure.
  • 10 is a flowchart illustrating another example of processing of technology that can be used in an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example in which images of different viewpoints are displayed simultaneously in an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example in which images of different viewpoints are displayed simultaneously in an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a first example of annotation display according to an embodiment of the present disclosure. It is a figure showing the 2nd example of annotation display in one embodiment of this indication.
  • FIG. 14 is a diagram illustrating a third example of annotation display according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating a fourth example of annotation display according to an embodiment of the present disclosure.
  • FIG. 16 is a diagram illustrating a sixth example of annotation display according to an embodiment of the present disclosure.
  • 5 is a diagram for describing an arrangement of annotations according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of selection of annotation arrangement according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a first example of display of annotations that are outside a visible range according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a first example of display of annotations that are outside a visible range according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a first example of display of annotations that are outside a visible range according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a first example of display of annotations that are outside a visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a second example of displaying annotations that are outside the visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a second example of displaying annotations that are outside the visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a third example of display of annotations that are outside the visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a third example of display of annotations that are outside the visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a third example of display of annotations that are outside the visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a fourth example of displaying an annotation that is outside a visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a fifth example of display of annotations that are outside the visible range according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a sixth example of display of annotations that are outside the visible range in an embodiment of the present disclosure.
  • FIG. It is a figure which shows the application example of the display of the annotation outside the visible range in one Embodiment of this indication. It is a figure which shows the application example of the display of the annotation outside the visible range in one Embodiment of this indication.
  • 6 is a diagram illustrating a display example of an annotation target object using edge detection according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of a streaming frame rollback display according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of a streaming frame rollback display according to an embodiment of the present disclosure.
  • FIG. It is a figure which shows the example of the application which shares a traveler's viewpoint using the technique which concerns on one Embodiment of this indication. It is a figure which shows the example of the application which shares a mountain climber's viewpoint using the technique which concerns on one Embodiment of this indication. It is a figure which shows the example of the application which shares the viewpoint of the person who cooks using the technique which concerns on one Embodiment of this indication.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to an embodiment of the present disclosure.
  • the system 10 includes a server 100 and clients 200 to 700.
  • the server 100 is a collection of functions realized by a single server device or a plurality of server devices connected via a wired or wireless network to cooperate, and provides a service to the clients 200 to 700.
  • the clients 200 to 700 are terminal devices connected to the server 100 through various wired or wireless networks.
  • the clients 200 to 700 realize at least one of the following functions (1) to (3) in the system 10.
  • An apparatus that has imaging means such as a camera and provides an image in real space to the server 100.
  • It has a display means such as a display and an operation means such as a touch panel, obtains an image provided from the apparatus of (1) from the server 100, provides it to the user's browsing, and annotates the image by the user A device that accepts input.
  • a device having display means such as a display, and directly or indirectly displaying an annotation whose input has been accepted by the device of (2) in the real space.
  • the client 200 is a wearable terminal (hereinafter also simply referred to as a wearable terminal 200).
  • the wearable terminal 200 includes, for example, either or both of an imaging unit and a display unit, and functions as either or both of the above (1) and (3).
  • the wearable terminal 200 is a glasses type, but is not limited to this example as long as the wearable terminal 200 can be worn on the user's body.
  • the wearable terminal 200 includes, for example, a camera installed in a frame portion of glasses as an imaging unit. With this camera, wearable terminal 200 can acquire an image in real space from a position close to the user's viewpoint. The acquired image is transmitted to the server 100.
  • the wearable terminal 200 when functioning as said (3) apparatus, has the display installed in the one part or all part of the lens part of spectacles, for example as a display means.
  • the wearable terminal 200 displays an image captured by the camera on the display and superimposes the annotation input by the device (2) on the image.
  • the display when the display is a transmissive type, the wearable terminal 200 may transparently superimpose and display the annotation on the real-world image that the user is directly viewing.
  • the client 300 is a tablet terminal (hereinafter also simply referred to as a tablet terminal 300).
  • the tablet terminal 300 includes at least a display unit and an operation unit, and can function as, for example, the device (2).
  • the tablet terminal 300 may further include an imaging unit and function as either or both of the above (1) and (3). That is, the tablet terminal 300 can function as an arbitrary device among the devices (1) to (3).
  • the tablet terminal 300 When functioning as the device (2), the tablet terminal 300 has a display as a display unit and a touch sensor on the display as an operation unit, for example, and is provided from the device (1) via the server 100. An image is displayed and a user annotation input for the image is accepted. The accepted annotation input is provided to the apparatus (3) via the server 100.
  • the tablet terminal 300 When functioning as the device of (1) above, the tablet terminal 300 has a camera as an imaging unit, for example, similar to the above-described wearable terminal 200, and the user holds the tablet terminal 300 in real space to An image of a real space on the extension line can be acquired. The acquired image is transmitted to the server 100.
  • the tablet terminal 300 displays an image captured by the camera on the display, and the device of (2) (for example, another tablet terminal) with respect to the image.
  • the annotation input by is superimposed and displayed.
  • the display is a transmissive type, the tablet terminal 300 may transparently superimpose and display the annotation on the real-world image that the user is directly viewing.
  • the client 400 is a mobile phone (smart phone) (hereinafter also simply referred to as the mobile phone 400).
  • the function of the mobile phone 400 in the system 10 is the same as that of the tablet terminal 300, detailed description is abbreviate
  • a device such as a portable game machine or a digital camera also includes a tablet terminal 300 or a mobile phone in the system 10 as long as it includes a communication unit, a display unit, an operation unit, or an imaging unit. It can function in the same way as 400.
  • the client 500 is a laptop PC (hereinafter also simply referred to as a laptop PC 500).
  • the laptop PC 500 has display means and operation means, and functions as the device (2).
  • the laptop PC 500 is treated as an example of a device that does not function as the device (1) because it is basically fixed and used.
  • a desktop PC or a television can function in the same manner as the laptop PC 500.
  • the laptop PC 500 has a display as a display means and a mouse and a keyboard as operation means.
  • the laptop PC 500 displays an image provided from the apparatus (1) via the server 100 and inputs a user annotation to the image. Accept.
  • the accepted annotation input is provided to the apparatus (3) via the server 100.
  • the laptop PC 500 can also function as the device (3). In this case, the laptop PC 500 does not superimpose the annotation on the real space image captured by itself, but displays the annotation as a part of the real space as in an example described later. Such an annotation can also be displayed on the tablet terminal 300 or the mobile phone 400 described above.
  • the client 600 is a fixed camera (hereinafter also simply referred to as a fixed camera 600).
  • the fixed camera 600 has an imaging unit and functions as the device (1).
  • the fixed camera 600 is treated as an example of an apparatus that does not function as the apparatuses (2) and (3) because the fixed camera 600 is used in a fixed manner and does not have a display unit.
  • a camera that projects the front of the screen is provided on a desktop PC or television, or when a movable device such as a digital camera is temporarily fixed to a tripod, etc. This device can function in the same manner as the fixed camera 600.
  • the fixed camera 600 has a camera as an imaging unit, and displays an image of a real space from a fixed viewpoint (including a case where the camera swings automatically or in response to a user's operation for viewing a captured image). Can be acquired. The acquired image is transmitted to the server 100.
  • the client 700 is a projector (hereinafter also simply referred to as the projector 700).
  • the projector 700 has a projection device as display means, and functions as the device (3).
  • the projector 700 does not have an imaging unit and does not have an operation unit that receives an input to a displayed (projected) image, and thus does not function as the devices (1) and (2). It is treated as an example of a device.
  • the projector 700 displays an annotation in the real space by projecting an image on a screen or the surface of an object using a projection device.
  • the projector 700 is shown as a fixed type, but may be a handheld type.
  • the system 10 includes a device (wearable terminal 200, tablet terminal 300, mobile phone 400, fixed camera 600) capable of acquiring a real space image, and a real space image.
  • a device capable of receiving an annotation input to an image by the user and displaying an annotation directly or indirectly in real space (Wearable terminal 200, tablet terminal 300, mobile phone 400, laptop PC 500, projector 700).
  • the server 100 obtains an image of the real space by cooperating with each of the above-described devices, provides the image to the user (for example, a user who is not in the real space), and applies the image to the image by the user.
  • a function for receiving an annotation input and displaying the input annotation directly or indirectly in the real space is realized. With such a function, for example, an image of a real space where the first user is present is viewed by a second user, and an annotation added to the image by the second user is directly or indirectly added to the real space. Interaction between users using the AR technology, such as being displayed and visually recognized by the first user, becomes possible.
  • AR images for example, images in which annotations are displayed in real space
  • image processing for configuring an AR image is mainly executed by the server 100.
  • part or all of the image processing is, for example, the apparatus of (3) that displays an annotation in real space, or the apparatus of (2) that displays an image of real space and receives an annotation input. Etc. may be executed.
  • FIG. 2 is a diagram illustrating a schematic configuration of an apparatus according to an embodiment of the present disclosure.
  • the apparatus 900 includes a processor 910 and a memory 920.
  • the apparatus 900 may further include a display unit 930, an operation unit 940, a communication unit 950, an imaging unit 960, or a sensor 970. These components are connected to each other by a bus 980.
  • the device 900 can realize, for example, the server device constituting the server 100 and the clients 200 to 700 described above.
  • the processor 910 is a variety of processors such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), for example, and performs various functions by executing operations such as computation and control according to a program stored in the memory 920, for example. To realize.
  • the processor 910 realizes a control function of the entire apparatus of the server 100 and the clients 200 to 700, for example.
  • the processor 910 performs image processing for realizing display of an AR image as in an example described later.
  • the processor 910 executes display control for realizing display of an AR image as described later in the server 100, the wearable terminal 200, the tablet terminal 300, the mobile phone 400, the laptop PC 500, or the projector 700, for example. To do.
  • the memory 920 is configured by a storage medium such as a semiconductor memory or a hard disk, and stores a program and data for processing by the apparatus 900.
  • the memory 920 may store captured image data acquired by the imaging unit 960 and sensor data acquired by the sensor 970.
  • an external data source for example, a data server, a network storage, or an external memory
  • the display unit 930 is provided, for example, in a client having the above-described display means.
  • the display unit 930 can be a display corresponding to the shape of the device 900, for example.
  • the wearable terminal 200 may have a display having a shape corresponding to the lens portion of the glasses, for example.
  • the tablet terminal 300, the mobile phone 400, and the laptop PC 500 may have a flat panel display provided in each case.
  • the display unit 930 may be a projection device that projects an image on an object.
  • the projector 700 can have a projection device as a display unit.
  • the operation unit 940 is provided in, for example, a client having the above-described operation means.
  • the operation unit 940 is configured by combining a touch sensor (which forms a touch panel together with the display), a touch pad, a mouse, and other pointing devices provided on the display, with a keyboard, buttons, switches, and the like as necessary.
  • the operation unit 940 identifies a position in an image displayed on the display unit 930 by using, for example, a pointing device, and accepts a user operation for inputting some information to the position using a keyboard, a button, a switch, or the like.
  • the operation unit 940 may specify a position in an image displayed on the display unit 930 by a pointing device, and may accept a user's operation to input some information with respect to the position using the pointing device.
  • the communication unit 950 is a communication interface that mediates communication between the device 900 and other devices.
  • the communication unit 950 supports any wireless communication protocol or wired communication protocol, and establishes a communication connection with another device.
  • the communication unit 950 is used for transmission of the real space image captured by the client and the input annotation information to the server 100, and transmission of the real space image and annotation information from the server 100 to the client. .
  • the imaging unit 960 is a camera module that captures an image.
  • the imaging unit 960 images a real space using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and generates a captured image.
  • a series of captured images generated by the imaging unit 960 constitutes a video.
  • the imaging unit 960 is not necessarily a part of the apparatus 900.
  • an imaging device connected to the device 900 by wire or wireless may be handled as the imaging unit 960.
  • the imaging unit 960 may include a depth sensor that measures the distance between the imaging unit 960 and the subject for each pixel. The depth data output from the depth sensor can be used for environment recognition in an image obtained by capturing a real space as will be described later.
  • Sensor 970 may include various sensors such as a positioning sensor, an acceleration sensor, and a gyro sensor.
  • the measurement results obtained by the sensor 970 may be used in various applications such as support for environment recognition in an image captured in real space, acquisition of data specific to a geographical location, or detection of user input.
  • the sensor 970 can be provided in a device having the imaging unit 960, in the above example, the wearable terminal 200, the tablet terminal 300, the mobile phone 400, or the fixed camera 600.
  • FIG. 3A is a diagram illustrating an example of sharing a captured image according to an embodiment of the present disclosure.
  • an image in real space captured by the camera 260 (imaging unit) of the wearable terminal 200 is streamed to the tablet terminal 300 via the server 100 and displayed as an image 1300 on the display 330 (display unit).
  • the captured real space image is displayed on the display 230 (display unit) or the real space image is directly viewed through the display 230.
  • an image 1200 an image (including a background that is visible through transmission) displayed on the display 230 is referred to as an image 1200 below.
  • FIG. 3B is a diagram illustrating an example of annotation input according to an embodiment of the present disclosure.
  • a touch sensor 340 operation unit
  • a user's touch input for the image 1300 displayed on the display 330 can be acquired.
  • a user's touch input indicating a position in the image 1300 is acquired by the touch sensor 340, and a pointer 1310 is displayed at the position.
  • text input using a separately displayed screen keyboard or the like is displayed as a comment 1320 on the image 1300.
  • the pointer 1310 and the comment 1320 are transmitted as annotations to the wearable terminal 200 via the server 100.
  • annotations input on the tablet terminal 300 are displayed on the image 1200 as a pointer 1210 and a comment 1220.
  • the position where these annotations are displayed in the image 1200 corresponds to the position of the real space in the image 1300 displayed on the tablet terminal 300.
  • an interaction is established between the wearable terminal 200 which is a transmission side (streaming side) device and the tablet terminal 300 which is a reception side (viewer side) device.
  • a technique that can be used for matching the display positions of annotations between apparatuses or continuously displaying annotations will be described later.
  • FIG. 3B is a diagram illustrating another example of sharing of a captured image according to an embodiment of the present disclosure.
  • an image of the real space captured by the camera (imaging unit; not shown because it is on the back side) of the tablet terminal 300a is streamed to the tablet terminal 300b, and the image is displayed on the display 330b (display unit). It is displayed as 1300b.
  • the captured real space image is displayed on the display 330a, or the real space image is directly visible through the display 330a.
  • an image displayed on the display 330a (including a background that is visible through transmission) is referred to as an image 1300a below.
  • the tablet terminal 300a which is an apparatus on the transmission side (streaming side), and the reception side (viewer side) are displayed on the image 1300a by displaying annotations input to the image 1300b on the tablet terminal 300b.
  • the tablet terminal 300b which is the device of FIG.
  • the sharing of the real space image and the interaction between the users based on the real space image according to the present embodiment are not limited to the above-described examples related to the wearable terminal 200 and the tablet terminal 300, and the mobile phone 400, the laptop PC 500, which have already been described, and fixed
  • the camera 600 or the projector 700 also realizes the respective functions (for example, the functions (1) to (3) described above), any device is set as the transmission side (streaming side) and the reception side (viewer side). It can be established.
  • spatial information is added to real-space image data to be transmitted in the transmission-side apparatus. Spatial information is based on how the image capturing unit (the camera 260 of the wearable terminal 200 in the examples of FIGS. 3A and 3B and the camera of the tablet terminal 300a in the example of FIG. 4) moves in the real space. It is information that makes it possible to estimate whether or not.
  • the spatial information may be an environment recognition matrix recognized by a known image recognition technique such as SfM (Structure from Motion) method or SLAM (Simultaneous Localization And Mapping) method.
  • the environment recognition matrix indicates, for example, the relative position and orientation of the coordinate system of the reference environment (real space) with respect to the coordinate system unique to the device on the transmission side.
  • the processor of the transmitting device transmits a state variable including the position, posture, velocity and angular velocity of the device, and the position of at least one feature point included in the captured image to the extended Kalman filter. Updating is performed for each frame of the captured image based on the principle.
  • the position and orientation of the reference environment based on the position and orientation of the apparatus can be recognized using the input image from the monocular camera.
  • a detailed explanation of the SLAM method can be found in, for example, “Real-Time Simultaneous Localization and Mapping with a Single Camera” (Andrew J. Davison, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410) It is described in.
  • the spatial information may be any information as long as it is information indicating the relative position and orientation of the imaging unit in the real space.
  • the environment recognition matrix may be recognized based on depth data from a depth sensor that can be provided in the imaging unit.
  • the environment recognition matrix may be recognized based on output data from an environment recognition system such as an infrared distance measuring system or a motion capture system.
  • an environment recognition system such as an infrared distance measuring system or a motion capture system.
  • An example of such a technology is described in, for example, S.Izadi, et al, KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera, ACM Symposium on User Interface Software and Technology, 2011.
  • various known techniques can be used for generating spatial information.
  • the spatial information may be generated by specifying the relative positional relationship of each frame image by stitching analysis of a series of frame images obtained by imaging the real space.
  • the stitching analysis may be a two-dimensional stitching analysis in which each frame image is pasted on the base plane, or a three-dimensional stitching analysis in which each frame image is pasted at an arbitrary position in the space.
  • the imaging unit acquires real space image data
  • the processor processes the information acquired by the imaging unit or the sensor as necessary to generate spatial information.
  • the image data and the spatial information are associated with each other and transmitted from the communication unit of wearable terminal 200 to server 100 (step S103).
  • the communication unit receives image data and spatial information from the wearable terminal 200, and transfers the image data to the tablet terminal 300 (receiving device) (step S105).
  • the processor associates the position in the image received using the spatial information with the position of the real space where the wearable terminal 200 exists (step S107).
  • the communication unit receives the image data from the server 100, and the processor displays the image 1300 on the display 330 based on the received image data (step S109).
  • the processor relates the annotation input to a position in the image 1300 (for example, the position of the pointer 1310), and communicates from the communication unit to the server 100. (Step S113).
  • the processor converts the position in the image included in the received information into the position in the real space (step) S115).
  • the annotation input associated with the converted real space position is transmitted from the communication unit to the wearable terminal 200 (step S117).
  • the communication unit receives the annotation input and the real space position information from the server 100, and the processor displays the real space position associated with the annotation information on the current display 230 using the spatial information.
  • the image is converted into a position in the image 1200 (step S119), and an annotation (for example, a pointer 1210 or a comment 1220) is displayed at the position (step S121).
  • FIG. 5B shows another example of the above processing.
  • the communication unit transmits the information on the position in the real space included in the image together with the image data to the tablet terminal 300 (steps). S201).
  • the image is displayed on the display 330 (step S109) as in the example of FIG. 5A described above, but the annotation input is not the position in the image but the real space received in step S201. It is transmitted in association with the position (step S203).
  • the communication unit may transfer the annotation input information associated with the real space position to the wearable terminal 200 (step S205).
  • the display range of the image 1200 displayed on the wearable terminal 200 is changed by the movement of the user or the device during the above time difference, and thus transmitted from the tablet terminal 300.
  • the annotation may be displayed at a position different from the position intended by the user of the tablet terminal 300 while viewing the image 1300.
  • the annotation can be associated with the position in the real space. Therefore, the wearable terminal 200 can be used by the user of the tablet terminal 300 regardless of the change in the display range of the image 1200.
  • An annotation can be displayed at an intended position (for example, a position corresponding to a specific object in the real space) while viewing the image 1300.
  • the real space image 1200 displayed on the wearable terminal 200 can be directly viewed through the display 230, or can be displayed in alignment with the real space image seen outside the display 230.
  • the range of the image 1200 is narrower than the range of the real space image captured by the camera 260 of the wearable terminal 200 (that is, the range visually recognized by the user of the wearable terminal 200). (The range of the captured image is wider than that).
  • the range of the image 1300 displayed on the display 330 of the tablet terminal 300 is wider than the range of the image 1200 of the wearable terminal 200, and the user of the tablet terminal 300 is outside the image 1200, that is, the wearable terminal 200. It may be possible to enter annotations in areas that are not visible to the user. Therefore, when an annotation is exchanged with reference to a position in the image, an annotation that is not displayed on the image 1200 of the wearable terminal 200 occurs even if the tablet terminal 300 can input the annotation.
  • the annotation can be associated with the position in the real space by applying the above technique, the position that is not within the display range of the image 1200 when received by the server 100 or the wearable terminal 200. Can be displayed on the image 1200, for example, when the display range of the image 1200 subsequently changes to include the position of the annotation.
  • the transmission-side apparatus adds the spatial information to the real space image data and transmits it.
  • the spatial information is information indicating, for example, the position and orientation in the real space of the imaging unit of the transmitting device. If this information is used, as will be described below, the receiving side generates an image for observing the real space from a free viewpoint, regardless of the viewpoint of the first person image (the real space image captured by the imaging unit). It is possible to provide the apparatus.
  • the operations of the transmission side device, the reception side device, and the server will be described using the example shown in FIGS. 3A and 3B.
  • the present invention is not limited to an example, and may be realized by a combination of arbitrary devices in the system 10 described above.
  • FIG. 6 is a diagram illustrating a display example of a first person image according to an embodiment of the present disclosure.
  • FIG. 6 shows a first person image 1010.
  • the first person image 1010 is an image captured by the camera 260 of the wearable terminal 200 (device on the transmission side), and may be the same as the image 1200 displayed on the display 230 by the wearable terminal 200. It is called “personal image”. Since the first person image 1010 is a streaming frame, that is, a series of frame images captured by the camera 260, the display range thereof changes every moment with the movement of the user wearing the wearable terminal 200, for example.
  • (3rd person image) 7 to 9 are diagrams illustrating display examples of third-person images according to an embodiment of the present disclosure.
  • the third person image 1020 shown in FIGS. 7 to 9 is a virtual image of the real space where the camera 260 of the wearable terminal 200 exists from a different viewpoint from the first person image based on the spatial information provided together with the data of the captured image. It is the image which was picked up automatically.
  • the third person image 1020 can be generated from a position set in the real space of the camera 260 of the wearable terminal 200, that is, from a viewpoint that is set freely regardless of the viewpoint of the apparatus on the transmission side. In the specification, it is referred to as “third-person image”.
  • the third person image 1020 is generated by, for example, the processor of the server 100 processing an image of the real space acquired by the camera 260 of the wearable terminal 200 based on the spatial information provided from the wearable terminal 200, and is transmitted by the communication unit. It can be transmitted to the tablet terminal 300.
  • an image captured by the camera 260 can be displayed as a streaming frame 1021.
  • the streaming frame 1021 is, for example, the same image as the first person image 1010 described above, and is arranged in a rectangular area corresponding to the screen of the streaming frame 1021 in the displayed real space according to the spatial information.
  • the shape of this area can be transformed into, for example, a trapezoidal shape or an unequal-sided square shape according to the inclination of the viewpoint of the third person image 1020 with respect to the streaming frame 1021.
  • a viewpoint that allows the streaming frame 1021 to be outside the display range of the third-person image 1020 can be set, or on the back side of the streaming frame 1021. It may be possible to set a viewpoint. In such a case, the streaming frame 1021 may not be displayed on the third person image 1020. Further, in this case, the link between the third person image 1020 and the wearable terminal 200 having the camera 260 that provides the streaming frame may be released, and the third person image 1020 may temporarily leave the transmission side device.
  • the viewpoint of the third person image 1020 it is possible to move the viewpoint of the third person image 1020 further based on the cache of the spatial information at the time of leaving, for example, the streaming frame 1021 or the streaming frame provided from another transmitting device is again
  • the display range of the third person image 1020 is entered, the link between the third person image 1020 and the transmitting apparatus can be resumed.
  • the viewpoint of the third person image 1020 is set on the back side of the streaming frame 1021, the display of the streaming frame 1021 may be continued as a frame only.
  • the setting of the viewpoint in the third person image 1020 may be limited to exclude the range where the normal display of the streaming frame 1021 is not performed as described above.
  • a real-time image is not provided.
  • a wire frame or the like is schematically displayed as in the illustrated example. sell.
  • the wire frame shown in the figure shows a square room, but this does not necessarily mean that the real space is such a room.
  • the streaming frame 1024 provided in the past may be displayed by being pasted on the streaming frame 1021 using, for example, a result of stitching analysis.
  • a peripheral area image similar to a 1.3 person image described later may be displayed around the streaming frame 1021.
  • the third-person image 1020 may display a first-person image viewpoint object 1022 and a 1.3-person image viewpoint object 1023.
  • the viewpoint object 1022 of the first person image indicates the viewpoint of the first person image, that is, the streaming frame 1021.
  • a 1.3 person image viewpoint object 1023 indicates a viewpoint that is virtually set when a 1.3 person image described later is generated. The positions of these viewpoints can be specified based on the spatial information.
  • the viewpoint may be automatically changed based on an object recognized in the real space so that the object is facing and / or enlarged.
  • the display range of the third person image 1020 may not be affected by the change in the display range of the streaming frame 1021 due to the movement of the camera 260 of the wearable terminal 200, for example.
  • the display area and display content of the streaming frame 1021 change, and the viewpoint object 1022 of the first person image can move, but the display range of the third person image 1020 can be maintained.
  • the viewpoint object 1023 of the 1.3 person image can also move as the camera 260 moves.
  • the display range of the third person image 1020 can be changed, for example, when an instruction to change the viewpoint is acquired from a user viewing the third person image 1020 on the tablet terminal 300.
  • the third person image 1020 does not necessarily have to be generated based only on a real space image acquired by a single transmission device, for example, the camera 260 of the wearable terminal 200.
  • the third person image 1020 is generated by, for example, further combining real space images acquired by other devices (for example, the fixed camera 600) existing in the same real space (for example, the same room) as the wearable terminal 200. May be.
  • the fixed camera 600 also provides the server 100 with the spatial information added to the real space image data.
  • the server 100 can generate a third person image 1020 that combines image data of a plurality of real spaces based on the spatial information provided from each device.
  • a plurality of streaming frames 1021 may be displayed.
  • FIG. 10A is a diagram illustrating a display example of a 1.3 person image according to an embodiment of the present disclosure.
  • FIG. 10A shows a 1.3 person image 1030.
  • the person image 1030 is an image obtained by virtually capturing the real space from the viewpoint on the back side of the camera 260 based on the image captured by the camera 260 of the wearable terminal 200.
  • the viewpoint of the first person image 1030 can be set separately from the viewpoint of the first person image 1010, but is not set freely like the viewpoint of the third person image 1020.
  • “1.3 person image” is used as a term that means an image having an intermediate property between an image and a third person image.
  • the relationship between the viewpoint of the first person image 1030 and the viewpoint of the first person image 1010 is the relationship between the viewpoint object 1022 and the viewpoint object 1023 displayed in the third person image 1020 shown in FIGS. 7 and 8, for example. It can be easily understood by referring.
  • the streaming frame 1031 can be, for example, the same image as the first person image 1010 described above.
  • the viewpoint of the 1.3 person image 1030 is set on the back side of the camera 260, the position of the streaming frame 1031 is typically near the center of the 1.3 person image 1030, and the shape of the streaming frame 1031 is Is typically rectangular.
  • the display range of the 1.3 person image 1030 can also change following the streaming frame 1031.
  • the processor of the server 100 may process the displacement of the camera 260 calculated based on the spatial information using a noise filter or a low-pass filter, and then reflect the displacement in the viewpoint of the first person image 1030. Good. Accordingly, for example, even when the streaming frame 1031 is shaken due to a fine movement of the camera 260, the shake of the first person image 1030 can be suppressed.
  • the display range of the first person image 1030 can be smoothly followed to determine what kind of viewpoint It can be made easier for a user viewing the 1.3 person image 1030 to recognize whether a change has occurred.
  • the streaming frame 1031 is temporarily displayed at a position other than the center of the 1.3 person image 1030. Or 1.3 may not be displayed on the person image 1030.
  • the peripheral area image 1032 can be displayed around the streaming frame 1031.
  • the peripheral area image 1032 is pasted around the streaming frame 1031 using the result of stitching analysis or the like, as in the example shown with reference to FIG. 9 for the third person image 1020. Can be generated.
  • a feature point detected by the SLAM method or the like, a spatial model around the streaming frame 1031 generated using dense mapping three-dimensional data, or the like may be displayed as the peripheral region image 1032.
  • an image extracted from a past streaming frame may be pasted as a texture on a surface included in the space model.
  • the actual space may be displayed because there are few images accumulated as the past streaming frame 1031, or time has passed since the streaming frame 1031 was out of the display range. The situation may have changed, or the accuracy of the spatial model may be low. In such a case, the peripheral area image 1032 may not be displayed partially or may be partially blurred as shown in the figure.
  • FIG. 10B and FIG. 10C are diagrams for explaining a 1.3 person image in an embodiment of the present disclosure.
  • the above-described 1.3 person image will be further described from another viewpoint.
  • the viewpoint CP2 of the first person image is a position where the viewpoint CP1 of the first person image is virtually moved backward in the coordinate system of the real space acquired by the SLAM method, for example.
  • the processor of the server 100 sets a predetermined upper limit value for the moving speed when the viewpoint CP2 follows the viewpoint CP1 (hereinafter also referred to as the following speed of the viewpoint CP2), or sets the moving speed of the viewpoint CP1 to one.
  • the viewpoint CP2 can be smoothly tracked even when the viewpoint CP1 moves suddenly. This makes it possible for the user viewing the 1.3 person image to easily recognize what kind of change has occurred in the viewpoint.
  • the frame FRM acquired by the viewpoint CP1 that is, the latest frame of the first person image is out of the range of the 1.3 person image
  • the context of the space displayed in the 1.3 person image may be retained. It becomes difficult. Therefore, for example, even when the follow-up speed of the viewpoint CP2 is suppressed by setting the upper limit value and the gain as described above, the moving speed of the viewpoint CP1 is high, so that the frame FRM exceeds a predetermined ratio. Is outside the 1.3 person image range, for example, the upper limit value and the gain value are increased to increase the follow-up speed of the viewpoint CP2, and the frame FRM is kept within the 1.3 person image range. Control may be added.
  • FIG. 10C shows an example of an image displayed when the above control is performed, for example.
  • A a first person image 1010 is displayed.
  • B the display of the first person image 1030 is started by virtually moving the viewpoint of the first person image 1010 backward.
  • nothing is displayed in the portion other than the frame FRM of the 1.3 person image 1030.
  • the viewpoint CP1 moves with the 1.3 person image 1030 displayed, and the viewpoint CP2 of the 1.3 person image also moves following the viewpoint CP1.
  • the movement of the display range of the third person image 1030 is slightly delayed with respect to the movement of the frame FRM. Accordingly, the frame FRM is located slightly off the center of the 1.3 person image 1030.
  • an object is displayed in a portion other than the latest frame FRM by using an image of the past frame FRM displayed in B or the like.
  • the processor of the server 100 operates the 1.3 person image 1030 such as the tablet terminal 300 (for example, When an operation to the 1.3 person image 1030 via the touch panel or the like is acquired in an apparatus that obtains an annotation input), the movement of the viewpoint CP2 is suppressed to suppress the movement of the 1.3 person image 1030.
  • the display range may be fixed. Thereby, for example, the user can easily perform an operation on a specific position displayed on the first person image 1030.
  • the processor of the server 100 displays the first person image 1010 when the viewpoint position of the camera is not recognized (being searched).
  • the processor may switch the displayed image to the 1.3 person image 1030.
  • the image displayed by the processor may be returned to the first person image 1010. Note that the transition from the first person image 1010 to the first person image 1030 and the transition from the first person image 1030 to the first person image 1010 in this example may both be displayed with animation.
  • the receiving device in the receiving device (tablet terminal 300 in the above example), the range captured by the imaging unit of the transmitting device (wearable terminal 200 in the above example) is captured. It is possible to provide an image that displays the real space beyond. As a result, the user of the receiving device can share the real space image from a free viewpoint regardless of the viewpoint of the user of the transmitting device.
  • the user of the tablet terminal 300 inputs annotations to areas other than the streaming frames 1021 and 1031 displayed in the third person image 1020 and the 1.3 person image 1030. can do. Accordingly, for example, it is possible to add an annotation to an object or a position in the real space that the wearable terminal 200 (transmission-side device) has seen in the past but is not currently viewing.
  • This annotation may be displayed, for example, when the streaming frames 1021 and 1031 are moved later, and a notification indicating that the annotation exists outside the image 1200 in the wearable terminal 200 as in an example described later. May be displayed.
  • FIG. 11 and FIG. 12 are diagrams illustrating an example in which images of different viewpoints are displayed simultaneously in an embodiment of the present disclosure.
  • the third person image 1020 and the first person image 1010 are displayed at the same time.
  • the viewpoint object 1022 of the first person image may be highlighted.
  • the first person image 1010 is displayed as a child screen of the screen of the third person image 1020.
  • the third person image 1020 may be displayed as a child screen of the screen of the first person image 1010. .
  • the third person image 1020 and the 1.3 person image 1030 are displayed at the same time.
  • the viewpoint object 1023 of the 1.3 person image may be highlighted.
  • the 1.3 person image 1030 is displayed as a child screen of the screen of the third person image 1020, but conversely, the third person image 1020 is displayed as a child screen of the screen of the 1.3 person image 1030. May be.
  • spatial information is added to real space image data transmitted by the transmission-side apparatus.
  • the spatial information is information indicating, for example, the position and orientation in the real space of the imaging unit of the transmitting device.
  • FIG. 13 is a diagram illustrating a first example of annotation display according to an embodiment of the present disclosure.
  • FIG. 13 shows a tablet terminal 300c and a tablet terminal 300d.
  • the tablet terminal 300c captures an image of real space with a camera (imaging unit) (not illustrated), and causes the display 330c (display unit) to display the image as an image 1300c.
  • the user of the tablet terminal 300c inputs an annotation 1310c for the image 1300c using a touch sensor 340 (operation unit) provided on the display 330c.
  • a touch sensor 340 operation unit
  • the position in the real space can be specified based on the spatial information acquired together with the captured image by the tablet terminal 300c.
  • the relative position based on the imaging unit of the tablet terminal 300c, or the feature in the space can be expressed as a position based on a point or the like.
  • the tablet terminal 300d also captures an image of real space with a camera (imaging unit) (not shown) and displays it as an image 1300d on the display 330d (display unit).
  • a camera imaging unit
  • the tablet terminal 300c ′ is reflected in the image 1300d.
  • the information of the annotation 1310c for the image 1300c input in the tablet terminal 300c is transmitted to the tablet terminal 300d via the server 100 or by inter-device communication, and is displayed as the annotation 1310d in the image 1300d.
  • the annotation 1310d is displayed at a position in the real space designated on the tablet terminal 300c. This is expressed by the annotation 1310d being displayed in the air away from the tablet terminal 300c 'in the image 1300d.
  • the tablet terminal 300d can also acquire spatial information together with the captured image, and the position of the tablet terminal 300c in the space, the position of the feature point in the space, or the like can be specified by the acquired spatial information. Therefore, the tablet terminal 300d can specify the position of the annotation 1310d in the space based on the information indicating the position in the real space acquired from the tablet terminal 300c and the spatial information acquired by the tablet terminal 300d, for example.
  • the tablet terminal 300c functions as the devices (1) and (2), and the tablet terminal 300d serves as the device (3). It is functioning.
  • the information of the annotation 1310c input in the tablet terminal 300c may be transmitted to the tablet terminal 300d by inter-device communication.
  • the above example shows a modification of the system 10 in which each device communicates without going through a server, and image processing using spatial information is executed in any device.
  • FIG. 14 is a diagram illustrating a second example of annotation display according to an embodiment of the present disclosure.
  • FIG. 14 shows a tablet terminal 300 and a screen (SCREEN) on which an image is projected by a projector 700 (not shown).
  • the tablet terminal 300 captures an image of real space with a camera (imaging unit) (not illustrated), and displays the image as an image 1300 on the display 330 (display unit).
  • the screen (SCREEN ') is shown in the image 1300.
  • the user of the tablet terminal 300 inputs the annotation 1310 for the image 1300 using the touch sensor 340 (operation unit) provided on the display 330.
  • the annotation 1310 is a graffiti drawn on the screen (SCREEN ').
  • the annotation 1310 is associated with a position on the screen (SCREEN) in the real space based on, for example, spatial information that the tablet terminal 300 acquires together with the captured image.
  • Information on the annotation 1310 input in the tablet terminal 300 is transmitted to the projector 700 via the server 100 or by inter-device communication together with real space position information (indicating the position of the screen).
  • the projector 700 does not acquire a captured image, but acquires spatial information in the same manner as the tablet terminal 300, and recognizes the position of the screen (SCREEN) in real space. Therefore, the projector 700 can project the same annotation 1710 (graffiti) input as the annotation 1310 on the tablet terminal 300 onto the screen (SCREEN). In this case, it can be said that the projector 700 directly displays the annotation input to the image 1300 (virtual space) displayed on the display 330 with the tablet terminal 300 in the real space. .
  • FIG. 15 is a diagram illustrating a third example of annotation display according to an embodiment of the present disclosure.
  • FIG. 15 shows a tablet terminal 300 and a laptop PC 500.
  • the tablet terminal 300 captures an image of real space with a camera (imaging unit) (not illustrated), and displays the image as an image 1300 on the display 330 (display unit).
  • the display 1530 since the angle of view of the camera of the tablet terminal 300 includes the display 530 (display unit) of the laptop PC 500, the display 1530 'is shown in the image 1300.
  • the user of the tablet terminal 300 inputs the annotation 1310 for the image 1300 using the touch sensor 340 (operation unit) provided on the display 330.
  • the annotation 1310 is a circle surrounding one of the thumbnail images of the content displayed on the display 530 '.
  • the annotation 1310 is associated with the position of the display 530 in the real space based on, for example, spatial information that the tablet terminal 300 acquires together with the captured image.
  • the information of the annotation 1310 input in the tablet terminal 300 is transmitted to the laptop PC 500 via the server 100 or by inter-device communication together with the position information of the real space (indicating the position of the display 530).
  • the laptop PC 500 does not acquire a captured image, but acquires spatial information in the same manner as the tablet terminal 300, and recognizes the position of the display 530 in real space. Accordingly, the laptop PC 500 causes the display 530 to display the same annotation 1510 (a circle surrounding one of the thumbnail images) that is input as the annotation 1310 in correspondence with the annotation 1310 input in the tablet terminal 300. Can do. In this case, the laptop PC 500 displays the annotation input to the image 1300 (virtual space) displayed on the display 330 with the tablet terminal 300 on the display 530 that constitutes a part of the real space. It can be said that it is displayed directly in the space.
  • FIG. 16 is a diagram illustrating a fourth example of annotation display according to an embodiment of the present disclosure.
  • FIG. 16 shows a wearable terminal 200, a tablet terminal 300, and a projector 700.
  • the wearable terminal 200 captures an image of real space with the camera 260 (imaging unit) and acquires spatial information, and transmits the captured image data to the tablet terminal 300 via the server 100 together with the spatial information.
  • the tablet terminal 300 may exist in a place different from the wearable terminal 200 and the projector 700, for example.
  • the tablet terminal 300 displays the received image as an image 1300 on the display 330 (display unit).
  • the image 1300 includes a table in the same space as the wearable terminal 200, and a cup, a plate, and a key (KEY ') on the table.
  • a user of the tablet terminal 300 inputs an annotation 1310 for the image 1300 using a touch sensor 340 (operation unit) provided on the display 330.
  • the annotation 1310 includes a circle surrounding the key (KEY ′) and a message “Please bring this”.
  • the annotation 1310 is associated with the position of the key (KEY) in the real space based on the spatial information received together with the image from the wearable terminal 200.
  • Information on the annotation 1310 input in the tablet terminal 300 is transmitted to the projector 700 via the server 100 together with real space position information (for example, indicating the position of the key (KEY)).
  • the projector 700 does not acquire a captured image, but acquires spatial information in the same manner as the wearable terminal 200, and recognizes the position of the surface on which the image is projected (for example, the surface of the table in the illustrated example) in real space. ing. Therefore, the projector 700 can project the annotation 1710 (circle and message) similar to that input as the annotation 1310 in the tablet terminal 300 around the key (KEY) on the table. Accordingly, the user of wearable terminal 200 can directly view annotation 1710 projected on the surface of the table. Therefore, in this case, wearable terminal 200 may not have a display unit such as a display.
  • the annotation input in the tablet terminal 300 is obtained by using the real space position information specified based on the spatial information added to the real space image captured by the wearable terminal 200 as a reference.
  • the projector 700 which is a device different from the device that captured the image, can be displayed in real space.
  • the wearable terminal 200 does not necessarily have a display unit such as a display, and the degree of freedom of the device configuration when practicing the interaction between users using the AR technology can be improved.
  • FIG. 17 is a diagram illustrating a fifth example of annotation display according to an embodiment of the present disclosure.
  • FIG. 17 shows a fixed camera 600, a tablet terminal 300, and a projector 700.
  • the projector 700 can be a handheld type, unlike the fixed type shown in the above examples.
  • the fixed camera 600 captures an image of real space by the camera 660 (imaging unit) and acquires spatial information, and transmits the captured image data to the tablet terminal 300 via the server 100 together with the spatial information.
  • the tablet terminal 300 may exist in a place different from the fixed camera 600 and the projector 700, for example.
  • the spatial information in the fixed camera 600 may be acquired by a method different from the case of the wearable terminal 200 or the like described above.
  • the spatial information in the fixed camera 600 may be fixed information set by measuring the surrounding environment at the time of installation or the like.
  • the fixed camera 600 does not need to have a sensor or the like for acquiring spatial information other than having the spatial information stored in the memory. Such acquisition of spatial information is also possible in other fixed devices.
  • the tablet terminal 300 displays the received image as an image 1300 on the display 330 (display unit).
  • the image 1300 includes a table under the fixed camera 600 and a key (KEY ') on the table.
  • a user of the tablet terminal 300 inputs an annotation 1310 for the image 1300 using a touch sensor 340 (operation unit) provided on the display 330.
  • the annotation 1310 includes a circle surrounding the key (KEY ').
  • the annotation 1310 is associated with the position of the key (KEY) in the real space based on the spatial information received together with the image from the fixed camera 600.
  • Information on the annotation 1310 input in the tablet terminal 300 is transmitted to the projector 700 via the server 100 together with real space position information (for example, indicating the position of the key (KEY)).
  • the projector 700 does not acquire a captured image (but may acquire), but has acquired spatial information, and recognizes a position in a real space of a surface (for example, the surface of a table in the illustrated example) on which the image is projected. ing. Therefore, the projector 700 can project the annotation 1710 (circle) similar to that input as the annotation 1310 in the tablet terminal 1310 around the key (KEY) on the table.
  • the projector 700 is a handheld type and can be easily moved by being carried by the user. Therefore, the method of acquiring spatial information in the projector 700 can be the same as that of a portable terminal such as the wearable terminal 200, for example.
  • the annotation input in the tablet terminal 300 is based on the positional information of the real space specified based on the spatial information added to the real space image captured by the fixed camera 600.
  • the image is directly displayed in real space by the projector 700, which is a device different from the device that captured the image.
  • the projector 700 is a handheld type, and can be carried by a user to project an image at an arbitrary position in the real space. Therefore, for example, the user uses the projector 700 to project an image on various places in the real space as if searching for the darkness using a flashlight. It is possible to search for the object or position indicated by the annotation. In this case, the user does not need to wear a device such as the wearable terminal 200, and can more freely practice the interaction between users using the AR technology.
  • FIG. 18 is a diagram illustrating a sixth example of annotation display according to an embodiment of the present disclosure.
  • the example of FIG. 18 can be said to be a modification of the example described above with reference to FIG.
  • a wearable terminal 200 and a tablet terminal 300 are shown.
  • the wearable terminal 200 captures an image of real space with a camera 260 (imaging unit) and acquires spatial information, and the data of the captured image together with the spatial information via the server 100 and the wearable terminal 200 and The data is transmitted to a device in a different location from the tablet terminal 300.
  • the transmission destination device is not shown.
  • the tablet terminal 300 receives the annotation information input in the transmission destination device from the server 100.
  • the tablet terminal 300 is placed on a table in the same space as the wearable terminal 200.
  • the tablet terminal 300 has not acquired a captured image (the imaging unit itself may have), but has acquired spatial information in the same manner as the wearable terminal 200, and recognizes the position of the display 330 in real space. ing.
  • the display 330 of the tablet terminal 300 placed on the table displays an arrow 1310 that points to the adjacent key (KEY). This arrow may be a display corresponding to the annotation input to the key displayed on the image in the destination device.
  • FIG. 19 is a diagram for describing the arrangement of annotations according to an embodiment of the present disclosure.
  • the wearable terminal 200 illustrated in FIG. 19 transmits the real space image captured by the camera 260 (imaging unit) to the server 100 together with the spatial information. Further, the wearable terminal 200 receives the annotation information input by another device with respect to the transmitted image together with the position information of the real space, and transmits the display 230 (display unit) based on the received information.
  • An annotation 1210 is displayed so as to be superimposed on the image of the real space that is visually recognized. Note that the annotation 1210 is shown at a position recognized by the user of the wearable terminal 200 as a result of being virtually displayed superimposed on the image of the real space. That is, the annotation 1210 as shown is not visible to users other than the wearable terminal 200 user.
  • the annotation 1210 is displayed by pointing to a key (KEY) on the table, and two examples are shown in the figure.
  • the two examples here are the annotation 1210a arranged in space and the annotation 1210b arranged in object.
  • the annotation 1210a is displayed in the air above the key (KEY).
  • KY key
  • Such a spatial arrangement of annotations is easy to attract the attention of a user who visually recognizes an image, and is suitable, for example, when it is desired to specify a direction using annotations.
  • the position where the camera was placed at the time of taking a photograph is often in the air (because the camera is usually held by a user or installed on a tripod, etc. ).
  • the spatial arrangement of annotations can be useful.
  • the spatial arrangement of the annotations described above may be possible, for example, when the annotations are displayed as images on a display, and the annotations are projected and displayed by a projector as in the examples of FIGS. 16 and 17, for example.
  • the projector is a 3D projector, it is possible.
  • the annotation 1210b is displayed in the vicinity of the key (KEY) on the table where the key (KEY) is placed.
  • Such an annotation object arrangement is suitable when, for example, it is desired to indicate an object by annotation because the relationship with the object to be annotated is easily recognized.
  • feature points detected by the SLAM method, dense mapping three-dimensional data, or the like can be used to specify a target object.
  • a target object may be specified from those objects.
  • the annotation spatial arrangement and object arrangement as described above are selected by some method.
  • the processor of the tablet terminal 300 or the server 100 may automatically initialize the spatial arrangement or the object arrangement according to the type of annotation that the user is going to input.
  • the spatial arrangement can be automatically selected in the case of the direction instruction and the photographing angle display, and the object arrangement can be automatically selected in the case of the object instruction.
  • the arrangement of annotations may be selectable by a user operation on the operation unit of the apparatus.
  • an annotation 1310 is input to the image 1300 displayed on the display 330 of the tablet terminal 300 using the touch sensor 340, the object is arranged with the spatially arranged annotation 1310 a.
  • An annotation 1310b may be displayed, and a GUI (Graphical User Interface) may be provided for the user to select one by a touch operation.
  • GUI Graphic User Interface
  • the annotation 1310a arranged in space makes it easy to identify that it is arranged in the air by displaying a shadow using the upper part of the real space reflected in the image 1300 as a light source. May be.
  • a perpendicular line from the spatially arranged annotation 1310 to the surface of the object below it may be displayed.
  • a grid may be displayed in the depth direction of the image 1300.
  • pinch-in / out using the touch sensor 340 or a forward / backward movement button provided separately may be used.
  • the movement of the sensor of the tablet terminal 300 may be detected by moving the tablet terminal 300 itself forward / backward when viewed from the user, and the processor may reflect the movement on the position of the annotation 1310 in the depth direction.
  • the image is captured by the camera 260 (imaging unit) rather than the display range of the image 1200 displayed on the display 230 (display unit) by the wearable terminal 200 (transmission side device).
  • the display range of the image 1300 displayed on the tablet terminal 300 (receiving device) is wider.
  • the tablet terminal 300 can input the annotations 1310 and 1320 even for positions in the real space that are not included in the display range of the image 1200 displayed on the wearable terminal 200 at the present time.
  • the input annotation is stored in the tablet terminal 300, the server 100, or the wearable terminal 200 in association with the position information in the real space defined based on the spatial information acquired by the wearable terminal 200, and later the camera together with the wearable terminal 200
  • the image 1200 can be displayed as annotations 1210 and 1220.
  • an image in a range exceeding the first person image 1010 visually recognized by the transmission side device is displayed as the third person image 1020 or 1.3 person image 1030.
  • a user who browses these images on the receiving apparatus can input annotations to the real space that is outside the display range of the first person image 1010.
  • the input annotation is retained in association with the position information in the real space defined based on the spatial information acquired by the transmission side device, and the display range of the first person image 1010 is moved later. It can be displayed when the position is included.
  • the wearable terminal 200 As an example, if the user of the transmitting device (hereinafter referred to as the wearable terminal 200 as an example) does not know the presence of the annotation, the annotation has not been included in the display range of the image 1200 and time has elapsed. There is a possibility.
  • a user of a receiving device hereinafter referred to as a tablet terminal 300 as an example
  • the presence of the annotation is preferably notified to the user of wearable terminal 200.
  • information related to annotations outside the viewable range can be displayed.
  • the display of such information is also a kind of annotation, but in the following description, what is input by the user of the receiving apparatus may be particularly referred to as an annotation to be distinguished.
  • the display control for these displays may be executed by, for example, a processor of a device (for example, the wearable terminal 200 or the tablet terminal 300) that displays an annotation, or recognizes a viewable range outside these devices. It may be executed by the processor of the server 100. Note that the following example can be applied uniformly when there is a possibility that an annotation is input outside the viewable range of the real space image, for example, independently of the various examples described above.
  • FIG. 21 to FIG. 23 are diagrams illustrating a first example of displaying an annotation that is outside the visible range according to an embodiment of the present disclosure.
  • FIG. 21 shows a display example when the annotation is in the image 1200 (viewable range).
  • the annotation is displayed for a cup (CUP) placed on the table, and includes a pointer 1210 and a comment 1220.
  • CUP cup
  • FIG. 22 shows a display example when the cup (CUP) to be an annotation is outside the image 1200.
  • a direction display 1230 indicating the direction in which the annotation target exists may be displayed.
  • the direction display 1230 can be displayed, for example, by specifying the positional relationship between the display range of the image 1200 and the annotation target based on the spatial information acquired by the wearable terminal 200.
  • the comment 1220 in the annotation may be displayed together with the direction display 1230. Since the comment 1220 is information indicating the content or type of the annotation, the comment 1220 is useful even if displayed with the direction display 1230 instead of the pointer 1210.
  • FIG. 23 shows that the display range of the image 1200 is moved by the user of the wearable terminal 200 changing the direction of the camera 260 in accordance with the direction display 1230, and a part of the cup (CUP) that is the annotation target is the image 1200.
  • CUP part of the cup
  • An example of the display when it comes to be included in is shown. In this case, even if the entire object is not included in the image 1200, a part of the pointer 1210 and the comment 1220 may be displayed as annotations.
  • FIG. 24 and FIG. 25 are diagrams illustrating a second example of displaying annotations that are outside the visible range according to an embodiment of the present disclosure.
  • the distance to the annotation target is displayed.
  • FIG. 24 is a diagram illustrating an example of display for two images having different distances from the visible range to the annotation target.
  • a circle 1240 indicates that an annotation exists outside the visible range.
  • the circle 1240 is displayed with a radius corresponding to the distance from the annotation target to the visible range.
  • FIG. 25A when the distance from the annotation of the subject to visual range (image 1200a) is large, circular 1240a of larger radius r 1 is displayed.
  • FIG. 25B when the distance from the annotation of the subject to visual range (image 1200 b) is small, a circle 1240b of smaller radius r 2 is displayed.
  • the radius r of the circle 1240 may be set continuously according to the distance to the annotation target, or may be set in stages.
  • a comment 1220 in the annotation may be displayed together with a circle 1240.
  • the user viewing the image 1200 can move not only that the annotation is outside the viewable range but also how much the display range of the image 1200 is moved in which direction. For example, it can be intuitively understood whether the annotation can be visually recognized.
  • FIG. 26 and FIG. 27 are diagrams illustrating a third example of displaying an annotation that is outside the visible range according to an embodiment of the present disclosure.
  • FIG. 26 shows a display example when the apple (APPLE) that is the subject of the annotation is outside the image 1200.
  • the target icon 1251 can be displayed together with the direction display 1250 similar to the example of FIG.
  • the icon 1251 is obtained by cutting out the apple APPLE portion from the image captured by the camera 260 by the processor of the server 100 or the wearable terminal 200. Can be generated.
  • the icon 1251 does not need to change according to the change of the frame image acquired by the camera 260, and may be a still image, for example.
  • an illustration or a photograph representing the apple may be displayed as the icon 1251 regardless of the image captured by the camera 260.
  • the comment 1220 in the annotation may be displayed together with the direction display 1250 and the icon 1251.
  • the display range of the image 1200 is moved by the user of the wearable terminal 200 changing the direction of the camera 260 in accordance with the direction display 1230, and a part of the apple (APPLE) to be annotated is displayed in the image 1200.
  • APPLE apple
  • An example of display when it comes to be included in is shown.
  • the display of the direction display 1250 and the icon 1251 is terminated, and a part of the pointer 1210 and the comment 1220 may be displayed as annotations as in the example of FIG.
  • the user who is viewing the image 1200 can grasp not only that the annotation exists outside the viewable range but also what the annotation target is, It can make it easier to decide whether to watch now or later.
  • FIG. 28 is a diagram illustrating a fourth example of displaying an annotation outside the viewable range according to an embodiment of the present disclosure.
  • the end portion 1260 of the image 1200 closer to the apple shines.
  • the image 1200a since the apple is in the lower right direction of the screen, the lower right end portion 1260a shines.
  • the upper left end portion 1260b shines.
  • the image 1200c since the apple is in the lower left direction of the screen, the lower left end portion 1260c shines.
  • the region of the end portion 1260 can be set based on the direction in which the annotation target exists as viewed from the image 1200.
  • the example in the oblique direction is shown in the figure, in another example, when the apple is in the left direction of the image 1200, the left end portion 1260 may shine. In this case, the end portion 1260 may be the entire left side of the image 1200.
  • the ratio between the vertical portion and the horizontal portion of the end portion 1260 sandwiching the corner is the direction in which the annotation target exists. It may be set according to the angle.
  • the horizontal portion (along the upper side of the image 1200) can be longer than the vertical portion (along the left side of the image 1200) of the end portion 1260.
  • the vertical portion (along the left side of the image 1200) may be longer than the horizontal portion (along the upper side of the image 1200) of the end portion 1260.
  • the end portion 1260 may be colored with a predetermined color (which may be a transmission color) instead of being illuminated.
  • FIG. 29 is a diagram illustrating a fifth example of displaying an annotation outside the visible range according to an embodiment of the present disclosure.
  • a comment 1220 is displayed as an annotation.
  • the comment 1220 since the comment 1220 is horizontally long, it cannot be displayed in the image 1200.
  • a non-display portion 1221 caused thereby is also shown.
  • the non-display portion 1221 of the comment 1220 is also an annotation outside the visible range.
  • a light emitting region 1280 is displayed at a portion where the comment 1220 is in contact with the end portion of the image 1200.
  • the length of the light emitting region 1280 may be expressed by the length of the non-display portion 1221 (for example, the number of pixels in the length direction, the ratio of the comment 1220 to the display portion, and other non-display portions 1221). May be expressed in accordance with the ratio of
  • the light emitting region 1280a is displayed for the non-display portion 1221a of the comment 1220a
  • the light emitting region 1280b is displayed for the non-display portion 1221b of the comment 1220b, but the non-display portion 1221b is more than the non-display portion 1221a. Reflecting that is longer, the light emitting area 1280b may be displayed longer than the light emitting area 1280a.
  • the display of the light emitting area 1280 when the display of the light emitting area 1280 notifies that the annotation exists outside the visible range, the display can be completed inside the comment 1220 that is the annotation, and thus the display of the image 1200 is obstructed. It is possible to notify the presence of annotations.
  • the length of the light emitting region 1280 is set according to the length of the non-display portion 1221, the user can intuitively understand how long the comment 1220 is as a whole, so that the user can see immediately. It is easy to decide what to do later.
  • the display range of the image 1200 may be moved, or the comment 1220 may be moved to the inside of the image 1200 (the comment in the illustrated example). It may be dragged to the left side for 1220a and to the right side for comment 1220b.
  • FIG. 30 is a diagram illustrating a sixth example of displaying an annotation outside the visible range according to an embodiment of the present disclosure.
  • an arrow annotation 1210 indicating a direction is displayed in the road guide.
  • This annotation 1210 is visible when the user is viewing the image 1200b, for example, but is not visible when the user is viewing the image 1200a. Therefore, when the user is viewing the image 1200a, a shadow 1290 of the annotation 1210 can be displayed. By displaying the shadow 1290, the user viewing the image 1200a can recognize that the annotation exists outside the upper part of the screen.
  • the display of the shadow 1290 may be terminated or may be continued.
  • the shadow 1290 is continuously displayed together with the annotation 1210, the user can easily recognize the position of the annotation 1210 arranged in the air in the depth direction by displaying the shadow 1290.
  • the presence of the annotation can be notified to the user by a display without a sense of incongruity, although there is a restriction due to the direction of the virtual light source.
  • FIG. 31 and FIG. 32 are diagrams illustrating an application example of displaying an annotation outside the visible range according to an embodiment of the present disclosure.
  • the display of the annotation changes while the image 1200 viewed by the user of the wearable terminal 200 changes from the image 1200a to the image 1200b and further to the image 1200c.
  • a pointer 1210, a direction display 1230, and a comment 1220 are displayed as annotations.
  • the pointer 1210 is continuously displayed near the center of the image 1200, for example, as an icon indicating a user's gaze area, unlike some examples described above.
  • the user of the wearable terminal 200 is guided by the direction display 1230 so that the annotation target (pan (PAN) in the illustrated example) input by the user of the tablet terminal 300 enters the pointer 1210, for example.
  • the annotation target pan (PAN) in the illustrated example
  • the direction display 1230a and the direction display 1230b indicating the direction in which the pan is present are displayed.
  • the user moves the display range of the image 1200 according to the direction display 1230, captures the pan in the display range in the image 1200c, and puts the pan into the pointer 1210, the comment 1220 is displayed for the first time.
  • An image 1200c at this time is separately shown in FIG.
  • Such a display change occurs because it is determined that the user of the wearable terminal 200 can confirm the annotation for the pan when the pan (PAN) to be annotated enters the pointer 1210. .
  • the entire annotation is displayed with the recognition that the annotation target has entered a user's gaze area (or focus area).
  • the user may be continuously guided to put the target in the gaze area (or focus area) by the direction display 1230 or the like.
  • the state where the user can confirm the annotation is recognized not only because the annotation target has entered the gaze area (or focus area) but also because a predetermined time has passed in that state. Also good.
  • FIG. 33 is a diagram illustrating a display example of an annotation target object using edge detection according to an embodiment of the present disclosure.
  • an annotation 1210 is input for a vehicle (VEHICLE).
  • VEHICLE vehicle
  • an annotation 1210 is displayed and an effect 1285 shining on the edge of the car is displayed.
  • Such a display is possible, for example, when the edge of the vehicle (VEHICLE) is detected by analysis of feature points or the like by the generation process of spatial information in the wearable terminal 200.
  • the effect 1285 By displaying the effect 1285 on the basis of the edge, for example, even when the target object is not recognized and the annotation is input by specifying the position “this area”, the target of the annotation can be expressed. .
  • the effect 1285 may be displayed for the edge of the object.
  • FIG. 34 and 35 are diagrams illustrating examples of streaming frame rollback display according to an embodiment of the present disclosure.
  • an image 1200 viewed by a user of wearable terminal 200 changes from image 1200p to image 1200q, image 1200r, and image 1200s. All of these images are sequentially transmitted as a streaming frame to the tablet terminal 300 (an example of a receiving device) via the server 100.
  • the user of the tablet terminal 300 can input an annotation for each of the above images.
  • an annotation 1210p (comment A) is input to the image 1200p
  • an annotation 1210q (comment B) is input to the image 1200q.
  • These annotations may be displayed on the image 1200 in real time, or may not be displayed on the image 1200 in real time because, for example, the display range of the image 1200 has moved.
  • the list display screen 1205 displays streaming frames in which annotations are input, that is, images 1200p and 1200q.
  • annotations 1210p and 1210q that may not be displayed in real time may be displayed.
  • the server 100 detects that an annotation 1210p has been input to the image 1200p, the image can be displayed by saving the image 1200p as a snapshot in the streaming frame and associating the information of the annotation 1210p. Can be.
  • a position where the image 1200p or the image 1200q is acquired in the image 1200 that is, a position where the display range of the image 1200 is the same as the image 1200p or the image 1200q again).
  • Navigation that guides the user of wearable terminal 200 may be displayed.
  • the annotation 1210p or the annotation 1210q may be displayed on the image 1200.
  • FIG. 36 is a diagram illustrating an example of an application that shares a traveler's viewpoint using the technology according to an embodiment of the present disclosure.
  • a general traveler to wear a transmission-side device such as the wearable terminal 200 and provide a real space image of a travel destination (a professional reporter may be used).
  • a user who views an image 1300 provided by using a receiving-side device such as the tablet terminal 300 may, for example, comment 1320 (an example of annotation) on the entire image or on a specific object or position in the image. ) Can be entered.
  • the input comment 1320 may be displayed on the display of the wearable terminal 200 and used to convey a request or advice to a traveler.
  • the comment 1320 may be displayed on the image 1300 of the tablet terminal 300 as illustrated.
  • the comments 1320 respectively input by a plurality of users may be displayed on the image 1300, so that communication between users sharing the traveler's viewpoint may occur.
  • FIG. 37 is a diagram illustrating an example of an application that shares a mountaineer's viewpoint using the technology according to an embodiment of the present disclosure.
  • a general climber to wear a wearable terminal 200 or the like and provide a real space image (a professional reporter may be used).
  • a user who views an image 1300 provided by using the tablet terminal 300 or the like inputs a comment 1320 (an example of an annotation) for the entire image or a specific object or position in the image, for example. Is possible.
  • the user who views the image 1300 may capture the image 1300 and save it like a photograph.
  • the input comment 1320 may be used for communication between the users who share the viewpoint of the climber or give advice or the like to the climber.
  • FIG. 38 is a diagram illustrating an example of an application that shares the viewpoint of a person who cooks using the technology according to an embodiment of the present disclosure.
  • a user who wears the wearable terminal 200 or the like and provides an image of a real space of a travel destination can be, for example, a general user who is good at cooking (or a cooking teacher).
  • a user who views an image 1300 provided using the tablet terminal 300 or the like can input a comment 1320 with respect to, for example, the entire image or a specific position in the image.
  • the comment 1320 is displayed on the display of the wearable terminal 200, for example, and can be used to convey a question or the like to a user serving as a teacher.
  • FIG. 39 is a diagram illustrating an example of an application that shares the viewpoint of a person who performs shopping using the technology according to an embodiment of the present disclosure.
  • a user who shares the image using the tablet terminal 300 or the like is a user who is permitted to share an individual image, for example, It may be a family of users who provide images. That is, in the example of FIG. 39, the real space image is shared within a private range. Whether the real space image is shared privately or publicly, for example, what kind of real space image is provided, and what information the user who provides the image wants to obtain as an annotation Can be set as appropriate.
  • the comment 1320 a shopping list 1320p and a comment 1320q designating one of the apples are input.
  • the comment 1320q that designates an apple is preferably displayed on the same apple even if the display range of the image changes due to the movement of the wearable terminal 200. Therefore, the comment 1320q is located at a position in the real space around the wearable terminal 200. Can be associated.
  • the shopping list 1320p since it is desirable that the shopping list 1320p be continuously displayed at the same position of the image even if the display range of the image changes due to the movement of the wearable terminal 200, the shopping list 1320p may be associated with the position in the image 1300.
  • the processor of the device for example, the tablet terminal 300
  • the annotation switches between associating the annotation with the position in the real space or with the position in the image according to the type of annotation or user operation. May be.
  • FIG. 40 is a diagram illustrating an example of an application that shares a viewpoint of a person who performs a work using the technique according to an embodiment of the present disclosure.
  • a user who shares the image using the tablet terminal 300 or the like is designated in advance by the user who provides the image as a teacher. It can be a user.
  • the teacher role user can view the image 1300 and input an annotation such as a comment 1320s (advice that calls attention to the fact that parts are easily broken).
  • a user who provides an image may also be able to input a comment 1320t such as a question to a user serving as a teacher, for example, using voice recognition or the like (which may be input using a keyboard or the like).
  • an interactive conversation relating to, for example, a work can be performed between the user who provides the image and the user serving as a teacher via the comment 1320.
  • the comment 1320 is associated with the position in the real space, so that the comment can be accurately displayed at the position of the target component or the like.
  • This image may be shared with another user.
  • the input of the comment 1320 by a user other than the user who provides the image and the user serving as a teacher may be restricted.
  • the comment 1320 input by another user may be displayed on the image 1300 only between the other users.
  • 41 to 44 are diagrams illustrating examples of applications that share by switching the viewpoints of a plurality of users using the technology according to an embodiment of the present disclosure.
  • FIG. 41 is a diagram for conceptually explaining viewpoint switching.
  • FIG. 41 shows a state where two wearable terminals 200a and 200b existing in the same real space each have an imaging unit and acquire images 1200a and 1200b.
  • the positions (viewpoint positions) of each other can be recognized via the position information of the real space. Therefore, for example, the display of the image 1200a and the display of the image 1200b can be switched by selecting the wearable terminal 200b shown in the image 1200a or the wearable terminal 200a shown in the image 1200b.
  • FIG. 42 is a diagram illustrating an example of viewpoint switching using a third person image.
  • a third person image 1020 is displayed on the display 330 of the tablet terminal 300, and two streaming frames 1021a and 1021b are displayed there. These streaming frames may be acquired by the wearable terminals 200a and 200b shown in FIG. 41, for example.
  • the user selects one of the streaming frames 1021 by a touch operation on the touch sensor 340 on the display 330, thereby switching and sharing the image from the viewpoint of the wearable terminal 200a and the image from the viewpoint of the wearable terminal 200b. can do.
  • the first person image 1010 displays a pointer 1011 indicating a switchable viewpoint and information 1012 regarding the viewpoint.
  • the pointer 1011 may be, for example, a display that points to a device that provides an image from another viewpoint, and may represent the angle of view of the image provided by that device as shown.
  • the information 1012 is, for example, what kind of image the image provided by another device is (“Camera View” in the illustrated example), who is the image provided, and the like. Indicates.
  • the display can be switched to the first person image 1010 'from another viewpoint as shown in FIG.
  • the image shown in FIG. 43 is an image from the viewpoint of a spectator who sees a model appearing in a fashion show.
  • the image shown in FIG. 44 is an image from the viewpoint of the above model, and shows a spectator on the side of the runway.
  • attributes such as, for example, public or private, paid or free, may be set in each of a plurality of switchable viewpoint images as described above.
  • the third person image 1020 shown in FIG. 42 and the first person image 1010 shown in FIG. 43 can be viewed because they are public or private and have already been given permission.
  • the pointer 1011 and the information 1012 may be displayed only for possible images.
  • the image is free or can be viewed because it has already been purchased even if there is a charge depending on the setting of the user viewing the image.
  • the pointer 1011 and the information 1012 may be displayed.
  • the image is captured by the camera 260 (imaging unit) rather than the display range of the image 1200 displayed on the display 230 (display unit) by the wearable terminal 200 (transmission side device).
  • the display range of the image 1300 displayed on the tablet terminal 300 (receiving device) is wider.
  • the tablet terminal 300 can input the annotations 1310 and 1320 even for positions in the real space that are not included in the display range of the image 1200 displayed on the wearable terminal 200 at the present time.
  • the input annotation is stored in the tablet terminal 300, the server 100, or the wearable terminal 200 in association with the position information in the real space defined based on the spatial information acquired by the wearable terminal 200, and later the camera together with the wearable terminal 200
  • the image 1200 can be displayed as annotations 1210 and 1220.
  • an image in a range exceeding the first person image 1010 visually recognized by the transmission side device is displayed as the third person image 1020 or 1.3 person image 1030.
  • a user who browses these images on the receiving apparatus can input annotations to the real space that is outside the display range of the first person image 1010.
  • the input annotation is retained in association with the position information in the real space defined based on the spatial information acquired by the transmission side device, and the display range of the first person image 1010 is moved later. It can be displayed when the position is included.
  • an annotation to be input is currently transmitted in a transmitting device (hereinafter referred to as wearable terminal 200 as an example).
  • a configuration in which information related to an annotation outside the viewable range is displayed on the wearable terminal 200 is not adopted. Even when such a configuration is adopted, information regarding annotations outside the viewable range is displayed, and it is not desired to explicitly prompt the user of the device on the transmission side (for example, the reception side The user of the device may wish to see the annotations either naturally or implicitly).
  • Display control for such display includes, for example, transmission by providing information on a viewable range in a transmission-side apparatus and information on a range in which an annotation input target position can be set in a reception-side apparatus. It is executed by the device on the side or the device on the receiving side (for example, wearable terminal 200 or tablet terminal 300) or the processor of server 100. Note that the following example can be applied uniformly when there is a possibility that an annotation is input outside the viewable range of the real space image, for example, independently of the various examples described above.
  • FIG. 45 is a diagram illustrating a first example of display of a relationship between an input target position and a visible range according to an embodiment of the present disclosure.
  • FIG. 45 shows an image 1300 displayed on the tablet device 300.
  • a visible range display 1330 is displayed on the image 1300.
  • the viewable range display 1330 is specified based on the result of calibration between the imaging range of the camera 260 and the transmissive display range of the display 230 (including actual transmissive display and virtual transmissive display) in the wearable terminal 200, for example. Displayed in correspondence with the viewable range of the user of wearable terminal 200.
  • the viewable range display 1330 is not limited to the frame line in the illustrated example, and can be displayed in various forms such as a colored layered object.
  • the user of the tablet terminal 300 is within the viewable range of the wearable terminal 200 user at the current position where the annotation is to be input (input target position). It can be easily recognized in advance whether or not there is.
  • FIGS. 46 and 47 are diagrams illustrating a second example of the display of the relationship between the input target position and the visible range according to an embodiment of the present disclosure. 46 and 47, an image 1300 displayed on the tablet terminal 300 is shown.
  • an annotation pointing to an arbitrary position in the real space is input.
  • the annotation display 1340a is input outside the viewable range display 1330, that is, outside the viewable range of the user of the wearable terminal 200.
  • the annotation display 1340b is input inside the viewable range display 1330, that is, within the viewable range of the user of the wearable terminal 200.
  • the annotation display 1340 is the user of the wearable terminal 200. Are displayed in a different manner depending on whether or not the input is within the visible range.
  • the user of the tablet terminal 300 determines whether or not the position where the annotation is input (input target position) is within the current viewable range of the user of the wearable terminal 200. Can be easily recognized.
  • the user of the tablet terminal 300 when the user of the tablet terminal 300 wanted to input an annotation within the viewable range of the user of the wearable terminal 200, but the input target position recognized on the system side was outside the viewable range, By displaying the annotation display 1340a, the user of the tablet terminal 300 can recognize that the annotation could not be input within the visible range. In such a case, the user of the tablet terminal 300 can input the annotation again until the annotation display 1340b is displayed.
  • the visible range display 1330 may not necessarily be displayed. Even if there is no viewable range display 1330, the user of the tablet terminal 300 inputs an annotation by estimating the vicinity of the center of the image 1300 as the viewable range, for example, and the annotation is within the viewable range according to the display mode of the annotation display 1340. It can be recognized whether or not it has been input.
  • FIG. 48 is a diagram illustrating a third example of the relationship between the input target position and the visible range according to an embodiment of the present disclosure.
  • FIG. 48 shows an image 1300 displayed on the tablet terminal 300.
  • a handwritten stroke 1350 is input as an annotation.
  • the handwritten stroke 1350 is displayed as a dotted stroke 1350a outside the viewable range display 1330 in the image 1300, that is, outside the viewable range of the user of the wearable terminal 200.
  • the handwritten stroke 1350 is displayed as a solid line stroke 1350b inside the viewable range display 1330, that is, within the viewable range of the user of the wearable terminal 200.
  • each part of the handwritten stroke 1350 is displayed in a different manner depending on whether or not each part of the handwritten stroke 1350 is located within the visible range of the user of the wearable terminal 200.
  • the user of the tablet terminal 300 has the position where each part of the stroke is input (input target position) within the current viewable range of the user of the wearable terminal 200. It can be easily recognized whether or not.
  • the user of the tablet terminal 300 inputs, as an annotation, a handwritten stroke that points an object outside the viewable range of the user of the wearable terminal 200 with an arrow
  • the stroke of the arrow drawn from the object is displayed as a solid stroke 1350b.
  • the user of the tablet terminal 300 displays an arrow within the viewable range, and the user of the wearable terminal 200 may watch the object as a result of moving the line of sight following the arrow. Can be recognized.
  • the visible range display 1330 does not necessarily have to be displayed. Even if there is no viewable range display 1330, the user of the tablet terminal 300 inputs the annotation handwriting stroke 1350 by estimating the vicinity of the center of the image 1300 as the viewable range, for example, and the solid line stroke 1350b is displayed. It is possible to recognize that at least a part of the stroke is input within the visible range.
  • FIG. 49 is a diagram illustrating a fourth example of display of the relationship between the input target device and the visible range according to an embodiment of the present disclosure.
  • FIG. 49 shows an image 1300 displayed on the tablet terminal 300.
  • the illustrated example is the same situation as the first example described above, and the viewable range display 1330 is displayed in a state where no annotation has been input yet.
  • the image 1300 is enlarged from the streaming frame range based on the real-time captured image of the camera 260 of the wearable terminal 200 by the method described with reference to FIGS. 9 and 10 above. ing. Accordingly, a streaming frame 1360 is displayed in the image 1300, and a viewable range display 1330 is displayed therein.
  • a streaming frame based on a real-time captured image of the camera 260 of the wearable terminal 200 is displayed on the tablet terminal 300.
  • the present invention is not limited to such a case, and the present invention can be applied to a case where, for example, the display range is expanded based on an image of a streaming frame provided in the past, and a viewpoint that leaves the wearable terminal 200 is provided. More specifically, in the image 1300 as shown in the example of FIG. 49, the annotation displays 1340a and 1340b according to the second example and the handwritten strokes 1350a and 1350b according to the third example can be displayed.
  • the present embodiment displays (1) information about the annotation on the wearable terminal 200 regarding the annotation that can be input on the tablet terminal 300 and can be input outside the viewable range on the wearable terminal 200. And (2) an example in which the relationship between the annotation and the visible range is displayed on the tablet terminal 300. Either one or both of the configurations according to these examples may be employed.
  • information about the annotation outside the viewable range is displayed on the image 1200 on the wearable terminal 200.
  • This information may be displayed on the image 1300 in the same manner on the tablet terminal 300 based on the control by the wearable terminal 200, the tablet terminal 300, or the processor of the server 100.
  • a processor that executes control for display may mean a processor of a device that performs display, or generates information used by the processor of the device that performs display for control. It may mean a processor of another device. Therefore, the control for displaying the information about the annotation outside the viewable range on the image 1300 on the tablet terminal 300 may be executed by the wearable terminal 200, the tablet terminal 300, or the server 100. May be.
  • information displayed on the image 1200 for annotations outside the viewable range may be displayed in synchronization with the image 1300 as well.
  • the user of the tablet terminal 300 displays that the annotation is displayed outside the viewable range, and information about the annotation is displayed in the image 1200, and the annotation is visually recognized by moving the viewpoint of the user of the wearable terminal 200. Can be recognized.
  • FIG. 50 is a diagram illustrating a first example of annotation related display using a body shape according to an embodiment of the present disclosure.
  • a desktop PC 302 is shown as an example of a device on the reception side of a real space streaming image.
  • the PC 302 can recognize a body shape such as a user's hand or a gesture by a sensor (not shown).
  • the user of the PC 302 can input an annotation for the streaming image 1300 in the real space displayed on the PC 302 with a hand gesture.
  • a graphic 1370 corresponding to the shape of the user's hand recognized by the sensor is displayed on the image 1300.
  • the graphic 1370 may be displayed at a position in the real space where the user's hand is associated with the image 1300. That is, when the user performs some annotation input with an arbitrary part of the hand (for example, the tip of the index finger of the right hand) in the state shown in the drawing, the annotation is displayed at the position where the tip of the index finger of the right hand of the graphic 1370 is displayed. Can be entered.
  • the graphic 1370 may be displayed in synchronization with a device (for example, the wearable terminal 200) on the streaming image transmission side. In this case, it can be said that the graphic 1370 itself constitutes an annotation.
  • FIG. 51 is a diagram illustrating a second example of annotation related display using a body shape according to an embodiment of the present disclosure.
  • a graphic 1370 similar to the first example described above with reference to FIG. 50 is displayed in the image 1300.
  • the image 1300 is enlarged from the real-time streaming image range by the method described above with reference to FIGS. 9 and 10. Therefore, the streaming frame 1360 is displayed on the image 1300, and the graphic 1370 is displayed together with the streaming frame 1360.
  • the example of the annotation related display using the body shape in the present embodiment is not limited to the case where the real-time streaming image is displayed as it is on the streaming image receiving side device.
  • the present invention can also be applied to a case where the display range is expanded based on the streaming image provided to the user and a viewpoint that leaves the body of the user on the streaming image transmission side is provided.
  • FIG. 52 is a diagram illustrating a third example of annotation related display using a body shape according to an embodiment of the present disclosure.
  • a graphic 1291 similar to the graphic 1370 displayed in the image 1300 in the above example is displayed on the apparatus (for example, the wearable terminal 200) on the streaming side of the streaming image in the real space.
  • the graphic 1291 corresponds to the shape of the user's hand that is recognized by the sensor in the apparatus on the streaming image receiving side (for example, the PC 302 in the above example). That is, in the illustrated example, the gesture of the user's hand in the receiving apparatus is displayed as an annotation (graphic 1291) as it is. As a result, the user of the receiving apparatus can transmit information such as pointing to an object or indicating a direction by using the gesture itself, instead of separately inputting an annotation using the gesture.
  • the graphic 1370 may also be displayed in the image 1300 displayed on the receiving device, and the graphic 1370 and the graphic 1291 may be synchronized.
  • the receiving apparatus displays the graphic 1370 continuously on the image 1300 and displays the graphic 1291 synchronized with the graphic 1370 on the image 1200 on the transmitting apparatus (that is, an annotation corresponding to the graphic 1370 is input).
  • the user may be able to select whether or not.
  • the user of the receiving apparatus can display the hand shape as an annotation only when necessary.
  • annotations as described above, for example, text (such as comments) and various figures (such as pointers or handwritten strokes) may be displayed.
  • another annotation input by the movement may appear in accordance with the movement of the graphic 1291.
  • Embodiments of the present disclosure include, for example, an image processing apparatus (server or client) as described above, a system, an image processing method executed by the image processing apparatus or system, a program for causing the image processing apparatus to function, and It may include a non-transitory tangible medium on which the program is recorded.
  • the following configurations also belong to the technical scope of the present disclosure.
  • a display control unit for controlling the display unit of the terminal device The display control unit A display position of the virtual object is determined based on position information in the real space associated with the virtual object displayed in the real space via the display unit, and the virtual object is determined based on the display position.
  • Control to display in space A display control device that executes control to display a notification indicating the presence of the virtual object in the real space when a part or all of the virtual object is outside the visible range of the real space.
  • An image acquisition unit that acquires a captured image of the real space is further provided, The display control apparatus according to any one of (2) to (5), wherein the notification includes an image of the real space at a position corresponding to the position information extracted from the captured image.
  • the notification includes the image obtained by superimposing the virtual object on the image in the real space at a position corresponding to the position information extracted from the captured image acquired in the past.
  • Display controller. (10) The notification includes the navigation for moving the display unit so that a position corresponding to the position information associated with the virtual object in the past falls within the viewable range. Display controller. (11) The display control device according to (1), wherein the display control unit displays the notification when a part of the virtual object is outside the viewable range.
  • the display control device according to (11), wherein the notification includes a display indicating a size or a ratio of an invisible portion outside the visible range of the virtual object.
  • the display indicating the size or ratio of the invisible part is an area where the virtual object is disposed in a part in contact with an edge part of the viewable range, and the size of the invisible part is determined by the size of the area.
  • the display control device according to (12), wherein a ratio is indicated.
  • the virtual object includes information on a real object existing at a position corresponding to the position information, The display control device according to (1), wherein the display control unit suppresses display of the virtual object and continues displaying the notification until the real object is arranged at a predetermined position on the display unit.
  • the display control device wherein the visible range is defined by a range of an image of the real space displayed on the display unit.
  • An image acquisition unit that acquires a captured image of the real space is further provided, The display control device according to (15), wherein the display control unit displays a part of the captured image on the display unit as an image of the real space.
  • the visible range is defined by a range in which the display unit can additionally display an image in the real space.
  • the display control unit executes control for displaying the notification on a device different from the terminal device on which the input of the virtual object is executed, and any one of (1) to (17)
  • the display control apparatus according to claim 1.
  • a processor that controls the display unit of the terminal device A display position of the virtual object is determined based on position information in the real space associated with the virtual object displayed in the real space via the display unit, and the virtual object is determined based on the display position. Displaying in space, Displaying a notification indicating the presence of the virtual object in the real space when a part or all of the virtual object is outside the visible range of the real space. (20) In a computer that controls the display unit of the terminal device, A display position of the virtual object is determined based on position information in the real space associated with the virtual object displayed in the real space via the display unit, and the virtual object is determined based on the display position. A function to display in space, And a function of displaying a notification indicating the presence of the virtual object in the real space when a part or all of the virtual object is outside the visible range of the real space.
  • System 100 Server 200, 300, 400, 500, 600, 700
  • Client 900 Device 910 Processor 920 Memory 930 Display Unit 940 Operation Unit 950 Communication Unit 960 Imaging Unit 970 Sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ＡＲ技術を利用したユーザ間のインタラクションをより円滑にする。 【解決手段】実空間の撮像画像に基づく画像を表示部に表示させるにあたり、上記撮像画像に対するアノテーションの対象位置が上記表示部を介してユーザが視認可能な範囲の外にある場合に、上記画像に上記アノテーションの存在を示す表示を追加する表示制御部を含む表示制御装置が提供される。

Description

表示制御装置、表示制御方法およびプログラム
　本開示は、表示制御装置、表示制御方法およびプログラムに関する。
　近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化されうる。例えば、特許文献１には、こうしたＡＲの仮想オブジェクトの操作を、ＡＲ空間へのユーザの没入感を損なうことなく実現するための技術が記載されている。
特開２０１２－２１２３４５号公報
　上記の特許文献１などで提案されているＡＲ技術は、未だ開発されてから日が浅く、さまざまな局面でＡＲを活用するための技術が十分に提案されているとはいいがたい。例えば、ＡＲ技術を利用したユーザ間のインタラクションを円滑にするための技術も、十分には提案されていないものの一つである。
　そこで、本開示では、ＡＲ技術を利用したユーザ間のインタラクションをより円滑にすることが可能な、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提案する。
　本開示によれば、端末装置の表示部を制御する表示制御部を備え、上記表示制御部は、上記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた上記実空間での位置情報に基づいて上記仮想オブジェクトの表示位置を決定し、上記表示位置に基づいて上記仮想オブジェクトを上記実空間に表示させる制御と、上記仮想オブジェクトの一部または全部が上記実空間の視認可能範囲の外にある場合に上記仮想オブジェクトの存在を示す通知を上記実空間に表示させる制御とを実行する表示制御装置が提供される。
　また、本開示によれば、端末装置の表示部を制御するプロセッサが、上記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた上記実空間での位置情報に基づいて上記仮想オブジェクトの表示位置を決定し、上記表示位置に基づいて上記仮想オブジェクトを上記実空間に表示させることと、上記仮想オブジェクトの一部または全部が上記実空間の視認可能範囲の外にある場合に上記仮想オブジェクトの存在を示す通知を上記実空間に表示させることとを含む表示制御方法が提供される。
　また、本開示によれば、端末装置の表示部を制御するコンピュータに、上記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた上記実空間での位置情報に基づいて上記仮想オブジェクトの表示位置を決定し、上記表示位置に基づいて上記仮想オブジェクトを上記実空間に表示させる機能と、上記仮想オブジェクトの一部または全部が上記実空間の視認可能範囲の外にある場合に上記仮想オブジェクトの存在を示す通知を上記実空間に表示させる機能とを実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ＡＲ技術を利用したユーザ間のインタラクションをより円滑にすることができる。
本開示の一実施形態に係るシステムの概略的な構成を示す図である。 本開示の一実施形態に係る装置の概略的な構成を示す図である。 本開示の一実施形態における撮像画像の共有の例を示す図である。 本開示の一実施形態におけるアノテーション入力の例を示す図である。 本開示の一実施形態における撮像画像の共有の別の例を示す図である。 本開示の一実施形態において利用されうる技術の処理の例を示すフローチャートである。 本開示の一実施形態において利用されうる技術の処理の別の例を示すフローチャートである。 本開示の一実施形態における１人称画像の表示例を示す図である。 本開示の一実施形態における３人称画像の表示例を示す図である。 本開示の一実施形態における３人称画像の表示例を示す図である。 本開示の一実施形態における３人称画像の表示例を示す図である。 本開示の一実施形態における１．３人称画像の表示例を示す図である。 本開示の一実施形態における１．３人称画像について説明するための図である。 本開示の一実施形態における１．３人称画像について説明するための図である。 本開示の一実施形態において異なる視点の画像が同時に表示される例を示す図である。 本開示の一実施形態において異なる視点の画像が同時に表示される例を示す図である。 本開示の一実施形態におけるアノテーション表示の第１の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第２の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第３の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第４の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第５の例を示す図である。 本開示の一実施形態におけるアノテーション表示の第６の例を示す図である。 本開示の一実施形態におけるアノテーションの配置について説明するための図である。 本開示の一実施形態におけるアノテーションの配置の選択の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第１の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第１の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第１の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第２の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第２の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第３の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第３の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第４の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第５の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第６の例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。 本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。 本開示の一実施形態におけるエッジ検出を利用したアノテーション対象物体の表示例を示す図である。 本開示の一実施形態におけるストリーミングフレームのロールバック表示の例を示す図である。 本開示の一実施形態におけるストリーミングフレームのロールバック表示の例を示す図である。 本開示の一実施形態に係る技術を利用して旅行者の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して登山者の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して料理をする人の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して買い物をする人の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して工作をする人の視点を共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第１の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第２の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第２の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第３の例を示す図である。 本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第４の例を示す図である。 本開示の一実施形態における身体形状を利用したアノテーション関連表示の第１の例を示す図である。 本開示の一実施形態における身体形状を利用したアノテーション関連表示の第２の例を示す図である。 本開示の一実施形態における身体形状を利用したアノテーション関連表示の第３の例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムおよび装置の構成
　　１－１．システム構成
　　１－２．装置構成
　２．実空間画像の共有およびインタラクション
　　２－１．インタラクションの概念
　　２－２．利用されうる技術
　３．可変視点画像の表示の例
　４．アノテーションの実空間への表示
　　４－１．表示例
　　４－２．アノテーションの配置
　５．視認可能範囲外にあるアノテーションの表示
　６．その他の表示例
　７．アプリケーションの例
　８．入力対象位置と視認可能範囲との関係の表示
　９．身体形状を利用したアノテーション関連表示
　１０．補足
　（１．システムおよび装置の構成）
　（１－１．システム構成）
　図１は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、サーバ１００と、クライアント２００～７００とを有する。
　サーバ１００は、単一のサーバ装置、または有線または無線の各種ネットワークで接続されて協働する複数のサーバ装置によって実現される機能の集合体であり、クライアント２００～７００にサービスを提供する。
　クライアント２００～７００は、サーバ１００と有線または無線の各種ネットワークで接続された端末装置である。クライアント２００～７００は、システム１０の中で以下の（１）～（３）の少なくともいずれかの機能を実現する。
　（１）カメラなどの撮像手段を有し、実空間の画像をサーバ１００に提供する装置。
　（２）ディスプレイなどの表示手段と、タッチパネルなどの操作手段とを有し、（１）の装置から提供された画像をサーバ１００から取得し、ユーザの閲覧に供するとともに、ユーザによる画像へのアノテーション入力を受け付ける装置。
　（３）ディスプレイなどの表示手段を有し、（２）の装置によって入力が受け付けられたアノテーションを実空間に直接的または間接的に表示させる装置。
　クライアント２００は、ウェアラブル端末である（以下、単にウェアラブル端末２００ともいう）。ウェアラブル端末２００は、例えば撮像手段または表示手段のいずれかまたは両方を有し、上記（１）または（３）のいずれかまたは両方の装置として機能する。図示された例においてウェアラブル端末２００は眼鏡型であるが、ユーザの身体に装着可能な形状であればこの例には限られない。上記（１）の装置として機能する場合、ウェアラブル端末２００は、撮像手段として、例えば眼鏡のフレーム部分に設置されたカメラを有する。このカメラによって、ウェアラブル端末２００は、ユーザの視点に近い位置から実空間の画像を取得することができる。取得した画像は、サーバ１００に送信される。また、上記（３）の装置として機能する場合、ウェアラブル端末２００は、表示手段として、例えば眼鏡のレンズ部分の一部または全部に設置されたディスプレイを有する。ウェアラブル端末２００は、上記のカメラによって撮像された画像をこのディスプレイに表示させるとともに、当該画像に対して上記（２）の装置によって入力されたアノテーションを重畳表示させる。あるいは、ディスプレイが透過型である場合、ウェアラブル端末２００は、ユーザが直接視認している実世界の像にアノテーションを透過的に重畳表示させてもよい。
　クライアント３００は、タブレット端末である（以下、単にタブレット端末３００ともいう）。タブレット端末３００は、少なくとも表示手段および操作手段を有し、例えば上記（２）の装置として機能しうる。タブレット端末３００は、さらに撮像手段を有し、上記の（１）または（３）のいずれかまたは両方の装置として機能してもよい。つまり、タブレット端末３００は、上記の（１）～（３）の装置のうちの任意の装置として機能しうる。上記（２）の装置として機能する場合、タブレット端末３００は、例えば表示手段としてディスプレイを、操作手段としてディスプレイ上のタッチセンサを有し、上記（１）の装置からサーバ１００を介して提供される画像を表示するとともに、当該画像に対するユーザのアノテーション入力を受け付ける。受け付けられたアノテーション入力は、サーバ１００を介して上記（３）の装置に提供される。上記（１）の装置として機能する場合、タブレット端末３００は、例えば上記のウェアラブル端末２００と同様に撮像手段としてカメラを有し、ユーザがタブレット端末３００を実空間にかざすことによって、ユーザの視線の延長線上にある実空間の画像を取得することができる。取得した画像は、サーバ１００に送信される。上記（３）の装置として機能する場合、タブレット端末３００は、上記のカメラによって撮像された画像をディスプレイに表示させるとともに、当該画像に対して上記（２）の装置（例えば他のタブレット端末など）によって入力されたアノテーションを重畳表示させる。あるいは、ディスプレイが透過型である場合、タブレット端末３００は、ユーザが直接視認している実世界の像にアノテーションを透過的に重畳表示させてもよい。
　クライアント４００は、携帯電話（スマートフォン）である（以下、単に携帯電話４００ともいう）。なお、システム１０における携帯電話４００の機能は、タブレット端末３００と同様であるため、詳細な説明は省略する。なお、図示していないが、例えば携帯型ゲーム機やデジタルカメラのような装置も、通信手段と表示手段、操作手段または撮像手段とを有していれば、システム１０においてタブレット端末３００や携帯電話４００と同様に機能しうる。
　クライアント５００は、ラップトップＰＣ（Personal　Computer）である（以下、単にラップトップＰＣ５００ともいう）。ラップトップＰＣ５００は、表示手段および操作手段を有し、上記（２）の装置として機能する。図示された例において、ラップトップＰＣ５００は、基本的に固定して使用されるために上記（１）の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップＰＣやテレビなども、ラップトップＰＣ５００と同様に機能しうる。ラップトップＰＣ５００は、表示手段としてディスプレイを、操作手段としてマウスやキーボードを有し、上記（１）の装置からサーバ１００を介して提供される画像を表示するとともに、当該画像に対するユーザのアノテーション入力を受け付ける。受け付けられたアノテーション入力は、サーバ１００を介して上記(３)の装置に提供される。また、ラップトップＰＣ５００は、上記(３)の装置として機能することも可能である。この場合、ラップトップＰＣ５００は、自ら撮像した実空間の画像にアノテーションを重畳表示させるのではなく、後述する例のように、実空間の一部となってアノテーションを表示する。なお、このようなアノテーションの表示は、上記のタブレット端末３００や携帯電話４００などでも可能である。
　クライアント６００は、固定カメラである（以下、単に固定カメラ６００ともいう）。固定カメラ６００は、撮像手段を有し、上記（１）の装置として機能する。図示された例において、固定カメラ６００は、固定して使用され、かつ表示手段を有さないために上記（２）および（３）の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップＰＣやテレビに画面の前を映すカメラが設けられている場合や、デジタルカメラのような移動可能な装置が三脚などに一時的に固定されている場合も、これらの装置は固定カメラ６００と同様に機能しうる。固定カメラ６００は、撮像手段としてカメラを有し、固定された視点（カメラが自動的に、または撮像画像を閲覧するユーザの操作に応じてスイングするような場合も含む）から実空間の画像を取得することができる。取得した画像は、サーバ１００に送信される。
　クライアント７００は、プロジェクタである（以下、単にプロジェクタ７００ともいう）。プロジェクタ７００は、表示手段として投影装置を有し、上記（３）の装置として機能する。図示された例において、プロジェクタ７００は、撮像手段を有さず、また表示（投影）した画像に対する入力を受け付ける操作手段も有さないため、上記（１）および(２)の装置としては機能しない装置の例として扱われている。プロジェクタ７００は、投影装置を用いてスクリーンやオブジェクトの表面に画像を投影することによって、実空間にアノテーションを表示させる。なお、プロジェクタ７００は、固定型のものが図示されているが、ハンドヘルド型のものであってもよい。
　以上、本開示の一実施形態に係るシステムについて説明した。図１に示されたように、本実施形態に係るシステム１０は、実空間の画像を取得可能な装置（ウェアラブル端末２００、タブレット端末３００、携帯電話４００、固定カメラ６００）と、実空間の画像をユーザの閲覧に供するとともにユーザによる画像へのアノテーション入力を受け付けることが可能な装置（タブレット端末３００、携帯電話４００、ラップトップＰＣ５００）と、アノテーションを実空間に直接的または間接的に表示させる装置（ウェアラブル端末２００、タブレット端末３００、携帯電話４００、ラップトップＰＣ５００、プロジェクタ７００）とを含みうる。
　サーバ１００は、上記の各装置と協働することによって、実空間の画像を取得し、その画像をユーザ（例えば上記実空間にはいないユーザでありうる）の閲覧に供するとともにユーザによる画像へのアノテーション入力を受け付け、入力されたアノテーションを上記実空間に直接的または間接的に表示させる機能を実現する。このような機能によって、例えば、第１のユーザがいる実空間の画像を第２のユーザが閲覧し、第２のユーザが画像に対して加えたアノテーションが上記実空間に直接的または間接的に表示されて第１のユーザによって視認されるといったような、ＡＲ技術を利用したユーザ間のインタラクションが可能になる。
　上記のようなシステム１０において表示されるＡＲ画像（例えば、実空間にアノテーションが表示された画像）の具体的な例については後述する。図示された例のシステム１０において、ＡＲ画像を構成するための画像処理は、主にサーバ１００で実行される。しかし、他の例では、画像処理の一部または全部が、例えば実空間にアノテーションを表示させる上記（３）の装置や、実空間の画像を表示するとともにアノテーション入力を受け付ける上記（２）の装置などで実行されてもよい。
　（１－２．装置構成）
　図２は、本開示の一実施形態に係る装置の概略的な構成を示す図である。図２を参照すると、装置９００は、プロセッサ９１０、およびメモリ９２０を含む。装置９００は、さらに、表示部９３０、操作部９４０、通信部９５０、撮像部９６０、またはセンサ９７０を含みうる。これらの構成要素は、バス９８０によって相互に接続される。装置９００は、例えば、上記のサーバ１００を構成するサーバ装置、およびクライアント２００～７００を実現しうる。
　プロセッサ９１０は、例えばＣＰＵ（Central　Processing　Unit）またはＤＳＰ（Digital　Signal　Processor）といったような各種のプロセッサであり、例えばメモリ９２０に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。プロセッサ９１０は、例えば上記のサーバ１００およびクライアント２００～７００の装置全体の制御機能を実現する。プロセッサ９１０は、例えばサーバ１００において、後述する例のようなＡＲ画像の表示を実現するための画像処理を実行する。また、プロセッサ９１０は、例えばサーバ１００、ウェアラブル端末２００、タブレット端末３００、携帯電話４００、ラップトップＰＣ５００、またはプロジェクタ７００において、後述する例のようなＡＲ画像の表示を実現するための表示制御を実行する。
　メモリ９２０は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、装置９００による処理のためのプログラムおよびデータを格納する。メモリ９２０は、例えば、撮像部９６０によって取得された撮像画像データや、センサ９７０によって取得されたセンサデータを格納してもよい。なお、本明細書で説明するプログラムおよびデータの一部は、メモリ９２０に格納されることなく、外部のデータソース（例えばデータサーバ、ネットワークストレージまたは外付けメモリなど）から取得されてもよい。
　表示部９３０は、例えば上述した表示手段を有するクライアントに設けられる。表示部９３０は、例えば装置９００の形状に応じたディスプレイでありうる。例えば、上記の例でいえば、ウェアラブル端末２００は、例えば眼鏡のレンズ部分に対応した形状のディスプレイを有しうる。また、タブレット端末３００や携帯電話４００、ラップトップＰＣ５００は、それぞれの筐体に設けられる平板型のディスプレイを有しうる。あるいは、表示部９３０は、オブジェクトに画像を投影する投影装置であってもよい。上記の例では、プロジェクタ７００が表示部として投影装置を有しうる。
　操作部９４０は、例えば、上述した操作手段を有するクライアントに設けられる。操作部９４０は、例えばディスプレイ上に設けられたタッチセンサ（ディスプレイとあわせてタッチパネルを構成する）やタッチパッド、マウスなどのポインティングデバイスに、必要に応じてキーボード、ボタン、スイッチなどを組み合わせて構成される。操作部９４０は、例えばポインティングデバイスによって表示部９３０に表示された画像中の位置を特定し、その位置に対してキーボードやボタン、スイッチなどによって何らかの情報を入力するユーザの操作を受け付ける。あるいは、操作部９４０は、ポインティングデバイスによって表示部９３０に表示された画像中の位置を特定し、さらにポインティングデバイスによってその位置に対して何らかの情報を入力するユーザの操作を受け付けてもよい。
　通信部９５０は、装置９００による他の装置との間の通信を仲介する通信インターフェースである。通信部９５０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。上記の例では、クライアントで撮像された実空間の画像や入力されたアノテーション情報のサーバ１００への送信、およびサーバ１００からクライアントへの実空間の画像やアノテーション情報の送信に通信部９５０が用いられる。
　撮像部９６０は、画像を撮像するカメラモジュールである。撮像部９６０は、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部９６０によって生成される一連の撮像画像は、映像を構成する。なお、撮像部９６０は、必ずしも装置９００の一部でなくてもよい。例えば、装置９００と有線または無線で接続される撮像装置が撮像部９６０として扱われてもよい。また、撮像部９６０は、撮像部９６０と被写体との間の距離を画素ごとに測定する深度（depth）センサを含んでいてもよい。深度センサから出力される深度データは、後述するように実空間を撮像した画像における環境の認識のために利用されうる。
　センサ９７０は、測位センサ、加速度センサおよびジャイロセンサなどのさまざまなセンサを含みうる。センサ９７０において得られる測定結果は、実空間を撮像した画像における環境の認識の支援、地理的な位置に特化したデータの取得、またはユーザ入力の検出などのさまざまな用途で利用されてもよい。なお、センサ９７０は、撮像部９６０を有する装置、上記の例ではウェアラブル端末２００やタブレット端末３００、携帯電話４００、または固定カメラ６００に設けられうる。
　（２．実空間画像の共有およびインタラクション）
　次に、図３Ａ～図４を参照して、本開示の一実施形態に係るインタラクションの基本的な概念について説明する。
　（２－１．インタラクションの概念）
　図３Ａは、本開示の一実施形態における撮像画像の共有の例を示す図である。図示された例では、ウェアラブル端末２００のカメラ２６０（撮像部）によって撮像された実空間の画像がサーバ１００を介してタブレット端末３００にストリーミング配信され、ディスプレイ３３０（表示部）に画像１３００として表示される。このとき、ウェアラブル端末２００では、撮像された実空間の画像がディスプレイ２３０（表示部）に表示されるか、実空間の像がディスプレイ２３０を透過して直接視認される。このときディスプレイ２３０に表示されている像（透過して視認される背景を含む）を、以下では画像１２００として参照する。
　図３Ｂは、本開示の一実施形態におけるアノテーション入力の例を示す図である。タブレット端末３００では、ディスプレイ３３０上にタッチセンサ３４０（操作部）が設けられており、ディスプレイ３３０に表示された画像１３００に対するユーザのタッチ入力を取得することが可能である。図示された例では、画像１３００内のある位置を指示するユーザのタッチ入力がタッチセンサ３４０によって取得され、その位置にポインタ１３１０が表示されている。さらに、例えば別途表示されるスクリーンキーボードなどを用いて入力されたテキストが、画像１３００にコメント１３２０として表示されている。このポインタ１３１０およびコメント１３２０が、アノテーションとしてサーバ１００を介してウェアラブル端末２００に送信される。
　ウェアラブル端末２００では、タブレット端末３００で入力されたアノテーションが、画像１２００にポインタ１２１０およびコメント１２２０として表示される。画像１２００においてこれらのアノテーションが表示される位置は、タブレット端末３００で表示される画像１３００における実空間の位置に対応している。このようにして、送信側（ストリーミング側）の装置であるウェアラブル端末２００と、受信側（視聴者側）の装置であるタブレット端末３００との間でのインタラクションが成立する。なお、この例において、装置間でアノテーションの表示位置を対応させたり、アノテーションを継続的に表示させたりするために用いられうる技術については後述する。
　図３Ｂは、本開示の一実施形態における撮像画像の共有の別の例を示す図である。図示された例では、タブレット端末３００ａのカメラ（撮像部；背面側にあるため図示されていない）によって撮像された実空間の画像がタブレット端末３００ｂにストリーミング配信され、ディスプレイ３３０ｂ（表示部）に画像１３００ｂとして表示される。このとき、タブレット端末３００ａでは、撮像された実空間の画像がディスプレイ３３０ａに表示されるか、実空間の像がディスプレイ３３０ａを透過して直接視認されている。このときディスプレイ３３０ａに表示されている像（透過して視認される背景を含む）を、以下では画像１３００ａとして参照する。図示された例でも、タブレット端末３００ｂで画像１３００ｂに対して入力されたアノテーションを画像１３００ａに表示させることによって、送信側（ストリーミング側）の装置であるタブレット端末３００ａと、受信側（視聴者側）の装置であるタブレット端末３００ｂとの間でのインタラクションが成立しうる。
　なお、本実施形態における実空間の画像の共有とそれに基づくユーザ間のインタラクションは、ウェアラブル端末２００およびタブレット端末３００に係る上記の例には限られず、既に説明した携帯電話４００、ラップトップＰＣ５００、固定カメラ６００、またはプロジェクタ７００も、それぞれの機能（例えば上述した（１）～（３）の機能）を実現する限りにおいて、任意の装置を送信側（ストリーミング側）および受信側（視聴者側）として成立しうる。
　（２－２．利用されうる技術）
　本実施形態では、上述した実空間画像の共有とインタラクションを実現するにあたって、いくつかの技術が利用される。まず、本実施形態では、送信側の装置において、送信される実空間の画像データに空間情報が付加される。空間情報は、送信側の装置の撮像部（図３Ａおよび図３Ｂの例ではウェアラブル端末２００のカメラ２６０、図４の例ではタブレット端末３００ａのカメラ）が実空間の中でどのように移動しているかを推定することを可能にする情報である。
　例えば、空間情報は、ＳｆＭ（Structure　from　Motion）法またはＳＬＡＭ（Simultaneous　Localization　And　Mapping）法などの公知の画像認識技術によって認識される環境認識行列でありうる。環境認識行列は、例えば送信側の装置固有の座標系に対する基準環境（実空間）の座標系の相対的な位置および姿勢を示す。例えば、ＳＬＡＭ法が利用される場合、送信側の装置のプロセッサが、装置の位置、姿勢、速度および角速度、ならびに撮像画像に含まれる少なくとも１つの特徴点の位置を含む状態変数を、拡張カルマンフィルタの原理に基づいて撮像画像のフレームごとに更新する。これによって、装置の位置および姿勢を基準とする基準環境の位置および姿勢を、単眼カメラからの入力画像を利用して認識することができる。なお、ＳＬＡＭ法の詳しい説明は、例えば“Real-Time　Simultaneous　Localization　and　Mapping　with　a　Single　Camera”（Andrew　J.Davison，Proceedings　of　the　9th　IEEE　International　Conference　on　Computer　Vision　Volume　2,　2003,　pp.1403-1410）に記載されている。
　他にも、空間情報は、撮像部の実空間における相対的な位置および姿勢を示す情報であればどのようなものであってもよい。例えば、撮像部に設けられうる深度センサからの深度データに基づいて環境認識行列が認識されてもよい。また、赤外線測距システムまたはモーションキャプチャシステムなどの環境認識システムからの出力データに基づいて環境認識行列が認識されてもよい。こうした技術の一例は、例えばS.Izadi,　et　al,　KinectFusion:　Real-time　3D　Reconstruction　and　Interaction　Using　a　Moving　Depth　Camera,　ACM　Symposium　on　User　Interface　Software　and　Technology,　2011に記載されているが、この例には限られず、公知の様々な技術が空間情報の生成に利用可能である。
　あるいは、空間情報は、実空間を撮像した一連のフレーム画像のステッチング解析によって、各フレーム画像の相対的な位置関係を特定することによって生成されてもよい。この場合、ステッチング解析は、基底平面上に各フレーム画像を貼りつける２次元ステッチング解析、または空間内の任意の位置に各フレーム画像を貼りつける３次元ステッチング解析でありうる。
　以下、上記の技術に係る送信側の装置、受信側の装置、およびサーバの処理の例について、図５Ａのフローチャートを参照しながら、図３Ａおよび図３Ｂに示した例を用いて説明する。なお、上記の技術は、図３Ａおよび図３Ｂの例に関わらず上述したシステム１０における任意の装置の組み合わせについて適用可能でありうる。
　まず、ウェアラブル端末２００（送信側の装置）において、撮像部が実空間の画像データを取得するとともに、撮像部またはセンサが取得した情報を必要に応じてプロセッサが処理することによって空間情報が生成される（ステップＳ１０１）。画像データと空間情報とは、互いに関連付けられてウェアラブル端末２００の通信部からサーバ１００に送信される（ステップＳ１０３）。サーバ１００では、通信部がウェアラブル端末２００から画像データおよび空間情報を受信し、画像データをタブレット端末３００（受信側の装置）に転送する（ステップＳ１０５）。また、サーバ１００では、プロセッサが空間情報を用いて受信された画像内の位置とウェアラブル端末２００が存在する実空間の位置とを関係づける（ステップＳ１０７）。
　タブレット端末３００では、通信部がサーバ１００から画像データを受信し、受信された画像データに基づいてプロセッサがディスプレイ３３０に画像１３００を表示させる（ステップＳ１０９）。ここで、タッチセンサ３４０によって画像１３００に対するユーザのアノテーション入力が取得された場合（ステップＳ１１１）、プロセッサはアノテーション入力を画像１３００内の位置（例えばポインタ１３１０の位置）に関係づけ、通信部からサーバ１００に送信する（ステップＳ１１３）。
　サーバ１００では、通信部がタブレット端末３００から送信されたアノテーション入力および画像内の位置の情報を受信すると、プロセッサが受信された情報に含まれる画像内の位置を実空間の位置に変換する（ステップＳ１１５）。変換後の実空間の位置に関連付けられたアノテーション入力は、通信部からウェアラブル端末２００に送信される（ステップＳ１１７）。
　ウェアラブル端末２００では、通信部がサーバ１００からアノテーション入力および実空間の位置の情報を受信し、プロセッサが空間情報を用いてアノテーション情報に関連付けられた実空間の位置を現在ディスプレイ２３０に表示されている画像１２００内の位置に変換し（ステップＳ１１９）、その位置にアノテーション（例えばポインタ１２１０やコメント１２２０）を表示させる（ステップＳ１２１）。
　図５Ｂに、上記の処理の別の例を示す。この例では、サーバ１００のプロセッサが画像内の位置と実空間の位置とを関係づけた後に、通信部が画像データとともに画像に含まれる実空間の位置の情報をタブレット端末３００に送信する（ステップＳ２０１）。タブレット端末３００では、ディスプレイ３３０に画像が表示される（ステップＳ１０９）のは上記の図５Ａの例と同様であるが、アノテーション入力が、画像内の位置ではなくステップＳ２０１で受信された実空間の位置に関連付けて送信される（ステップＳ２０３）。従って、サーバ１００では、通信部が実空間の位置が関連付けられたアノテーション入力の情報をウェアラブル端末２００に転送すればよい（ステップＳ２０５）。
　　（第１の利点）
　上記で説明した技術には、いくつかの利点がある。例えば、ウェアラブル端末２００で実空間の画像が取得されてから、タブレット端末３００で当該画像に対するアノテーションが入力され、さらにそのアノテーションがウェアラブル端末２００に送信されるまでには時間差が生じていることが多い。
　従って、画像内の位置を基準にしてアノテーションをやりとりすると、上記の時間差の間にユーザや装置の移動によってウェアラブル端末２００で表示される画像１２００の表示範囲が変化したために、タブレット端末３００から送信されたアノテーションが、ウェアラブル端末２００ではタブレット端末３００のユーザが画像１３００を見ながら意図した位置とは異なった位置に表示される場合がある。
　これに対して、上記の技術を適用すれば、アノテーションを実空間の位置に関連付けることが可能であるため、画像１２００の表示範囲の変化に関わらず、ウェアラブル端末２００でも、タブレット端末３００のユーザが画像１３００を見ながら意図した位置（例えば実空間にある特定のオブジェクトに対応する位置）にアノテーションが表示されうる。
　　（第２の利点）
　また、例えば、ウェアラブル端末２００で表示される実空間の画像１２００が、ディスプレイ２３０を透過して直接視認されるものであったり、ディスプレイ２３０の外側に見えている実空間の像と整合させてディスプレイ２３０に表示されるものであったりする場合、画像１２００の範囲が、ウェアラブル端末２００のカメラ２６０が撮像する実空間の画像の範囲よりも狭い（つまり、ウェアラブル端末２００のユーザが視認している範囲よりも、撮像画像の範囲の方が広い）場合がありうる。
　このような場合、タブレット端末３００のディスプレイ３３０に表示される画像１３００の範囲がウェアラブル端末２００の画像１２００の範囲よりも広くなり、タブレット端末３００のユーザが、画像１２００の外側、つまりウェアラブル端末２００のユーザには見えていない領域にアノテーションを入力することが可能になりうる。従って、画像内の位置を基準にしてアノテーションをやりとりすると、タブレット端末３００では入力可能であっても、ウェアラブル端末２００の画像１２００には表示されないアノテーションが発生してしまう。
　これに対して、上記の技術を適用すれば、アノテーションを実空間の位置に関連付けることが可能であるため、サーバ１００またはウェアラブル端末２００に受信された時点では画像１２００の表示範囲に入っていない位置に対するアノテーションであっても、例えばその後に画像１２００の表示範囲が変化してアノテーションの位置を含むようになった場合に画像１２００に表示することができる。
　なお、上記の技術には、ここで説明したものには限られず、利用される状況に応じて他の利点が存在しうる。それらの利点は、以下の説明の中で明示または示唆されうる。
　（３．可変視点画像の表示の例）
　次に、図６～図１２を参照して、本開示の一実施形態に係る可変視点画像の表示について説明する。本実施形態では、上記のように、送信側の装置が、実空間の画像データに空間情報を付加して送信する。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、以下で説明するように、１人称画像（撮像部が撮像した実空間の画像）の視点にとらわれず、自由な視点で実空間を観察する画像を生成して受信側の装置に提供することが可能である。
　なお、以下の説明では、送信側の装置、受信側の装置、およびサーバの動作について、図３Ａおよび図３Ｂに示した例を用いて説明するが、同様の構成は、図３Ａおよび図３Ｂの例に限らず上述したシステム１０における任意の装置の組み合わせによって実現されうる。
　　（１人称画像）
　図６は、本開示の一実施形態における１人称画像の表示例を示す図である。図６には、１人称画像１０１０が示されている。１人称画像１０１０は、ウェアラブル端末２００（送信側の装置）のカメラ２６０が撮像した画像であり、ウェアラブル端末２００でディスプレイ２３０に表示される画像１２００と同一でありうるため、本明細書では「１人称画像」という。１人称画像１０１０はストリーミングフレーム、つまりカメラ２６０が撮像している一連のフレーム画像であるため、その表示範囲は例えばウェアラブル端末２００を装着したユーザの動きに伴って刻々と変化する。
　　（３人称画像）
　図７～図９は、本開示の一実施形態における３人称画像の表示例を示す図である。図７～図９に示された３人称画像１０２０は、ウェアラブル端末２００のカメラ２６０が存在する実空間を、撮像画像のデータとともに提供された空間情報に基づいて１人称画像とは異なる視点から仮想的に撮像した画像である。３人称画像１０２０は、１人称画像１０１０とは異なり、ウェアラブル端末２００のカメラ２６０の実空間での位置、すなわち送信側の装置の視点に関わらず自由に設定された視点で生成されうるため、本明細書では「３人称画像」という。３人称画像１０２０は、例えば、サーバ１００のプロセッサが、ウェアラブル端末２００から提供された空間情報に基づいてウェアラブル端末２００のカメラ２６０が取得した実空間の画像を加工することによって生成され、通信部によってタブレット端末３００に送信されうる。
　３人称画像１０２０では、カメラ２６０が撮像した画像がストリーミングフレーム１０２１として表示されうる。ストリーミングフレーム１０２１は、例えば上記の１人称画像１０１０と同じ画像であり、空間情報に従って、表示されている実空間の中でストリーミングフレーム１０２１の画面に対応する四角形の領域に配置される。この領域の形状は、例えば３人称画像１０２０の視点のストリーミングフレーム１０２１に対する傾きに応じて、例えば台形や不等辺四角形などの形状に変形されうる。
　なお、３人称画像１０２０で完全に自由な視点の設定が可能である場合、例えばストリーミングフレーム１０２１が３人称画像１０２０の表示範囲外になるような視点を設定したり、ストリーミングフレーム１０２１の背面側に視点を設定したりすることも可能でありうる。このような場合、３人称画像１０２０にはストリーミングフレーム１０２１が表示されなくなってもよい。さらに、この場合、３人称画像１０２０とストリーミングフレームを提供するカメラ２６０を有するウェアラブル端末２００とのリンクが解除され、３人称画像１０２０が一時的に送信側の装置から離脱してもよい。この場合、離脱したときの空間情報のキャッシュに基づいてさらに３人称画像１０２０の視点を移動させることが可能でありえ、例えばストリーミングフレーム１０２１や、他の送信側の装置から提供されるストリーミングフレームが再び３人称画像１０２０の表示範囲に入った場合に、３人称画像１０２０と送信側の装置とのリンクが再開されうる。また、３人称画像１０２０の視点がストリーミングフレーム１０２１の背面側に設定された場合、ストリーミングフレーム１０２１の表示は枠だけになって継続されてもよい。あるいは、３人称画像１０２０における視点の設定は、上記のようにストリーミングフレーム１０２１の通常の表示がされない範囲を除くように制限されてもよい。
　３人称画像１０２０におけるストリーミングフレーム１０２１以外の部分は、空間情報によって認識されていてもリアルタイムの画像は提供されていないため、例えば図示された例のようにワイヤーフレームなどを用いて模式的に表示されうる。なお、図示されたワイヤーフレームは四角い部屋を示しているが、これは必ずしも実空間がこのような部屋であることを意味せず、例えば広い実空間において上下を認識させるために表示されるものであってもよい。また、図９に示す例のように、過去に提供されたストリーミングフレーム１０２４が、例えばステッチング解析の結果を利用してストリーミングフレーム１０２１に貼り合わされて表示されてもよい。あるいは、ストリーミングフレーム１０２１の周囲には、後述する１．３人称画像と同様の周辺領域画像が表示されてもよい。
　さらに、図７および図８に示されるように、３人称画像１０２０には、１人称画像の視点オブジェクト１０２２と、１．３人称画像の視点オブジェクト１０２３とが表示されてもよい。１人称画像の視点オブジェクト１０２２は、１人称画像、すなわちストリーミングフレーム１０２１の視点を示す。また、１．３人称画像の視点オブジェクト１０２３は、後述する１．３人称画像を生成するにあたり、仮想的に設定される視点を示す。これらの視点の位置は、いずれも空間情報に基づいて特定されうる。３人称画像１０２０では、例えば視点オブジェクト１０２２または視点オブジェクト１０２３を選択することによって、それぞれの視点に対応する画像、すなわち１人称画像１０１０または後述する１．３人称画像への切り替えが可能であってもよい。また、３人称画像１０２０では、実空間において認識されているオブジェクトを基準にして、当該オブジェクトが正対および／または拡大されるように自動的に視点を変更することが可能であってもよい。
　このような表示のため、３人称画像１０２０の表示範囲は、例えばウェアラブル端末２００のカメラ２６０が移動したことによるストリーミングフレーム１０２１の表示範囲の変化の影響を受けなくてもよい。例えば、カメラ２６０が移動すると、ストリーミングフレーム１０２１の表示領域および表示内容が変化し、１人称画像の視点オブジェクト１０２２が移動しうるが、３人称画像１０２０の表示範囲は維持されうる。また、１．３人称画像の視点オブジェクト１０２３も、カメラ２６０の移動に伴って移動しうる。３人称画像１０２０の表示範囲は、例えばタブレット端末３００において３人称画像１０２０を閲覧するユーザからの視点変更の指示が取得された場合に変更されうる。
　なお、３人称画像１０２０は、必ずしも単一の送信側の装置、例えばウェアラブル端末２００のカメラ２６０によって取得された実空間の画像のみに基づいて生成されなくてもよい。例えば、３人称画像１０２０は、例えば、ウェアラブル端末２００と同じ実空間（例えば同じ部屋など）に存在する他の装置（例えば固定カメラ６００）によって取得された実空間の画像をさらに組み合わせることによって生成されてもよい。この場合、固定カメラ６００も、実空間の画像データに空間情報を付加してサーバ１００に提供する。サーバ１００は、それぞれの装置から提供された空間情報に基づいて、複数の実空間の画像データを組み合わせた３人称画像１０２０を生成しうる。この場合、３人称画像１０２０では、複数のストリーミングフレーム１０２１が表示されてもよい。
　　（１．３人称画像）
　図１０Ａは、本開示の一実施形態における１．３人称画像の表示例を示す図である。図１０Ａには、１．３人称画像１０３０が示されている。１．３人称画像１０３０は、ウェアラブル端末２００のカメラ２６０が撮像した画像に基づいて、カメラ２６０の背面側の視点から実空間を仮想的に撮像した画像である。１．３人称画像１０３０の視点は、１人称画像１０１０の視点とは別に設定されうるが、３人称画像１０２０の視点のように自由に設定されるわけではないため、本明細書では、１人称画像と３人称画像との中間的な性質を有する画像を意味する用語として「１．３人称画像」を用いる。なお、１．３人称画像１０３０の視点と１人称画像１０１０の視点との関係は、例えば図７および図８に示された３人称画像１０２０で表示される視点オブジェクト１０２２および視点オブジェクト１０２３の関係を参照すれば容易に理解できる。
　１．３人称画像１０３０では、例えば、カメラ２６０が撮像した画像がストリーミングフレーム１０３１として表示される。ストリーミングフレーム１０３１は、例えば上記の１人称画像１０１０と同一の画像でありうる。ここで、１．３人称画像１０３０の視点はカメラ２６０の背面側に設定されるため、ストリーミングフレーム１０３１の位置は典型的には１．３人称画像１０３０の中央付近であり、ストリーミングフレーム１０３１の形状は典型的には矩形である。
　ここで、カメラ２６０が移動した場合、１．３人称画像１０３０の表示範囲もストリーミングフレーム１０３１に追従して変化しうる。このとき、例えばサーバ１００のプロセッサが、空間情報に基づいて算出されるカメラ２６０の変位をノイズフィルタまたはローパスフィルタなどによって処理した上で、１．３人称画像１０３０の視点の変位に反映させてもよい。これによって、例えばカメラ２６０の細かい動きによってストリーミングフレーム１０３１にぶれが生じている場合にも、１．３人称画像１０３０のぶれを抑制できる。また、例えばウェアラブル端末２００のユーザが振り向くなどしてカメラ２６０の位置または姿勢が急に変化した場合にも、１．３人称画像１０３０の表示範囲を滑らかに追従させることによって、視点にどのような変化が生じたかを１．３人称画像１０３０を閲覧しているユーザが認識することを容易にすることができる。このように、ストリーミングフレーム１０３１の表示範囲変化に対する１．３人称画像１０３０の表示範囲の変化に調整が加えられる場合、ストリーミングフレーム１０３１は一時的に１．３人称画像１０３０の中央以外の位置に表示されたり、１．３人称画像１０３０に表示されなかったりすることがありうる。
　また、１．３人称画像１０３０では、ストリーミングフレーム１０３１の周囲に、周辺領域画像１０３２が表示されうる。周辺領域画像１０３２は、３人称画像１０２０について図９を参照して示した例のように、過去に提供されたストリーミングフレームをステッチング解析などの結果を利用してストリーミングフレーム１０３１の周囲に貼り合わせることによって生成されうる。あるいは、ＳＬＡＭ法などによって検出された特徴点や、デンスマッピングの３次元データなどを用いて生成されたストリーミングフレーム１０３１の周囲の空間モデルが周辺領域画像１０３２として表示されてもよい。このとき、空間モデルに含まれる面に過去のストリーミングフレームから抽出された画像がテクスチャとして貼り付けられてもよい。例えばストリーミングフレーム１０３１から遠い１．３人称画像１０３０の辺縁部などでは、過去のストリーミングフレーム１０３１として蓄積された画像が少なかったり、ストリーミングフレーム１０３１の表示範囲から外れてから時間が経ったために実空間の状況が変化している可能性があったり、空間モデルの精度が低かったりする可能性がある。そのような場合、周辺領域画像１０３２は、図示されているように、部分的に表示されないか、部分的にぼかして表示されてもよい。
　図１０Ｂおよび図１０Ｃは、本開示の一実施形態における１．３人称画像について説明するための図である。これらの図を参照して、上述した１．３人称画像について、別の観点からさらに説明する。図１０Ｂに示されているように、１．３人称画像の視点ＣＰ２は、例えばＳＬＡＭ法などによって取得される実空間の座標系において、１人称画像の視点ＣＰ１を仮想的に後ろに移動した位置に設定される。
　ここで、例えばサーバ１００のプロセッサは、視点ＣＰ２が視点ＣＰ１に追従するときの移動速度（以下、視点ＣＰ２の追従速度ともいう）に所定の上限値を設定したり、視点ＣＰ１の移動速度に１よりも小さいゲインをかけて視点ＣＰ２の追従速度を設定したりすることによって、視点ＣＰ１が急に移動した場合でも視点ＣＰ２を滑らかに追従させることができる。これによって、視点にどのような変化が生じたかを１．３人称画像を閲覧するユーザに容易に認識させることができる。
　しかしながら、視点ＣＰ１によって取得されるフレームＦＲＭ、すなわち１人称画像の最新のフレームが１．３人称画像の範囲から外れてしまうと、１．３人称画像に表示される空間のコンテキストを保持することが困難になる。そこで、例えば上記のように上限値やゲインが設定されることによって視点ＣＰ２の追従速度が抑制されるような場合であっても、視点ＣＰ１の移動速度が大きいためにフレームＦＲＭの所定の割合以上の領域が１．３人称画像の範囲から外れた場合には、例えば上限値やゲインの値をより大きくして視点ＣＰ２の追従速度を上げ、フレームＦＲＭを１．３人称画像の範囲内に保つ制御が追加されてもよい。
　図１０Ｃは、例えば上記のような制御が実施される場合に表示される画像の例を示す。Ａでは、１人称画像１０１０が表示されている。Ｂでは、１人称画像１０１０の視点を仮想的に後ろに移動させることによって、１．３人称画像１０３０の表示が開始される。図示された例では、このとき過去のフレーム画像はまだ蓄積されていないため、１．３人称画像１０３０のフレームＦＲＭ以外の部分には何も表示されていない。
　Ｃでは、１．３人称画像１０３０が表示された状態で視点ＣＰ１が移動し、１．３人称画像の視点ＣＰ２も視点ＣＰ１に追従して移動している。ただし、上記の例のように視点ＣＰ２の追従速度が抑制されているため、１．３人称画像１０３０の表示範囲の移動はフレームＦＲＭの移動に対して少し遅れる。従って、フレームＦＲＭは、１．３人称画像１０３０の中央からは少し外れて位置している。一方、このとき、例えばＢなどで表示されていた過去のフレームＦＲＭの画像を利用して、最新のフレームＦＲＭ以外の部分にもオブジェクトが表示されている。
　Ｄでは、視点ＣＰ１の移動速度が大きかったために、視点ＣＰ２が抑制された追従速度では視点ＣＰ１に追従しきれず、フレームＦＲＭの一部が１．３人称画像１０３０の表示範囲から外れている。このとき、例えばサーバ１００のプロセッサは、上限値やゲインの値をより大きくして視点ＣＰ２の追従速度を上げる。結果として、Ｅでは、フレームＦＲＭの全体が再び１．３人称画像１０３０の表示範囲に戻っている。
　上述したような視点ＣＰ１の移動速度およびフレームＦＲＭの表示状態による視点ＣＰ２の追従速度の制御に加えて、例えばサーバ１００のプロセッサは、タブレット端末３００などの１．３人称画像１０３０への操作（例えばアノテーションの入力など）を取得する装置において、タッチパネルなどを介した１．３人称画像１０３０への操作が取得されている場合には、視点ＣＰ２の移動を抑制することによって１．３人称画像１０３０の表示範囲を固定させてもよい。これによって、例えば、ユーザが１．３人称画像１０３０に表示された特定の位置に対してする操作が容易になる。
　また、１人称画像１０１０と１．３人称画像１０３０との表示の切り替えについて、例えば以下のような構成が可能である。まず、例えばサーバ１００のプロセッサは、カメラの視点位置が認識されていない（探索中である）場合には、１人称画像１０１０を表示させる。ここで、例えばＳＬＡＭ法などによって視点位置が認識され、トラッキングが開始された場合、プロセッサは表示される画像を１．３人称画像１０３０に切り替えてもよい。その後、例えばＳＬＡＭ法などによるトラッキングが失敗し、視点位置の探索が再開された場合には、プロセッサが表示される画像を１人称画像１０１０に戻してもよい。なお、この例における１人称画像１０１０から１．３人称画像１０３０への遷移や、１．３人称画像１０３０から１人称画像１０１０への遷移は、いずれもアニメーションを伴って表示されてもよい。
　以上で説明したように、本実施形態では、受信側の装置（上記の例ではタブレット端末３００）において、送信側の装置（上記の例ではウェアラブル端末２００）の撮像部が撮像している範囲を超えて実空間を表示する画像を提供することが可能である。これによって、受信側の装置のユーザは、送信側の装置のユーザの視点にとらわれず、自由な視点で実空間の画像を共有することができる。
　　（応用例）
　さらに、既に述べたように、本実施形態では実空間の位置を基準にしてアノテーションをやりとりする技術を利用することが可能である。この技術を利用すれば、タブレット端末３００（受信側の装置）のユーザは、３人称画像１０２０や１．３人称画像１０３０において表示されるストリーミングフレーム１０２１，１０３１以外の領域に対してもアノテーションを入力することができる。これによって、例えば、ウェアラブル端末２００（送信側の装置）が過去に見ていたが現在は見ていないオブジェクトや実空間内の位置に対してもアノテーションを加えることが可能である。このアノテーションは、例えば、後にストリーミングフレーム１０２１，１０３１が移動した場合に表示されてもよいし、後述する例のように、ウェアラブル端末２００において、画像１２００の外にアノテーションが存在することを示す通知が表示されてもよい。
　図１１および図１２は、本開示の一実施形態において異なる視点の画像が同時に表示される例を示す図である。図１１に例示する画像１０４０では、３人称画像１０２０と１人称画像１０１０とが同時に表示されている。このとき、３人称画像１０２０では、例えば１人称画像の視点オブジェクト１０２２が強調表示されてもよい。また、図示された例では３人称画像１０２０の画面の子画面として１人称画像１０１０が表示されているが、逆に１人称画像１０１０の画面の子画面として３人称画像１０２０が表示されてもよい。
　一方、図１２に例示する画像１０５０では、３人称画像１０２０と１．３人称画像１０３０とが同時に表示されている。このとき、３人称画像１０２０では、例えば１．３人称画像の視点オブジェクト１０２３が強調表示されてもよい。また、図示された例では３人称画像１０２０の画面の子画面として１．３人称画像１０３０が表示されているが、逆に１．３人称画像１０３０の画面の子画面として３人称画像１０２０が表示されてもよい。
　このように、異なる視点の画像を同時に表示して受信側の装置（上記の例ではタブレット端末３００）のユーザに提供することによって、例えば、ユーザが所望する共有体験を提供する画像がどの視点からの画像であるかを容易に発見することができる。
　（４．アノテーションの実空間への表示）
　続いて、図１３～図２０を参照して、本開示の一実施形態におけるアノテーションの実空間への表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、受信側の装置で入力されたアノテーションを、さまざまな形で送信側の装置がある実空間に直接的または間接的に表示させることが可能である。
　なお、以下の説明では、送信側の装置、受信側の装置、およびサーバの動作について、特定の装置の例を用いて説明するが、同様の構成は、これらの例に関わらず上述したシステム１０における任意の装置の組み合わせによって実現されうる。
　（４－１．表示例）
　図１３は、本開示の一実施形態におけるアノテーション表示の第１の例を示す図である。図１３には、タブレット端末３００ｃとタブレット端末３００ｄとが示されている。図示された例において、タブレット端末３００ｃは、図示しないカメラ（撮像部）によって実空間の画像を撮像し、それをディスプレイ３３０ｃ（表示部）に画像１３００ｃとして表示させる。タブレット端末３００ｃのユーザは、ディスプレイ３３０ｃ上に設けられたタッチセンサ３４０（操作部）によって画像１３００ｃに対するアノテーション１３１０ｃを入力する。ここで、タブレット端末３００ｃでは、画像１３００ｃ内の位置ではなく、画像１３００ｃによってとらえられている実空間内の位置を指定してアノテーション１３１０ｃが入力される。実空間内の位置は、タブレット端末３００ｃが撮像画像とともに取得する空間情報に基づいて指定することが可能であり、例えばタブレット端末３００ｃの撮像部を基準にした相対的な位置、または空間内の特徴点などを基準とした位置として表現されうる。
　一方、タブレット端末３００ｄも、図示しないカメラ（撮像部）によって実空間の画像を撮像し、それをディスプレイ３３０ｄ（表示部）に画像１３００ｄとして表示させている。図示されているように、タブレット端末３００ｃとタブレット端末３００ｄとは同じ空間にあり、タブレット端末３００ｄのカメラの画角にはタブレット端末３００ｃが含まれるため、画像１３００ｄにはタブレット端末３００ｃ’が映っている。さらに、タブレット端末３００ｃにおいて入力された画像１３００ｃに対するアノテーション１３１０ｃの情報は、サーバ１００を介して、または機器間通信によってタブレット端末３００ｄに送信されており、画像１３００ｄにおいてアノテーション１３１０ｄとして表示される。
　ここで、アノテーション１３１０ｄは、タブレット端末３００ｃにおいて指定された実空間内の位置に表示される。このことは、アノテーション１３１０ｄが画像１３００ｄ内でタブレット端末３００ｃ’から離れた空中に表示されていることによって表現されている。タブレット端末３００ｄも撮像画像とともに空間情報を取得することが可能であり、取得した空間情報によって空間内でのタブレット端末３００ｃの位置、または空間内の特徴点の位置などを特定することができる。従って、タブレット端末３００ｄは、例えばタブレット端末３００ｃから取得した実空間内の位置を示す情報と、自ら取得した空間情報とに基づいてアノテーション１３１０ｄの空間内での位置を特定することができる。
　なお、上記の例を、図１を参照して説明したシステム１０に対応付けると、タブレット端末３００ｃが（１）および（２）の装置として機能しており、タブレット端末３００ｄが（３）の装置として機能していることになる。上記のように、タブレット端末３００ｃにおいて入力されたアノテーション１３１０ｃの情報は機器間通信によってタブレット端末３００ｄに送信されてもよい。この場合、上記の例は、各装置がサーバを介さずに通信し、いずれかの装置において空間情報を利用した画像処理が実行されるシステム１０の変形例を示しているともいえる。
　図１４は、本開示の一実施形態におけるアノテーション表示の第２の例を示す図である。図１４には、タブレット端末３００と、プロジェクタ７００（図示せず）によって画像が投影されるスクリーン（ＳＣＲＥＥＮ）とが示されている。図示された例において、タブレット端末３００は、図示しないカメラ（撮像部）によって実空間の画像を撮像し、それをディスプレイ３３０（表示部）に画像１３００として表示させる。図示されているように、タブレット端末３００のカメラの画角にはスクリーンが含まれるため、画像１３００にはスクリーン（ＳＣＲＥＥＮ’）が映っている。
　タブレット端末３００のユーザは、ディスプレイ３３０上に設けられたタッチセンサ３４０（操作部）によって画像１３００に対するアノテーション１３１０を入力する。図示された例において、アノテーション１３１０は、スクリーン（ＳＣＲＥＥＮ’）上に描かれる落書きである。アノテーション１３１０は、例えばタブレット端末３００が撮像画像とともに取得する空間情報に基づいて、実空間におけるスクリーン（ＳＣＲＥＥＮ）上の位置に関連付けられる。タブレット端末３００において入力されたアノテーション１３１０の情報は、実空間の位置情報（スクリーンの位置を示す）とともに、サーバ１００を介して、または機器間通信によってプロジェクタ７００に送信される。
　プロジェクタ７００は、撮像画像は取得しないが、タブレット端末３００と同様に空間情報を取得しており、スクリーン（ＳＣＲＥＥＮ）の実空間における位置を認識している。従って、プロジェクタ７００は、タブレット端末３００においてアノテーション１３１０として入力されたのと同様のアノテーション１７１０（落書き）をスクリーン（ＳＣＲＥＥＮ）に投影することができる。この場合、プロジェクタ７００は、タブレット端末３００でディスプレイ３３０に表示されている画像１３００（仮想空間）に対して入力されたアノテーションを、に投影することによって実空間に直接的に表示させているともいえる。
　図１５には、本開示の一実施形態におけるアノテーション表示の第３の例を示す図である。図１５には、タブレット端末３００と、ラップトップＰＣ５００とが示されている。図示された例において、タブレット端末３００は、図示しないカメラ（撮像部）によって実空間の画像を撮像し、それをディスプレイ３３０（表示部）に画像１３００として表示させる。図示されているように、タブレット端末３００のカメラの画角にはラップトップＰＣ５００のディスプレイ５３０（表示部）が含まれるため、画像１３００にはディスプレイ５３０’が映っている。
　タブレット端末３００のユーザは、ディスプレイ３３０上に設けられたタッチセンサ３４０（操作部）によって画像１３００に対するアノテーション１３１０を入力する。図示された例において、アノテーション１３１０は、ディスプレイ５３０’上に表示されたコンテンツのサムネイル画像の１つを囲む円である。アノテーション１３１０は、例えばタブレット端末３００が撮像画像とともに取得する空間情報に基づいて、実空間におけるディスプレイ５３０の位置に関連付けられる。タブレット端末３００において入力されたアノテーション１３１０の情報は、実空間の位置情報（ディスプレイ５３０の位置を示す）とともに、サーバ１００を介して、または機器間通信によってラップトップＰＣ５００に送信される。
　ラップトップＰＣ５００は、撮像画像は取得しないが、タブレット端末３００と同様に空間情報を取得しており、実空間におけるディスプレイ５３０の位置を認識している。従って、ラップトップＰＣ５００は、タブレット端末３００において入力されたアノテーション１３１０に対応して、アノテーション１３１０として入力されたのと同様のアノテーション１５１０（サムネイル画像の１つを囲む円）をディスプレイ５３０に表示させることができる。この場合、ラップトップＰＣ５００は、タブレット端末３００でディスプレイ３３０に表示されている画像１３００（仮想空間）に対して入力されたアノテーションを、実空間の一部を構成するディスプレイ５３０に表示させることによって実空間に直接的に表示させているといえる。
　図１６は、本開示の一実施形態におけるアノテーション表示の第４の例を示す図である。図１６には、ウェアラブル端末２００と、タブレット端末３００と、プロジェクタ７００とが示されている。図示された例において、ウェアラブル端末２００は、カメラ２６０（撮像部）によって実空間の画像を撮像するとともに空間情報を取得し、撮像画像のデータを空間情報とともにサーバ１００を介してタブレット端末３００に送信する。ここで、タブレット端末３００は、例えばウェアラブル端末２００およびプロジェクタ７００とは異なる場所に存在してもよい。
　タブレット端末３００は、受信した画像をディスプレイ３３０（表示部）に画像１３００として表示させる。図示されているように、画像１３００には、ウェアラブル端末２００と同じ空間にあるテーブルと、テーブルの上のカップ、皿、鍵（ＫＥＹ’）が含まれる。タブレット端末３００のユーザは、ディスプレイ３３０上に設けられたタッチセンサ３４０（操作部）によって画像１３００に対するアノテーション１３１０を入力する。図示された例において、アノテーション１３１０は、鍵（ＫＥＹ’）を囲む円と、「Please　bring　this（これをもってきて）」というメッセージとを含む。アノテーション１３１０は、ウェアラブル端末２００から画像とともに受信された空間情報に基づいて、実空間における鍵（ＫＥＹ）の位置に関連付けられる。タブレット端末３００において入力されたアノテーション１３１０の情報は、実空間の位置情報（例えば鍵（ＫＥＹ）の位置を示す）とともに、サーバ１００を介してプロジェクタ７００に送信される。
　プロジェクタ７００は、撮像画像は取得しないが、ウェアラブル端末２００と同様に空間情報を取得しており、画像が投影される面（図示された例では例えばテーブルの表面）の実空間における位置を認識している。従って、プロジェクタ７００は、タブレット端末３００においてアノテーション１３１０として入力されたのと同様のアノテーション１７１０（円およびメッセージ）を、テーブルの上の鍵（ＫＥＹ）の周りに投影することができる。これによって、ウェアラブル端末２００のユーザは、テーブルの表面に投影されたアノテーション１７１０を直接視認することができうる。従って、この場合、ウェアラブル端末２００は、ディスプレイなどの表示部を有さなくてもよい。
　上記の例では、ウェアラブル端末２００において撮像された実空間の画像に付加された空間情報に基づいて特定される実空間の位置情報を基準にすることによって、タブレット端末３００において入力されたアノテーションを、画像を撮影した装置とは異なる装置であるプロジェクタ７００によって実空間に表示させることが可能になる。このような構成よって、例えばウェアラブル端末２００が必ずしもディスプレイなどの表示部を有さなくてもよくなり、ＡＲ技術を利用したユーザ間のインタラクションを実践するにあたっての装置構成の自由度が向上しうる。
　図１７は、本開示の一実施形態におけるアノテーション表示の第５の例を示す図である。図１７には、固定カメラ６００と、タブレット端末３００と、プロジェクタ７００とが示されている。なお、プロジェクタ７００は、これまでの例で示された固定型のものとは異なり、ハンドヘルド型でありうる。図示された例において、固定カメラ６００は、カメラ６６０（撮像部）によって実空間の画像を撮像するとともに空間情報を取得し、撮像画像のデータを空間情報とともにサーバ１００を介してタブレット端末３００に送信する。ここで、タブレット端末３００は、例えば固定カメラ６００およびプロジェクタ７００とは異なる場所に存在してもよい。
　なお、固定カメラ６００は移動しないため、固定カメラ６００における空間情報は上記の例えばウェアラブル端末２００などの場合とは異なる方法で取得されてもよい。例えば、固定カメラ６００における空間情報は、設置時などに周辺環境を計測して設定された固定の情報であってもよい。この場合、固定カメラ６００は、メモリに格納された空間情報を有するほかは、空間情報の取得のためのセンサなどは有さなくてもよい。このような空間情報の取得は、他の固定型の装置においても可能である。
　タブレット端末３００は、受信した画像をディスプレイ３３０（表示部）に画像１３００として表示させる。図示されているように、画像１３００には、固定カメラ６００の下にあるテーブルと、テーブルの上の鍵（ＫＥＹ’）が含まれる。タブレット端末３００のユーザは、ディスプレイ３３０上に設けられたタッチセンサ３４０（操作部）によって画像１３００に対するアノテーション１３１０を入力する。図示された例において、アノテーション１３１０は、鍵（ＫＥＹ’）を囲む円を含む。アノテーション１３１０は、固定カメラ６００から画像とともに受信された空間情報に基づいて、実空間における鍵（ＫＥＹ）の位置に関連付けられる。タブレット端末３００において入力されたアノテーション１３１０の情報は、実空間の位置情報（例えば鍵（ＫＥＹ）の位置を示す）とともに、サーバ１００を介してプロジェクタ７００に送信される。
　プロジェクタ７００は、撮像画像は取得しないが（してもよい）、空間情報を取得しており、画像が投影される面（図示された例では例えばテーブルの表面）の実空間における位置を認識している。従って、プロジェクタ７００は、タブレット端末１３１０においてアノテーション１３１０として入力されたのと同様のアノテーション１７１０（円）を、テーブルの上の鍵（ＫＥＹ）の周りに投影することができる。なお、プロジェクタ７００はハンドヘルド型であり、ユーザに携帯されて容易に移動することが可能である。従って、プロジェクタ７００における空間情報の取得方法は、例えばウェアラブル端末２００などの携帯型の端末と同様でありうる。
　上記の例では、固定カメラ６００において撮像された実空間の画像に付加された空間情報に基づいて特定される実空間の位置情報を基準にすることによって、タブレット端末３００において入力されたアノテーションが、画像を撮像した装置とは異なる装置であるプロジェクタ７００によって実空間に直接的に表示される。この例において、プロジェクタ７００はハンドヘルド型であり、ユーザに携帯されて実空間内の任意の位置に画像を投影することが可能である。それゆえ、例えば、ユーザは、あたかも懐中電灯を用いて暗闇の中を探索するかのように、プロジェクタ７００で実空間内のいろいろな場所に画像を投影させることによって、タブレット端末３００のユーザが入力したアノテーションによってよって指示されたオブジェクトまたは位置を探索することができる。この場合、ユーザは、ウェアラブル端末２００のような装置を装着する必要すらなく、より自由にＡＲ技術を利用したユーザ間のインタラクションを実践することができる。
　図１８は、本開示の一実施形態におけるアノテーション表示の第６の例を示す図である。図１８の例は、上記で図１６を参照して説明した例の変形例ともいえる。図には、ウェアラブル端末２００と、タブレット端末３００とが示されている。図示された例において、ウェアラブル端末２００は、カメラ２６０（撮像部）によって実空間の画像を撮像するとともに空間情報を取得し、撮像画像のデータを空間情報とともにサーバ１００を介して、ウェアラブル端末２００およびタブレット端末３００とは異なる場所にある装置に送信する。なお、図では送信先の装置は図示されていない。
　タブレット端末３００は、上記送信先の装置において入力されたアノテーションの情報をサーバ１００から受信する。タブレット端末３００は、ウェアラブル端末２００と同じ空間にあるテーブルの上に置かれている。タブレット端末３００は、撮像画像を取得していないが（撮像部自体は有していてもよい）、ウェアラブル端末２００と同様に空間情報を取得しており、実空間におけるディスプレイ３３０の位置を認識している。図示された例において、テーブルの上に置かれたタブレット端末３００のディスプレイ３３０には、隣にある鍵（ＫＥＹ）を指す矢印１３１０が表示されている。この矢印は、上記送信先の装置において、画像に表示された鍵に対して入力されたアノテーションに対応する表示でありうる。
　（４－２．アノテーションの配置）
　図１９は、本開示の一実施形態におけるアノテーションの配置について説明するための図である。図１９に示されたウェアラブル端末２００は、カメラ２６０（撮像部）で撮像した実空間の画像を空間情報とともにサーバ１００に送信する。さらに、ウェアラブル端末２００は、送信した画像に対して他の装置で入力されたアノテーションの情報を実空間の位置情報とともに受信し、受信した情報に基づいて、ディスプレイ２３０（表示部）を透過して視認される実空間の像に重畳してアノテーション１２１０を表示させる。なお、アノテーション１２１０は、実空間の像に重畳して仮想的に表示された結果ウェアラブル端末２００のユーザに認識される位置に図示されている。つまり、図示されたようなアノテーション１２１０は、ウェアラブル端末２００のユーザ以外には不可視である。
　アノテーション１２１０は、テーブルの上にある鍵（ＫＥＹ）を指して表示されるが、図ではその２つの例が示されている。ここでいう２つの例とは、空間配置されるアノテーション１２１０ａ、およびオブジェクト配置されるアノテーション１２１０ｂである。
　図示された例において、アノテーション１２１０ａは、鍵（ＫＥＹ）の上方の空中に表示される。このようなアノテーションの空間配置は、画像を視認するユーザの注意を惹きやすいため、例えばアノテーションによって方向を指示したい場合などに適する。また、例えば写真の撮影アングルなどを表現したい場合、写真撮影時にカメラが配置されていた位置は空中であることが多いので（カメラは通常ユーザに把持されるか三脚などの上に設置されるため）、アノテーションの空間配置は有用でありうる。なお、上記のアノテーションの空間配置は、例えばアノテーションがディスプレイに画像として表示される場合に可能でありうる他、例えば上記の図１６および図１７の例のようにアノテーションがプロジェクタによって投影して表示される場合にも、例えばプロジェクタが３Ｄプロジェクタであれば可能である。
　一方、アノテーション１２１０ｂは、鍵（ＫＥＹ）が置かれたテーブルの上で、鍵（ＫＥＹ）の近傍に表示される。このようなアノテーションのオブジェクト配置は、アノテーションの対象になっているオブジェクトとの関係が認識されやすいため、例えばアノテーションによってオブジェクトを指示したい場合などに適する。なお、アノテーションをオブジェクト配置する場合、対象となるオブジェクトを特定するために、ＳＬＡＭ法などによって検出された特徴点や、デンスマッピングの３次元データなどが用いられうる。あるいは、公知のオブジェクト認識技術によって個々のオブジェクトが認識されている場合、それらのオブジェクトの中から対象となるオブジェクトが特定されてもよい。オブジェクトが認識されている場合、例えばオブジェクトが（ユーザの手で移動されるなどして）空間とは独立して移動したような場合でも、オブジェクトを追尾してアノテーションを配置することが可能である。
　アノテーション入力を受け付ける装置（以下、例としてタブレット端末３００とするが、他の装置であってもよい）では、上記のようなアノテーションの空間配置とオブジェクト配置とが、何らかの方法で選択される。例えば、タブレット端末３００またはサーバ１００のプロセッサが、ユーザが入力しようとしているアノテーションの種類に応じて空間配置またはオブジェクト配置を自動的に初期設定してもよい。上記のように、方向の指示や撮影アングルの表示の場合には空間配置が自動的に選択され、オブジェクトの指示の場合にはオブジェクト配置が自動的に選択されうる。また、アノテーションの配置は、装置の操作部に対するユーザの操作によって選択可能であってもよい。
　例えば、図２０に示した例のように、タブレット端末３００のディスプレイ３３０に表示された画像１３００に対してタッチセンサ３４０を用いてアノテーション１３１０を入力する場合、空間配置されたアノテーション１３１０ａとオブジェクト配置されたアノテーション１３１０ｂとが両方表示され、ユーザがタッチ操作によっていずれかを選択するＧＵＩ（Graphical　User　Interface）が提供されてもよい。
　例えばこのようなＧＵＩによってアノテーション１３１０の配置を切り替える場合、アノテーション１３１０が空間配置によって空中に表示されているのか、オブジェクト配置によってその奥のオブジェクトの面に表示されているのかが識別しにくい場合がある。そのような場合のために、例えば、空間配置されたアノテーション１３１０ａについては、画像１３００に映った実空間の上方を光源として影を表示させることによって、空中に配置されていることを識別しやすくしてもよい。同様の表示として、空間配置されたアノテーション１３１０から、その下のオブジェクトの面までの垂線を表示してもよい。また、アノテーション１３１０の奥行き方向の位置を認識しやすくするために、画像１３００の奥行き方向にグリッドを表示してもよい。アノテーション１３１０の奥行き方向の位置の調整には、タッチセンサ３４０を利用したピンチイン／アウトや、別途設けられる手前／奥への移動ボタンが用いられてもよい。また、タブレット端末３００のセンサがタブレット端末３００自体をユーザから見て手前／奥に動かす動きを検出して、プロセッサがその動きをアノテーション１３１０の奥行き方向の位置に反映されてもよい。
　（５．視認可能範囲外にあるアノテーションの表示）
　続いて、図２１～図３２を参照して、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
　例えば、上述した図３Ａおよび図３Ｂの例では、ウェアラブル端末２００（送信側の装置）でディスプレイ２３０（表示部）に表示される画像１２００の表示範囲よりも、カメラ２６０（撮像部）によって撮像されてタブレット端末３００（受信側の装置）において表示される画像１３００の表示範囲の方が広い。このような場合、タブレット端末３００では、現時点ではウェアラブル端末２００で表示される画像１２００の表示範囲に含まれていない実空間の位置に対してもアノテーション１３１０，１３２０を入力することが可能である。入力されたアノテーションは、ウェアラブル端末２００で取得された空間情報に基づいて定義される実空間での位置情報に関連付けてタブレット端末３００、サーバ１００またはウェアラブル端末２００で保持され、後にウェアラブル端末２００とともにカメラ２６０が移動したことによってその位置が画像１２００の表示範囲内になった場合に、画像１２００にアノテーション１２１０，１２２０として表示されうる。
　また、例えば、上述した図７～図１０Ｃの例では、３人称画像１０２０または１．３人称画像１０３０として、送信側の装置で視認されている１人称画像１０１０を超えた範囲の画像が表示され、受信側の装置でこれらの画像を閲覧するユーザは、１人称画像１０１０の表示範囲の外にある実空間に対してもアノテーションを入力することが可能である。この場合も、入力されたアノテーションは、送信側の装置で取得された空間情報に基づいて定義される実空間での位置情報に関連付けて保持され、後に１人称画像１０１０の表示範囲が移動してその位置を含むようになった場合に表示されうる。
　上記のような場合、例えば送信側の装置（以下、例としてウェアラブル端末２００とする）のユーザがアノテーションの存在を知らなければ、アノテーションが画像１２００の表示範囲に含まれることなく時間が経過してしまう可能性がある。ＡＲ技術を利用したユーザ間のインタラクションでは、多くのアノテーションは受信側の装置（以下、例としてタブレット端末３００とする）のユーザがウェアラブル端末２００のユーザに何かを伝えるために入力すると考えられるため、アノテーションの存在はウェアラブル端末２００のユーザに知らされる方が望ましい。
　そこで、本実施形態では、以下の例に示すように、視認可能範囲外にあるアノテーションに関する情報が表示されうる。これらの情報の表示もまたアノテーションの一種であるが、以下の説明では、受信側の装置のユーザによって入力されたものを特にアノテーションと呼んで区別する場合がある。これらの表示のための表示制御は、例えばアノテーションを表示させる装置（例えばウェアラブル端末２００やタブレット端末３００など）のプロセッサで実行されてもよいし、これらの装置における視認可能範囲外を認識しているサーバ１００のプロセッサによって実行されてもよい。なお、以下の例は、例えば上述したさまざまな例とは独立して、実空間の画像の視認可能範囲外にアノテーションが入力される可能性がある場合には遍く適用されうる。
　　（第１の例）
　図２１～図２３は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第１の例を示す図である。
　図２１は、アノテーションが画像１２００（視認可能範囲）の中にある場合の表示例を示す。この場合、アノテーションは、テーブルの上に置かれたカップ（ＣＵＰ）を対象として表示され、ポインタ１２１０と、コメント１２２０とを含む。
　図２２は、アノテーションの対象であるカップ（ＣＵＰ）が画像１２００の外にある場合の表示例を示す。この場合、図２１に示したようなアノテーションの代わりに、アノテーションの対象が存在する方向を示す方向表示１２３０が表示されうる。方向表示１２３０は、例えば、ウェアラブル端末２００が取得している空間情報に基づいて、画像１２００の表示範囲とアノテーションの対象との位置関係を特定することによって表示可能になる。また、このとき、アノテーションのうちのコメント１２２０が、方向表示１２３０とともに表示されてもよい。コメント１２２０は、アノテーションの内容または種類などを示す情報であるため、ポインタ１２１０ではなく方向表示１２３０とともに表示されても有用である。
　図２３は、ウェアラブル端末２００のユーザが方向表示１２３０に応じてカメラ２６０の向きを変えたことなどによって画像１２００の表示範囲が移動し、アノテーションの対象であるカップ（ＣＵＰ）の一部が画像１２００に含まれるようになった場合の表示例を示す。この場合、対象の全部が画像１２００に含まれていなくても、ポインタ１２１０の一部とコメント１２２０とがアノテーションとして表示されてもよい。
　　（第２の例）
　図２４および図２５は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第２の例を示す図である。この第２の例では、視認可能範囲外にアノテーションの対象が存在することに加えて、アノテーションの対象までの距離が表示される。
　図２４は、視認可能範囲からアノテーションの対象までの距離が異なる２つの画像に対する表示の例を示す図である。この例では、視認可能範囲外にアノテーションが存在することが、円１２４０によって表示される。円１２４０は、図２５にも示すように、アノテーションの対象から視認可能範囲までの距離に応じた半径で表示される。図２５Ａに示されるように、アノテーションの対象から視認可能範囲（画像１２００ａ）までの距離が大きい場合、より大きい半径ｒ１の円１２４０ａが表示される。また、図２５Ｂに示されるように、アノテーションの対象から視認可能範囲（画像１２００ｂ）までの距離が小さい場合、より小さい半径ｒ２の円１２４０ｂが表示される。円１２４０の半径ｒは、アノテーションの対象までの距離に応じて連続的に設定されてもよいし、段階的に設定されてもよい。また、図２４に示されるように、円１２４０とともに、アノテーションのうちのコメント１２２０が表示されてもよい。
　このように円１２４０を表示することによって、例えば、画像１２００を見ているユーザが、視認可能範囲外にアノテーションが存在することだけではなく、画像１２００の表示範囲をどの方向にどの程度移動させればアノテーションを視認することができるかを直感的に把握することができうる。
　　（第３の例）
　図２６および図２７は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第３の例を示す図である。
　図２６は、アノテーションの対象であるリンゴ（ＡＰＰＬＥ）が画像１２００の外にある場合の表示例を示す。この場合、図２２の例と同様の方向表示１２５０とともに、対象のアイコン１２５１が表示されうる。アイコン１２５１は、例えば現在または過去においてカメラ２６０が撮像した画像にリンゴ（ＡＰＰＬＥ）が含まれる場合、サーバ１００またはウェアラブル端末２００のプロセッサがカメラ２６０によって撮像された画像からリンゴＡＰＰＬＥの部分を切り出すことによって生成されうる。この場合、アイコン１２５１は、カメラ２６０が取得するフレーム画像の変化に応じて変化する必要はなく、例えば静止画であってよい。あるいは、リンゴＡＰＰＬＥがオブジェクト認識されている場合であれば、カメラ２６０が撮像した画像に関係なく、リンゴを表すイラストや写真がアイコン１２５１として表示されてもよい。また、このとき、アノテーションのうちのコメント１２２０が、方向表示１２５０およびアイコン１２５１とともに表示されてもよい。
　図２７は、ウェアラブル端末２００のユーザが方向表示１２３０に応じてカメラ２６０の向きを変えたことなどによって画像１２００の表示範囲が移動し、アノテーションの対象であるリンゴ（ＡＰＰＬＥ）の一部が画像１２００に含まれるようになった場合の表示例を示す。この場合、方向表示１２５０およびアイコン１２５１の表示が終了し、図２３の例と同様にポインタ１２１０の一部とコメント１２２０とがアノテーションとして表示されてもよい。
　このようにアイコン１２５１を表示することによって、例えば、画像１２００を見ているユーザが、視認可能範囲外にアノテーションが存在することだけではなく、アノテーションの対象が何であるかを把握することができ、すぐに見るか、後で見るかといった行動の決定が容易になりうる。
　　（第４の例）
　図２８は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第４の例を示す図である。図示された例では、アノテーションの対象であるリンゴ（ＡＰＰＬＥ）が画像１２００の外にある場合に、リンゴにより近い画像１２００の端部分１２６０が光る。例えば、画像１２００ａでは、リンゴが画面の右下の方向にあるため、右下の端部分１２６０ａが光る。また、画像１２００ｂでは、リンゴが画面の左上の方向にあるため、左上の端部分１２６０ｂが光る。画像１２００ｃでは、リンゴが画面の左下の方向にあるため、左下の端部分１２６０ｃが光る。
　上記の例において、端部分１２６０の領域は、画像１２００からみてアノテーションの対象が存在する方向に基づいて設定されうる。図には斜め方向の例が示されているが、他の例では、リンゴが画像１２００の左方向にある場合に、左の端部分１２６０が光ってもよい。この場合、端部分１２６０は、画像１２００の左側の辺の全体であってもよい。また、アノテーションの対象が斜め方向に存在し、画像１２００の角を含む端部分１２６０が光る場合、角を挟んだ端部分１２６０の縦部分と横部分の比率は、アノテーションの対象が存在する方向の角度に応じて設定されてもよい。この場合、例えば、より上に近い左上に対象が存在すれば端部分１２６０の縦部分（画像１２００の左辺に沿う）よりも横部分（画像１２００の上辺に沿う）が長くなりうる。逆に、より左に近い左上に対象が存在すれば端部分１２６０の横部分（画像１２００の上辺に沿う）よりも縦部分（画像１２００の左辺に沿う）が長くなりうる。また、別の例において、端部分１２６０は光る代わりに所定の色（透過色でありうる）で着色されてもよい。
　このように、端部分１２６０の表示の変化によって視認可能範囲外にアノテーションが存在することを通知する場合、例えば矢印などによる別途の方向表示をしなくてもよいため、画像１２００の表示を邪魔することなくアノテーションの存在を通知することができる。
　　（第５の例）
　図２９は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第５の例を示す図である。図示された例では、アノテーションとしてコメント１２２０が表示されている。しかし、コメント１２２０は横に長いため、画像１２００には表示しきれていない。図では、これによって生じる非表示部分１２２１も示されている。この場合のコメント１２２０の非表示部分１２２１も、視認可能範囲外にあるアノテーションであるといえる。この非表示部分１２２１の存在を示すために、コメント１２２０が画像１２００の端部に当接した部分に発光領域１２８０が表示される。
　ここで、発光領域１２８０の長さは、非表示部分１２２１の長さ（例えば長さ方向のピクセル数などで表現されてもよく、コメント１２２０の表示部分との比率や他の非表示部分１２２１との比率によって表現されてもよい）に応じて設定されうる。図示された例では、コメント１２２０ａの非表示部分１２２１ａについて発光領域１２８０ａが表示され、コメント１２２０ｂの非表示部分１２２１ｂについて発光領域１２８０ｂが表示されるが、非表示部分１２２１ａよりも非表示部分１２２１ｂの方が長いことを反映して、発光領域１２８０ａよりも発光領域１２８０ｂの方が長く表示されてもよい。
　このように、発光領域１２８０の表示によって視認可能範囲外にアノテーションが存在することを通知する場合、アノテーションであるコメント１２２０の内部で表示を完結させることができるため、画像１２００の表示を邪魔することなくアノテーションの存在を通知することができる。また、非表示部分１２２１の長さに応じて発光領域１２８０の長さが設定される場合、コメント１２２０が全体としてどのくらいの長さであるかがユーザに直感的に把握されるため、すぐに見るか、後で見るかといった行動の決定が容易になる。なお、コメント１２２０の非表示部分１２２１を画像１２００の表示に含めようとする場合、例えば画像１２００の表示範囲を移動させてもよいし、あるいはコメント１２２０を画像１２００の内側（図示された例のコメント１２２０ａであれば左側、コメント１２２０ｂであれば右側）にドラッグしてもよい。
　　（第６の例）
　図３０は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第６の例を示す図である。図示された例では、道案内で方向を示す矢印のアノテーション１２１０が表示されている。このアノテーション１２１０は、例えばユーザが画像１２００ｂを見ている場合には視認可能であるが、画像１２００ａを見ている場合には視認可能ではない。そこで、ユーザが画像１２００ａを見ている場合には、アノテーション１２１０の影１２９０が表示されうる。影１２９０が表示されることによって、画像１２００ａを見ているユーザは、画面の上方の外にアノテーションが存在することを認識することができる。
　その後、ユーザが画像１２００ｂを見るようになった場合、影１２９０の表示は終了してもよいし、継続されてもよい。影１２９０がアノテーション１２１０とともに継続して表示される場合、影１２９０が表示されることによって、ユーザは空中に配置されたアノテーション１２１０の奥行き方向の位置を認識することが容易になりうる。
　このように影１２９０を表示することによって、仮想的な光源の方向による制約はあるものの、違和感のない表示によってユーザにアノテーションの存在を通知することができる。
　　（応用例）
　図３１および図３２は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。図示された例では、ウェアラブル端末２００のユーザが見ている画像１２００が画像１２００ａから画像１２００ｂ、さらに画像１２００ｃへと変化する中で、アノテーションの表示が変化する。画像１２００には、アノテーションとして、ポインタ１２１０と、方向表示１２３０と、コメント１２２０とが表示される。
　なお、ポインタ１２１０は、上記のいくつかの例とは異なり、例えばユーザの注視領域を示すアイコンとして画像１２００の中央付近に継続して表示される。ウェアラブル端末２００のユーザは、例えばタブレット端末３００のユーザによって入力されたアノテーションの対象（図示された例では鍋（ＰＡＮ））がポインタ１２１０に入るように、方向表示１２３０によって誘導される。
　画像１２００ａおよび画像１２００ｂでは、鍋（ＰＡＮ）がユーザの視認可能範囲外にあるため、鍋のある方向を示す方向表示１２３０ａおよび方向表示１２３０ｂが表示される。ユーザが方向表示１２３０に従って画像１２００の表示範囲を移動させ、画像１２００ｃで鍋を表示範囲に捉え、さらにポインタ１２１０の中に鍋を入れると、そこで初めてコメント１２２０が表示される。このときの画像１２００ｃを、図３２に別途示す。
　このような表示の変化は、アノテーションの対象である鍋（ＰＡＮ）がポインタ１２１０の中に入ったことによって、ウェアラブル端末２００のユーザが鍋に対するアノテーションを確認できる状態になったと判断されるために生じる。このように、確認が必要とされるアノテーションについては、アノテーションの対象がユーザの注視領域（またはフォーカス領域）に入った場合に確認可能な状態になったと認定してアノテーションの全体を表示することとし、それまでは方向表示１２３０などによって対象を注視領域（またはフォーカス領域）に入れるようユーザを誘導し続けてもよい。
　なお、ユーザがアノテーションを確認可能な状態になったことは、単にアノテーションの対象が注視領域（またはフォーカス領域）に入ったことだけではなく、その状態で所定の時間が経過したことによって認定されてもよい。
　（６．その他の表示例）
　続いて、図３３～図３５を参照して、本開示の一実施形態におけるその他の表示例について説明する。
　図３３は、本開示の一実施形態におけるエッジ検出を利用したアノテーション対象物体の表示例を示す図である。図示された例では、車（ＶＥＨＩＣＬＥ）を対象にしてアノテーション１２１０が入力されている。画像１２００では、アノテーション１２１０が表示されるとともに、車のエッジに光るエフェクト１２８５が表示される。このような表示は、例えば、ウェアラブル端末２００での空間情報の生成処理によって、特徴点の解析などによって車（ＶＥＨＩＣＬＥ）のエッジが検出されている場合に可能である。
　エッジを基準にしてエフェクト１２８５を表示させることによって、例えば対象のオブジェクトが認識されておらず「この辺り」という位置の指定によってアノテーションが入力された場合にも、アノテーションの対象を表現することができる。対象のオブジェクトが認識されている場合には、そのオブジェクトのエッジについてエフェクト１２８５を表示させてもよい。
　図３４および図３５は、本開示の一実施形態におけるストリーミングフレームのロールバック表示の例を示す図である。この例では、図３４に示されるように、ウェアラブル端末２００（送信側の装置の例）のユーザが見ている画像１２００が、画像１２００ｐから画像１２００ｑ、画像１２００ｒ、画像１２００ｓへと変化する。これらの画像は、いずれもストリーミングフレームとして順次サーバ１００を介してタブレット端末３００（受信側の装置の例）に送信される。
　タブレット端末３００のユーザは、上記の各画像に対してアノテーションを入力することができる。図示された例では、画像１２００ｐに対してアノテーション１２１０ｐ（コメントＡ）が、画像１２００ｑに対してアノテーション１２１０ｑ（コメントＢ）が、それぞれ入力されている。これらのアノテーションは、リアルタイムで画像１２００に表示されてもよいし、例えば画像１２００の表示範囲が移動したなどの理由によってリアルタイムでは画像１２００に表示されていなくてもよい。
　ここで、図示された例では、上記のようにアノテーションが入力されたストリーミングフレームを、図３５に示すような一覧表示画面１２０５で後から閲覧することが可能である。一覧表示画面１２０５は、アノテーションが入力されたストリーミングフレーム、つまり画像１２００ｐ，１２００ｑが一覧表示される。画像１２００ｐ，１２００ｑには、例えばリアルタイムで表示されなかった（されていてもよい）アノテーション１２１０ｐ，１２１０ｑがそれぞれ表示されうる。このような表示は、例えばサーバ１００が画像１２００ｐに対するアノテーション１２１０ｐの入力があったことを検出した場合に、ストリーミングフレームの中で画像１２００ｐをスナップショットとして保存するとともにアノテーション１２１０ｐの情報を関連付けることによって可能になりうる。
　また、別の例として、一覧表示画面１２０５に代えて、画像１２００に、画像１２００ｐまたは画像１２００ｑが取得された位置（つまり、画像１２００の表示範囲が再び画像１２００ｐまたは画像１２００ｑと同じになる位置）までウェアラブル端末２００のユーザを誘導するようなナビゲーションが表示されてもよい。この場合も、ユーザがナビゲーションに従って画像１２００ｐ，１２００ｑと同様の画像１２００を視認した場合には、画像１２００にアノテーション１２１０ｐまたはアノテーション１２１０ｑが表示されてもよい。
　（７．アプリケーションの例）
　続いて、図３６～図４４を参照して、本開示の一実施形態を利用したアプリケーションの例について説明する。
　図３６は、本開示の一実施形態に係る技術を利用して旅行者の視点を共有するアプリケーションの例を示す図である。例えばウェアラブル端末２００などの送信側の装置を装着して旅行先の実空間の画像を提供するのは一般の旅行者でありうる（専門のレポーターであってもよい）。例えばタブレット端末３００などの受信側の装置を用いて提供された画像１３００を閲覧するユーザは、例えば画像全体に対して、または画像の中の特定のオブジェクトや位置に対してコメント１３２０（アノテーションの一例）を入力することが可能である。入力されたコメント１３２０は、ウェアラブル端末２００のディスプレイに表示されて旅行者に対してリクエストやアドバイスなどを伝えるのに用いられてもよい。あるいは、コメント１３２０は、図示されているようにタブレット端末３００の画像１３００に表示されてもよい。この場合、例えば、複数のユーザがそれぞれ入力したコメント１３２０がいずれも画像１３００上に表示されることによって、旅行者の視点を共有しているユーザ間でのコミュニケーションが発生してもよい。
　図３７は、本開示の一実施形態に係る技術を利用して登山者の視点を共有するアプリケーションの例を示す図である。図３６の例と同様に、例えばウェアラブル端末２００などを装着して実空間の画像を提供するのは一般の登山者でありうる（専門のレポーターであってもよい）。例えばタブレット端末３００などを用いて提供された画像１３００を閲覧するユーザは、例えば画像全体に対して、または画像の中の特定のオブジェクトや位置に対してコメント１３２０（アノテーションの一例）を入力することが可能である。また、アノテーションの入力とは別に、画像１３００を閲覧するユーザは、画像１３００をキャプチャして写真のように保存してもよい。上記の例と同様に、入力されたコメント１３２０は、登山者に対してアドバイスなどを伝えたり、登山者の視点を共有しているユーザ間でのコミュニケーションに用いられたりしてもよい。
　図３８は、本開示の一実施形態に係る技術を利用して料理をする人の視点を共有するアプリケーションの例を示す図である。例えばウェアラブル端末２００などを装着して旅行先の実空間の画像を提供するのは、例えば料理が得意な一般のユーザでありうる（料理の先生であってもよい）。例えばタブレット端末３００などを用いて提供される画像１３００を閲覧するユーザは、例えば画像全体に対して、または画像の中の特定の位置に対してコメント１３２０を入力することができる。コメント１３２０は、例えばウェアラブル端末２００のディスプレイに表示されて、先生役のユーザに質問などを伝えるのに用いられうる。コメント１３２０を、画像１３００内の位置ではなくウェアラブル端末２００の周囲の実空間の位置に関連付けることによって、例えば特定の材料や器具（図示された例では、鍋の中身を混ぜるおたまがもっと小さいものでもよいかという質問がされている）についてコメント１３２０が入力された場合に、ウェアラブル端末２００の移動によって画像の表示範囲が変化していても、コメント１３２０を入力したユーザが意図した位置（上記の例であれば、おたまの位置）にコメントが表示されうる。
　図３９は、本開示の一実施形態に係る技術を利用して買い物をする人の視点を共有するアプリケーションの例を示す図である。この例では、ウェアラブル端末２００などを装着して店頭の画像を提供するユーザに対して、タブレット端末３００などを用いてこの画像を共有するユーザは、個別の画像の共有を許可されたユーザ、例えば画像を提供するユーザの家族などでありうる。つまり、図３９の例では、プライベートな範囲で実空間の画像が共有されている。実空間の画像をプライベートに共有するか、パブリックに共有するかは、例えば提供される実空間の画像の種類や、画像を提供するユーザがアノテーションとしてどのような情報を得られることを望んでいるかによって適宜設定されうる。
　図示された例では、コメント１３２０として、買い物リスト１３２０ｐと、リンゴのうちの１つを指定するコメント１３２０ｑとが入力されている。このうち、リンゴを指定するコメント１３２０ｑは、ウェアラブル端末２００の移動によって画像の表示範囲が変化しても同じリンゴに対して表示されることが望ましいため、ウェアラブル端末２００の周囲の実空間の位置に関連付けられうる。一方、買い物リスト１３２０ｐは、ウェアラブル端末２００の移動によって画像の表示範囲が変化しても引き続き画像の同じ位置に表示されることが望ましいため、画像１３００内の位置に関連付けられてもよい。このように、アノテーションが入力される装置（例えばタブレット端末３００）のプロセッサは、アノテーションの種類やユーザ操作などに応じて、アノテーションを実空間の位置に関連付けるか、画像内の位置に関連付けるかを切り替えてもよい。
　図４０は、本開示の一実施形態に係る技術を利用して工作をする人の視点を共有するアプリケーションの例を示す図である。この例では、ウェアラブル端末２００などを装着して工作過程の画像を提供するユーザに対して、タブレット端末３００などを用いてこの画像を共有するユーザは、画像を提供するユーザが予め先生として指定したユーザでありうる。先生役のユーザは、画像１３００を閲覧し、例えばコメント１３２０ｓ（部品が壊れやすいことへの注意を喚起するアドバイス）などのアノテーションを入力することができる。一方、画像を提供するユーザも、例えば音声認識など（キーボードなどによる入力でもよい）を利用して、例えば先生役のユーザへの質問などのコメント１３２０ｔを入力することが可能でありうる。
　つまり、図示された例では、コメント１３２０を介して、画像を提供するユーザと先生役のユーザとの間で例えば工作に関するインタラクティブな会話が可能である。この場合も、コメント１３２０が実空間の位置に関連付けられることによって、対象になっている部品などの位置に正確にコメントを表示させることができる。なお、この画像は、さらに別のユーザとの間でも共有することが可能であってもよい。この場合、画像を提供するユーザおよび先生役のユーザ以外の他のユーザによるコメント１３２０の入力は制限されてもよい。あるいは、他のユーザによって入力されたコメント１３２０は、他のユーザ同士の間に限って画像１３００に表示されてもよい。
　図４１～図４４は、本開示の一実施形態に係る技術を利用して複数のユーザの視点を切り替えて共有するアプリケーションの例を示す図である。
　図４１は、視点の切り替えを概念的に説明するための図である。図４１には、同じ実空間に存在する２つのウェアラブル端末２００ａ，２００ｂが、それぞれ撮像部を有して画像１２００ａ，１２００ｂを取得している様子が示されている。このとき、ウェアラブル端末２００ａ，２００ｂがそれぞれ空間情報を取得していれば、実空間の位置情報を介して互いの位置（視点位置）を認識することができる。従って、例えば、画像１２００ａに映っているウェアラブル端末２００ｂ、または画像１２００ｂに映っているウェアラブル端末２００ａを選択することによって、画像１２００ａの表示と画像１２００ｂの表示とを切り替えることができる。
　図４２は、３人称画像を用いた視点切り替えの例を示す図である。図示された例では、タブレット端末３００のディスプレイ３３０に３人称画像１０２０が表示されており、そこに２つのストリーミングフレーム１０２１ａ，１０２１ｂが表示されている。これらのストリーミングフレームは、例えば、図４１に示したウェアラブル端末２００ａ，２００ｂによってそれぞれ取得されたものでありうる。ユーザは、例えばディスプレイ３３０上のタッチセンサ３４０へのタッチ操作でいずれかのストリーミングフレーム１０２１を選択することによって、ウェアラブル端末２００ａの視点からの画像とウェアラブル端末２００ｂの視点からの画像とを切り替えて共有することができる。
　図４３および図４４は、１人称画像を用いた視点切り替えの例を示す図である。図４３に示された例では、１人称画像１０１０に、切り替え可能な視点を示すポインタ１０１１と、その視点に関する情報１０１２とが表示されている。ポインタ１０１１は、例えば、別の視点で画像を提供している装置を指し示す表示でありえ、図示されているようにその装置によって提供される画像の画角を表してもよい。また、情報１０１２は、例えば他の装置によって提供される画像がどのような種類の画像であるか（図示された例では「Camera　View」である）、誰によって提供される画像であるか、などを示す。ユーザが受信側の装置の操作部を介してポインタ１０１１または情報１０１２を選択した場合、図４４に示すように他の視点からの１人称画像１０１０’に表示が切り替えられうる。なお、図４３に示された画像は、ファッションショーに出演しているモデルを見る観客の視点からの画像である。一方、図４４に示された画像は、上記のモデルの視点からの画像であり、ランウェイの脇にいる観客が映っている。
　なお、上記のような切り替え可能な複数の視点画像のそれぞれには、例えばパブリックかプライベートか、有料か無料か、などといった属性が設定されていてもよい。この場合、例えば、図４２に示した３人称画像１０２０や図４３に示した１人称画像１０１０には、パブリックであるか、プライベートであっても既に許可が与えられているために閲覧することが可能である画像に限ってポインタ１０１１や情報１０１２が表示されてもよい。あるいは、３人称画像１０２０や１人称画像１０１０では、画像を閲覧しているユーザの設定によって、無料であるか、有料であっても既に購入されているために閲覧することが可能である画像に限ってポインタ１０１１や情報１０１２が表示されてもよい。
　（８．入力対象位置と視認可能範囲との関係の表示）
　続いて、図４５～図４９を参照して、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
　例えば、上述した図３Ａおよび図３Ｂの例では、ウェアラブル端末２００（送信側の装置）でディスプレイ２３０（表示部）に表示される画像１２００の表示範囲よりも、カメラ２６０（撮像部）によって撮像されてタブレット端末３００（受信側の装置）において表示される画像１３００の表示範囲の方が広い。このような場合、タブレット端末３００では、現時点ではウェアラブル端末２００で表示される画像１２００の表示範囲に含まれていない実空間の位置に対してもアノテーション１３１０，１３２０を入力することが可能である。入力されたアノテーションは、ウェアラブル端末２００で取得された空間情報に基づいて定義される実空間での位置情報に関連付けてタブレット端末３００、サーバ１００またはウェアラブル端末２００で保持され、後にウェアラブル端末２００とともにカメラ２６０が移動したことによってその位置が画像１２００の表示範囲内になった場合に、画像１２００にアノテーション１２１０，１２２０として表示されうる。
　また、例えば、上述した図７～図１０Ｃの例では、３人称画像１０２０または１．３人称画像１０３０として、送信側の装置で視認されている１人称画像１０１０を超えた範囲の画像が表示され、受信側の装置でこれらの画像を閲覧するユーザは、１人称画像１０１０の表示範囲の外にある実空間に対してもアノテーションを入力することが可能である。この場合も、入力されたアノテーションは、送信側の装置で取得された空間情報に基づいて定義される実空間での位置情報に関連付けて保持され、後に１人称画像１０１０の表示範囲が移動してその位置を含むようになった場合に表示されうる。
　上記のような場合、受信側の装置（以下、例としてタブレット端末３００とする）のユーザとしては、入力しようとしているアノテーションが現時点で送信側の装置（以下、例としてウェアラブル端末２００とする）において視認可能であるか、またはどのように視認されるかを知りたい場合がある。例えば、上述した例のように、視認可能範囲外にあるアノテーションに関する情報がウェアラブル端末２００において表示される構成が採用されない場合がある。また、そのような構成が採用される場合でも、視認可能範囲外にあるアノテーションに関する情報が表示されて送信側の装置のユーザの注視を明示的に促すことが望まれない場合（例えば、受信側の装置のユーザが、自然に、またはそれとなくアノテーションが視認されることを望む場合）もある。
　そこで、本実施形態では、以下の例に示すように、入力対象位置と視認可能範囲との関係が表示されうる。このような表示のための表示制御は、送信側の装置における視認可能範囲の情報と、受信側の装置においてアノテーションの入力対象位置が設定されうる範囲の情報とが提供されることによって、例えば送信側の装置もしくは受信側の装置（例えばウェアラブル端末２００やタブレット端末３００など）、またはサーバ１００のプロセッサで実行される。なお、以下の例は、例えば上述したさまざまな例とは独立して、実空間の画像の視認可能範囲外にアノテーションが入力される可能性がある場合には遍く適用されうる。
　　（第１の例）
　図４５は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第１の例を示す図である。図４５には、タブレット装置３００に表示される画像１３００が示されている。
　図示された例において、画像１３００では、まだアノテーションが入力されていない。この状態において、画像１３００には、視認可能範囲表示１３３０が表示されている。視認可能範囲表示１３３０は、例えばウェアラブル端末２００におけるカメラ２６０の撮像範囲とディスプレイ２３０の透過表示範囲（実際の透過表示と仮想的な透過表示とを含む）とのキャリブレーションの結果に基づいて特定される、ウェアラブル端末２００のユーザの視認可能範囲に対応して表示される。なお、視認可能範囲表示１３３０は、図示された例のような枠線には限らず、例えば色のついたレイヤ状のオブジェクトなど、さまざまな形態で表示されうる。
　このような視認可能範囲表示１３３０が表示されることによって、タブレット端末３００のユーザは、これからアノテーションを入力しようとする位置（入力対象位置）が、ウェアラブル端末２００のユーザの現時点での視認可能範囲内にあるか否かを予め容易に認識することができる。
　　（第２の例）
　図４６および図４７は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第２の例を示す図である。図４６および図４７には、タブレット端末３００に表示される画像１３００が示されている。
　図示された例において、画像１３００では、実空間内の任意の位置をポインティングするアノテーションが入力されている。図４６では、アノテーション表示１３４０ａが視認可能範囲表示１３３０の外側、すなわちウェアラブル端末２００のユーザの視認可能範囲外に入力されている。一方、図４７では、アノテーション表示１３４０ｂが、視認可能範囲表示１３３０の内側、すなわちウェアラブル端末２００のユーザの視認可能範囲内に入力されている。図示された例では、アノテーション表示１３４０ａ（円が点線で表示される）とアノテーション表示１３４０ｂ（円が太線で表示される）との違いからも分かるように、アノテーション表示１３４０が、ウェアラブル端末２００のユーザの視認可能範囲内に入力されたか否かによって異なる態様で表示される。
　このようにアノテーション表示１３４０が表示されることによって、タブレット端末３００のユーザは、アノテーションを入力した位置（入力対象位置）が、ウェアラブル端末２００のユーザの現時点での視認可能範囲内にあるか否かを容易に認識することができる。
　例えば、タブレット端末３００のユーザが、ウェアラブル端末２００のユーザの視認可能範囲内にアノテーションを入力したかったにもかかわらず、システム側で認識された入力対象位置が視認可能範囲外であった場合、アノテーション表示１３４０ａが表示されることによって、タブレット端末３００のユーザはアノテーションを視認可能範囲内に入力できなかったことを認識できる。そのような場合、タブレット端末３００のユーザは、アノテーション表示１３４０ｂが表示されるまで、アノテーションの入力をやり直すことができる。
　なお、この第２の例において、視認可能範囲表示１３３０は、必ずしも表示されなくてもよい。視認可能範囲表示１３３０がなくても、タブレット端末３００のユーザは、例えば画像１３００の中央付近を視認可能範囲と推定してアノテーションを入力し、アノテーション表示１３４０の表示態様によってアノテーションが視認可能範囲内に入力されたか否かを認識することができる。
　　（第３の例）
　図４８は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の第３の例を示す図である。図４８には、タブレット端末３００に表示される画像１３００が示されている。
　図示された例において、画像１３００では、アノテーションとして手書きストローク１３５０が入力されている。手書きストローク１３５０は、画像１３００において、視認可能範囲表示１３３０の外側、すなわちウェアラブル端末２００のユーザの視認可能範囲外では、点線のストローク１３５０ａとして表示される。一方、手書きストローク１３５０は、視認可能範囲表示１３３０の内側、すなわちウェアラブル端末２００のユーザの視認可能範囲内では、実線のストローク１３５０ｂとして表示される。このように、図示された例では、手書きストローク１３５０の各部分が、ウェアラブル端末２００のユーザの視認可能範囲内に位置するか否かによって異なる態様で表示される。
　このように手書きストローク１３５０が表示されることによって、タブレット端末３００のユーザは、ストロークの各部分を入力した位置（入力対象位置）が、ウェアラブル端末２００のユーザの現時点での視認可能範囲内にあるか否かを容易に認識することができる。
　例えば、タブレット端末３００のユーザが、ウェアラブル端末２００のユーザの視認可能範囲外にあるオブジェクトを矢印で指す手書きストロークをアノテーションとして入力する場合、オブジェクトから引かれた矢印のストロークが実線のストローク１３５０ｂとして表示されることによって、タブレット端末３００のユーザは、視認可能範囲内まで矢印が表示され、ウェアラブル端末２００のユーザがその矢印をたどって視線を移動させた結果オブジェクトを注視するする可能性があることを認識することができる。
　なお、この第３の例において、視認可能範囲表示１３３０は、必ずしも表示されなくてもよい。視認可能範囲表示１３３０がなくても、タブレット端末３００のユーザは、例えば画像１３００の中央付近を視認可能範囲と推定してアノテーションの手書きストローク１３５０を入力し、実線のストローク１３５０ｂが表示されることによって、ストロークの少なくとも一部が視認可能範囲内に入力されていることを認識することができる。
　　（第４の例）
　図４９は、本開示の一実施形態における入力対象装置と視認可能範囲との関係の表示の第４の例を示す図である。図４９には、タブレット端末３００に表示される画像１３００が示されている。
　図示された例は、上記の第１の例と同様の状況であり、まだアノテーションが入力されていない状態で、視認可能範囲表示１３３０が表示されている。ただし、この例では、画像１３００が、上記で図９および図１０などを参照して説明したような手法で、ウェアラブル端末２００のカメラ２６０のリアルタイムの撮像画像に基づくストリーミングフレームの範囲よりも拡大されている。従って、画像１３００には、ストリーミングフレーム１３６０が表示され、その中に視認可能範囲表示１３３０が表示される。
　この第４の例のように、上述した入力対象装置と視認可能範囲との関係の表示の例は、タブレット端末３００においてウェアラブル端末２００のカメラ２６０のリアルタイムの撮像画像に基づくストリーミングフレームが表示されている場合に限らず、例えば過去に提供されたストリーミングフレームの画像に基づいて表示範囲が拡大され、ウェアラブル端末２００のユーザの体外に離脱したような視点が提供される場合にも適用可能である。より具体的には、図４９の例に示したような画像１３００においても、第２の例に係るアノテーション表示１３４０ａ，１３４０ｂや、第３の例に係る手書きストローク１３５０ａ，１３５０ｂが表示されうる。
　以上で説明したように、本実施形態は、タブレット端末３００において入力されうる、ウェアラブル端末２００における視認可能範囲外に入力されうるアノテーションについて、（１）ウェアラブル端末２００で、当該アノテーションについての情報を表示する例と、（２）タブレット端末３００で、当該アノテーションと視認可能範囲との関係を表示する例とを含む。これらの例に係る構成は、いずれか一方が採用されてもよいし、両方が採用されてもよい。
　ここで、例えば、（１）の構成が採用される場合、視認可能範囲外のアノテーションについての情報（例えば図２２に例示した方向表示１２３０など）が、ウェアラブル端末２００で画像１２００に表示される。この情報は、ウェアラブル端末２００、タブレット端末３００、またはサーバ１００のプロセッサによる制御に基づいて、タブレット端末３００でも同様にして画像１３００に表示されてもよい。なお、ここで、「表示のための制御を実行するプロセッサ」は、表示が実行される装置のプロセッサを意味してもよいし、表示が実行される装置のプロセッサが制御において用いる情報を生成する他の装置のプロセッサを意味してもよい。従って、視認可能範囲外のアノテーションについての情報をタブレット端末３００で画像１３００に表示させるための制御は、ウェアラブル端末２００で実行されてもよく、タブレット端末３００で実行されてもよく、サーバ１００で実行されてもよい。
　つまり、本実施形態において、視認可能範囲外のアノテーションについて画像１２００に表示されている情報は、画像１３００においても同期して表示されてもよい。これによって、タブレット端末３００のユーザは、アノテーションが視認可能範囲外に表示されていることともに、当該アノテーションについての情報が画像１２００において表示されており、ウェアラブル端末２００のユーザの視点移動によってアノテーションが視認される可能性があることを認識することができる。
　（９．身体形状を利用したアノテーション関連表示）
　続いて、図５０～図５２を参照して、本開示の一実施形態における身体形状を利用したアノテーション関連表示について説明する。本実施形態では、実空間のストリーミング画像の受信側の装置から、当該ストリーミング画像の送信側の装置に対して、様々なアノテーションを入力することが可能である。送信側の装置において送信される実空間の画像データに付加される空間情報を利用して、アノテーションが、送信側の装置のユーザが視認可能な範囲に対しても、その外の実空間に対しても入力されうることは、既に述べた通りである。以下の例では、そのようなアノテーションのバリエーションとして、受信側の装置のユーザの身体形状を利用したアノテーション関連表示の例について説明する。
　　（第１の例）
　図５０は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第１の例を示す図である。図５０では、実空間のストリーミング画像の受信側の装置の例として、デスクトップ型のＰＣ３０２が示されている。ＰＣ３０２は、図示しないセンサによって、ユーザの手などの身体形状、またはジェスチャを認識することが可能である。図示されているように、ＰＣ３０２のユーザは、手のジェスチャによって、ＰＣ３０２に表示された実空間のストリーミング画像１３００に対するアノテーションを入力することが可能である。
　このとき、画像１３００には、センサによって認識されているユーザの手の形状に対応するグラフィック１３７０が表示される。グラフィック１３７０は、画像１３００においてユーザの手が対応付けられる実空間の位置に表示されうる。つまり、図示された状態でユーザが手の任意の部分（例えば右手の人差し指の先）で何らかのアノテーション入力を実行した場合、アノテーションは、グラフィック１３７０の右手の人差し指の先が表示されている位置に対して入力されうる。
　このような構成によって、ユーザは、ジェスチャを用いてアノテーションを入力するにあたり、アノテーションが入力される位置を予め直観的に認識することができる。また、後述するように、グラフィック１３７０は、ストリーミング画像の送信側の装置（例えばウェアエアブル端末２００）において同期して表示されてもよい。この場合、グラフィック１３７０自体がアノテーションを構成するともいえる。
　　（第２の例）
　図５１は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第２の例を示す図である。図５１でも、画像１３００において、上記で図５０を参照して説明した第１の例と同様のグラフィック１３７０が表示されている。ただし、この例では、画像１３００が、上記で図９および図１０などを参照して説明したような手法で、リアルタイムのストリーミング画像の範囲よりも拡大されている。従って、画像１３００には、ストリーミングフレーム１３６０が表示され、それとともにグラフィック１３７０が表示される。
　この第２の例のように、本実施形態における身体形状を利用したアノテーション関連表示の例は、ストリーミング画像の受信側の装置においてリアルタイムのストリーミング画像がそのまま表示されている場合に限らず、例えば過去に提供されたストリーミング画像に基づいて表示範囲が拡大され、ストリーミング画像の送信側のユーザの体外に離脱したような視点が提供される場合にも適用可能である。
　　（第３の例）
　図５２は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第３の例を示す図である。図５２では、実空間のストリーミング画像の送信側の装置（例えばウェアラブル端末２００）において、上記の例で画像１３００に表示されたグラフィック１３７０と同様のグラフィック１２９１が表示されている。
　グラフィック１２９１は、ストリーミング画像の受信側の装置（例えば上記の例におけるＰＣ３０２）でセンサによって認識されているユーザの手の形状に対応する。つまり、図示された例では、受信側の装置におけるユーザの手のジェスチャが、そのままアノテーション（グラフィック１２９１）として表示される。これによって、受信側の装置のユーザは、例えばオブジェクトを指さしたり、方向を示したりといった情報の伝達を、ジェスチャによって別途アノテーションを入力するのではなく、ジェスチャそのものによって実行することが可能である。
　なお、この第４の例では、受信側の装置で表示される画像１３００でもグラフィック１３７０が表示され、グラフィック１３７０とグラフィック１２９１とが同期してもよい。また、受信側の装置では、画像１３００に継続的にグラフィック１３７０を表示しつつ、グラフィック１３７０に同期するグラフィック１２９１を送信側の装置で画像１２００に表示させる（つまり、グラフィック１３７０に対応するアノテーションを入力する）か否かをユーザが選択可能であってもよい。これによって、受信側の装置のユーザは、必要な場合に限って手の形状をアノテーションとして表示させることができる。
　また、画像１２００では、グラフィック１２９１とともに、上述した他のアノテーション、例えばテキスト（コメントなど）や各種の図形（ポインタまたは手書きストロークなど）が表示されてもよい。この場合、例えば、グラフィック１２９１の動きに合わせて、当該動きによって入力された他のアノテーションが現れてもよい。これによって、送信側の装置のユーザは、アノテーションが新たに入力されたことを直観的に認識することができる。
　（１０．補足）
　本開示の実施形態は、例えば、上記で説明したような画像処理装置（サーバまたはクライアント）、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）端末装置の表示部を制御する表示制御部を備え、
　前記表示制御部は、
　　前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
　　前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
　を実行する表示制御装置。
（２）前記表示制御部は、前記仮想オブジェクトの全部が前記視認可能範囲の外にある場合に前記通知を表示させる、前記（１）に記載の表示制御装置。
（３）前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、前記（２）に記載の表示制御装置。
（４）前記通知は、前記方向に対応する前記視認可能範囲の辺縁部に表示される、前記（３）に記載の表示制御装置。
（５）前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、前記（３）または（４）に記載の表示制御装置。
（６）前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向が前記実空間における光源方向に対応する場合には、前記仮想オブジェクトの影の表示を含む、前記（３）に記載の表示制御装置。
（７）前記表示制御部は、前記仮想オブジェクトが前記視認可能範囲の中に入った後も前記影の表示を継続する、前記（６）に記載の表示制御装置。
（８）前記実空間の撮像画像を取得する画像取得部をさらに備え、
　前記通知は、前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像を含む、前記（２）～（５）のいずれか１項に記載の表示制御装置。
（９）前記通知は、過去に取得された前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像に前記仮想オブジェクトを重畳させた画像を含む、前記（８）に記載の表示制御装置。
（１０）前記通知は、過去の前記仮想オブジェクトに関連付けられた前記位置情報に対応する位置が前記視認可能範囲に入るように前記表示部を移動させるためのナビゲーションを含む、前記（２）に記載の表示制御装置。
（１１）前記表示制御部は、前記仮想オブジェクトの一部が前記視認可能範囲の外にある場合に前記通知を表示させる、前記（１）に記載の表示制御装置。
（１２）前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、前記（１１）に記載の表示制御装置。
（１３）前記不可視部分のサイズまたは割合を示す表示は、前記仮想オブジェクトが前記視認可能範囲の辺縁部に当接した部分に配置される領域であり、該領域のサイズによって前記不可視部分のサイズまたは割合が示される、前記（１２）に記載の表示制御装置。
（１４）前記仮想オブジェクトは、前記位置情報に対応する位置に存在する実オブジェクトに関する情報を含み、
　前記表示制御部は、前記実オブジェクトが前記表示部において所定の位置に配置されるまで前記仮想オブジェクトの表示を抑制するとともに前記通知の表示を継続する、前記（１）に記載の表示制御装置。
（１５）前記視認可能範囲は、前記表示部に表示される前記実空間の画像の範囲によって規定される、前記（１）に記載の表示制御装置。
（１６）前記実空間の撮像画像を取得する画像取得部をさらに備え、
　前記表示制御部は、前記撮像画像の一部を前記実空間の画像として前記表示部に表示させる、前記（１５）に記載の表示制御装置。
（１７）前記視認可能範囲は、前記表示部が前記実空間に付加的に画像を表示させることが可能な範囲によって規定される、前記（１）に記載の表示制御装置。
（１８）前記表示制御部は、前記仮想オブジェクトの入力が実行される、前記端末装置とは異なる装置において前記通知を表示させるための制御を実行する、前記（１）～前記（１７）のいずれか１項に記載の表示制御装置。
（１９）端末装置の表示部を制御するプロセッサが、
　　前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させることと、
　　前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させることと
　を含む表示制御方法。
（２０）端末装置の表示部を制御するコンピュータに、
　　前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる機能と、
　　前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる機能と
　を実現させるためのプログラム。
　１０　　システム
　１００　　サーバ
　２００，３００，４００，５００，６００，７００　　クライアント
　９００　　装置
　９１０　　プロセッサ
　９２０　　メモリ
　９３０　　表示部
　９４０　　操作部
　９５０　　通信部
　９６０　　撮像部
　９７０　　センサ

Claims (20)

  1. 　端末装置の表示部を制御する表示制御部を備え、
    　前記表示制御部は、
    　　前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
    　　前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
    　を実行する表示制御装置。
  2. 　前記表示制御部は、前記仮想オブジェクトの全部が前記視認可能範囲の外にある場合に前記通知を表示させる、請求項１に記載の表示制御装置。
  3. 　前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、請求項２に記載の表示制御装置。
  4. 　前記通知は、前記方向に対応する前記視認可能範囲の辺縁部に表示される、請求項３に記載の表示制御装置。
  5. 　前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、請求項３に記載の表示制御装置。
  6. 　前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向が前記実空間における光源方向に対応する場合には、前記仮想オブジェクトの影の表示を含む、請求項３に記載の表示制御装置。
  7. 　前記表示制御部は、前記仮想オブジェクトが前記視認可能範囲の中に入った後も前記影の表示を継続する、請求項６に記載の表示制御装置。
  8. 　前記実空間の撮像画像を取得する画像取得部をさらに備え、
    　前記通知は、前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像を含む、請求項２に記載の表示制御装置。
  9. 　前記通知は、過去に取得された前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像に前記仮想オブジェクトを重畳させた画像を含む、請求項８に記載の表示制御装置。
  10. 　前記通知は、過去の前記仮想オブジェクトに関連付けられた前記位置情報に対応する位置が前記視認可能範囲に入るように前記表示部を移動させるためのナビゲーションを含む、請求項２に記載の表示制御装置。
  11. 　前記表示制御部は、前記仮想オブジェクトの一部が前記視認可能範囲の外にある場合に前記通知を表示させる、請求項１に記載の表示制御装置。
  12. 　前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、請求項１１に記載の表示制御装置。
  13. 　前記不可視部分のサイズまたは割合を示す表示は、前記仮想オブジェクトが前記視認可能範囲の辺縁部に当接した部分に配置される領域であり、該領域のサイズによって前記不可視部分のサイズまたは割合が示される、請求項１２に記載の表示制御装置。
  14. 　前記仮想オブジェクトは、前記位置情報に対応する位置に存在する実オブジェクトに関する情報を含み、
    　前記表示制御部は、前記実オブジェクトが前記表示部において所定の位置に配置されるまで前記仮想オブジェクトの表示を抑制するとともに前記通知の表示を継続する、請求項１に記載の表示制御装置。
  15. 　前記視認可能範囲は、前記表示部に表示される前記実空間の画像の範囲によって規定される、請求項１に記載の表示制御装置。
  16. 　前記実空間の撮像画像を取得する画像取得部をさらに備え、
    　前記表示制御部は、前記撮像画像の一部を前記実空間の画像として前記表示部に表示させる、請求項１５に記載の表示制御装置。
  17. 　前記視認可能範囲は、前記表示部が前記実空間に付加的に画像を表示させることが可能な範囲によって規定される、請求項１に記載の表示制御装置。
  18. 　前記表示制御部は、前記仮想オブジェクトの入力が実行される、前記端末装置とは異なる装置において前記通知を表示させるための制御を実行する、請求項１に記載の表示制御装置。
  19. 　端末装置の表示部を制御するプロセッサが、
    　　前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させることと、
    　　前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させることと
    　を含む表示制御方法。
  20. 　端末装置の表示部を制御するコンピュータに、
    　　前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる機能と、
    　　前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる機能と
    　を実現させるためのプログラム。
     
PCT/JP2014/056162 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム WO2014162825A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14779413.5A EP2983138A4 (en) 2013-04-04 2014-03-10 Display control device, display control method and program
JP2015509967A JP6304241B2 (ja) 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム
CN201480018323.1A CN105103198A (zh) 2013-04-04 2014-03-10 显示控制装置、显示控制方法以及程序
US14/779,789 US20160055676A1 (en) 2013-04-04 2014-03-10 Display control device, display control method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-078892 2013-04-04
JP2013078892 2013-04-04
JP2013-191464 2013-09-17
JP2013191464 2013-09-17

Publications (1)

Publication Number Publication Date
WO2014162825A1 true WO2014162825A1 (ja) 2014-10-09

Family

ID=51658128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056162 WO2014162825A1 (ja) 2013-04-04 2014-03-10 表示制御装置、表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20160055676A1 (ja)
EP (1) EP2983138A4 (ja)
JP (1) JP6304241B2 (ja)
CN (1) CN105103198A (ja)
WO (1) WO2014162825A1 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085642A (ja) * 2014-10-27 2016-05-19 富士通株式会社 操作支援方法、操作支援プログラムおよび操作支援装置
CN106067833A (zh) * 2015-04-22 2016-11-02 Lg电子株式会社 移动终端及其控制方法
JP2016218268A (ja) * 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
WO2017013986A1 (ja) * 2015-07-17 2017-01-26 シャープ株式会社 情報処理装置、端末、および、遠隔通信システム
JP2017037434A (ja) * 2015-08-07 2017-02-16 シャープ株式会社 マーク処理装置、プログラム
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018163292A (ja) * 2017-03-27 2018-10-18 Kddi株式会社 システム、端末装置及びプログラム
WO2019053997A1 (ja) 2017-09-13 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019054086A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019091479A (ja) * 2017-07-21 2019-06-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2019153348A (ja) * 2019-06-07 2019-09-12 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
WO2019181488A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10698535B2 (en) 2015-05-21 2020-06-30 Nec Corporation Interface control system, interface control apparatus, interface control method, and program
US10853681B2 (en) 2016-03-29 2020-12-01 Sony Corporation Information processing device, information processing method, and program
US11030980B2 (en) 2017-03-14 2021-06-08 Nec Corporation Information processing apparatus, information processing system, control method, and program
JP2021188971A (ja) * 2020-05-27 2021-12-13 清水建設株式会社 アノテーション支援装置および方法
US11199946B2 (en) 2017-09-20 2021-12-14 Nec Corporation Information processing apparatus, control method, and program
WO2022208600A1 (ja) * 2021-03-29 2022-10-06 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
WO2022208595A1 (ja) * 2021-03-29 2022-10-06 京セラ株式会社 ウェアラブル端末装置、プログラムおよび報知方法
JP2023522654A (ja) * 2020-05-11 2023-05-31 株式会社ソニー・インタラクティブエンタテインメント 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
JP2023099046A (ja) * 2019-03-06 2023-07-11 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
WO2023223750A1 (ja) * 2022-05-18 2023-11-23 株式会社Ｎｔｔドコモ 表示装置
JP7503122B2 (ja) 2016-06-13 2024-06-19 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP7544484B2 (ja) 2019-01-30 2024-09-03 シュネーデル、エレクトリック、インダストリーズ、エスアーエス オフスクリーン関心地点（Ｐｏｉｎｔｓ ｏｆ Ｉｎｔｅｒｅｓｔ）を示すためのグラフィカル・ユーザ・インターフェース

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015072195A1 (ja) * 2013-11-13 2015-05-21 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9884586B2 (en) * 2014-03-28 2018-02-06 Pioneer Corporation Vehicle lighting device
CN104093061B (zh) * 2014-07-18 2020-06-02 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US10511608B2 (en) * 2014-10-30 2019-12-17 Lenovo (Singapore) Pte. Ltd. Aggregate service with file sharing
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP2016177614A (ja) * 2015-03-20 2016-10-06 株式会社リコー 会議システム、情報処理装置、情報端末、及びプログラム
EP3281403A4 (en) * 2015-04-06 2018-03-07 Scope Technologies US Inc. Methods and apparatus for augmented reality applications
US10062208B2 (en) 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
EP3377961B1 (en) 2015-11-17 2021-07-21 PCMS Holdings, Inc. System and method for using augmented reality to visualize network service quality
CN105487834B (zh) * 2015-12-14 2018-08-07 广东威创视讯科技股份有限公司 拼接墙回显方法和系统
JP6904973B2 (ja) 2016-03-31 2021-07-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
CN109313509B (zh) 2016-04-21 2022-01-07 奇跃公司 视野周围的视觉光环
CN106331689B (zh) * 2016-08-26 2018-09-18 杭州智屏电子商务有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
WO2018100906A1 (ja) * 2016-11-30 2018-06-07 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US10146300B2 (en) * 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN107247510A (zh) * 2017-04-27 2017-10-13 成都理想境界科技有限公司 一种基于增强现实的社交方法、终端、服务器和系统
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
EP3631601A1 (en) * 2017-05-23 2020-04-08 PCMS Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
EP3413167A1 (en) 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US10430924B2 (en) * 2017-06-30 2019-10-01 Quirklogic, Inc. Resizable, open editable thumbnails in a computing device
US10803642B2 (en) 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
US10613703B2 (en) * 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
CN108304075B (zh) * 2018-02-11 2021-08-06 亮风台（上海）信息科技有限公司 一种在增强现实设备进行人机交互的方法与设备
US10776943B2 (en) * 2018-07-17 2020-09-15 Samsung Electronics Co., Ltd. System and method for 3D association of detected objects
WO2020059924A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량용 사용자 인터페이스 장치의 동작 방법
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
USD920997S1 (en) * 2019-01-04 2021-06-01 Samsung Electronics Co., Ltd. Refrigerator with transitional graphical user interface
USD904432S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD904431S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
US10957108B2 (en) * 2019-04-15 2021-03-23 Shutterstock, Inc. Augmented reality image retrieval systems and methods
KR20210151192A (ko) * 2019-04-17 2021-12-13 애플 인크. 아이템을 추적하고 찾기 위한 사용자 인터페이스
EP3963433A4 (en) 2019-04-28 2023-01-25 Apple Inc. PRODUCTION OF TOUCH OUTPUT SEQUENCES ASSOCIATED WITH AN OBJECT
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
USD1009884S1 (en) * 2019-07-26 2024-01-02 Sony Corporation Mixed reality eyeglasses or portion thereof with an animated graphical user interface
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
US11244164B2 (en) * 2020-02-03 2022-02-08 Honeywell International Inc. Augmentation of unmanned-vehicle line-of-sight
JP7427468B2 (ja) * 2020-02-18 2024-02-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
CN111492409B (zh) * 2020-03-16 2023-05-02 香港应用科技研究院有限公司 用于增强现实远程协助的三维交互的装置和方法
US11043038B1 (en) * 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
WO2022067316A1 (en) 2020-09-25 2022-03-31 Apple Inc. User interfaces for tracking and finding items
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)
CN112947756A (zh) * 2021-03-03 2021-06-11 上海商汤智能科技有限公司 内容导览方法、装置、系统、计算机设备及存储介质
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US20240176459A1 (en) 2021-03-29 2024-05-30 Kyocera Corporation Wearable terminal device, program, and display method
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062756A (ja) * 2002-07-31 2004-02-26 Canon Inc 情報提示装置および情報処理方法
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
WO2011093598A2 (ko) * 2010-01-29 2011-08-04 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP2012212345A (ja) 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
JP2012212343A (ja) * 2011-03-31 2012-11-01 Sony Corp 表示制御装置、表示制御方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2875135Y (zh) * 2005-10-17 2007-03-07 超源实业有限公司 宽幅吊颈带
US9013505B1 (en) * 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
US20100198506A1 (en) * 2009-02-03 2010-08-05 Robert Steven Neilhouse Street and landmark name(s) and/or turning indicators superimposed on user's field of vision with dynamic moving capabilities
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100305843A1 (en) * 2009-05-29 2010-12-02 Nokia Corporation Navigation indicator
US9258408B2 (en) * 2009-06-04 2016-02-09 Nokia Technologies Oy Method and apparatus for third-party control of device behavior
US9170766B2 (en) * 2010-03-01 2015-10-27 Metaio Gmbh Method of displaying virtual information in a view of a real environment
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
CN101833896B (zh) * 2010-04-23 2011-10-19 西安电子科技大学 基于增强现实的地理信息指引方法与系统
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
CN102980570A (zh) * 2011-09-06 2013-03-20 上海博路信息技术有限公司 一种实景增强现实导航系统
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8635021B2 (en) * 2012-05-04 2014-01-21 Google Inc. Indicators for off-screen content
US8589818B1 (en) * 2013-01-03 2013-11-19 Google Inc. Moveable viewport for indicating off-screen content
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062756A (ja) * 2002-07-31 2004-02-26 Canon Inc 情報提示装置および情報処理方法
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
WO2011093598A2 (ko) * 2010-01-29 2011-08-04 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP2012212345A (ja) 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
JP2012212343A (ja) * 2011-03-31 2012-11-01 Sony Corp 表示制御装置、表示制御方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW J. DAVISON: "Real-Time Simultaneous Localization and Mapping with a Single Camera", PROCEEDINGS OF THE 9TH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, vol. 2, 2003, pages 1403 - 1410
S.IZADI ET AL.: "Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera", KINECTFUSION IN ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY, 2011

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085642A (ja) * 2014-10-27 2016-05-19 富士通株式会社 操作支援方法、操作支援プログラムおよび操作支援装置
EP3086216B1 (en) * 2015-04-22 2020-01-01 LG Electronics Inc. Mobile terminal and controlling method thereof
CN106067833A (zh) * 2015-04-22 2016-11-02 Lg电子株式会社 移动终端及其控制方法
CN106067833B (zh) * 2015-04-22 2020-06-05 Lg电子株式会社 移动终端及其控制方法
JP2016218268A (ja) * 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
US10698535B2 (en) 2015-05-21 2020-06-30 Nec Corporation Interface control system, interface control apparatus, interface control method, and program
WO2017013986A1 (ja) * 2015-07-17 2017-01-26 シャープ株式会社 情報処理装置、端末、および、遠隔通信システム
JPWO2017013986A1 (ja) * 2015-07-17 2018-06-14 シャープ株式会社 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム
JP2017037434A (ja) * 2015-08-07 2017-02-16 シャープ株式会社 マーク処理装置、プログラム
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
US10901571B2 (en) 2015-09-30 2021-01-26 Fujitsu Limited Visual field guidance method, computer-readable storage medium, and visual field guidance apparatus
JPWO2017098822A1 (ja) * 2015-12-10 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10853681B2 (en) 2016-03-29 2020-12-01 Sony Corporation Information processing device, information processing method, and program
JP7503122B2 (ja) 2016-06-13 2024-06-19 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US11030980B2 (en) 2017-03-14 2021-06-08 Nec Corporation Information processing apparatus, information processing system, control method, and program
JP2018163292A (ja) * 2017-03-27 2018-10-18 Kddi株式会社 システム、端末装置及びプログラム
JP2019091479A (ja) * 2017-07-21 2019-06-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
KR20200051591A (ko) 2017-09-13 2020-05-13 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2019053997A1 (ja) 2017-09-13 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019054086A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11199946B2 (en) 2017-09-20 2021-12-14 Nec Corporation Information processing apparatus, control method, and program
WO2019181488A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2019181488A1 (ja) * 2018-03-20 2021-04-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7544484B2 (ja) 2019-01-30 2024-09-03 シュネーデル、エレクトリック、インダストリーズ、エスアーエス オフスクリーン関心地点（Ｐｏｉｎｔｓ ｏｆ Ｉｎｔｅｒｅｓｔ）を示すためのグラフィカル・ユーザ・インターフェース
US12056826B2 (en) 2019-03-06 2024-08-06 Maxell, Ltd. Head-mounted information processing apparatus and head-mounted display system
JP2023099046A (ja) * 2019-03-06 2023-07-11 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP7480388B2 (ja) 2019-03-06 2024-05-09 マクセル株式会社 ヘッドマウント情報処理装置
JP2019153348A (ja) * 2019-06-07 2019-09-12 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
JP7462069B2 (ja) 2020-05-11 2024-04-04 株式会社ソニー・インタラクティブエンタテインメント 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
JP2023522654A (ja) * 2020-05-11 2023-05-31 株式会社ソニー・インタラクティブエンタテインメント 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
JP7390978B2 (ja) 2020-05-27 2023-12-04 清水建設株式会社 アノテーション支援装置および方法
JP2021188971A (ja) * 2020-05-27 2021-12-13 清水建設株式会社 アノテーション支援装置および方法
JP7500866B2 (ja) 2021-03-29 2024-06-17 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
WO2022208595A1 (ja) * 2021-03-29 2022-10-06 京セラ株式会社 ウェアラブル端末装置、プログラムおよび報知方法
JP7505112B2 (ja) 2021-03-29 2024-06-24 京セラ株式会社 ウェアラブル端末装置、プログラムおよび報知方法
WO2022208600A1 (ja) * 2021-03-29 2022-10-06 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
WO2023223750A1 (ja) * 2022-05-18 2023-11-23 株式会社Ｎｔｔドコモ 表示装置

Also Published As

Publication number Publication date
EP2983138A1 (en) 2016-02-10
CN105103198A (zh) 2015-11-25
US20160055676A1 (en) 2016-02-25
EP2983138A4 (en) 2017-02-22
JP6304241B2 (ja) 2018-04-04
JPWO2014162825A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6304241B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP6308213B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6304242B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6304240B2 (ja) 表示制御装置、表示制御方法およびプログラム
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9384594B2 (en) Anchoring virtual images to real world surfaces in augmented reality systems
US20140313228A1 (en) Image processing device, and computer program product
JPWO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480018323.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14779413

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509967

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14779789

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014779413

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE