[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019116244A1 - Interaction of users in a communication system using augmented reality effects - Google Patents

Interaction of users in a communication system using augmented reality effects Download PDF

Info

Publication number
WO2019116244A1
WO2019116244A1 PCT/IB2018/059914 IB2018059914W WO2019116244A1 WO 2019116244 A1 WO2019116244 A1 WO 2019116244A1 IB 2018059914 W IB2018059914 W IB 2018059914W WO 2019116244 A1 WO2019116244 A1 WO 2019116244A1
Authority
WO
WIPO (PCT)
Prior art keywords
user device
virtual object
recipient
user
message
Prior art date
Application number
PCT/IB2018/059914
Other languages
French (fr)
Russian (ru)
Inventor
Михаил Павлович СУТОВСКИЙ
Original Assignee
ГИОРГАДЗЕ, Анико Тенгизовна
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ГИОРГАДЗЕ, Анико Тенгизовна filed Critical ГИОРГАДЗЕ, Анико Тенгизовна
Publication of WO2019116244A1 publication Critical patent/WO2019116244A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes

Definitions

  • the invention relates to the field of add-ons with virtual objects and effects of the physical, real, world surrounding the user when exchanging messages of augmented reality.
  • Messaging systems - communication systems - allow users to communicate by sending messages to each other.
  • many communication systems have been implemented, which allow exchanging augmented reality messages, i.e. to complement the physical, real, world displayed on the screen of the user device with the device capturing the image of the user device with objects of the virtual world.
  • this method of communication does not go beyond the traditional way of exchanging messages, including the sequential sending and receiving of messages, and there is a possibility of improving the known methods of user interaction in communication systems by expanding and supplementing the capabilities of such communication systems by providing an expansion of the range of experiences and sensations experienced by the user receive a message.
  • the idea of the present invention is that after the recipient receives an augmented reality message containing the main virtual object, the recognition by means of a user the recipient device of the primary virtual object contained in the received message.
  • the recipient opens the message and places the primary virtual object in the desired location displayed by the image capture device of the recipient's user device.
  • the image capturing device of the recipient's user device is turned on, objects of the real world surrounding the recipient and / or after placing the main virtual object at the desired location when the user image capturing device is displayed on the screen of the user’s recipient the recipient also remains on, recognition occurs through the user device of the recipient real-world objects recipient displayed on the screen of the user device of the recipient user device capture an image of the recipient device.
  • a map of the locations of recognized objects is created to determine the distance from the recipient's user device to each of the recognized objects, and when the recipient approaches such an object or the main virtual object already placed at a certain boundary distance or distance less than the boundary (regardless of whether the image capture device of the recipient’s user device is directed to the specified object or not), then
  • the value you at least one effect which may be, e.g., sound or vibration that is assigned to the recognized real-world object and / or virtual object.
  • the sound is stereo
  • its distribution in channels during playback occurs depending on the orientation of the recipient’s user device relative to the object.
  • the specified orientation determines which of a number of similar effects, for example, similar sounds assigned to an object, will be played, or, for example, whether a sound will be played with a certain filter superimposed on it or without such an overlay. This ensures the most realistic reproduction.
  • the value of at least one of the characteristics of the effect for example, the volume of a sound or the intensity of a vibration, increases when the recipient comes closer to the object, and decreases when the recipient moves away from the object, but is still within the threshold value of the distance between the recipient and the object. The effect does not reproduce after the distance between the recipient and the object becomes greater than its threshold value. Can be reproduced as a single effect, and several effects at once.
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for organizing user interaction in a communication system according to an embodiment of the present invention
  • FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting and placing the primary virtual object
  • FIG. 2b is a schematic diagram illustrating the screen of the user's device of the sender with the main virtual object located at a given location
  • FIG. 2c is a schematic diagram illustrating the screen of the recipient's user device on which a notification of receipt of the message is displayed
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for organizing user interaction in a communication system according to an embodiment of the present invention
  • FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting and placing the primary virtual object
  • FIG. 2b is a schematic diagram illustrating the screen of the user's device of the sender with the main virtual object located at a given location
  • FIG. 2d is a schematic diagram illustrating the screen of the user device of the recipient at the stage of recognizing objects of the real world of the recipient
  • FIG. 2e is a schematic diagram illustrating the recipient's user device screen at the stage of assigning sound to each of the recognized objects in the real world of the recipient
  • FIG. 2f is a schematic diagram illustrating the screen of the user device of the recipient after the recipient approaches the recognized object of the real world at a distance equal to the threshold value
  • FIG. 2g is a schematic diagram illustrating the recipient's user device screen after the recipient has approached a recognized object of the real world at a distance less than the threshold value
  • FIG. 2h is a schematic diagram illustrating the recipient's user device screen after the recipient has turned the user device to the right of the recognized real-world object without changing the distance between them;
  • FIG. 2i is a schematic diagram illustrating the screen of the user device of the recipient at the stage of placing the main virtual object;
  • FIG. 2j is a schematic diagram illustrating the recipient's user device screen with the main virtual object located at a given location;
  • FIG. 2k is a schematic diagram illustrating the recipient's user device screen after the recipient has approached the main virtual object a distance less than the threshold value.
  • FIG. 3 is a schematic representation of an embodiment. a user device according to one of the preferred embodiments of the present invention;
  • FIG. 4 is a schematic representation of an embodiment of a communication system in accordance with one of the preferred embodiments of the present invention.
  • the present invention relates to a method for organizing user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system that provides interaction between user devices and a server, and a computer-readable medium that stores program instructions that initiate execution of aspects of the organization method.
  • user interaction in the communication system according to the present of Bretenoux.
  • a method for organizing user interaction in a communication system comprising transmitting a message containing at least one primary virtual object to the user device at least one recipient, receiving the message by the recipient user device; recognition by the user device of the recipient of the primary virtual object contained in the received message; placing by the user device the recipient of the main virtual object at a specified location displayed by the device capturing the image of the user device of the recipient, and displaying it as an object of augmented reality; while during and / or after placing the primary virtual object, the recipient real-world objects are recognized by the user device displayed on the screen of the user device of the recipient by the image capture device of the user device of the recipient, and at least one effect assigned by the user device of the playback recipient recognized real-world object and / or virtual object when the distance recipient from the user of the device to the subject is less than or equal to the threshold value.
  • a user device for organizing user interaction in a communication system, including an image capturing device, at least one processor, a machine-readable medium connected to at least one processor and containing software instructions that, when executed at least one processor provides for the possibility of transmission by the user device of the message, soda Neighboring at least one primary virtual object, to at least one other user device, receiving a message containing at least one primary virtual object by the user device; recognition by the user device of the main virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is
  • a communication system that allows user devices and a server to communicate with each other, comprising software instructions located on a machine-readable media of a user device, which, when executed by at least one processor of the user device, ensures that it can be transmitted by user device messages containing at least one a virtual object to at least one other user device receiving a message comprising at least one primary virtual object, a user device; recognition by the user device of the main virtual object contained in the received message; providing the possibility of placement by the user device of the main virtual object in the specified location, displayed by the device capturing the image of the user device, and its display as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to
  • a computer-readable media contains software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, ensures that a message containing at least one primary virtual device can be transmitted by a user device an object on at least one other user device receiving the message a user device that contains at least one primary virtual object; recognition by the user device of the main a virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value rank.
  • the recipient's primary virtual object contained in the received message is recognized by the user device, and in the search for the location of the main virtual object when the image capture device of the recipient's user device is turned on, real-world objects are displayed on the screen of the recipient's user device, surrounding recipient, and / or already after placing the main virtual object in the desired location
  • the receiver also recognizes the receiver’s real-world objects on the screen of the user’s receiver’s device, and when the receiver approaches the object or the main virtual device to an object for a certain boundary distance or a distance smaller than at least one effect, assigned to the recognized real-world object and / or virtual object. Playback effect does not occur after how the distance between the recipient and the object becomes greater than its threshold value. Can be reproduced as a single effect, and several effects at once.
  • the above features provide the user with a new type and format of communication, provide an expansion of the range of experiences and feelings experienced by the user after receiving the message, affect the emotional atmosphere that is created between interacting users, increase the interest of users in implementing such interaction.
  • the recipient may receive a notification on his user device about the receipt of the message.
  • Such notification may also be a posting of messages from interacting users to the feed with the ability for the recipient to open the post.
  • the message from the sender's user device to the recipient's user device is transmitted through the server.
  • User devices and a server in a communication system are communicated through a network through which connections between the server and user devices of the sender and recipient are established to enable them to interact in the communication system, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.
  • the described method can be carried out and the described communication system can function on any suitable user devices, regardless of the operating systems installed on them.
  • the described method can be implemented and user access to the communication system can be carried out using the appropriate application installed on the user device via the network.
  • the sender can be used, for example, a smartphone, tablet computer, augmented reality glasses, virtual reality glasses, augmented reality helmet, virtual reality helmet, or any other device that contains an image capture device capable of displaying the world around the sender , camera), a display component capable of providing the sender with the ability to see the surrounding world displayed by the image capture device (for example, the screen user devices) and a network component that allows a server to communicate with and / or at least one recipient user device.
  • Such devices should have computing capacity and components sufficient for creating and transmitting messages containing virtual objects.
  • a display component capable of providing the recipient with the ability to see the displayed world.
  • user device screen a network component that allows you to communicate with the server and / or at least one user sender device, speaker, and vibration module.
  • Such devices should have computational ability and components sufficient for placing and displaying virtual objects as augmented reality objects, recognizing real-world objects surrounding the recipient, and also to reproduce the effects assigned to virtual objects and recognized real-world objects.
  • the recipient responds to the received message sends a message containing at least one primary virtual object to the sender, then it automatically becomes the sender, and the user interacting with it becomes the recipient.
  • the location of such an object is “marked” on the map.
  • the program updates in real time the data on the distance from the recipient's user device to each of the recognized objects and on the orientation of the recipient's user device relative to each of the recognized objects to reproduce the corresponding effect assigned to the recognized object when the distance from the recipient's user device to the object is less than or equal to the threshold value.
  • a library containing the effects assigned to various real-world objects and virtual objects is accessed.
  • a library hosted on a user device or on a server in which effects are stored that correspond to various real-world objects and various virtual objects that can be transmitted in a message by the sender.
  • some real-world objects may not necessarily be recognized, or the effect corresponding to any recognized real-world object may not be stored in the library, in that case, when the distance from the recipient's user device to such an object is less than or equal to the threshold value, nothing happens will be. It is preferable to use as the effect of sound, vibration, or a combination thereof.
  • the sound effects for different virtual objects and objects of the real world will be different (for example, for example, if the object of the real world is a ball, then the sound of a ball hitting the surface can correspond to it, if the object of the real world is a laptop, then it can match the music usually played when the operating system starts), while the effect of vibration can be the same for all objects, so all the objects contained in the library will be assigned the same effect t vibration.
  • this does not exclude the possibility of implementing the variant in which different variants of vibrations will correspond to different real-world objects and different virtual objects.
  • the sound is stereo (i.e., sound is transmitted over two, right and left, and more channels), and its distribution over channels during playback is provided based on the orientation of the recipient’s user device relative to the object.
  • the recipient's user device is located from object A at a distance of fewer than its threshold value, and the device for capturing an image of the user device of the recipient is directed to object A of the real world, which was previously recognized.
  • the recipient hears the sound assigned to object A, distributed equally over the two channels.
  • the recipient rotates 90 ° and, thus, the object A is no longer displayed on the screen of the user device of the recipient, while the distance between the user device of the recipient and the object A remains within its threshold value.
  • the user will hear a sound that is unevenly distributed over two channels, for example, that is reproduced only by that channel that corresponds to the user's ear, facing the direction of object A.
  • one of a number of similar effects is reproduced, assigned to the object, based on the orientation of the recipient’s user device relative to the object.
  • At least one effect assigned to the object is reproduced over the filter with a filter from a series of filters or without filter overlay based on the orientation of the recipient’s user device relative to the object.
  • the orientation of the recipient’s user device relative to the object may also depend on which effects of the same type, for example, from a number of sounds or from a number of vibrations assigned to an object, .
  • this function can be implemented by overlaying a single effect assigned to an object, such as a sound, various filters, or reproducing the original sound assigned to an object, depending on the orientation of the recipient’s user device relative to the object. The above is also aimed at improving the realism in reproducing the effects and is explained as follows: when, for example, the car moves in front of or behind the person, the person hears the same sound as a whole, but these sounds are slightly different.
  • the orientation of the recipient’s user device relative to the object is determined based on the angle between the direction of the image capture device of the recipient’s user device and the object.
  • the distance from the recipient's user device to the object is calculated based on the x, y and z coordinates of the recipient's user device and x ’, y’ and z ’coordinates of the object. More specifically, the coordinates indicated may be the coordinates of two different points, one of which may belong to the recipient's user device, and the second to the object, respectively.
  • the selection of the main virtual object from the basic virtual objects available to the selection is performed by means of the user interface on the screen of the user's sender device; placing the selected primary virtual object on the screen of the user device of the sender in the specified location displayed by the device capturing the image of the user device of the sender, and displaying it as an object of augmented reality; and optionally combining the displayed primary virtual object with at least one additional virtual entity.
  • specifying the location of both the sender when creating the message and the recipient when placing the primary virtual object is provided by linking the primary virtual object to the geographic location displayed by the image capturing device of the user device.
  • the sender and recipient are provided with the opportunity to perform at least one of the following operations: transmitting a text message, transmitting a voice message, transmitting a video message, transmitting a multimedia message, video call.
  • both the sender and the recipient provide the ability to display it on the screen of the user device from different angles and from different viewpoints.
  • the described embodiments of the present invention equally apply to all its declared aspects, namely, the method of organizing user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system that provides interaction between user devices and a server, and computer-readable media on which program instructions are stored that initiate the implementation of aspects of soba organization user interaction in the communication system according to the present invention.
  • FIG. 1 illustrates a block diagram of an exemplary embodiment of a method for organizing user interaction in a communication system according to an embodiment of the present invention. Steps 5 of the method illustrated in the flowchart will be further described in more detail with reference to FIG. 2a - 2k.
  • FIG. 2a is a schematic diagram illustrating the screen 200 of the user device 202 of the sender at the stage of selecting and locating the primary virtual object.
  • the user device 202 of the sender using the device for capturing the image of the user device 202 of the sender display objects 204 of the real world surrounding the sender that the image capture device is facing, as well as a panel 206 of selectable virtual objects for subsequent transfer to the receiver.
  • the sender 15 is given the opportunity to select a virtual object from the available virtual objects on the panel 206 through the user interface on the screen 200 of the user device 202 of the sender.
  • the sender 20 After selecting the virtual object 208 (this step is described in block 100 of the flowchart shown in Fig. 1), the sender 20 places the selected primary virtual object 208. For this, the sender sets the location 210 of the primary virtual object 208, as illustrated in FIG. 2a The specified location 210 is displayed by the image capturing device of the user device 202 of the sender on the screen 200 of the user device 202 of the sender.
  • the sender may set the location of the object 25, for example, by touching a specific location on the touch screen 200 or, for example, dragging the selected primary virtual object 208 on the touch screen 200 to a specific location, after which the specified object 208 is attached to a given geographical location, what is displayed by the user device image capture device 202 of the sender, and is displayed as an object of augmented reality, as illustrated in FIG. 2b.
  • This step is described in block 102 of the flowchart shown in FIG. 1.
  • the sender can inspect the virtual object 208 from different sides through the screen 200 of the user device 202 of the sender, changing the viewing angle, using the image capture device of the user device 202 of the sender.
  • the sender can also combine the main virtual object 208 with other virtual objects, for example, 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video (not shown in the figures).
  • the sender transmits a message containing the primary virtual object 208 from the sender's user device 202 to the recipient's user device 212, as described in block 104 of the flowchart shown in FIG. one.
  • the user device 212 After receiving the transmitted message by the user device 212 of the recipient (this step is described in block 106 of the flowchart shown in Fig. 1), the user device 212 automatically recognizes the recipient of the primary virtual object 208 contained in the received message, as described in block 108 The circuit shown in FIG. 1, and on the screen 214 of the user device 212 of the recipient, a notification 216 about receiving the message is displayed, and the recipient is given the opportunity to open the message (this step is described in block 110 of the flowchart shown in FIG. 1).
  • the image capture device of the recipient user device 212 is activated.
  • the real-world objects of the recipient will be displayed, as illustrated in FIG. 2d.
  • recognition by the user device 212 of the recipient of the indicated objects in the real world of the recipient will automatically occur. Recognized objects real The recipient’s world in FIG. 2d circled in dashed lines.
  • the recognition phase of the recipient's real-world objects is described in block 112 of the flowchart shown in FIG. 1. Recognition can be carried out using standard algorithms used in the field of engineering.
  • the algorithm can search for a match between each of the recognized objects and effects (in the example being described, sounds and vibrations) stored in the library for various objects. Thus, a correspondence is found between all recognized objects for which the library contains effects, and the indicated effects, as shown in FIG. 2nd.
  • the algorithm estimates the distance between the recipient's user device 212 and the recognized real-world objects, and when the distance between the recipient's user device 212 and the real-world object 218, which is a flower pot, to which 15 effects are assigned, is equal to the threshold, the recipient user device 212 is implemented reproduction of sound and vibration assigned to the recognized real-world object 218.
  • the sound may be, for example, the sound of rustling leaves. Since the distance between the recipient user device 212 and the real world object 218 20 is equal to the threshold value, the sound volume and vibration intensity are at the minimum playback level, which is shown in FIG.
  • This step is described in block 114 of the flowchart shown in FIG. 1.
  • the distance between the recipient's user device 212 and several recognized objects in the real world is equal to the threshold value, they can, for example, reproduce each of the effects assigned to the specified objects simultaneously.
  • Specialist in the field of technology it is obvious that the algorithm in the described case may provide various options for playing effects.
  • the recipient user device 212 plays the sound and vibration assigned to the recognized real-world object 218 with higher volume and intensity, respectively, than their value when playing effects at a distance from the user device 212 of the recipient to the real-world object 218 equal to the threshold value, which is shown in FIG. 2g by means of two notes 220 emanating from the speaker and indicating the loudness of sound reproduction, and two arches 222 indicating the intensity of the reproduction of vibration.
  • one note 220 is displayed near the right speaker, which means that the sound is unevenly distributed over two channels (right and left) during playback due to the orientation of the recipient's user device 212, i.e. due to the fact that the image capturing device of the user device 212 of the recipient is not directed directly to the recognized real-world object 218, and the angle between the direction of the image-capturing device of the user device 212 and the real-world object 218 is approximately 45-50 °.
  • Specific implementations may take into account different angles between the direction of the image capturing device of the user device and the recognized object, for example, the reproducible effect will be different for 4 different angles: 0 °, 90 °, 180 ° and 270 °, however, it is obvious that implemented any possible options.
  • the recipient via the recipient user device 212, places the primary virtual object 208 contained in the message transmitted by the sender at a predetermined location. For this, the recipient sets the location 224 of the primary virtual object 208, as illustrated in FIG. 2i.
  • the specified location 224 is displayed by the device capturing the image of the user device 212 of the recipient on the screen 214 of the user device 212 recipient.
  • the recipient can specify the location of the virtual object, for example, by touching a certain place with the finger of the touch screen 214 or, for example, by dragging the virtual object 208 on the touch screen 214 to a specific location, after which the specified object 208 is attached to the specified geographical location displayed by the device image capture of the user device 212 of the recipient, and is displayed as an object of augmented reality, as illustrated in FIG. 2j.
  • This step is described in block 118 of the flowchart shown in FIG. 1.
  • the recipient can inspect the virtual object 208 from different sides through the screen 214 of the recipient's user device 212, changing the viewing angle using the image capture device of the recipient's user device 212.
  • the algorithm can search for a match between the specified virtual object 208 and the effects stored in the library for various virtual objects.
  • a correspondence is found between the virtual object 208, for which the library contains effects, and the indicated effects, as shown in FIG. 2j.
  • the recipient user device 212 when the recipient user device 212 is as close as possible to the virtual object 208, i.e. when the distance from the recipient's user device 212 to the specified virtual object 208 is less than the threshold value (and even less than the distance between the user device 212 and the recognized real-world object 218, as shown in FIG. 2g), the recipient user device 212 plays sound and vibration, assigned to the virtual object 208, with the highest volume and intensity, respectively, unlike their size when playing effects at a distance from the user’s device 212 of the recipient to the virtual object 208, equal to the threshold value.
  • the described playback is shown in FIG.
  • This step is described in block 120 of the flowchart shown in FIG. 1.
  • the specified user device 212 was initially located at a greater distance from the specified virtual object 208, so sound and vibration were reproduced earlier (but after approaching a distance equal to the threshold value), but this is not described in detail in this example.
  • each of these objects can be assigned one effect, for example, a separate sound or a separate vibration. It is obvious to a person skilled in the art that it is possible to assign more than two effects to one object at the same time.
  • FIG. 3 is a schematic representation of an embodiment of a user device according to one embodiment of the present invention.
  • the specified user device includes a processor 300 and its associated screen 302, computer-readable media 304, a network component 306, and an image capture device 308.
  • FIG. 4 shows a schematic representation of an embodiment. communication system according to one of embodiments of the present invention.
  • the specified communication system contains the server 400 and its associated sender and recipient user devices 402 and 404, respectively.
  • the message from the sender's user device to the recipient's user device is transmitted by the server 400.
  • the method of organizing user interaction in the communication system eniyu not limited to the specific features or steps described above.
  • the specific features and steps described above are disclosed as examples implementing the present invention, and other equivalent features and steps may be covered by the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to the field of augmenting the physical, real world environment of a user with virtual objects and effects during an exchange of augmented reality messages. The present invention relates to a method for organizing user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system which allows user devices and a server to interact with one another, and a machine-readable medium on which program instructions are saved which initiate the implementation of aspects of the method for organizing user interaction in a communication system according to the present invention.

Description

ВЗАИМОДЕЙСТВИЕ ПОЛЬЗОВАТЕЛЕЙ В КОММУНИКАЦИОННОЙ СИСТЕМЕ  INTERACTION OF USERS IN THE COMMUNICATION SYSTEM
С ИСПОЛЬЗОВАНИЕМ ЭФФЕКТОВ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ  USING THE EFFECTS OF ADDED REALITY
ОБЛАСТЬ ТЕХНИКИ TECHNICAL FIELD
Изобретение относится к области дополнения виртуальными объектами и эффектами физического, реального, мира, окружающего пользователя, при обмене сообщениями дополненной реальности. The invention relates to the field of add-ons with virtual objects and effects of the physical, real, world surrounding the user when exchanging messages of augmented reality.
УРОВЕНЬ ТЕХНИКИ BACKGROUND
Системы обмена сообщениями - коммуникационные системы - позволяют пользователям общаться посредством отправки друг другу сообщений. В настоящее время с развитием технологий дополненной реальности реализовано множество коммуникационных систем, позволяющих обмениваться сообщениями дополненной реальности, т.е. дополнять физический, реальный, мир, отображаемый на экране пользовательского устройства устройством захвата изображения пользовательского устройства, объектами виртуального мира. Однако данный способ общения не выходит за рамки традиционного способа обмена сообщениями, включающего последовательную отправку и получение сообщений, и существует возможность улучшения известных способов взаимодействия пользователей в коммуникационных системах путем расширения и дополнения возможностей подобных коммуникационных систем, обеспечивая расширение диапазона переживаний и ощущений, испытываемых пользователем после получения сообщения. Messaging systems - communication systems - allow users to communicate by sending messages to each other. At present, with the development of augmented reality technologies, many communication systems have been implemented, which allow exchanging augmented reality messages, i.e. to complement the physical, real, world displayed on the screen of the user device with the device capturing the image of the user device with objects of the virtual world. However, this method of communication does not go beyond the traditional way of exchanging messages, including the sequential sending and receiving of messages, and there is a possibility of improving the known methods of user interaction in communication systems by expanding and supplementing the capabilities of such communication systems by providing an expansion of the range of experiences and sensations experienced by the user receive a message.
КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION
Идея настоящего изобретения заключается в том, что после получения получателем сообщения дополненной реальности, содержащего основной виртуальный объект, происходит распознавание посредством пользовательского устройства получателя основного виртуального объекта, содержащегося в полученном сообщении. Получатель открывает сообщение и размещает основной виртуальный объект в желаемом местоположении, отображаемом устройством захвата изображения пользовательского устройства получателя. В процессе поиска местоположения основного виртуального объекта, когда устройство захвата изображения пользовательского устройства получателя включено, и на экране пользовательского устройства получателя отображаются объекты реального мира, окружающего получателя, и/или уже после размещения основного виртуального объекта в желаемом местоположении, когда устройство захвата изображения пользовательского устройства получателя также остается включенным, происходит распознавание посредством пользовательского устройства получателя объектов реального мира получателя, отображаемых на экране пользовательского устройства получателя устройством захвата изображения пользовательского устройства получателя. По мере распознавания различных объектов создается карта местоположений распознанных объектов для определения расстояния от пользовательского устройства получателя до каждого из распознанных объектов, и когда получатель приближается к такому объекту или к уже размещенному основному виртуальному объекту на определенное граничное расстояние или расстояние, менынее граничного (вне зависимости от того, направлено ли устройство захвата изображения пользовательского устройства получателя на указанный объект или нет), то происходит воспроизведение по меньшей мере одного эффекта, который может быть, например, звуком или вибрацией, присвоенного распознанному объекту реального мира и/или виртуальному объекту. При этом в случае, когда звук является стереофоническим, его распределение по каналам при воспроизведении происходит в зависимости от ориентации пользовательского устройства получателя относительно объекта. Также от указанной ориентации зависит, какой из ряда однотипных эффектов, например, похожих звуков, присвоенных объекту, будет воспроизведен, или, например, будет ли воспроизведен звук с наложением на него определенного фильтра или без такого наложения. Это позволяет обеспечить наибольшую реалистичность при воспроизведении. Величина по меньшей мере одной из характеристик эффекта, например, громкость звука или интенсивность вибрации, увеличивается, когда получатель подходит еще ближе к объекту, и уменьшается, когда получатель отходит от объекта, однако находится еще в пределах пороговой величины расстояния между получателем и объектом. Воспроизведения эффекта не происходит после того, как расстояние между получателем и объектом становится больше его порогового значения. Воспроизводиться может как один эффект, так и сразу несколько эффектов. The idea of the present invention is that after the recipient receives an augmented reality message containing the main virtual object, the recognition by means of a user the recipient device of the primary virtual object contained in the received message. The recipient opens the message and places the primary virtual object in the desired location displayed by the image capture device of the recipient's user device. During the search for the location of the main virtual object, when the image capturing device of the recipient's user device is turned on, objects of the real world surrounding the recipient and / or after placing the main virtual object at the desired location when the user image capturing device is displayed on the screen of the user’s recipient the recipient also remains on, recognition occurs through the user device of the recipient real-world objects recipient displayed on the screen of the user device of the recipient user device capture an image of the recipient device. As different objects are recognized, a map of the locations of recognized objects is created to determine the distance from the recipient's user device to each of the recognized objects, and when the recipient approaches such an object or the main virtual object already placed at a certain boundary distance or distance less than the boundary (regardless of whether the image capture device of the recipient’s user device is directed to the specified object or not), then The value you at least one effect, which may be, e.g., sound or vibration that is assigned to the recognized real-world object and / or virtual object. In this case, when the sound is stereo, its distribution in channels during playback occurs depending on the orientation of the recipient’s user device relative to the object. Also, the specified orientation determines which of a number of similar effects, for example, similar sounds assigned to an object, will be played, or, for example, whether a sound will be played with a certain filter superimposed on it or without such an overlay. This ensures the most realistic reproduction. The value of at least one of the characteristics of the effect, for example, the volume of a sound or the intensity of a vibration, increases when the recipient comes closer to the object, and decreases when the recipient moves away from the object, but is still within the threshold value of the distance between the recipient and the object. The effect does not reproduce after the distance between the recipient and the object becomes greater than its threshold value. Can be reproduced as a single effect, and several effects at once.
Это краткое изложение сущности изобретения предоставлено для ознакомления с идеей изобретения в упрощенной форме, которая дополнительно раскрыта ниже в Подробном описании изобретения. Данное Краткое изложение сущности изобретения не является направленным на определение существенных признаков заявленных объектов изобретения, а также не является направленным на использование с целью ограничения объема изобретения. This summary of the invention is provided to introduce the idea of the invention in a simplified form, which is further disclosed below in the Detailed Description of the invention. This Summary of the invention is not intended to identify the essential features of the claimed objects of the invention, nor is it intended to be used for the purpose of limiting the scope of the invention.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ BRIEF DESCRIPTION OF GRAPHIC MATERIALS
Заявляемое изобретение поясняется с помощью следующих фигур, являющихся неограничивающими примерами реализации настоящего изобретения: фиг. 1 - блок-схема примера осуществления способа организации взаимодействия пользователей в коммуникационной системе согласно одному из вариантов осуществления настоящего изобретения; фиг. 2а - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе выбора и размещения основного виртуального объекта; фиг. 2Ь - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя с размещенным в заданном местоположении основным виртуальным объектом; фиг. 2с - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображено уведомление о получении сообщения; фиг. 2d - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе распознавания объектов реального мира получателя; фиг. 2е - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе присвоения звука каждому из распознанных объектов реального мира получателя; фиг. 2f - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя после приближения получателя к распознанному объекту реального мира на расстояние, равное пороговой величине; фиг. 2g - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя после того, как получатель приблизился к распознанному объекту реального мира на расстояние, меныпее пороговой величины; фиг. 2h - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя после того, как получатель повернул пользовательское устройство вправо от распознанного объекта реального мира без изменения расстояния между ними; фиг. 2i - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе размещения основного виртуального объекта; фиг. 2j - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя с размещенным в заданном местоположении основным виртуальным объектом; фиг. 2k - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя после того, как получатель приблизился к основному виртуальному объекту на расстояние, меньшее пороговой величины. фиг. 3 схематическое изображение примера осуществления пользовательского устройства согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 4 - схематическое изображение примера осуществления коммуникационной системы согласно одному из предпочтительных вариантов осуществления настоящего изобретения. The invention is illustrated by the following figures, which are non-limiting examples of the implementation of the present invention: FIG. 1 is a block diagram of an exemplary embodiment of a method for organizing user interaction in a communication system according to an embodiment of the present invention; FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting and placing the primary virtual object; FIG. 2b is a schematic diagram illustrating the screen of the user's device of the sender with the main virtual object located at a given location; FIG. 2c is a schematic diagram illustrating the screen of the recipient's user device on which a notification of receipt of the message is displayed; FIG. 2d is a schematic diagram illustrating the screen of the user device of the recipient at the stage of recognizing objects of the real world of the recipient; FIG. 2e is a schematic diagram illustrating the recipient's user device screen at the stage of assigning sound to each of the recognized objects in the real world of the recipient; FIG. 2f is a schematic diagram illustrating the screen of the user device of the recipient after the recipient approaches the recognized object of the real world at a distance equal to the threshold value; FIG. 2g is a schematic diagram illustrating the recipient's user device screen after the recipient has approached a recognized object of the real world at a distance less than the threshold value; FIG. 2h is a schematic diagram illustrating the recipient's user device screen after the recipient has turned the user device to the right of the recognized real-world object without changing the distance between them; FIG. 2i is a schematic diagram illustrating the screen of the user device of the recipient at the stage of placing the main virtual object; FIG. 2j is a schematic diagram illustrating the recipient's user device screen with the main virtual object located at a given location; FIG. 2k is a schematic diagram illustrating the recipient's user device screen after the recipient has approached the main virtual object a distance less than the threshold value. FIG. 3 is a schematic representation of an embodiment. a user device according to one of the preferred embodiments of the present invention; FIG. 4 is a schematic representation of an embodiment of a communication system in accordance with one of the preferred embodiments of the present invention.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ DETAILED DESCRIPTION OF THE INVENTION
Настоящее изобретение относится к способу организации взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, которая обеспечивает взаимодействие пользовательских устройств и сервера межу собой, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа организации взаимодействия пользователей в коммуникационной системе согласно настоящему изобретению. The present invention relates to a method for organizing user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system that provides interaction between user devices and a server, and a computer-readable medium that stores program instructions that initiate execution of aspects of the organization method. user interaction in the communication system according to the present of Bretenoux.
В соответствии с первым аспектом настоящего изобретения предложен способ организации взаимодействия пользователей в коммуникационной системе, включающий передачу посредством пользовательского устройства отправителя сообщения, содержащего по меньшей мере один основной виртуальный объект, на пользовательское устройство по меньшей мере одного получателя, получение сообщения пользовательским устройством получателя; распознавание посредством пользовательского устройства получателя основного виртуального объекта, содержащегося в полученном сообщении; размещение посредством пользовательского устройства получателя основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства получателя, и его отображение как объекта дополненной реальности; при этом во время и/или после размещения основного виртуального объекта осуществляют распознавание посредством пользовательского устройства получателя объектов реального мира получателя, отображаемых на экране пользовательского устройства получателя устройством захвата изображения пользовательского устройства получателя, и инициирование посредством пользовательского устройства получателя воспроизведения по меныпей мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства получателя до объекта меньше или равно пороговой величине. In accordance with the first aspect of the present invention, a method for organizing user interaction in a communication system is proposed, comprising transmitting a message containing at least one primary virtual object to the user device at least one recipient, receiving the message by the recipient user device; recognition by the user device of the recipient of the primary virtual object contained in the received message; placing by the user device the recipient of the main virtual object at a specified location displayed by the device capturing the image of the user device of the recipient, and displaying it as an object of augmented reality; while during and / or after placing the primary virtual object, the recipient real-world objects are recognized by the user device displayed on the screen of the user device of the recipient by the image capture device of the user device of the recipient, and at least one effect assigned by the user device of the playback recipient recognized real-world object and / or virtual object when the distance recipient from the user of the device to the subject is less than or equal to the threshold value.
В соответствии со вторым аспектом настоящего изобретения предложено пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство, получение сообщения, содержащего по меньшей мере один основной виртуальный объект, пользовательским устройством; распознавание посредством пользовательского устройства основного виртуального объекта, содержащегося в полученном сообщении; предоставление возможности размещения посредством пользовательского устройства основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; распознавание посредством пользовательского устройства объектов реального мира, отображаемых на экране пользовательского устройства устройством захвата изображения пользовательского устройства во время и/или после размещения основного виртуального объекта, и инициирование посредством пользовательского устройства воспроизведения по меныней мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства до объекта меньше или равно пороговой величине. In accordance with the second aspect of the present invention, a user device is proposed for organizing user interaction in a communication system, including an image capturing device, at least one processor, a machine-readable medium connected to at least one processor and containing software instructions that, when executed at least one processor provides for the possibility of transmission by the user device of the message, soda Neighboring at least one primary virtual object, to at least one other user device, receiving a message containing at least one primary virtual object by the user device; recognition by the user device of the main virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value rank.
В соответствии с третьим аспектом настоящего изобретения предложена коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство, получение сообщения, содержащего по меньшей мере один основной виртуальный объект, пользовательским устройством; распознавание посредством пользовательского устройства основного виртуального объекта, содержащегося в полученном сообщении; предоставление возможности размещения посредством пользовательского устройства основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; распознавание посредством пользовательского устройства объектов реального мира, отображаемых на экране пользовательского устройства устройством захвата изображения пользовательского устройства во время и/или после размещения основного виртуального объекта, и инициирование посредством пользовательского устройства воспроизведения по меныней мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства до объекта меньше или равно пороговой величине; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером переданного сообщения от пользовательского устройства отправителя, сохранение полученного виртуального объекта, передачу сохраненного сообщения от сервера на пользовательское устройство по меньшей мере одного получателя. In accordance with the third aspect of the present invention, a communication system is proposed that allows user devices and a server to communicate with each other, comprising software instructions located on a machine-readable media of a user device, which, when executed by at least one processor of the user device, ensures that it can be transmitted by user device messages containing at least one a virtual object to at least one other user device receiving a message comprising at least one primary virtual object, a user device; recognition by the user device of the main virtual object contained in the received message; providing the possibility of placement by the user device of the main virtual object in the specified location, displayed by the device capturing the image of the user device, and its display as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value rank; and software instructions located on the server's machine-readable media, which, when executed by at least one server processor, ensures that the server receives a transmitted message from the sender's user device, saves the received virtual object, transfers the saved message from the server to the user device to at least one recipient .
В соответствии с четвертым аспектом настоящего изобретения предложен машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство, получение сообщения, содержащего по меньшей мере один основной виртуальный объект, пользовательским устройством; распознавание посредством пользовательского устройства основного виртуального объекта, содержащегося в полученном сообщении; предоставление возможности размещения посредством пользовательского устройства основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; распознавание посредством пользовательского устройства объектов реального мира, отображаемых на экране пользовательского устройства устройством захвата изображения пользовательского устройства во время и/или после размещения основного виртуального объекта, и инициирование посредством пользовательского устройства воспроизведения по меныней мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства до объекта меньше или равно пороговой величине. In accordance with the fourth aspect of the present invention, a computer-readable media is proposed that contains software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, ensures that a message containing at least one primary virtual device can be transmitted by a user device an object on at least one other user device receiving the message a user device that contains at least one primary virtual object; recognition by the user device of the main a virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value rank.
Таким образом, после получения сообщения происходит распознавание посредством пользовательского устройства получателя основного виртуального объекта, содержащегося в полученном сообщении, а в процессе поиска местоположения основного виртуального объекта, когда устройство захвата изображения пользовательского устройства получателя включено, и на экране пользовательского устройства получателя отображаются объекты реального мира, окружающего получателя, и/или уже после размещения основного виртуального объекта в желаемом местоположении, когда устройство захвата изображения пользовательского устройства получателя также остается включенным, происходит распознавание посредством пользовательского устройства получателя объектов реального мира получателя, отображаемых на экране пользовательского устройства получателя устройством захвата изображения пользовательского устройства получателя, а когда получатель приближается к такому объекту или к уже размещенному основному виртуальному объекту на определенное граничное расстояние или расстояние, меньшее граничного, то происходит воспроизведение по меньшей мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту. Воспроизведения эффекта не происходит после того, как расстояние между получателем и объектом становится больше его порогового значения. Воспроизводиться может как один эффект, так и сразу несколько эффектов. Thus, after receiving the message, the recipient's primary virtual object contained in the received message is recognized by the user device, and in the search for the location of the main virtual object when the image capture device of the recipient's user device is turned on, real-world objects are displayed on the screen of the recipient's user device, surrounding recipient, and / or already after placing the main virtual object in the desired location When the user’s device captures the user's device, the receiver also recognizes the receiver’s real-world objects on the screen of the user’s receiver’s device, and when the receiver approaches the object or the main virtual device to an object for a certain boundary distance or a distance smaller than at least one effect, assigned to the recognized real-world object and / or virtual object. Playback effect does not occur after how the distance between the recipient and the object becomes greater than its threshold value. Can be reproduced as a single effect, and several effects at once.
Вышеописанные возможности предоставляют пользователю новый вид и формат общения, обеспечивают расширение диапазона переживаний и ощущений, испытываемых пользователем после получения сообщения, влияют на эмоциональную атмосферу, которая создается между взаимодействующими пользователями, увеличивают заинтересованность пользователей в осуществлении подобного взаимодействия. The above features provide the user with a new type and format of communication, provide an expansion of the range of experiences and feelings experienced by the user after receiving the message, affect the emotional atmosphere that is created between interacting users, increase the interest of users in implementing such interaction.
Получатель может получить уведомление на своем пользовательском устройстве о получении сообщения. Такое уведомление также может представлять собой публикацию в ленту сообщений взаимодействующих пользователей с возможностью получателю открыть публикацию. The recipient may receive a notification on his user device about the receipt of the message. Such notification may also be a posting of messages from interacting users to the feed with the ability for the recipient to open the post.
Передача сообщения от пользовательского устройства отправителя на пользовательское устройство получателя осуществляется через сервер. Пользовательские устройства и сервер в коммуникационной системе сообщены через сеть, при помощи которой устанавливают соединения между сервером и пользовательскими устройствами отправителя и получателя для осуществления ими взаимодействия в коммуникационной системе, включающую без ограничения сеть Интернет, беспроводные коммуникационные сети, сети, использующие стандартные коммуникационные технологии и/или протоколы. The message from the sender's user device to the recipient's user device is transmitted through the server. User devices and a server in a communication system are communicated through a network through which connections between the server and user devices of the sender and recipient are established to enable them to interact in the communication system, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.
Описанный способ может осуществляться и описанная коммуникационная система может функционировать на любых подходящих пользовательских устройствах вне зависимости от установленных на них операционных систем. The described method can be carried out and the described communication system can function on any suitable user devices, regardless of the operating systems installed on them.
Описанный способ может осуществляться и доступ пользователя к коммуникационной системе может осуществляться при помощи соответствующего приложения, установленного на пользовательском устройстве, посредством сети. The described method can be implemented and user access to the communication system can be carried out using the appropriate application installed on the user device via the network.
Под приложением понимают программу, установленную на пользовательском устройстве пользователя и предназначенную для взаимодействия пользователей в коммуникационной системе согласно вариантам осуществления настоящего изобретения. Under the application understand the program installed on user device and intended for user interaction in a communication system according to embodiments of the present invention.
В качестве пользовательского устройства отправителя может быть использован, например, смартфон, планшетный компьютер, очки дополненной реальности, очки виртуальной реальности, шлем дополненной реальности, шлем виртуальной реальности или же любое другое устройство, которое содержит устройство захвата изображения, способное отображать окружающий отправителя мир (например, камера), компонент отображения, способный обеспечивать отправителя возможностью видеть отображаемый устройством захвата изображения окружающий мир (например, экран пользовательского устройства) и сетевой компонент, позволяющий устанавливать связь с сервером и/или по меньшей мере одним пользовательским устройством получателя. Такие устройства должны иметь вычислительную способность и компоненты, достаточные для создания и передачи сообщений, содержащих виртуальные объекты. As a user device, the sender can be used, for example, a smartphone, tablet computer, augmented reality glasses, virtual reality glasses, augmented reality helmet, virtual reality helmet, or any other device that contains an image capture device capable of displaying the world around the sender , camera), a display component capable of providing the sender with the ability to see the surrounding world displayed by the image capture device (for example, the screen user devices) and a network component that allows a server to communicate with and / or at least one recipient user device. Such devices should have computing capacity and components sufficient for creating and transmitting messages containing virtual objects.
В качестве пользовательского устройства получателя может быть использован, например, смартфон, планшетный компьютер, очки дополненной реальности, очки виртуальной реальности, шлем дополненной реальности, шлем виртуальной реальности или же любое другое устройство, которое содержит компонент отображения, способный обеспечивать получателя возможностью видеть отображаемый получателя мир (например, экран пользовательского устройства), сетевой компонент, позволяющий устанавливать связь с сервером и/или по меньшей мере одним пользовательским устройством отправителя, динамик, а также модуль вибрации. Такие устройства должны иметь вычислительную способность и компоненты, достаточные для размещения и отображения виртуальных объектов как объектов дополненной реальности, распознавания объектов реального мира, окружающих получателя, а также для воспроизведения эффектов, присвоенных виртуальным объектам и распознанным объектам реального мира. For example, a smartphone, tablet computer, augmented reality glasses, virtual reality glasses, augmented reality helmet, virtual reality helmet, or any other device that contains a display component capable of providing the recipient with the ability to see the displayed world. (for example, user device screen), a network component that allows you to communicate with the server and / or at least one user sender device, speaker, and vibration module. Such devices should have computational ability and components sufficient for placing and displaying virtual objects as augmented reality objects, recognizing real-world objects surrounding the recipient, and also to reproduce the effects assigned to virtual objects and recognized real-world objects.
Очевидно, что когда получатель в ответ на полученное сообщение осуществляет передачу сообщения, содержащего по меныпей мере один основной виртуальный объект, отправителю, то он автоматически становится отправителем, а взаимодействующий с ним пользователь - получателем. Obviously, when the recipient responds to the received message sends a message containing at least one primary virtual object to the sender, then it automatically becomes the sender, and the user interacting with it becomes the recipient.
Предпочтительным является создание карты местоположений распознанных объектов для определения расстояния от пользовательского устройства получателя до каждого из распознанных объектов и ориентации пользовательского устройства получателя относительно каждого из распознанных объектов вне зависимости от того, направлено ли устройство захвата изображения пользовательского устройства получателя на указанный объект или нет. Таким образом, после однократного распознавания каждого из объектов местоположение такого объекта (местоположение виртуального объекта в случае его задания), а также информация, позволяющая идентифицировать распознанный объект, «отмечается» на карте. При этом программа в режиме реального времени обновляет данные о расстоянии от пользовательского устройства получателя до каждого из распознанных объектов и об ориентации пользовательского устройства получателя относительно каждого из распознанных объектов для воспроизведения соответствующего эффекта, присвоенного распознанному объекту, когда расстояние от пользовательского устройства получателя до объекта меньше или равно пороговой величине. It is preferable to create a map of the locations of recognized objects to determine the distance from the recipient’s user device to each of the recognized objects and the orientation of the recipient’s user device relative to each of the recognized objects, regardless of whether the device of the recipient’s user device is directed to the specified object or not. Thus, after a single recognition of each of the objects, the location of such an object (the location of the virtual object in the event of its assignment), as well as information allowing to identify the recognized object, is “marked” on the map. At the same time, the program updates in real time the data on the distance from the recipient's user device to each of the recognized objects and on the orientation of the recipient's user device relative to each of the recognized objects to reproduce the corresponding effect assigned to the recognized object when the distance from the recipient's user device to the object is less than or equal to the threshold value.
Предпочтительно для воспроизведения эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, обращаются к библиотеке, содержащей эффекты, присвоенные различным объектам реального мира и виртуальным объектам. Таким образом, целесообразным является наличие библиотеки, размещенной на пользовательском устройстве или на сервере, в которой хранятся эффекты, соответствующие различным объектам реального мира и различным виртуальным объектам, которые могут быть переданы в сообщении отправителем. Очевидно, что некоторые объекты реального мира не обязательно могут быть распознаны, или в библиотеке может не храниться эффекта, соответствующего любому распознанному объекту реального мира, в таком случае, когда расстояние от пользовательского устройства получателя до такого объекта меньше или равно пороговой величине, ничего происходить не будет. Предпочтительным является использование в качестве эффекта звука, вибрации или их комбинации. При этом предпочтительно звуковые эффекты для различных виртуальных объектов и объектов реального мира будут различными (т.е., например, если объектом реального мира является мяч, то ему может соответствовать звук удара мяча о поверхность, если объектом реального мира является ноутбук - то ему может соответствовать музыка, обычно воспроизводимая при запуске операционной системы), в то время как эффект вибрации может быть одинаковым для всех объектов, таким образом, всем содержащимся в библиотеке объектам будет присвоен один и тот же эффект вибрации. Однако это не исключает возможности реализации варианта, при котором различным объектам реального мира и различным виртуальным объектам будут соответствовать различные варианты вибраций. Preferably, to reproduce the effect assigned to the recognized real-world object and / or virtual object, a library containing the effects assigned to various real-world objects and virtual objects is accessed. Thus, it is advisable to have a library hosted on a user device or on a server in which effects are stored that correspond to various real-world objects and various virtual objects that can be transmitted in a message by the sender. Obviously, some real-world objects may not necessarily be recognized, or the effect corresponding to any recognized real-world object may not be stored in the library, in that case, when the distance from the recipient's user device to such an object is less than or equal to the threshold value, nothing happens will be. It is preferable to use as the effect of sound, vibration, or a combination thereof. At the same time, the sound effects for different virtual objects and objects of the real world will be different (for example, for example, if the object of the real world is a ball, then the sound of a ball hitting the surface can correspond to it, if the object of the real world is a laptop, then it can match the music usually played when the operating system starts), while the effect of vibration can be the same for all objects, so all the objects contained in the library will be assigned the same effect t vibration. However, this does not exclude the possibility of implementing the variant in which different variants of vibrations will correspond to different real-world objects and different virtual objects.
В наиболее предпочтительном варианте осуществления настоящего изобретения звук является стереофоническим (т.е. звук передается по двум, правому и левому, и более каналам), и его распределение по каналам при воспроизведении обеспечивают на основе ориентации пользовательского устройства получателя относительно объекта. Например, пользовательское устройство получателя находится от объекта А на расстоянии меныпем, чем его пороговое значение, и устройство захвата изображения пользовательского устройства получателя направлено на объект А реального мира, который был предварительно распознан. Таким образом, получатель слышит звук, присвоенный объекту А, распределяемый по двум каналам одинаково. Далее получатель поворачивается на 90° и, таким образом, объект А больше не отображается на экране пользовательского устройства получателя, при этом расстояние между пользовательским устройством получателя и объектом А остается в пределах его порогового значения. При этом пользователь будет слышать звук, распределяемый по двум каналам неравномерно, например, воспроизводимый только по тому каналу, который соответствует уху пользователя, обращенному в направлении объекта А. In the most preferred embodiment of the present invention, the sound is stereo (i.e., sound is transmitted over two, right and left, and more channels), and its distribution over channels during playback is provided based on the orientation of the recipient’s user device relative to the object. For example, the recipient's user device is located from object A at a distance of fewer than its threshold value, and the device for capturing an image of the user device of the recipient is directed to object A of the real world, which was previously recognized. Thus, the recipient hears the sound assigned to object A, distributed equally over the two channels. Then the recipient rotates 90 ° and, thus, the object A is no longer displayed on the screen of the user device of the recipient, while the distance between the user device of the recipient and the object A remains within its threshold value. In this case, the user will hear a sound that is unevenly distributed over two channels, for example, that is reproduced only by that channel that corresponds to the user's ear, facing the direction of object A.
В еще одном предпочтительном варианте осуществления настоящего изобретения обеспечивают воспроизведение одного из ряда однотипных эффектов, присвоенных объекту, на основе ориентации пользовательского устройства получателя относительно объекта. In another preferred embodiment of the present invention, one of a number of similar effects is reproduced, assigned to the object, based on the orientation of the recipient’s user device relative to the object.
В другом предпочтительном варианте осуществления обеспечивают воспроизведение по меныней мере одного эффекта, присвоенного объекту, с наложением на него фильтра из ряда фильтров или без наложения фильтра, на основе ориентации пользовательского устройства получателя относительно объекта. In another preferred embodiment, at least one effect assigned to the object is reproduced over the filter with a filter from a series of filters or without filter overlay based on the orientation of the recipient’s user device relative to the object.
Таким образом, от ориентации пользовательского устройства получателя относительно объекта, помимо распределения звука по каналам (в случае, если эффектом является звук), может зависеть также, какой из однотипных эффектов, например, из ряда звуков или из ряда вибраций, присвоенных объекту, будет воспроизведен. По другому данная функция может быть реализована посредством наложения на единственный эффект, присвоенный объекту, например, звук, различных фильтров или воспроизведения оригинального звука, присвоенного объекту, в зависимости от ориентации пользовательского устройства получателя относительно объекта. Вышеописанное также направлено на повышение реалистичности при воспроизведении эффектов и объясняется следующим: когда, например, автомобиль движется перед человеком или позади него, человек слышит в целом один и тот же звук, но эти звуки все же незначительно отличаются. Таким образом, воспроизведение одного из ряда звуков (которые предпочтительно очень похожи друг на друга) или звука с наложенным на него фильтром в зависимости от ориентации пользовательского устройства получателя (а, соответственно, и самого получателя) относительно объекта позволяет добиться подобного вышеописанного эффекта, как в примере с автомобилем. Thus, the orientation of the recipient’s user device relative to the object, in addition to distributing the sound to the channels (if the effect is sound), may also depend on which effects of the same type, for example, from a number of sounds or from a number of vibrations assigned to an object, . Alternatively, this function can be implemented by overlaying a single effect assigned to an object, such as a sound, various filters, or reproducing the original sound assigned to an object, depending on the orientation of the recipient’s user device relative to the object. The above is also aimed at improving the realism in reproducing the effects and is explained as follows: when, for example, the car moves in front of or behind the person, the person hears the same sound as a whole, but these sounds are slightly different. Thus, reproducing one of a number of sounds (which are preferably very similar to each other) or a sound with a filter superimposed on it, depending on the orientation of the recipient’s user device (and, respectively, the recipient itself) with respect to the object, allows to achieve the effect described above, as in example with a car.
Предпочтительно определение ориентации пользовательского устройства получателя относительно объекта осуществляют на основе величины угла между направлением устройства захвата изображения пользовательского устройства получателя и объектом. Preferably, the orientation of the recipient’s user device relative to the object is determined based on the angle between the direction of the image capture device of the recipient’s user device and the object.
Предпочтительным также является обеспечение увеличения величины по меньшей мере одной из характеристик эффекта с уменьшением расстояния от пользовательского устройства получателя до объекта в пределах его пороговой величины и наоборот. Т.е., после того, как расстояние между получателем и распознанным объектом реального мира или виртуальным объектом сократилось до порогового значения, при дальнейшем уменьшении этого расстояния какая-либо характеристика воспроизводимого эффекта будет увеличиваться. Когда же получатель начнет удаляться от указанного объекта, вплоть до пороговой величины расстояния указанная характеристика будет уменьшаться. Следует отметить, что целесообразным является изменение такой характеристики эффекта, изменение которой будет восприниматься органами чувств человека. It is also preferable to provide an increase in the magnitude of at least one of the characteristics of the effect with decreasing distance from the recipient's user device to the object within its threshold value and vice versa. That is, after the distance between the recipient and the recognized real-world object or virtual object has decreased to a threshold value, as this distance further decreases, any characteristic of the reproduced effect will increase. When the recipient begins to move away from the specified object, the specified characteristic will decrease to the threshold value of the distance. It should be noted that it is advisable to change this characteristic of the effect, the change of which will be perceived by the human senses.
Наиболее предпочтительным является использование в качестве характеристики эффекта громкости для звука и интенсивности для вибрации. Most preferred is the use of a volume effect for sound and an intensity for vibration as a characteristic.
В одном из предпочтительных вариантов осуществления расстояние от пользовательского устройства получателя до объекта (другими словами, местоположение объекта относительно получателя) вычисляют на основе координат х, у и z пользовательского устройства получателя и координат х’, у’ и z’ объекта. Более конкретно, указанные координаты могут быть координатами двух различных точек, одна из которых может принадлежать пользовательскому устройству получателя, а вторая - объекту соответственно. In one of the preferred embodiments, the distance from the recipient's user device to the object (in other words, the object's position relative to the recipient) is calculated based on the x, y and z coordinates of the recipient's user device and x ’, y’ and z ’coordinates of the object. More specifically, the coordinates indicated may be the coordinates of two different points, one of which may belong to the recipient's user device, and the second to the object, respectively.
Предпочтительно при создании сообщения осуществляют выбор основного виртуального объекта из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства отправителя; размещение выбранного основного виртуального объекта на экране пользовательского устройства отправителя в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства отправителя, и его отображение как объекта дополненной реальности; и необязательно объединение отображаемого основного виртуального объекта с по меньшей мере одним дополнительным виртуальным объектом. При этом предпочтительно в качестве основного или дополнительного виртуального объекта используют по меныпей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. В предпочтительном варианте осуществления настоящего изобретения задание местоположения как отправителем при создании сообщения, так и получателем при размещении основного виртуального объекта обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. Preferably, when creating a message, the selection of the main virtual object from the basic virtual objects available to the selection is performed by means of the user interface on the screen of the user's sender device; placing the selected primary virtual object on the screen of the user device of the sender in the specified location displayed by the device capturing the image of the user device of the sender, and displaying it as an object of augmented reality; and optionally combining the displayed primary virtual object with at least one additional virtual entity. In this case, it is preferable to use at least one of 2d static or animated virtual objects, 3d static or animated virtual objects, text, audio or video as the main or additional virtual object. In a preferred embodiment of the present invention, specifying the location of both the sender when creating the message and the recipient when placing the primary virtual object is provided by linking the primary virtual object to the geographic location displayed by the image capturing device of the user device.
Предпочтительно во время и/или после размещения основного виртуального объекта отправителю и получателю предоставляют возможность осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. Preferably, during and / or after placing the primary virtual entity, the sender and recipient are provided with the opportunity to perform at least one of the following operations: transmitting a text message, transmitting a voice message, transmitting a video message, transmitting a multimedia message, video call.
Предпочтительно после размещения основного виртуального объекта как отправителем, так и получателем обеспечивают возможность его отображения на экране пользовательского устройства под разными углами и с разных точек обзора. Preferably, after the primary virtual object is placed, both the sender and the recipient provide the ability to display it on the screen of the user device from different angles and from different viewpoints.
Описанные вьтттте варианты реализации настоящего изобретения в равной степени относятся ко всем заявленным его аспектам, а именно к способу организации взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа организации взаимодействия пользователей в коммуникационной системе согласно настоящему изобретению. The described embodiments of the present invention equally apply to all its declared aspects, namely, the method of organizing user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system that provides interaction between user devices and a server, and computer-readable media on which program instructions are stored that initiate the implementation of aspects of soba organization user interaction in the communication system according to the present invention.
Аспекты настоящего изобретения далее раскрыты в данном описании со ссылками на графические материалы, которые являются неограничивающими примерами реализации настоящего изобретения. Aspects of the present invention are further disclosed herein with reference to graphic materials that are non-limiting. examples of the implementation of the present invention.
Фиг. 1 иллюстрирует блок-схему примера осуществления способа организации взаимодействия пользователей в коммуникационной системе согласно одному из вариантов осуществления настоящего изобретения. Этапы 5 проиллюстрированного блок-схемой способа будут далее более подробно раскрыты со ссылками на фиг. 2а - 2к. FIG. 1 illustrates a block diagram of an exemplary embodiment of a method for organizing user interaction in a communication system according to an embodiment of the present invention. Steps 5 of the method illustrated in the flowchart will be further described in more detail with reference to FIG. 2a - 2k.
На фиг. 2а представлено схематическое изображение, иллюстрирующее экран 200 пользовательского устройства 202 отправителя на этапе выбора и размещения основного виртуального объекта. При этом на экране 200 ю пользовательского устройства 202 отправителя при помощи устройства захвата изображения пользовательского устройства 202 отправителя отображают объекты 204 реального мира, окружающего отправителя, к которым обращено устройство захвата изображения, а также панель 206 доступных к выбору виртуальных объектов для последующей передачи получателю. Таким образом, отправителю 15 предоставлена возможность выбора виртуального объекта из доступных к выбору виртуальных объектов на панели 206 посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 отправителя. FIG. 2a is a schematic diagram illustrating the screen 200 of the user device 202 of the sender at the stage of selecting and locating the primary virtual object. At the same time, on the screen 200, the user device 202 of the sender using the device for capturing the image of the user device 202 of the sender display objects 204 of the real world surrounding the sender that the image capture device is facing, as well as a panel 206 of selectable virtual objects for subsequent transfer to the receiver. Thus, the sender 15 is given the opportunity to select a virtual object from the available virtual objects on the panel 206 through the user interface on the screen 200 of the user device 202 of the sender.
После осуществления выбора виртуального объекта 208 (указанный этап описан в блоке 100 блок-схемы, приведенной на фиг. 1) отправитель осуществляет 20 размещение выбранного основного виртуального объекта 208. Для этого отправитель задает местоположение 210 основного виртуального объекта 208, как проиллюстрировано на фиг. 2а. Указанное местоположение 210 отображается устройством захвата изображения пользовательского устройства 202 отправителя на экране 200 пользовательского устройства 202 отправителя. Отправитель может 25 задавать местоположение объекта, например, посредством касания пальцем определенного места сенсорного экрана 200 или, например, посредством «перетаскивания» пальцем выбранного основного виртуального объекта 208 по сенсорному экрану 200 до определенного местоположения, после чего указанный объект 208 привязывается к заданному географическому местоположению, зо отображаемому устройством захвата изображения пользовательского устройства 202 отправителя, и отображается как объект дополненной реальности, как проиллюстрировано на фиг. 2Ь. Указанный этап описан в блоке 102 блок-схемы, приведенной на фиг. 1. Отправитель может осмотреть виртуальный объект 208 с разных сторон через экран 200 пользовательского устройства 202 отправителя, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства 202 отправителя. Также отправитель может объединять основной виртуальный объект 208 с другими виртуальными объектами, например, 2d статичным или анимированным виртуальным объектом, 3d статичным или анимированным виртуальным объектом, текстом, аудио или видео (на фигурах не отображено). After selecting the virtual object 208 (this step is described in block 100 of the flowchart shown in Fig. 1), the sender 20 places the selected primary virtual object 208. For this, the sender sets the location 210 of the primary virtual object 208, as illustrated in FIG. 2a The specified location 210 is displayed by the image capturing device of the user device 202 of the sender on the screen 200 of the user device 202 of the sender. The sender may set the location of the object 25, for example, by touching a specific location on the touch screen 200 or, for example, dragging the selected primary virtual object 208 on the touch screen 200 to a specific location, after which the specified object 208 is attached to a given geographical location, what is displayed by the user device image capture device 202 of the sender, and is displayed as an object of augmented reality, as illustrated in FIG. 2b. This step is described in block 102 of the flowchart shown in FIG. 1. The sender can inspect the virtual object 208 from different sides through the screen 200 of the user device 202 of the sender, changing the viewing angle, using the image capture device of the user device 202 of the sender. The sender can also combine the main virtual object 208 with other virtual objects, for example, 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video (not shown in the figures).
Далее отправитель осуществляет передачу сообщения, содержащего основной виртуальный объект 208, от пользовательского устройства 202 отправителя на пользовательское устройство 212 получателя, как описано в блоке 104 блок-схемы, приведенной на фиг. 1. Next, the sender transmits a message containing the primary virtual object 208 from the sender's user device 202 to the recipient's user device 212, as described in block 104 of the flowchart shown in FIG. one.
После получения переданного сообщения пользовательским устройством 212 получателя (указанный этап описан в блоке 106 блок-схемы, приведенной на фиг. 1) автоматически происходит распознавание посредством пользовательского устройства 212 получателя основного виртуального объекта 208, содержащегося в полученном сообщении, как описано в блоке 108 блок-схемы, приведенной на фиг. 1, а на экране 214 пользовательского устройства 212 получателя отображают уведомление 216 о получении сообщения, и получателю предоставляется возможность открыть сообщение (указанный этап описан в блоке 110 блок-схемы, приведенной на фиг. 1). After receiving the transmitted message by the user device 212 of the recipient (this step is described in block 106 of the flowchart shown in Fig. 1), the user device 212 automatically recognizes the recipient of the primary virtual object 208 contained in the received message, as described in block 108 The circuit shown in FIG. 1, and on the screen 214 of the user device 212 of the recipient, a notification 216 about receiving the message is displayed, and the recipient is given the opportunity to open the message (this step is described in block 110 of the flowchart shown in FIG. 1).
После того, как получатель открыл полученное сообщение, осуществляется активация устройства захвата изображения пользовательского устройства 212 получателя. Таким образом, на экране 214 пользовательского устройства 212 получателя будут отображены объекты реального мира получателя, как проиллюстрировано на фиг. 2d. Далее автоматически будет происходить распознавание посредством пользовательского устройства 212 получателя указанных объектов реального мира получателя. Распознанные объекты реального мира получателя на фиг. 2d обведены пунктирной линией. Этап распознавания объектов реального мира получателя описан в блоке 112 блок-схемы, приведенной на фиг. 1. Распознавание может быть осуществлено посредством стандартных алгоритмов, используемых в области техники. After the recipient has opened the received message, the image capture device of the recipient user device 212 is activated. Thus, on the screen 214 of the user device 212 of the recipient, the real-world objects of the recipient will be displayed, as illustrated in FIG. 2d. Further, recognition by the user device 212 of the recipient of the indicated objects in the real world of the recipient will automatically occur. Recognized objects real The recipient’s world in FIG. 2d circled in dashed lines. The recognition phase of the recipient's real-world objects is described in block 112 of the flowchart shown in FIG. 1. Recognition can be carried out using standard algorithms used in the field of engineering.
5 После распознавания объектов реального мира получателя алгоритм может осуществлять поиск соответствия между каждым из распознанных объектов и эффектами (в описываемом примере - звуками и вибрацией), сохраненными в библиотеке для различных объектов. Таким образом, находится соответствие между всеми распознанными объектами, для которых в библиотеке содержатся ю эффекты, и указанными эффектами, как отображено на фиг. 2е. 5 After recognizing the recipient's real-world objects, the algorithm can search for a match between each of the recognized objects and effects (in the example being described, sounds and vibrations) stored in the library for various objects. Thus, a correspondence is found between all recognized objects for which the library contains effects, and the indicated effects, as shown in FIG. 2nd.
Далее алгоритм оценивает расстояние между пользовательским устройством 212 получателя и распознанными объектами реального мира, и когда расстояние между пользовательским устройством 212 получателя и распознанным объектом 218 реального мира, представляющим собой горшок с цветком, которому 15 присвоены эффекты, равно пороговой величине, пользовательским устройством 212 получателя осуществляется воспроизведение звука и вибрации, присвоенных распознанному объекту 218 реального мира. В данном случае звук может представлять собой, например, звук шелеста листвы. Поскольку расстояние между пользовательским устройством 212 получателя и объектом 218 реального мира 20 равно пороговой величине, громкость звука и интенсивность вибрации находятся на минимальном уровне воспроизведения, что отображено на фиг. 2f посредством одной ноты 220, исходящей из динамика и обозначающей громкость воспроизведения звука, и одной дужки 222, обозначающей интенсивность воспроизведения вибрации. При этом с каждой стороны пользовательского 25 устройства 212 получателя изображено по одному динамику с исходящей из каждого из них одной нотой 220, что означает, что звук равномерно распределяется по двум каналам (правому и левому) при воспроизведении ввиду ориентации пользовательского устройства 212 получателя, т.е. ввиду того, что устройство захвата изображения пользовательского устройства 212 получателя направлено зо непосредственно на распознанный объект 218 реального мира, таким образом, величина угла между направлением устройства захвата изображения пользовательского устройства 212 и распознанным объектом 218 реального мира составляет ориентировочно 0°. Указанный этап описан в блоке 114 блок-схемы, приведенной на фиг. 1. В случае когда расстояние между пользовательским устройством 212 получателя и несколькими распознанными объектами реального мира равно пороговой величине, могут, например, осуществлять воспроизведение каждого из присвоенных указанным объектам эффектов одновременно. Специалисту в области техники очевидно, что алгоритм в описанном случае может предусматривать различные варианты воспроизведения эффектов. The algorithm then estimates the distance between the recipient's user device 212 and the recognized real-world objects, and when the distance between the recipient's user device 212 and the real-world object 218, which is a flower pot, to which 15 effects are assigned, is equal to the threshold, the recipient user device 212 is implemented reproduction of sound and vibration assigned to the recognized real-world object 218. In this case, the sound may be, for example, the sound of rustling leaves. Since the distance between the recipient user device 212 and the real world object 218 20 is equal to the threshold value, the sound volume and vibration intensity are at the minimum playback level, which is shown in FIG. 2f by means of one note 220, coming from the speaker and indicating the volume of sound reproduction, and one shackle 222, indicating the intensity of vibration reproduction. At the same time, on each side of the user's 25 recipient device 212, one speaker is shown with one note outgoing from each of them one note 220, which means that the sound is evenly distributed over two channels (right and left) during playback due to the orientation of the recipient user device 212, t. e. due to the fact that the image capturing device of the user device 212 of the recipient is directed directly to the recognized real-world object 218, thus, the angle between the direction of the image capture device the user device 212 and the recognized real-world object 218 is approximately 0 °. This step is described in block 114 of the flowchart shown in FIG. 1. In the case where the distance between the recipient's user device 212 and several recognized objects in the real world is equal to the threshold value, they can, for example, reproduce each of the effects assigned to the specified objects simultaneously. Specialist in the field of technology it is obvious that the algorithm in the described case may provide various options for playing effects.
Далее при еще большем приближении пользовательского устройства 212 получателя к объекту 218 реального мира, т.е. когда расстояние от пользовательского устройства 212 получателя до указанного объекта 218 меньше пороговой величины, пользовательским устройством 212 получателя осуществляется воспроизведение звука и вибрации, присвоенных распознанному объекту 218 реального мира, с большими громкостью и интенсивностью соответственно, чем их величина при воспроизведении эффектов на расстоянии от пользовательского устройства 212 получателя до объекта 218 реального мира, равном пороговой величине, что отображено на фиг. 2g посредством двух нот 220, исходящих из динамика и обозначающих громкость воспроизведения звука, и двух дужек 222, обозначающих интенсивность воспроизведения вибрации. При этом с каждой стороны пользовательского устройства 212 получателя изображено по одному динамику с исходящими из каждого из них двумя нотами 220, что означает, что звук равномерно распределяется по двум каналам (правому и левому) при воспроизведении ввиду ориентации пользовательского устройства 212 получателя, т.е. ввиду того, что устройство захвата изображения пользовательского устройства 212 получателя направлено непосредственно на распознанный объект 218 реального мира, таким образом, величина угла между направлением устройства захвата изображения пользовательского устройства 212 и распознанным объектом 218 реального мира составляет ориентировочно 0°. Указанный этап описан в блоке 116 блок-схемы, приведенной на фиг. 1. Further, with an even closer approach of the recipient user device 212 to the real-world object 218, i.e. when the distance from the recipient's user device 212 to the specified object 218 is less than the threshold value, the recipient user device 212 plays the sound and vibration assigned to the recognized real-world object 218 with higher volume and intensity, respectively, than their value when playing effects at a distance from the user device 212 of the recipient to the real-world object 218 equal to the threshold value, which is shown in FIG. 2g by means of two notes 220 emanating from the speaker and indicating the loudness of sound reproduction, and two arches 222 indicating the intensity of the reproduction of vibration. At the same time, on each side of the recipient's user device 212, one speaker is depicted with two notes 220 emanating from each of them, which means that the sound is evenly distributed over two channels (right and left) during playback due to the orientation of the recipient user device 212, i.e. . because the image capturing device of the user device 212 of the recipient is directed directly to the recognized real-world object 218, thus the angle between the direction of the image-capturing device of the user device 212 and the real-world object 218 is approximately 0 °. This step is described in block 116 of the flowchart shown in FIG. one.
При изменении ориентации пользовательского устройства 212 пользователя, как проиллюстрировано на фиг. 2h, когда устройство захвата изображения пользовательского устройства 212 направлено вправо относительно распознанного объекта 218 реального мира, и распознанный объект 218 реального мира не отображается на экране 214 пользовательского устройства 212 получателя, однако расстояние между пользовательским устройством 212 получателя и распознанным объектом 218 реального мира остается неизменным, пользовательским устройством 212 получателя осуществляется воспроизведение звука и вибрации, присвоенных распознанному объекту 218 реального мира, с теми же громкостью и интенсивностью соответственно, что и в предыдущем варианте, описанном на фиг. 2g, что отображено на фиг. 2h посредством двух нот 220, исходящих из левого динамика и обозначающих громкость воспроизведения звука, и двух дужек 222, обозначающих интенсивность воспроизведения вибрации. При этом рядом с правым динамиком отображена одна нота 220, что означает, что звук неравномерно распределяется по двум каналам (правому и левому) при воспроизведении ввиду ориентации пользовательского устройства 212 получателя, т.е. ввиду того, что устройство захвата изображения пользовательского устройства 212 получателя не направлено непосредственно на распознанный объект 218 реального мира, и величина угла между направлением устройства захвата изображения пользовательского устройства 212 и распознанным объектом 218 реального мира составляет ориентировочно 45-50°. Конкретные варианты реализации могут учитывать различные величины углов между направлением устройства захвата изображения пользовательского устройства и распознанным объектом, например, воспроизводимый эффект будет различным для 4-х различных углов: 0°, 90°, 180° и 270°, однако очевидно, что могут быть реализованы любые возможные варианты. When the orientation of the user device 212 changes, as illustrated in FIG. 2h when image capture device the user device 212 is directed to the right relative to the recognized real-world object 218, and the recognized real-world object 218 is not displayed on the screen 214 of the recipient’s user device 212; however, the distance between the recipient’s user device 212 and the recognized real-world object 218 remains unchanged; sound and vibration assigned to the recognized object 218 real world, with the same volume and intensity correspond As in the previous embodiment described in FIG. 2g, which is shown in FIG. 2h by means of two notes 220 emanating from the left speaker and indicating the volume of sound reproduction, and two arches 222 indicating the intensity of reproduction of vibration. At the same time, one note 220 is displayed near the right speaker, which means that the sound is unevenly distributed over two channels (right and left) during playback due to the orientation of the recipient's user device 212, i.e. due to the fact that the image capturing device of the user device 212 of the recipient is not directed directly to the recognized real-world object 218, and the angle between the direction of the image-capturing device of the user device 212 and the real-world object 218 is approximately 45-50 °. Specific implementations may take into account different angles between the direction of the image capturing device of the user device and the recognized object, for example, the reproducible effect will be different for 4 different angles: 0 °, 90 °, 180 ° and 270 °, however, it is obvious that implemented any possible options.
Далее согласно описываемому варианту осуществления настоящего изобретения получатель посредством пользовательского устройства 212 получателя осуществляет размещение основного виртуального объекта 208, содержащегося в сообщении, переданном отправителем, в заданном местоположении. Для этого получатель задает местоположение 224 основного виртуального объекта 208, как проиллюстрировано на фиг. 2i. Указанное местоположение 224 отображается устройством захвата изображения пользовательского устройства 212 получателя на экране 214 пользовательского устройства 212 получателя. Получатель может задавать местоположение виртуального объекта, например, посредством касания пальцем определенного места сенсорного экрана 214 или, например, посредством «перетаскивания» пальцем виртуального объекта 208 по сенсорному экрану 214 до определенного местоположения, после чего указанный объект 208 привязывается к заданному географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства 212 получателя, и отображается как объект дополненной реальности, как проиллюстрировано на фиг. 2j. Указанный этап описан в блоке 118 блок-схемы, приведенной на фиг. 1. Получатель может осмотреть виртуальный объект 208 с разных сторон через экран 214 пользовательского устройства 212 получателя, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства 212 получателя. Further, according to the described embodiment of the present invention, the recipient, via the recipient user device 212, places the primary virtual object 208 contained in the message transmitted by the sender at a predetermined location. For this, the recipient sets the location 224 of the primary virtual object 208, as illustrated in FIG. 2i. The specified location 224 is displayed by the device capturing the image of the user device 212 of the recipient on the screen 214 of the user device 212 recipient. The recipient can specify the location of the virtual object, for example, by touching a certain place with the finger of the touch screen 214 or, for example, by dragging the virtual object 208 on the touch screen 214 to a specific location, after which the specified object 208 is attached to the specified geographical location displayed by the device image capture of the user device 212 of the recipient, and is displayed as an object of augmented reality, as illustrated in FIG. 2j. This step is described in block 118 of the flowchart shown in FIG. 1. The recipient can inspect the virtual object 208 from different sides through the screen 214 of the recipient's user device 212, changing the viewing angle using the image capture device of the recipient's user device 212.
После того, как виртуальный объект 208 размещен получателем в заданном местоположении, алгоритм может осуществлять поиск соответствия между указанным виртуальным объектом 208 и эффектами, сохраненными в библиотеке для различных виртуальных объектов. Таким образом, находится соответствие между виртуальным объектом 208, для которого в библиотеке содержатся эффекты, и указанными эффектами, как отображено на фиг. 2j. After the virtual object 208 is placed by the recipient at a specified location, the algorithm can search for a match between the specified virtual object 208 and the effects stored in the library for various virtual objects. Thus, a correspondence is found between the virtual object 208, for which the library contains effects, and the indicated effects, as shown in FIG. 2j.
Согласно описываемому варианту осуществления настоящего изобретения, когда пользовательское устройство 212 получателя максимально приближается к виртуальному объекту 208, т.е. когда расстояние от пользовательского устройства 212 получателя до указанного виртуального объекта 208 меньше пороговой величины (и еще меньше расстояния между пользовательским устройством 212 и распознанным объектом 218 реального мира, как это отображено на фиг. 2g), пользовательским устройством 212 получателя осуществляется воспроизведение звука и вибрации, присвоенных виртуальному объекту 208, с наибольшими громкостью и интенсивностью соответственно, в отличие от их величины при воспроизведении эффектов на расстоянии от пользовательского устройства 212 получателя до виртуального объекта 208, равном пороговой величине. Описанное воспроизведение отображено на фиг. 2к посредством трех нот 226, исходящих из динамика и обозначающих громкость воспроизведения звука, и трех дужек 228, обозначающих интенсивность воспроизведения вибрации. При этом с каждой стороны пользовательского устройства 212 получателя изображено по одному динамику с исходящими из каждого из них тремя нотами 226, что означает, что звук равномерно распределяется по двум каналам (правому и левому) при воспроизведении ввиду ориентации пользовательского устройства 212 получателя, т.е. ввиду того, что устройство захвата изображения пользовательского устройства 212 получателя направлено непосредственно на основной виртуальный объект 208, таким образом, величина угла между направлением устройства захвата изображения пользовательского устройства 212 и основным виртуальным объектом 208 составляет ориентировочно 0°. According to the described embodiment of the present invention, when the recipient user device 212 is as close as possible to the virtual object 208, i.e. when the distance from the recipient's user device 212 to the specified virtual object 208 is less than the threshold value (and even less than the distance between the user device 212 and the recognized real-world object 218, as shown in FIG. 2g), the recipient user device 212 plays sound and vibration, assigned to the virtual object 208, with the highest volume and intensity, respectively, unlike their size when playing effects at a distance from the user’s device 212 of the recipient to the virtual object 208, equal to the threshold value. The described playback is shown in FIG. 2k by means of three notes 226, emanating from the speaker and indicating the volume of sound reproduction, and three arches 228, denoting the intensity of the playback of vibration. At the same time, on each side of the recipient's user device 212, one speaker is depicted with three notes 226 emanating from each of them, which means that the sound is evenly distributed over two channels (right and left) during playback due to the orientation of the recipient user device 212, i.e. . because the image capturing device of the user device 212 of the recipient is directed directly to the main virtual object 208, thus the angle between the direction of the image capturing device of the user device 212 and the main virtual object 208 is approximately 0 °.
Указанный этап описан в блоке 120 блок-схемы, приведенной на фиг. 1. На фиг. 2j видно, что перед приближением пользовательского устройства 212 к виртуальному объекту 208 на описанное расстояние, как проиллюстрировано на фиг. 2к, указанное пользовательское устройство 212 первоначально располагалось на большем расстоянии от указанного виртуального объекта 208, таким образом, воспроизведение звука и вибрации осуществлялось и ранее (но после приближения на расстояние, равное пороговому значению), однако в данном примере это подробно не описано. This step is described in block 120 of the flowchart shown in FIG. 1. In FIG. 2j, it can be seen that before the user device 212 approaches the virtual object 208 at the described distance, as illustrated in FIG. 2k, the specified user device 212 was initially located at a greater distance from the specified virtual object 208, so sound and vibration were reproduced earlier (but after approaching a distance equal to the threshold value), but this is not described in detail in this example.
Хотя описанный пример реализации включает воспроизведение при приближении к распознанному объекту реального мира или виртуальному объекту как звука, так и вибрации, каждому из таких объектов может быть присвоен и один эффект, например, отдельно звук или отдельно вибрация. Специалисту в области техники очевидно наличие возможности присвоения и более двух эффектов одному объекту одновременно. Although the described example of implementation includes playback when approaching a recognized object of the real world or a virtual object of both sound and vibration, each of these objects can be assigned one effect, for example, a separate sound or a separate vibration. It is obvious to a person skilled in the art that it is possible to assign more than two effects to one object at the same time.
На фиг. 3 приведено схематическое изображение примера осуществления пользовательского устройства согласно одному из вариантов осуществления настоящего изобретения. Указанное пользовательское устройство содержит процессор 300 и связанные с ним экран 302, машиночитаемый носитель 304, сетевой компонент 306 и устройство 308 захвата изображения. FIG. 3 is a schematic representation of an embodiment of a user device according to one embodiment of the present invention. The specified user device includes a processor 300 and its associated screen 302, computer-readable media 304, a network component 306, and an image capture device 308.
На фиг. 4 приведено схематическое изображение примера осуществления коммуникационной системы согласно одному из вариантов осуществления настоящего изобретения. Указанная коммуникационная система содержит сервер 400 и связанные с ним пользовательские устройства 402 и 404 отправителя и получателя соответственно. Как видно из рассматриваемой фигуры, передача сообщения от пользовательского устройства отправителя на пользовательское устройство получателя осуществляется посредством сервера 400. FIG. 4 shows a schematic representation of an embodiment. communication system according to one of embodiments of the present invention. The specified communication system contains the server 400 and its associated sender and recipient user devices 402 and 404, respectively. As can be seen from the figure, the message from the sender's user device to the recipient's user device is transmitted by the server 400.
Следует принять во внимание, что способ организации взаимодействия пользователей в коммуникационной системе, пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, и машиночитаемый носитель, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа организации взаимодействия пользователей в коммуникационной системе согласно настоящему изобретению, не ограничены конкретными признаками или этапами, описанными выше. Напротив, конкретные признаки и этапы, описанные выше, раскрыты в качестве примеров, реализующих настоящее изобретение, и другие эквивалентные признаки и этапы могут быть охвачены объемом настоящего изобретения. It should be taken into account that the method of organizing user interaction in the communication system, the user device for organizing user interaction in the communication system, the communication system that provides interaction between user devices and the server between themselves, and the machine-readable media on which program instructions are stored that trigger the execution of aspects the way in which users interact in a communication system in accordance with the present invention eniyu not limited to the specific features or steps described above. On the contrary, the specific features and steps described above are disclosed as examples implementing the present invention, and other equivalent features and steps may be covered by the scope of the present invention.

Claims

Формула изобретения Claim
1. Способ организации взаимодействия пользователей в коммуникационной системе, включающий передачу посредством пользовательского устройства отправителя сообщения, содержащего по меныпей мере один основной виртуальный объект, на пользовательское устройство по меньшей мере одного получателя, получение сообщения пользовательским устройством получателя; распознавание посредством пользовательского устройства получателя основного виртуального объекта, содержащегося в полученном сообщении; размещение посредством пользовательского устройства получателя основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства получателя, и его отображение как объекта дополненной реальности; при этом во время и/или после размещения основного виртуального объекта осуществляют распознавание посредством пользовательского устройства получателя объектов реального мира получателя, отображаемых на экране пользовательского устройства получателя устройством захвата изображения пользовательского устройства получателя, и инициирование посредством пользовательского устройства получателя воспроизведения по меньшей мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства получателя до объекта меньше или равно пороговой величине. 1. A method of organizing user interaction in a communication system, comprising transmitting by a user device the sender of a message containing at least one primary virtual object to the user device at least one recipient, receiving the message by the user device of the recipient; recognition by the user device of the recipient of the primary virtual object contained in the received message; placing by the user device the recipient of the main virtual object at a specified location displayed by the device capturing the image of the user device of the recipient, and displaying it as an object of augmented reality; while during and / or after placing the primary virtual object, the recipient of the real world objects is recognized by the user device displayed on the screen of the user device of the recipient by the image capture device of the user device of the recipient, and the user device initiates the playback receiver at least one effect assigned recognized real-world object and / or virtual object when the distance recipient from the user of the device to the subject is less than or equal to the threshold value.
2. Способ по п. 1, отличающийся тем, что создают карту местоположений распознанных объектов для определения расстояния от пользовательского устройства получателя до каждого из распознанных объектов и ориентации пользовательского устройства получателя относительно каждого из распознанных объектов. 2. The method according to p. 1, characterized in that they create a map of the locations of recognized objects to determine the distance from the recipient's user device to each of the recognized objects and orientation user device of the recipient with respect to each of the recognized objects.
3. Способ по п. 1, отличающийся тем, что для воспроизведения эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, обращаются к библиотеке, содержащей эффекты, присвоенные различным объектам реального мира и виртуальным объектам. 3. The method of claim 1, wherein in order to reproduce the effect assigned to the recognized real-world object and / or virtual object, refer to the library containing the effects assigned to various real-world objects and virtual objects.
4. Способ по п. 1, отличающийся тем, что в качестве эффекта используют звук и/или вибрацию. 4. A method according to claim 1, characterized in that sound and / or vibration are used as an effect.
5. Способ по п. 4, отличающийся тем, что звук является стереофоническим, и его распределение по каналам при воспроизведении обеспечивают на основе ориентации пользовательского устройства получателя относительно объекта. 5. The method according to p. 4, characterized in that the sound is stereo and its distribution across channels during playback is provided based on the orientation of the recipient’s user device relative to the object.
6. Способ по п. 1, отличающийся тем, что обеспечивают воспроизведение одного из ряда однотипных эффектов, присвоенных объекту, на основе ориентации пользовательского устройства получателя относительно объекта. 6. The method according to claim 1, characterized in that they provide for the reproduction of one of a number of similar effects assigned to an object, based on the orientation of the recipient's user device relative to the object.
7. Способ по п. 1, отличающийся тем, что обеспечивают воспроизведение по меныпей мере одного эффекта, присвоенного объекту, с наложением на него фильтра из ряда фильтров или без наложения фильтра, на основе ориентации пользовательского устройства получателя относительно объекта. 7. A method according to claim 1, characterized in that they provide for the reproduction of at least one effect assigned to an object, with a filter overlay from a number of filters or without a filter overlay, based on the orientation of the recipient’s user device relative to the object.
8. Способ по пп. 5-7, отличающийся тем, что определение ориентации пользовательского устройства получателя относительно объекта осуществляют на основе величины угла между направлением устройства захвата изображения пользовательского устройства получателя и объектом. 8. The method according to paragraphs. 5-7, characterized in that the determination of the orientation of the recipient's user device relative to the object is carried out on the basis of the angle between the direction of the image capture device of the recipient's user device and the object.
9. Способ по п. 1, отличающийся тем, что обеспечивают увеличение величины по меньшей мере одной из характеристик эффекта с уменьшением расстояния от пользовательского устройства получателя до объекта в пределах его пороговой величины и наоборот. 9. The method according to p. 1, characterized in that they provide an increase in the value of at least one of the characteristics of the effect with a decrease in the distance from the recipient's user device to the object within its threshold value and vice versa.
10. Способ по пп. 4 и 9, отличающийся тем, что в качестве характеристики эффекта используют громкость для звука и интенсивность для вибрации. 10. The method according to paragraphs. 4 and 9, characterized in that as a characteristic of the effect use volume for sound and intensity for vibration.
11. Способ по и. 1, отличающийся тем, что расстояние от пользовательского устройства получателя до объекта вычисляют на основе координат х, у и z пользовательского устройства получателя и координат х’, у’ и z’ объекта. 11. The method according to and. 1, characterized in that the distance from the recipient's user device to the object is calculated based on the x, y and z coordinates of the user device of the recipient and the x ’, y’ and z ’coordinates of the object.
12. Способ по и. 1, отличающийся тем, что при создании сообщения осуществляют выбор основного виртуального объекта из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства отправителя; размещение выбранного основного виртуального объекта на экране пользовательского устройства отправителя в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства отправителя, и его отображение как объекта дополненной реальности; и необязательно объединение отображаемого основного виртуального объекта с по меныней мере одним дополнительным виртуальным объектом. 12. The method according to and. 1, characterized in that during the creation of a message, the selection of the main virtual object from the available selectable primary virtual objects is performed via the user interface on the screen of the user's sender device; placing the selected primary virtual object on the screen of the user device of the sender in the specified location displayed by the device capturing the image of the user device of the sender, and displaying it as an object of augmented reality; and optionally combining the displayed primary virtual object with at least one additional virtual entity.
13. Способ по п. 12, отличающийся тем, что в качестве основного или дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 13. The method according to p. 12, characterized in that at least one of the 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video is used as the main or additional virtual object.
14. Способ по пп. 1 или 12, отличающийся тем, что задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 14. The method according to paragraphs. 1 or 12, characterized in that the location setting is provided by binding the main virtual object to the geographic location displayed by the image capturing device of the user device.
15. Способ по и. 1, отличающийся тем, что во время и/или после размещения основного виртуального объекта отправителю и получателю предоставляют возможность осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 15. The method according to and. 1, characterized in that during and / or after the placement of the primary virtual object, the sender and recipient are provided with the possibility of performing at least one of the following operations: sending a text message, sending a voice message, sending a video message, sending a multimedia message, video call.
16. Способ по пи. 1 или 12, отличающийся тем, что после размещения основного виртуального объекта обеспечивают возможность его отображения на экране пользовательского устройства под разными углами и с разных точек обзора. 16. Method according to pi. 1 or 12, characterized in that after placing the main virtual object, it is possible to display it on the screen of the user device from different angles and from different points of view.
17. Пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меныпей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство, получение сообщения, содержащего по меньшей мере один основной виртуальный объект, пользовательским устройством; распознавание посредством пользовательского устройства основного виртуального объекта, содержащегося в полученном сообщении; предоставление возможности размещения посредством пользовательского устройства основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; распознавание посредством пользовательского устройства объектов реального мира, отображаемых на экране пользовательского устройства устройством захвата изображения пользовательского устройства во время и/или после размещения основного виртуального объекта, и инициирование посредством пользовательского устройства воспроизведения по меныпей мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства до объекта меньше или равно пороговой величине. 17. A user device for organizing user interaction in a communication system, including an image capture device, at least one processor, a machine-readable medium connected to at least one processor and containing software instructions that, when executed by at least one processor, provide enabling the transmission by the user device of a message containing at least one primary virtual object for change necks least one other user device receiving a message comprising at least one primary virtual object, a user device; recognition by the user device of the main virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by the user playback device by A measure of one effect assigned to a recognized real-world object and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value.
18. Устройство по п. 17, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают создание карты местоположений распознанных объектов для определения расстояния от пользовательского устройства до каждого из распознанных объектов и ориентации пользовательского устройства получателя относительно каждого из распознанных объектов. 18. The device according to claim 17, wherein the program instructions contain instructions that provide a map of the locations of the recognized objects to determine the distance from the user device to each of the recognized objects and the orientation of the recipient’s user device relative to each of the recognized objects.
19. Устройство по п. 17, отличающееся тем, что программные инструкции содержат инструкции, которые для воспроизведения эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, обеспечивают обращение к библиотеке, содержащей эффекты, присвоенные различным объектам реального мира и виртуальным объектам. 19. The device according to claim 17, wherein the program instructions comprise instructions for reproducing an effect assigned to a recognized real-world object and / or virtual object, provide access to a library containing effects assigned to various real-world objects and virtual objects.
20. Устройство по п. 17, отличающееся тем, что эффект представляет собой звук и/или вибрацию. 20. The device according to p. 17, characterized in that the effect is a sound and / or vibration.
21. Устройство по п. 20, отличающееся тем, что звук является стереофоническим, и программные инструкции содержат инструкции, которые обеспечивают распределение звука по каналам при воспроизведении на основе ориентации пользовательского устройства относительно объекта. 21. The device according to claim 20, wherein the sound is stereophonic, and the program instructions contain instructions that ensure the distribution of sound across the channels during playback based on the orientation of the user device relative to the object.
22. Устройство по и. 17, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают воспроизведение одного из ряда однотипных эффектов, присвоенных объекту, на основе ориентации пользовательского устройства относительно объекта. 22. The device according to and. 17, characterized in that the program instructions contain instructions that ensure the reproduction of one of a number of similar effects assigned to an object, based on the orientation of the user device relative to the object.
23. Устройство по и. 17, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают воспроизведение по меньшей мере одного эффекта, присвоенного объекту, с наложением на него фильтра из ряда фильтров или без наложения фильтра, на основе ориентации пользовательского устройства относительно объекта. 23. The device according to and. 17, characterized in that the program instructions contain instructions that ensure the reproduction of at least one effect assigned to an object, with a filter overlay from a number of filters or without a filter overlay, based on the orientation of the user device relative to the object.
24. Устройство по пп. 21-23, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают определение ориентации пользовательского устройства относительно объекта на основе величины угла между направлением устройства захвата изображения пользовательского устройства и объектом. 24. The device according to PP. 21-23, characterized in that the software instructions contain instructions that provide a determination of the orientation of the user device relative to the object based on the angle between the direction of the image capture device of the user device and the object.
25. Устройство по п. 17, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают увеличение величины по меныпей мере одной из характеристик эффекта с уменьшением расстояния от пользовательского устройства до объекта в пределах его пороговой величины и наоборот. 25. The device according to claim 17, wherein the program instructions contain instructions that provide an increase in the value of one of the characteristics of the effect with a decrease in the distance from the user device to the object within its threshold value and vice versa.
26. Устройство по пп. 20 и 25, отличающееся тем, что характеристика эффекта представляет собой громкость для звука и интенсивность для вибрации. 26. The device according to PP. 20 and 25, characterized in that the effect characteristic is the volume for sound and the intensity for vibration.
27. Устройство по п. 17, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают вычисление расстояния от пользовательского устройства до объекта на основе координат х, у и z пользовательского устройства и координат х’, у’ и z’ объекта. 27. The device according to claim 17, wherein the program instructions comprise instructions that provide for calculating the distance from the user device to the object based on the x, y and z coordinates of the user device and the x ’, y’ and z ’coordinates of the object.
28. Устройство по п. 17, отличающееся тем, что программные инструкции содержат инструкции, которые при создании сообщения обеспечивают предоставление возможности осуществления выбора основного виртуального объекта из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства; размещения выбранного основного виртуального объекта на экране пользовательского устройства в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; и необязательно объединения отображаемого основного виртуального объекта с по меньшей мере одним дополнительным виртуальным объектом. 28. The device according to claim 17, wherein the program instructions contain instructions that, when creating a message, provide the opportunity to select the main virtual object from the basic virtual objects available to the choice via the user interface on the screen of the user device; placing the selected primary virtual object on the user device screen at the specified location displayed by the device capturing the image of the user device and displaying it as an object of augmented reality; and optionally combining the displayed primary virtual object with at least one additional virtual entity.
29. Устройство по п. 28, отличающееся тем, что основной или дополнительный виртуальный объект представляет собой по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 29. The device according to p. 28, wherein the primary or additional virtual object is at least one of 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video.
30. Устройство по пп. 17 или 28, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают задание местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 30. The device according to PP. 17 or 28, characterized in that the program instructions contain instructions that provide the setting of the location by linking the main virtual object to the geographic location displayed by the image capturing device of the user device.
31. Устройство по п. 17, отличающееся тем, что программные инструкции содержат инструкции, которые во время и/или после размещения основного виртуального объекта обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 31. The device according to p. 17, characterized in that the program instructions contain instructions that during and / or after the placement of the primary virtual object provide the ability to perform at least one of the following operations: send a text message, send a voice message, send a video messaging, multimedia messaging, video calling.
32. Устройство по пп. 17 или 28, отличающееся тем, что программные инструкции содержат инструкции, которые после размещения основного виртуального объекта обеспечивают предоставление возможности его отображения на экране пользовательского под разными углами и с разных точек обзора. 32. The device according to PP. 17 or 28, characterized in that the program instructions contain instructions that, after placing the main virtual object, provide the possibility of its display on the user screen from different angles and from different viewpoints.
33. Коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство, получение сообщения, содержащего по меныней мере один основной виртуальный объект, пользовательским устройством; распознавание посредством пользовательского устройства основного виртуального объекта, содержащегося в полученном сообщении; предоставление возможности размещения посредством пользовательского устройства основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; распознавание посредством пользовательского устройства объектов реального мира, отображаемых на экране пользовательского устройства устройством захвата изображения пользовательского устройства во время и/или после размещения основного виртуального объекта, и инициирование посредством пользовательского устройства воспроизведения по меныней мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства до объекта меньше или равно пороговой величине; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером переданного сообщения от пользовательского устройства отправителя, сохранение полученного виртуального объекта, передачу сохраненного сообщения от сервера на пользовательское устройство по меньшей мере одного получателя. 33. A communication system that allows user devices and a server to communicate with each other, containing program instructions located on the machine-readable media of the user device, which, when executed by at least one processor of the user device, ensures that the user device can send a message containing at least one primary virtual object, on at least one other user object e device receiving a message comprising at least one basic menyney virtual object, user device; recognition by the user device of the main virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value rank; and software instructions located on the server's machine-readable media, which, when executed by at least one server processor, ensures that the server receives a transmitted message from the sender's user device, saves the received virtual object, transfers the saved message from the server to the user device to at least one recipient .
34. Система по п. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают создание карты местоположений распознанных объектов для определения расстояния от пользовательского устройства до каждого из распознанных объектов и ориентации пользовательского устройства получателя относительно каждого из распознанных объектов. 34. The system of claim 33, wherein the program instructions located on the computer-readable media of the user device contain instructions that provide a map of the locations of the recognized objects to determine the distance from the user device to each of the recognized objects and the orientation of the user device of the recipient relative to each from recognized objects.
35. Система по п. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые для воспроизведения эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, обеспечивают обращение к библиотеке, содержащей эффекты, присвоенные различным объектам реального мира и виртуальным объектам. 35. The system of claim. 33, characterized in that the program instructions. located on the computer-readable media of the user device, contain instructions that, to reproduce the effect assigned to a recognized real-world object and / or virtual object, provide access to a library containing effects assigned to various real-world objects and virtual objects.
36. Система по п. 33, отличающаяся тем, что эффект представляет собой звук и/или вибрацию. 36. The system of claim. 33, characterized in that the effect is sound and / or vibration.
37. Система по п. 36, отличающаяся тем, что звук является стереофоническим, и программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают распределение звука по каналам при воспроизведении на основе ориентации пользовательского устройства относительно объекта. 37. The system of claim 36, wherein the sound is stereophonic, and the program instructions located on the computer-readable media of the user device contain instructions that ensure the distribution of sound across channels during playback based on the orientation of the user device relative to the object.
38. Система по п. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают воспроизведение одного из ряда однотипных эффектов, присвоенных объекту, на основе ориентации пользовательского устройства относительно объекта. 38. The system of claim 33, wherein the program instructions located on the machine-readable media of the user device contain instructions that ensure the reproduction of one of a number of similar effects assigned to the object, based on the orientation of the user device relative to the object.
39. Система по п. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают воспроизведение по меньшей мере одного эффекта, присвоенного объекту, с наложением на него фильтра из ряда фильтров или без наложения фильтра, на основе ориентации пользовательского устройства относительно объекта. 39. The system of claim 33, wherein the program instructions located on the computer-readable media of the user device contain instructions that ensure the reproduction of at least one effect assigned to an object, with or without a filter from a number of filters applied to it, based on the orientation of the user device relative to the object.
40. Система по пп. 37-39, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают определение ориентации пользовательского устройства относительно объекта на основе величины угла между направлением устройства захвата изображения пользовательского устройства и объектом. 40. The system of PP. 37-39, characterized in that the program instructions located on the machine-readable media of the user device contain instructions that determine the orientation of the user device relative to the object based on the angle between the direction of the image capture device of the user device and the object.
41. Система по п. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают увеличение величины по меньшей мере одной из характеристик эффекта с уменьшением расстояния от пользовательского устройства до объекта в пределах его пороговой величины и наоборот. 41. The system of claim 33, wherein the program instructions located on the computer-readable media of the user device contain instructions that provide an increase in the value of at least one of the characteristics of the effect with a decrease in the distance from the user device to the object within its threshold value and vice versa.
42. Система по пи. 36 и 41, отличающаяся тем, что характеристика эффекта представляет собой громкость для звука и интенсивность для вибрации. 42. The system for pi. 36 and 41, characterized in that the effect characteristic is the volume for sound and the intensity for vibration.
43. Система по и. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают вычисление расстояния от пользовательского устройства до объекта на основе координат х, у и z пользовательского устройства и координат х’, у’ и z’ объекта. 43. The system for and. 33, characterized in that the software instructions located on the machine-readable media of the user device contain instructions that provide the calculation of the distance from the user device to the object based on the x, y and z coordinates of the user device and the x ’, y’ and z ’coordinates of the object.
44. Система по и. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые при создании сообщения обеспечивают предоставление возможности осуществления выбора основного виртуального объекта из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства; размещения выбранного основного виртуального объекта на экране пользовательского устройства в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; и необязательно объединения отображаемого основного виртуального объекта с по меньшей мере одним дополнительным виртуальным объектом. 44. The system for and. 33, characterized in that the program instructions located on the machine-readable media of the user device contain instructions that, when creating a message, provide the possibility of making the choice of the main virtual object available to the choice of the main virtual objects through the user interface on the screen of the user device; placing the selected primary virtual object on the user device screen at the specified location displayed by the device capturing the image of the user device and displaying it as an object of augmented reality; and optionally combining the displayed primary virtual object with at least one additional virtual entity.
45. Система по и. 44, отличающаяся тем, что основной или дополнительный виртуальный объект представляет собой по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 45. The system for and. 44, characterized in that the primary or secondary virtual object is at least one of 2d static or an animated virtual object, 3d static or animated virtual object, text, audio or video.
46. Система по пп. 33 или 44, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают задание местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 46. The system of PP. 33 or 44, characterized in that the software instructions located on the machine-readable media of the user device contain instructions that provide the setting of the location by linking the primary virtual object to the geographic location displayed by the image capture device of the user device.
47. Система по п. 33, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время и/или после размещения основного виртуального объекта обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 47. The system of claim 33, wherein the program instructions located on the machine-readable media of the user device contain instructions that, during and / or after the placement of the primary virtual object, provide the possibility of performing at least one of the following operations: messaging, voice messaging, video messaging, multimedia messaging, video call.
48. Система по пп. 33 или 44, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые после размещения основного виртуального объекта обеспечивают предоставление возможности его отображения на экране пользовательского устройства под разными углами и с разных точек обзора. 48. The system of PP. 33 or 44, characterized in that the software instructions located on the machine-readable media of the user device contain instructions that after placing the main virtual object provide the possibility of its display on the screen of the user device from different angles and from different points of view.
49. Машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство, получение сообщения, содержащего по меныней мере один основной виртуальный объект, пользовательским устройством; распознавание посредством пользовательского устройства основного виртуального объекта, содержащегося в полученном сообщении; предоставление возможности размещения посредством пользовательского устройства основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; распознавание посредством пользовательского устройства объектов реального мира, отображаемых на экране пользовательского устройства устройством захвата изображения пользовательского устройства во время и/или после размещения основного виртуального объекта, и инициирование посредством пользовательского устройства воспроизведения по меныней мере одного эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, когда расстояние от пользовательского устройства до объекта меньше или равно пороговой величине. 49. A computer-readable medium containing software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, allows the user device to transmit a message containing at least one primary virtual object to at least one other user device, receiving a message containing at least one primary virtual object, user device; recognition by the user device of the main virtual object contained in the received message; enabling the user to place the primary virtual object at a specified location displayed by the device for capturing the image of the user device, and displaying it as an object of augmented reality; recognition by the user device of real-world objects displayed on the screen of the user device by the device capturing the image of the user device during and / or after placing the primary virtual object, and initiating by means of the user playback device at least one effect assigned to the recognized object of the real world and / or virtual object when the distance from the user device to the object is less than or equal to the threshold value rank.
50. Носитель по п. 49, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают создание карты местоположений распознанных объектов для определения расстояния от пользовательского устройства до каждого из распознанных объектов и ориентации пользовательского устройства получателя относительно каждого из распознанных объектов. 50. The carrier according to claim 49, wherein the program instructions comprise instructions that provide a map of the locations of the recognized objects to determine the distance from the user device to each of the recognized objects and the orientation of the user device of the recipient relative to each of the recognized objects.
51. Носитель по п. 49, отличающийся тем, что программные инструкции содержат инструкции, которые для воспроизведения эффекта, присвоенного распознанному объекту реального мира и/или виртуальному объекту, обеспечивают обращение к библиотеке, содержащей эффекты, присвоенные различным объектам реального мира и виртуальным объектам. 51. The carrier according to claim 49, wherein the program instructions comprise instructions for reproducing an effect assigned to a recognized real-world object and / or virtual object, provide access to a library containing effects assigned to various real-world objects and virtual objects.
52. Носитель по п. 49, отличающийся тем, что эффект представляет собой звук и/или вибрацию. 52. The carrier according to claim 49, wherein the effect is sound and / or vibration.
53. Носитель по п. 52, отличающийся тем, что звук является стереофоническим, и программные инструкции содержат инструкции, которые обеспечивают распределение звука по каналам при воспроизведении на основе ориентации пользовательского устройства относительно объекта. 53. The carrier according to claim 52, wherein the sound is stereo, and the program instructions comprise instructions that ensure the distribution of sound across the channels during playback based on the orientation of the user device relative to the object.
54. Носитель по и. 49, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают воспроизведение одного из ряда однотипных эффектов, присвоенных объекту, на основе ориентации пользовательского устройства относительно объекта. 54. The carrier for and. 49, characterized in that the program instructions contain instructions that ensure the reproduction of one of a number of similar effects assigned to an object, based on the orientation of the user device relative to the object.
55. Носитель по и. 49, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают воспроизведение по меныпей мере одного эффекта, присвоенного объекту, с наложением на него фильтра из ряда фильтров или без наложения фильтра, на основе ориентации пользовательского устройства относительно объекта. 55. The media for and. 49, characterized in that the program instructions contain instructions that provide for the reproduction of at least one effect assigned to an object, with a filter overlay from a series of filters or without a filter overlay, based on the orientation of the user device relative to the object.
56. Носитель по пи. 53-55, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают определение ориентации пользовательского устройства относительно объекта на основе величины угла между направлением устройства захвата изображения пользовательского устройства и объектом. 56. Carrier pi. 53-55, wherein the program instructions contain instructions that provide for determining the orientation of the user device relative to the object based on the angle between the direction of the image capturing device of the user device and the object.
57. Носитель по и. 49, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают увеличение величины по меньшей мере одной из характеристик эффекта с уменьшением расстояния от пользовательского устройства до объекта в пределах его пороговой величины и наоборот. 57. The carrier for and. 49, characterized in that the software instructions contain instructions that provide an increase in the value of at least one of the characteristics of the effect with decreasing distance from the user device to the object within its threshold value and vice versa.
58. Носитель по пи. 52 и 57, отличающийся тем, что характеристика эффекта представляет собой громкость для звука и интенсивность для вибрации. 58. Carrier pi. 52 and 57, characterized in that the effect characteristic is the volume for sound and the intensity for vibration.
59. Носитель по и. 49, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают вычисление расстояния от пользовательского устройства до объекта на основе координат х, у и z пользовательского устройства и координат х’, у’ и z’ объекта. 59. The carrier for and. 49, characterized in that the software instructions contain instructions that provide a calculation of the distance from the user device to the object based on the x, y and z coordinates of the user device and the x, y 'and z' coordinates of the object.
60. Носитель по и. 49, отличающийся тем, что программные инструкции содержат инструкции, которые при создании сообщения обеспечивают предоставление возможности осуществления выбора основного виртуального объекта из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства; размещения выбранного основного виртуального объекта на экране пользовательского устройства в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, и его отображение как объекта дополненной реальности; и необязательно объединения отображаемого основного виртуального объекта с по меныней мере одним дополнительным виртуальным объектом. 60. The carrier on and. 49, characterized in that the program instructions contain instructions that, when creating a message, provide the possibility of making the choice of the main virtual object available to the choice of the main virtual objects through the user interface on the screen of the user device; placing the selected primary virtual object on the user device screen at the specified location displayed by the device capturing the image of the user device and displaying it as an object of augmented reality; and optionally combining the displayed primary virtual object with at least one additional virtual object.
61. Носитель по п. 60, отличающийся тем, что основной или дополнительный виртуальный объект представляет собой по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 61. The carrier according to claim 60, wherein the primary or additional virtual object is at least one of a 2d static or animated virtual object, a 3d static or animated virtual object, text, audio or video.
62. Носитель по пп. 49 или 60, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают задание местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 62. Carrier on PP. 49 or 60, characterized in that the program instructions contain instructions that provide the setting of the location by binding the primary virtual object to the geographic location displayed by the image capturing device of the user device.
63. Носитель по и. 49, отличающийся тем, что программные инструкции содержат инструкции, которые во время и/или после размещения основного виртуального объекта обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 63. The carrier for and. 49, characterized in that the program instructions contain instructions that, during and / or after the placement of the main virtual object, provide the ability to perform at least one of the following operations: sending a text message, sending a voice message, sending a video message, sending a multimedia message, video call.
64. Носитель по пп. 49 или 60, отличающийся тем, что программные инструкции содержат инструкции, которые после размещения основного виртуального объекта обеспечивают предоставление возможности его отображения на экране пользовательского под разными углами и с разных точек обзора. 64. The carrier on PP. 49 or 60, characterized in that the program instructions contain instructions that after placing the main virtual object provide the possibility of its display on the user's screen from different angles and from different points of view.
PCT/IB2018/059914 2017-12-15 2018-12-12 Interaction of users in a communication system using augmented reality effects WO2019116244A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762599031P 2017-12-15 2017-12-15
US62/599,031 2017-12-15

Publications (1)

Publication Number Publication Date
WO2019116244A1 true WO2019116244A1 (en) 2019-06-20

Family

ID=66820074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/059914 WO2019116244A1 (en) 2017-12-15 2018-12-12 Interaction of users in a communication system using augmented reality effects

Country Status (1)

Country Link
WO (1) WO2019116244A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602314A (en) * 2019-08-30 2019-12-20 维沃移动通信有限公司 Operation control method and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
US8754907B2 (en) * 2010-11-02 2014-06-17 Google Inc. Range of focus in an augmented reality application
US9132342B2 (en) * 2012-10-31 2015-09-15 Sulon Technologies Inc. Dynamic environment and location based augmented reality (AR) systems
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754907B2 (en) * 2010-11-02 2014-06-17 Google Inc. Range of focus in an augmented reality application
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
US9132342B2 (en) * 2012-10-31 2015-09-15 Sulon Technologies Inc. Dynamic environment and location based augmented reality (AR) systems
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602314A (en) * 2019-08-30 2019-12-20 维沃移动通信有限公司 Operation control method and electronic equipment

Similar Documents

Publication Publication Date Title
US11259136B2 (en) Sound reproduction method and apparatus, storage medium, and electronic apparatus
US10979842B2 (en) Methods and systems for providing a composite audio stream for an extended reality world
EP3343349B1 (en) An apparatus and associated methods in the field of virtual reality
EP3236345A1 (en) An apparatus and associated methods
EP3039677B1 (en) Multidimensional virtual learning system and method
US10757528B1 (en) Methods and systems for simulating spatially-varying acoustics of an extended reality world
JP2011521511A (en) Audio augmented with augmented reality
EP3343348A1 (en) An apparatus and associated methods
CN107301028B (en) Audio data processing method and device based on multi-person remote call
JP2023519422A (en) AUDIO PROCESSING METHOD, DEVICE, READABLE MEDIUM AND ELECTRONIC DEVICE
EP3534596B1 (en) An apparatus and associated methods for telecommunications
WO2019082050A1 (en) User interaction in communication systems, using an augmented reality story message
WO2019116244A1 (en) Interaction of users in a communication system using augmented reality effects
JP6972308B2 (en) Methods and devices that connect user terminals as a group and provide services that include content related to the group.
US20220171593A1 (en) An apparatus, method, computer program or system for indicating audibility of audio content rendered in a virtual space
JP2021500764A (en) Improving video quality for video calls
EP3422743B1 (en) An apparatus and associated methods for audio presented as spatial audio
US11696085B2 (en) Apparatus, method and computer program for providing notifications
KR20190081163A (en) Method for selective providing advertisement using stereoscopic content authoring tool and application thereof
CN115134581A (en) Fusion reproduction method, system, equipment and storage medium of image and sound
WO2020139280A1 (en) A system for changing virtual reality scenarios in association with music
EP3588986A1 (en) An apparatus and associated methods for presentation of audio
WO2019155311A1 (en) Communication system with automatically appearing augmented reality effects
CN117476015A (en) Audio processing method, device, equipment and storage medium
CN115531878A (en) Game voice playing method and device, storage medium and electronic equipment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18887993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18887993

Country of ref document: EP

Kind code of ref document: A1