[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017217595A1 - Server and system for implementing augmented reality image based on positioning information - Google Patents

Server and system for implementing augmented reality image based on positioning information Download PDF

Info

Publication number
WO2017217595A1
WO2017217595A1 PCT/KR2016/010797 KR2016010797W WO2017217595A1 WO 2017217595 A1 WO2017217595 A1 WO 2017217595A1 KR 2016010797 W KR2016010797 W KR 2016010797W WO 2017217595 A1 WO2017217595 A1 WO 2017217595A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
augmented reality
tag
information
server
Prior art date
Application number
PCT/KR2016/010797
Other languages
French (fr)
Korean (ko)
Inventor
박영봉
박용석
Original Assignee
주식회사 엔토소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160073503A external-priority patent/KR101704513B1/en
Priority claimed from KR1020160079144A external-priority patent/KR101729923B1/en
Application filed by 주식회사 엔토소프트 filed Critical 주식회사 엔토소프트
Publication of WO2017217595A1 publication Critical patent/WO2017217595A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • Various embodiments of the present invention relate to a server and a system for implementing an augmented reality image, and to a technique for implementing a virtual object to be output from an augmented reality image without using a GPS signal or a marker.
  • the present invention also relates to a technology for implementing a stereoscopic image based on a relative position of a virtual object using a screen image and an augmented reality image.
  • AR Augmented Reality
  • This augmented reality technology refers to a technology that shows a three-dimensional virtual image superimposed on a real image or background as a single image.
  • HMD head mounted display
  • smart glass eg, Google Glass TM
  • a polarization phenomenon is used to induce both eyes of an observer to see a different image to give a small stereoscopic effect or to obliquely present objects at an observer's point of view. This was mainly used.
  • AR Augmented Reality
  • This augmented reality technology refers to a technology that shows a three-dimensional virtual image superimposed on a real image or background as a single image.
  • HMD head mounted display
  • smart glass eg, Google Glass TM
  • the conventional location-based method mainly uses a method of checking the position of the augmented reality device using a GPS signal, such as an error occurs in the location confirmation process in places where it is difficult to receive a GPS signal, such as indoors.
  • a GPS signal such as indoors.
  • the conventional method of implementing a three-dimensional image using only the beam project has a problem that it is impossible to represent the image out of the screen as an image.
  • the conventional image analysis method of the augmented reality technology has to analyze the markers included in the photographed image resource and the amount of computation is increased. That is, processing delays and heat generation may occur frequently due to complex calculations in a device for analyzing an image.
  • the conventional location-based method of the augmented reality technology mainly uses a method of identifying the position of the augmented reality device using a GPS signal, such as in the location confirmation process in places where it is difficult to receive a GPS signal, such as indoors An error occurs and there is a problem that it is difficult to express a precise position.
  • an object of the present invention is to efficiently implement augmented reality based on the direction and location information of an augmented reality device without using a GPS signal or a marker. .
  • various embodiments of the present invention to provide a method and system for implementing a stereoscopic image that can be expressed in a three-dimensional image to the object off the screen using augmented reality image and the screen image.
  • various embodiments of the present invention have an object to efficiently implement augmented reality image based on the direction and location information of the augmented reality device without using a GPS signal or a marker.
  • a server for implementing augmented reality image a communication module for connecting a tag device or a reference device and the server;
  • An information collector configured to collect relative position information of the tag apparatus based on the position of the reference apparatus spaced apart from the tag apparatus as a reference point and view direction information viewed by the tag apparatus;
  • a virtual object determiner configured to determine a position of a virtual object to be output from an augmented reality image based on location information of the tag device and view direction information of the tag device.
  • the server may further include a virtual object rendering module that renders the virtual object based on the location of the virtual object. If the virtual object rendering module is not included in the server, the virtual object determination unit may transmit location information of the virtual object indicating the determined location to the virtual object rendering module through the communication module. In addition, when the server includes the virtual object rendering module, the virtual object rendering module may transmit the rendered virtual object to the augmented reality display device connected to the tag device or to which the tag device is attached.
  • the information collecting unit may receive the view direction information from the tag device through the communication module and receive location information of the tag device from the reference device through the communication module. can do.
  • the information collecting unit collects position information of each tag apparatus located in the propagation area of each reference apparatus from a plurality of reference apparatuses.
  • the virtual object determiner sets one reference device or any point among the plurality of reference devices as an origin, and calculates relative coordinates of each reference device with respect to the origin as first virtual coordinate information.
  • the location information of each tag device with respect to the virtual coordinate information may be calculated as second virtual coordinate information, and the location of the virtual object may be determined based on the second virtual coordinate information and view direction information of each tag device.
  • a system for implementing an augmented reality image may include: a tag device attached to an augmented reality display device or connected to the augmented reality display device; A reference device spaced apart from the tag device by a predetermined distance; And collecting the relative position information of the tag apparatus based on the position of the reference apparatus and the view direction information viewed by the tag apparatus by communicating with the tag apparatus and the reference apparatus, the position information of the tag apparatus, and the tag. It may include a server for determining the position of the virtual object to be output in the augmented reality image based on the view direction information of the device.
  • the system may further include a virtual object rendering module that renders the virtual object based on the position of the virtual object.
  • the system or the reference device includes an antenna module for detecting a position of the tag device, and the antenna module includes three or more antennas having different heights and directions, respectively.
  • the position of each antenna may be coordinated with respect to the reference device and recognized by the server.
  • the tag device includes a communication module and a sensor module, and the tag device generates and generates view direction information indicating a direction viewed by the tag device through the sensor module. View direction information may be transmitted to the server through the communication module.
  • the server collects position information of each tag apparatus located in the propagation area of the antenna module from the plurality of reference apparatuses, and Set one reference device or any point among a plurality of reference devices as an origin, calculate relative coordinates of each reference device with respect to the origin as first virtual coordinate information, and the angle for the first virtual coordinate information.
  • the location information of the tag device may be calculated as second virtual coordinate information, and the location of the virtual object may be determined based on the second virtual coordinate information and view direction information of each tag device.
  • a server may include a server for implementing a stereoscopic image through a space including a screen, the virtual object manager configured to identify a location of a virtual object set in the space; A screen image output unit configured to output the virtual object as a screen image on the screen when the virtual object is output to the screen image; An augmented reality image output unit configured to output the virtual object as an augmented reality image in the space when the virtual object is determined to be output as an augmented reality image; And an output controller configured to output the virtual object through one of the screen image output unit and the augmented reality image output unit based on an arbitrary point in the space, the screen, and the position of the virtual object. have.
  • the output controller may be configured to locate the virtual object through the augmented reality image output unit when the virtual object is located at an arbitrary point with respect to the screen in the space.
  • the virtual object may be output as a screen image through the screen image output unit when the virtual object is located opposite to the random point with respect to the screen in the space.
  • the output controller may control the virtual object through the augmented reality image output unit when the virtual object is located inside the screen.
  • the virtual object may be output as an augmented reality image, and when the virtual object is located outside the screen, the virtual object may be output as a screen image through the screen image output unit.
  • An augmented reality implementation system is an augmented reality implementation system for implementing a stereoscopic image through a space including a screen, attached to an augmented reality display device worn by an observer or connected to the augmented reality display device.
  • Tag device A reference device spaced apart from the tag device by a predetermined distance; And collecting the relative position information of the tag apparatus based on the position of the reference apparatus and the view direction information viewed by the tag apparatus by communicating with the tag apparatus and the reference apparatus, the position information of the tag apparatus, and the tag.
  • a server configured to determine a position of the virtual object to be output from the augmented reality image based on the view direction information of the device, wherein the stereoscopic image implementing server identifies the position of the determined virtual object in the space,
  • the virtual object may be output as either a screen image or an augmented reality image based on an arbitrary point, the screen, and the position of the virtual object.
  • the augmented reality implementation system or the reference device includes an antenna module for detecting the position of the tag device, the antenna modules each having a different height and direction Three or more antennas are included, and the position of each antenna is coordinated with respect to the reference device and can be recognized by the server.
  • the tag device includes a communication module and a sensor module, and the tag device generates view direction information indicating a direction viewed by the tag device through the sensor module.
  • the generated view direction information may be transmitted to the server through the communication module.
  • the server collects position information of each tag apparatus located in a propagation area of the antenna module from a plurality of reference apparatuses.
  • Set one reference device or any point among the plurality of reference devices as an origin calculate relative coordinates of each reference device with respect to the origin as first virtual coordinate information, and calculate the first virtual coordinate information.
  • the location information of each of the tag devices may be calculated as second virtual coordinate information, and the location of the virtual object may be determined based on the second virtual coordinate information and view direction information of each tag device.
  • a method of implementing a stereoscopic image may include: determining a location of a virtual object set in the space; And outputting the virtual object as one of a screen image and an augmented reality image based on an arbitrary point in the space, the screen, and a position of the virtual object.
  • the outputting of the virtual object as either a screen image or an augmented reality image may include: positioning the virtual object on the point of the screen with respect to the screen in the space; If the virtual object is output to the augmented reality image; And outputting the virtual object as the augmented reality image when the virtual object is located opposite to the random point with respect to the screen in the space.
  • the checking of the position of the virtual object set in the space may include: a tag device attached to an augmented reality display device worn by an observer in the space and the tag device; Communicating with a reference device spaced a predetermined distance apart; Collecting relative position information of the tag apparatus based on the position of the reference apparatus and view direction information viewed by the tag apparatus; And determining the location of the virtual object to be output from the augmented reality image based on the location information of the tag device and the view direction information of the tag device.
  • a processing speed for implementing an augmented reality image is improved by designating an output position of a virtual object based on location information and view direction information of a tag device without using a GPS signal or a marker, and a processing device. There is an effect that the calorific value of in and the area that can be expanded can be increased.
  • an object that is out of the screen may be represented as a stereoscopic image.
  • the processing speed for implementing the augmented reality image may be improved by designating the output position of the virtual object based on the position information and the view direction information of the tag apparatus without using a GPS signal or a marker. There is an effect that the amount of heat generated in the processing apparatus is reduced, and the field which can be expanded can be increased.
  • FIG. 1 is a block diagram of an augmented reality implementation system according to various embodiments of the present invention.
  • FIG. 2 is a block diagram of a server according to various embodiments of the present disclosure.
  • FIG. 3 is a flowchart illustrating a process of manufacturing an augmented reality image according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating an augmented reality implementation system according to various embodiments of the present disclosure.
  • FIG. 5 is an exemplary diagram of a multi tag device / reference device method according to various embodiments of the present disclosure.
  • FIG. 6 is a block diagram of an augmented reality implementation system according to another embodiment of the present invention.
  • FIGS. 7 to 9 are exemplary diagrams showing principles of implementing augmented reality (eg, stereoscopic images) according to various embodiments of the present disclosure.
  • augmented reality eg, stereoscopic images
  • FIG. 10 is a block diagram of a server according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an operation of implementing a stereoscopic image according to various embodiments of the present disclosure.
  • FIG. 12 is a flowchart illustrating an operation of determining an output position of a virtual object according to various embodiments of the present disclosure.
  • space may refer to the real world space used in augmented reality technology.
  • the "virtual space” referred to in this document may be a virtual coordinate space or a virtual local coordinate space for determining the position of the virtual object to be output to the space.
  • FIG. 1 is a block diagram of an augmented reality implementation system 10 according to various embodiments of the present invention.
  • the augmented reality implementation system 10 may include a tag device 100, a server 200, a reference device 300 and an antenna module 400.
  • the augmented reality implementation system 10 of FIG. 1 may further include a configuration (eg, a beam projector 700 and a screen 800) of FIG. 6 according to an embodiment to be described later.
  • the virtual object rendering module 500 is not included in the augmented reality implementation system 10, the virtual object rendering module 500 is not limited thereto. May be included in implementation system 10.
  • the tag device 100 may be a means for matching the viewpoint of the augmented reality observer when outputting the virtual objects in the augmented reality image. That is, various embodiments of the present invention may detach / attach or attach the tag device 100 to the augmented reality display device 600 in order to derive the observer's position and gaze direction. To this end, the tag device 100 may include a connection that may be attached or connected to the augmented reality display device 600.
  • the tag device 100 may include a controller (eg, a processor), a storage unit (eg, a memory), a wired / wireless communication module (eg, RF, Zigbee, infrared ray, transceiver, etc.) and a sensor module.
  • the tag device 100 may perform wired / wireless communication with the server 200 or the antenna module 400 through the communication module.
  • the tag device 100 may generate view direction information of the tag device 100 detected through the sensor module and transmit the generated view direction information to the server 200.
  • the view direction information may be, for example, a direction vector value in which the tag device 100 views an arbitrary direction in a local space to which the tag device 100 belongs.
  • the tag apparatus 100 may transmit identification information (eg, ID, etc.) of the tag apparatus 100 to the server 200 together with or independently of the view direction information.
  • identification information eg, ID, etc.
  • the sensor module of the tag device 100 may include an acceleration sensor and a geomagnetic sensor, and may generate view direction information that is direction information viewed by the tag device 100 based on this.
  • the tag device 100 may check the gravity direction using an acceleration sensor, and check the north north direction (the earth north direction) using the geomagnetic sensor. If you use the two directions to find the cross product, you can find the orthogonal side of the lateral direction. In this way, you can get the absolute axis of the earth. Then, the direction of the tag device can be obtained based on the absolute axis.
  • the viewing direction of the camera of the augmented reality display device 600 coincides with the view direction of the tag device 100.
  • the view direction information of the tag device 100 may be used as the observer's gaze direction.
  • the tag device 100 may be predefined in any one of the front and rear surfaces of the tag device 100 to be set in the view direction.
  • the server 200 communicates with the tag device 100 and the reference device 300 to collect location information and view direction information of the tag device 100, and based on the collected information, output the location of the virtual object. Can be specified.
  • the detailed configuration of the server 200 will be described in detail with reference to FIG. 2.
  • the reference device 300 may be used as a third reference point for calculating a relationship between the position of the observer and the output position of the virtual object.
  • the reference device 300 may include a controller (for example, a processor), a storage (for example, a memory), and a wired / wireless communication module (for example, RF, Zigbee, infrared ray, transceiver, etc.).
  • a controller for example, a processor
  • a storage for example, a memory
  • a wired / wireless communication module for example, RF, Zigbee, infrared ray, transceiver, etc.
  • the reference device 300 and the antenna module 400 are separately shown in FIG. 1, the present disclosure is not limited thereto, and the reference device 300 may include an antenna module 400.
  • the reference device 300 may transmit location information (eg, coordinates in a predetermined area) of the tag device 300 received from the antenna module 400 to the server 200.
  • location information eg, coordinates in a predetermined area
  • the reference device 300 may transmit identification information (eg, ID, etc.) of the tag device 100 to the server 200 together with or independently of the location information of the tag device 100.
  • identification information eg, ID, etc.
  • the antenna module 400 may include a plurality of antennas.
  • the antenna module 400 may include three or more antennas having different heights and directions, respectively, and the positions of the antennas are coordinated with respect to the reference device 300 in the local space.
  • the antenna module 400, the reference device 300, or the server 200 may be set or stored in advance.
  • the antenna module 400 or each antenna may include a communication module, a processor, a memory, and the like.
  • the antenna module 400 may be included in the reference device 300 or may be configured separately from the reference device 300, and may be connected to the reference device 300 or the server 200 by using wired or wireless communication. Location information of the tag device 100 may be transmitted.
  • the antenna module 400 may check the position information of the tag device 100.
  • the first antenna may transmit data including a sending time to the tag device 100 through radio waves. Then, the tag apparatus 100 may add identification information of the tag apparatus 100 to the received data, and may add the internal processing time of the tag apparatus 100 to the dispatch time included in the received data. .
  • the tag apparatus 100 may transmit data reflecting the identification information and the internal processing time to the first antenna, and the first antenna may transmit time and internal processing time of the tag apparatus 100 at the arrival time at which the data is received.
  • the round trip time can be calculated by subtracting Then, the first antenna may calculate the distance to the tag device 100 by multiplying the propagation speed by the round trip time.
  • the above-described operations are repeated in the second and third antennas to measure the distances from the respective antennas to the tag device 100, and use the three spheres whose radius is the measured distance. If found, the position of the tag device 100 may be calculated using coordinates.
  • each antenna is described as calculating the above-described calculation process, but is not limited thereto, and this calculation process may be performed in the antenna module 400.
  • the virtual object rendering module 500 may render the virtual object based on the information received from the server 200.
  • the information received from the server 200 may include, for example, ID information of the tag device 100, view direction information of the tag device 100, location information of the tag device 100, or output location information of a virtual object. Can be.
  • the virtual object rendering module 500 may transmit information related to the rendered virtual object to the augmented reality display apparatus 600 through the communication module 210 of the server 200 or a communication module built therein.
  • the augmented reality display apparatus 600 may generate an augmented reality image by matching a virtual image received through a built-in camera with a virtual object received from the virtual object rendering module 500 or the server 200.
  • the augmented reality display device 600 may be a wearable device such as a terminal or a smart glass, such as a smart phone, tablet, but is not limited thereto.
  • the observer may observe the augmented reality image by wearing the augmented reality display device 600.
  • FIG. 2 is a block diagram of a server 200 according to various embodiments of the present disclosure.
  • the server 200 may include a communication module 210, a controller 220, an information collector 221, a virtual object determiner 225, and a storage 230.
  • the server 200 of FIG. 2 may further include a configuration of the server 200 of FIG. 10 according to an embodiment to be described later.
  • the communication module 210 may connect the server 200 with the tag device 100 or the reference device 300, and may be wired (eg, a connector, a terminal, etc.) and / or a wireless communication method (RF, infrared, Zigbee, Bluetooth or network).
  • wired e.g, a connector, a terminal, etc.
  • wireless communication method RF, infrared, Zigbee, Bluetooth or network.
  • the controller 220 may perform a data processing function of controlling a signal flow and processing data between an overall operation such as power supply control of the server 200 and an internal configuration of the server 200.
  • the controller 220 may include at least one processor.
  • the information collector 221 may collect data necessary for determining the location of the virtual object through the communication module 210.
  • the information collecting unit 221 collects the relative position information of the tag apparatus 100 and the view direction information of the tag apparatus 100 based on the position of the reference apparatus 100 spaced a predetermined distance from the tag apparatus 100. can do. In addition, the information collecting unit 221 may receive identification information of the tag device 100 from the tag device 100. The information collector 221 may transfer the collected information to the controller 220, the virtual object determiner 225, or the storage 230.
  • the virtual object determiner 225 may perform a function of determining an output position of the virtual object based on the information collected by the server 200.
  • the virtual object determination unit 225 may collect information (eg, identification information, location information, view direction information) related to the tag device 100, and may collect location information and view direction information of the tag device 100. You can set the position and direction of the virtual camera.
  • the virtual camera may be a virtual logical means for mapping the augmented reality image to the viewer's viewpoint to determine the output position of the virtual object.
  • the view direction and position of the virtual camera may be matched with the view direction and position of the camera included in the augmented reality display device 600.
  • the virtual object determiner 225 may designate an output position (eg, coordinates) of the virtual object in the viewing direction and the position of the tag device 100 mapped to the observer's gaze direction and the position. When the designation is completed, the virtual object determiner 225 may transmit output position information of the designated virtual object to the virtual object rendering module 500.
  • an output position eg, coordinates
  • the storage unit 230 may store data received or generated from the controller 220, the server 200, or other components of the AR system 10.
  • the storage unit 230 may include, for example, a memory, a cash, a buffer, and the like.
  • the storage unit 230 may include an information DB 231 and a content DB 235.
  • the information DB 231 and the content DB 235 are illustrated as being separated on the storage unit 230, the information DB 231 and the content DB 235 are not limited thereto and may be configured as one module.
  • the information DB 231 may store information collected through the information collector 221.
  • the information DB 231 may store output location information of the virtual object generated by the server 200. As new information is generated / received, existing information of the information DB 231 may be changed or updated with information collected through the information collection unit 221 at a predetermined period, at any time point or in real time.
  • the content DB 235 may store content necessary to implement an augmented reality image. Such content may be, for example, at least one virtual object to be inserted into an augmented reality image, but is not limited thereto.
  • the information collecting unit 221 and the virtual object determining unit 225 may be configured to logically or functionally classify each function of the control unit 220 of the server 200. Therefore, the information collector 221, the virtual object determiner 225, and the controller 220 may be configured as one module.
  • the functions of the information collector 221, the virtual object determiner 225, and the controller 220 may be implemented in the form of a routine, an instruction, or a program stored in the storage 230 (eg, a memory). .
  • routines, instructions, or programs may be stored in a computer-readable storage medium.
  • Storage media includes all types of storage media on which programs and data are stored so that they can be read by a computer system. Examples include Read Only Memory (ROM), Random Access Memory (RAM), Compact Disk (CD), Digital Video Disk (DVD) -ROM, Magnetic Tape, Floppy Disk, Optical Data Storage, Flash Memory Devices, etc. Can be.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • CD Compact Disk
  • DVD Digital Video Disk
  • magnetic Tape Magnetic Tape
  • Floppy Disk Optical Data Storage
  • Flash Memory Devices etc.
  • these storage media can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • FIG. 3 is a flowchart illustrating a process of manufacturing an augmented reality image according to various embodiments of the present disclosure. For convenience of explanation, it will be described with reference to FIG. 4. 4 is a diagram illustrating an augmented reality implementation system 10 according to various embodiments of the present disclosure.
  • the server 200 may collect location information and view direction information of a tag device.
  • a tag device 100, a reference device 300, and an augmented reality display device 600 implemented in a local coordinate space are shown. Also shown is a server 200 that receives information from configurations of a local coordinate space. Although not shown, the virtual object rendering module 500 may be included in the server 200 or the augmented reality display device 600, and it is assumed that the antenna module 400 is included in the reference device 300.
  • the tag device 100 may be coupled to the outside of the augmented reality display device 600 as shown in FIG. 4, but in contrast, the tag device 100 may be coupled in a built-in form of the augmented reality display device 600. It may be.
  • the server 200 may receive the view direction information viewed by the tag device 100 and the identification information of the tag device 100 from the tag device 100, and receive the location information of the tag device 100 from the antenna module 400. ) Or from the reference device 300. In an embodiment, the server 200 may transmit or broadcast a radio signal to the tag device 100, the reference device 300, or the antenna module 400 to collect view direction information and location information. .
  • the server 200 may determine an output position of the virtual object based on the collected information.
  • the local coordinate space may be a virtual local coordinate space having the reference device 300 as the reference point (or origin, 49).
  • the local coordinate space has a position of the reference device 300 as an origin 49, and orthogonal axes in three directions formed on the basis of the origin 49 (for example, X axis 45 and Y).
  • Axis 43, Z axis 41) can be made.
  • the server 200 may check the location of the tag device 100 in the local coordinate space based on the collected view direction information and the location information of the tag device 100.
  • the server 200 may set the view direction and the position of the tag device 100 as the view direction and the position of the virtual camera. This is to match the viewpoint of the observer with the tag apparatus 100.
  • the server 200 may determine an output position of the virtual object for providing to the observer based on the view direction and the position of the tag device 100. Such an output position may correspond to a predetermined coordinate in the local coordinate space of FIG. 4, and a specific designated position may be determined by a content scenario set or preset by an administrator of the server 200 or the augmented reality implementation system 10. .
  • the virtual object rendering module 500 may render an image of the virtual object based on the output position of the virtual object.
  • the augmented reality display apparatus 600 may generate an augmented reality image by matching a real image acquired through a camera with a virtual object image rendered by the virtual object rendering module 500.
  • an augmented reality image can be realized more quickly and efficiently by specifying an output position of a virtual object without using a GPS signal or a marker.
  • FIG. 5 is an exemplary diagram of a multi tag device / reference device method according to various embodiments of the present disclosure.
  • the augmented reality implementation system 10 is composed of a plurality of tag devices (100_1, 100_2, 100_3) and a plurality of reference devices (300_S, 300_1, 300_2) Can be.
  • it is divided into a first group (c1) and a first group (c2).
  • the first group c1 refers to components belonging to the propagation area of the antenna module 400 of the reference device 300_1
  • the second group c2 represents the propagation area of the antenna module 400 of the reference device 300_2. It means components belonging to.
  • the server 200 may receive information from all components belonging to the first group c1 and the second group c2.
  • one reference device 300 is obtained as a reference point or a reference point to obtain a relative position of the tag device 100, in the embodiment of FIG. 5, since each reference device 300 has a relative coordinate value, the tag is tagged. There is a need for a cooperative task that can specify the location of the devices 100.
  • the server 200 may set any one of the plurality of reference devices 300_S, 300_1, and 300_2 as the origin.
  • the present disclosure is not limited thereto, and the server 200 may set an arbitrary point of the above-described local coordinate space as the origin.
  • the server 2000 may calculate relative coordinates of each of the reference devices 300_1 and 300_2 with respect to the origin as first virtual coordinate information. That is, the reference device 300_1 of the first group c1 and the reference device 300_2 of the second group c2 may first calculate coordinates determined relative to the origin.
  • the server 200 may calculate location information of each tag device 100_1, 100_2, and 100_3 with respect to the calculated first virtual coordinate information as second virtual coordinate information. As a result, location information of each of the tag devices 100_1, 100_2, and 100_3 based on the origin may be calculated.
  • the augmented reality implementation system 10 can further extend the range of the local area that can implement augmented reality.
  • FIG. 6 is a block diagram of an augmented reality implementation system 10 according to another embodiment of the present invention.
  • the content overlapping with FIG. 1 will be omitted or concisely disclosed. 1 and the other configuration, in FIG. 6, it may be confirmed that the beam projector 700 and the screen 800 are further added.
  • the virtual object rendering module 500 and the beam projector 700 are not included in the augmented reality implementation system 10, the virtual object rendering module is not limited thereto and according to another embodiment. 500 and / or beam projector 700 may be included in augmented reality implementation system 10.
  • the server 200 communicates with the tag apparatus 100, the reference apparatus 300, and the antenna module 400 to output the virtual object disclosed in the aforementioned drawings.
  • the determination operation of the position may be performed.
  • the server 200 may select the virtual object as either a screen image or an augmented reality image based on the position of the virtual object, the screen 800 and an arbitrary point in the space (eg, the local space). You can output it as one.
  • the server 200 may perform a function of checking an output position of the virtual object and outputting the identified virtual object as an augmented reality image or a screen image according to a predetermined condition in a space. This function will be described in detail with reference to FIG. 10.
  • the virtual object rendering module 500 may render the virtual object based on the information received from the server 200.
  • the beam projector 700 may perform a function of outputting the screen image of the virtual object to the screen 800 based on the information received from the server 200.
  • the screen 800 is a device that outputs an image projected from the beam projector 700.
  • the screen 800 may be a rectangular screen, a circle screen, or a domed screen, but is not limited thereto.
  • the augmented reality implementation system 10 may output the virtual object as either a screen image or an augmented reality image.
  • 7 to 9 are exemplary views illustrating an implementation principle of a stereoscopic image according to various embodiments of the present disclosure. 7 to 9 illustrate a local space for implementing a stereoscopic image.
  • the augmented reality implementation system 10 or the server 200 may set an arbitrary virtual point o in the space, and check the positions of the virtual objects OB1 and OB2 to be output in the space. Can be.
  • the server 200 may output an object OB2 positioned at an arbitrary point O with respect to the screen 800 as a screen image.
  • the object OB1 positioned opposite to O) may be output as an augmented reality image.
  • This output result is shown as shown in FIG.
  • the augmented reality implementation system 10 may implement a stereoscopic image of a more stereoscopic and efficient method by implementing a portion of the plurality of objects as a screen image and a portion as an augmented reality image.
  • the server 200 outputs the virtual object OB2 in the internal space of the screen 800 based on the screen 800 as an augmented reality image, and outputs the virtual object OB1 in the external space of the screen 800.
  • FIG. 10 is a block diagram of the server 200 used in the augmented reality implementation system 10 of FIG. 6.
  • the configuration of the server 200 of FIG. 10 may further include the configuration of the server 200 of FIG. 2 or some components may be omitted.
  • the configuration of the server 200 of FIG. 10 the content overlapping with the server 200 of FIG. 2 will be omitted or briefly disclosed.
  • the server 200 includes a communication module 210, a controller 220, a virtual object manager 222, a screen image output unit 223, an augmented reality image output unit 224, and an output control unit ( 227 and the storage 230.
  • the communication module 210 may be connected to the virtual object rendering module 500 or the beam projector 700 to output the virtual object as a screen image or an augmented reality image.
  • the communication module 200 may be connected to the virtual object rendering module 500 or the beam projector 700 by an internal connection method (for example, a bus) in addition to the wired / wireless communication method.
  • the virtual object manager 222 may perform a function of determining the location of the virtual object to be output in the local space. To this end, the virtual object manager 222 may collect data necessary for determining the location of the virtual object in the augmented reality implementation system 10 through the communication module 210. The virtual object manager 222 may perform the same function as the virtual object determiner 225 of the server 200 of FIG. 2. That is, the virtual object manager 222 may determine the relative position information of the tag apparatus 100 and the view direction information of the tag apparatus 100 based on the position of the reference apparatus 100 spaced apart from the tag apparatus 100 by a predetermined distance. Can be collected.
  • the screen image output unit 223 may receive a determination signal that outputs the virtual object as a screen image from the output control unit 227, and may transmit the screen image of the virtual object to the beam projector 700.
  • the screen image may be generated in advance by the screen image output unit 223 or by receiving the determination signal of the output control unit 227.
  • the beam projector 700 may be included in the screen image output unit 223 unlike FIG. 6.
  • the augmented reality image output unit 224 may receive a determination signal that outputs the virtual object as an augmented reality image from the output control unit 227, the virtual object rendering module (A) 500).
  • the virtual object rendering module 500 may be included in the augmented reality image output unit 224, unlike FIG. 6.
  • the output controller 227 may check the position of the virtual object and perform a function of outputting the virtual object as a screen image or an augmented reality image according to a set condition.
  • the virtual object manager 222, the screen image output unit 223, the augmented reality image output unit 224, and the output control unit 227 may logically or functionally perform respective functions of the control unit 220 of the server 200. It can be a sorted configuration. Accordingly, the virtual object manager 222, the screen image output unit 223, the augmented reality image output unit 224, the output control unit 227, and the control unit 220 may be configured as one module.
  • the functions of the virtual object manager 222, the screen image output unit 223, the augmented reality image output unit 224, the output control unit 227, and the control unit 220 may be stored in the storage unit 230 (eg, a memory). It may be implemented in the form of a routine, instruction or program. In addition, these routines, instructions, or programs may be stored in a computer-readable storage medium.
  • FIG. 11 is a flowchart illustrating an operation of implementing a stereoscopic image according to various embodiments of the present disclosure.
  • the content duplicated with the content described with reference to FIGS. 6 to 10 will be omitted.
  • step S1110 the server 200 may check the location of the virtual object.
  • This step S1110 includes the same step (S1210, S1230) and step S310 and step S330 of FIG. 3 described above as shown in FIG.
  • the server 200 may compare the relative positions of the virtual objects based on the screen. In this case, server 200 may compare any point in the space, the screen and the location of the identified virtual object.
  • the server 200 may output the virtual object as either a screen image or an augmented reality image based on the compared result.
  • the server 200 may output an augmented reality image and a screen image using the virtual object rendering module 500 or the beam projector 700, respectively.
  • a stereoscopic image may be implemented in which both the screen image and the augmented reality image are output in the local space.
  • an object outside the screen may be expressed in a stereoscopic image, and an output position of a virtual object may be specified based on the location information and the view direction information of the tag device without using a GPS signal or a marker. Can be.
  • module or “unit” may refer to a unit including one or a combination of two or more of hardware, software, or firmware. . “Module” or “unit” is interchangeable with, for example, terms such as unit, logic, logical block, component, or circuit. Can be. “Module” or “part” may be a minimum unit or part of an integrally formed part, or may be a minimum unit or part of one or more functions. The “module” or “ ⁇ part” can be implemented mechanically or electronically.
  • a “module” or “unit” in accordance with various embodiments of the present invention may be an application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs) that perform certain operations, known or developed in the future. ) Or at least one of a programmable-logic device.
  • ASIC application-specific integrated circuit
  • FPGA field-programmable gate arrays
  • Modules or programming modules may include at least one or more of the aforementioned components, omit some of them, or further include additional components.
  • Operations performed by modules, programming modules, or other components in accordance with various embodiments of the present invention may be executed in a sequential, parallel, repetitive, or heuristic manner. In addition, some operations may be executed in a different order, may be omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A server and a system for determining the location of a virtual object using positioning information, and for implementing augmented reality based on a screen image and an augmented reality image are disclosed. A server according to various embodiments of the present invention is a server for implementing an augmented reality image and may comprise: a communication module for connecting a tag device or a reference device to the server; an information collection unit for collecting information about a relative location of the tag device with reference to the location of the reference device that is spaced apart from the tag device at a predetermined distance, and information about a view direction in which the tag device looks; and a virtual object determination unit for determining the location of a virtual object that is to be output in an augmented reality image based on the location information of the tag device and the view direction information of the tag device.

Description

측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템Server and system for implementing augmented reality image based on positioning information
본 발명의 다양한 실시예들은 증강현실 영상을 구현하기 위한 서버 및 시스템에 관한 것으로서, GPS 신호 또는 마커를 이용하지 않고 증강현실 영상에서 출력될 가상 오브젝트를 구현하는 기술에 관한 것이다. 또한, 스크린 영상과 증강현실 영상을 이용하여 가상 오브젝트의 상대적인 위치를 기반으로 입체영상을 구현하는 기술에 관한 것이다.Various embodiments of the present invention relate to a server and a system for implementing an augmented reality image, and to a technique for implementing a virtual object to be output from an augmented reality image without using a GPS signal or a marker. The present invention also relates to a technology for implementing a stereoscopic image based on a relative position of a virtual object using a screen image and an augmented reality image.
최근 사용자 시점에서 가상의 입체 영상을 구현하기 위한 증강현실(Augmented Reality, AR) 기술이 보급되고 있다. 이러한 증강현실 기술은 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다.Recently, Augmented Reality (AR) technology for realizing a virtual stereoscopic image from the user's point of view has been spreading. This augmented reality technology refers to a technology that shows a three-dimensional virtual image superimposed on a real image or background as a single image.
이러한 증강현실 기술의 도입에 따라 관련 전자 기기도 점차 양산되고 있는 실정이다. 예를 들어, 깊이를 가진 입체 영상을 보는 것이 가능한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 또는 스마트 글라스(예: 구글 글라스™) 등이 점차 시장에 도입되고 있다.With the introduction of such augmented reality technology, related electronic devices are also being mass produced. For example, a head mounted display (HMD) or a smart glass (eg, Google Glass ™) capable of viewing a three-dimensional image with depth is gradually introduced to the market.
한편, 증강현실 기술을 구현하는 예시적인 방법으로 촬영된 영상을 분석하여 출력될 물체의 공간 위치를 역으로 계산하는 영상분석(추적) 방식과, 가상 이미지가 출력될 위치를 좌표로 지정하여 직접 출력해주는 위치기반 방식 등이 있다.Meanwhile, an image analysis (tracking) method of analyzing a photographed image and inversely calculating a spatial position of an object to be output by analyzing an image captured by an exemplary method of implementing augmented reality technology, and directly designating a position where a virtual image is to be output as a coordinate Location-based methods.
또한, 기존 빔 프로젝트를 이용하여 입체 영상을 구현하기 위한 방법으로는 편광 현상을 이용하여 관찰자의 양쪽 눈이 각각 다른 영상을 보도록 유도함으로써 미소한 입체감을 주거나 관찰자의 시점에서 비스듬하게 객체들을 연출하는 방식이 주로 이용되었다. In addition, as a method for realizing a stereoscopic image using an existing beam project, a polarization phenomenon is used to induce both eyes of an observer to see a different image to give a small stereoscopic effect or to obliquely present objects at an observer's point of view. This was mainly used.
최근에는 사용자 시점에서 가상의 입체영상을 구현하기 위한 증강현실(Augmented Reality, AR) 기술이 보급되고 있다. 이러한 증강현실 기술은 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다.Recently, Augmented Reality (AR) technology for realizing virtual stereoscopic images from the user's point of view has been spreading. This augmented reality technology refers to a technology that shows a three-dimensional virtual image superimposed on a real image or background as a single image.
이러한 증강현실 기술의 도입에 따라 관련 전자 기기도 점차 양산되고 있는 실정이다. 예를 들어, 깊이를 가진 입체영상을 보는 것이 가능한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 또는 스마트 글라스(예: 구글 글라스™) 등이 점차 시장에 도입되고 있다.With the introduction of such augmented reality technology, related electronic devices are also being mass produced. For example, a head mounted display (HMD) or a smart glass (eg, Google Glass ™) capable of viewing three-dimensional images with depth is gradually introduced to the market.
한편, 증강현실 기술을 구현하는 예시적인 방법으로 촬영된 영상을 분석하여 출력될 물체의 공간 위치를 역으로 계산하는 영상분석(추적) 방식과, 가상 이미지가 출력될 위치를 좌표로 지정하여 직접 출력해주는 위치기반 방식 등이 있다. Meanwhile, an image analysis (tracking) method of analyzing a photographed image and inversely calculating a spatial position of an object to be output by analyzing an image captured by an exemplary method of implementing augmented reality technology, and directly designating a position where a virtual image is to be output as a coordinate Location-based methods.
종래의 영상분석 방식은 촬영된 영상에 포함된 마커를 분석해야 하므로 리소스 및 연산량이 커진다. 즉, 영상을 분석하는 기기에서 복잡한 연산에 따른 처리 지연 및 발열 현상이 빈번하게 발생될 수 있다.In the conventional image analysis method, since the marker included in the captured image must be analyzed, resources and calculation amount are increased. That is, processing delays and heat generation may occur frequently due to complex calculations in a device for analyzing an image.
또한, 종래의 위치기반 방식은 GPS 신호 등을 이용하여 증강현실 기기의 위치를 확인하는 방식을 주로 이용하는데, 이러한 방식은 실내 등과 같이 GPS 신호를 수신하기 어려운 곳에서는 위치 확인 과정에서 오류가 발생하며, 정교한 위치 표현이 어렵다는 문제점이 있다.In addition, the conventional location-based method mainly uses a method of checking the position of the augmented reality device using a GPS signal, such as an error occurs in the location confirmation process in places where it is difficult to receive a GPS signal, such as indoors. However, there is a problem that it is difficult to express a precise position.
한편, 종래의 빔프로젝트만을 이용하여 입체 영상을 구현하는 방식은 스크린을 벗어난 물체에 대하여 영상으로 표현하는 것이 불가능하다는 문제점이 있었다. On the other hand, the conventional method of implementing a three-dimensional image using only the beam project has a problem that it is impossible to represent the image out of the screen as an image.
또한, 증강현실 기술 중 종래의 영상분석 방식은 촬영된 영상에 포함된 마커를 분석해야 하므로 리소스 및 연산량이 커진다. 즉, 영상을 분석하는 기기에서 복잡한 연산에 따른 처리 지연 및 발열 현상이 빈번하게 발생될 수 있다.In addition, the conventional image analysis method of the augmented reality technology has to analyze the markers included in the photographed image resource and the amount of computation is increased. That is, processing delays and heat generation may occur frequently due to complex calculations in a device for analyzing an image.
또한, 증강현실 기술 중 종래의 위치기반 방식은 GPS 신호 등을 이용하여 증강현실 기기의 위치를 확인하는 방식을 주로 이용하는데, 이러한 방식은 실내 등과 같이 GPS 신호를 수신하기 어려운 곳에서는 위치 확인 과정에서 오류가 발생하며, 정교한 위치 표현이 어렵다는 문제점이 있었다.In addition, the conventional location-based method of the augmented reality technology mainly uses a method of identifying the position of the augmented reality device using a GPS signal, such as in the location confirmation process in places where it is difficult to receive a GPS signal, such as indoors An error occurs and there is a problem that it is difficult to express a precise position.
본 발명의 다양한 실시예는 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, GPS 신호 또는 마커를 이용하지 않고 증강현실 기기의 방향과 위치 정보를 기반으로 효율적으로 증강현실을 구현하는 것을 그 목적으로 한다.Various embodiments of the present invention have been made to solve the above problems, and an object of the present invention is to efficiently implement augmented reality based on the direction and location information of an augmented reality device without using a GPS signal or a marker. .
또한, 본 발명의 다양한 실시예들은 증강현실 영상과 스크린 영상을 이용하여 스크린을 벗어난 물체까지 입체 영상으로 표현할 수 있는 입체영상 구현 방법 및 시스템을 제공하는데 그 목적이 있다.In addition, various embodiments of the present invention to provide a method and system for implementing a stereoscopic image that can be expressed in a three-dimensional image to the object off the screen using augmented reality image and the screen image.
또한, 본 발명의 다양한 실시예들은 GPS 신호 또는 마커를 이용하지 않고 증강현실 기기의 방향과 위치 정보를 기반으로 효율적으로 증강현실 영상을 구현하는데 그 목적이 있다.In addition, various embodiments of the present invention have an object to efficiently implement augmented reality image based on the direction and location information of the augmented reality device without using a GPS signal or a marker.
본 발명의 다양한 실시예에 따른 서버는, 증강현실 영상을 구현하기 위한 서버로서, 태그장치 또는 기준장치와 상기 서버를 연결하는 통신 모듈; 상기 태그장치로부터 소정 거리 이격된 상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하는 정보 수집부; 및 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 가상 오브젝트 결정부를 포함할 수 있다.Server according to various embodiments of the present invention, a server for implementing augmented reality image, a communication module for connecting a tag device or a reference device and the server; An information collector configured to collect relative position information of the tag apparatus based on the position of the reference apparatus spaced apart from the tag apparatus as a reference point and view direction information viewed by the tag apparatus; And a virtual object determiner configured to determine a position of a virtual object to be output from an augmented reality image based on location information of the tag device and view direction information of the tag device.
본 발명의 다양한 실시예에 따른 서버는 상기 가상 오브젝트의 위치에 기초하여 상기 가상 오브젝트를 랜더링하는 가상 오브젝트 랜더링 모듈을 더 포함할 수 있다. 만약, 상기 가상 오브젝트 랜더링 모듈이 상기 서버에 포함되지 않는 경우, 상기 가상 오브젝트 결정부는 상기 결정된 위치를 나타내는 가상 오브젝트의 위치 정보를 상기 통신 모듈을 통해 상기 가상 오브젝트 랜더링 모듈로 전송할 수 있다. 또한, 상기 서버가 상기 가상 오브젝트 랜더링 모듈을 포함하는 경우, 상기 가상 오브젝트 랜더링 모듈은 상기 랜더링된 가상 오브젝트를 상기 태그장치와 연결되거나 상기 태그장치가 부착되는 증강현실 디스플레이 장치로 전송할 수 있다.The server according to various embodiments of the present disclosure may further include a virtual object rendering module that renders the virtual object based on the location of the virtual object. If the virtual object rendering module is not included in the server, the virtual object determination unit may transmit location information of the virtual object indicating the determined location to the virtual object rendering module through the communication module. In addition, when the server includes the virtual object rendering module, the virtual object rendering module may transmit the rendered virtual object to the augmented reality display device connected to the tag device or to which the tag device is attached.
본 발명의 다양한 실시예에 따른 서버에서, 상기 정보 수집부는, 상기 뷰 방향 정보를 상기 통신 모듈을 통해 상기 태그장치로부터 수신하고, 상기 태그장치의 위치 정보를 상기 통신 모듈을 통해 상기 기준장치로부터 수신할 수 있다.In the server according to various embodiments of the present disclosure, the information collecting unit may receive the view direction information from the tag device through the communication module and receive location information of the tag device from the reference device through the communication module. can do.
본 발명의 다양한 실시예에 따른 서버에서, 상기 기준장치 및 상기 태그장치가 복수개인 경우, 상기 정보 수집부는 복수개의 기준장치들로부터 각 기준장치의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 가상 오브젝트 결정부는 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하고, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하며, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하고, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정할 수 있다.In the server according to various embodiments of the present disclosure, when the reference apparatus and the tag apparatus are plural, the information collecting unit collects position information of each tag apparatus located in the propagation area of each reference apparatus from a plurality of reference apparatuses. The virtual object determiner sets one reference device or any point among the plurality of reference devices as an origin, and calculates relative coordinates of each reference device with respect to the origin as first virtual coordinate information. The location information of each tag device with respect to the virtual coordinate information may be calculated as second virtual coordinate information, and the location of the virtual object may be determined based on the second virtual coordinate information and view direction information of each tag device.
본 발명의 다양한 실시예에 따른 시스템은 증강현실 영상을 구현하기 위한 시스템으로서, 증강현실 디스플레이 장치에 부착되거나 상기 증강현실 디스플레이 장치와 연결되는 태그장치; 상기 태그장치로부터 소정 거리 이격된 기준장치; 및 상기 태그장치 및 상기 기준장치와 통신하여 상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하고, 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 서버를 포함할 수 있다.According to various embodiments of the present disclosure, a system for implementing an augmented reality image may include: a tag device attached to an augmented reality display device or connected to the augmented reality display device; A reference device spaced apart from the tag device by a predetermined distance; And collecting the relative position information of the tag apparatus based on the position of the reference apparatus and the view direction information viewed by the tag apparatus by communicating with the tag apparatus and the reference apparatus, the position information of the tag apparatus, and the tag. It may include a server for determining the position of the virtual object to be output in the augmented reality image based on the view direction information of the device.
본 발명의 다양한 실시예에 따른 시스템은 상기 가상 오브젝트의 위치에 기초하여 상기 가상 오브젝트를 랜더링하는 가상 오브젝트 랜더링 모듈을 더 포함할 수 있다.The system according to various embodiments of the present disclosure may further include a virtual object rendering module that renders the virtual object based on the position of the virtual object.
본 발명의 다양한 실시예에 따른 시스템에서, 상기 시스템 또는 상기 기준장치는 상기 태그장치의 위치를 감지하기 위한 안테나 모듈을 포함하고, 상기 안테나 모듈은 각각 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함하며, 각 안테나의 위치는 상기 기준장치를 기준으로 좌표화되어 상기 서버에서 인식될 수 있다.In a system according to various embodiments of the present disclosure, the system or the reference device includes an antenna module for detecting a position of the tag device, and the antenna module includes three or more antennas having different heights and directions, respectively. The position of each antenna may be coordinated with respect to the reference device and recognized by the server.
본 발명의 다양한 실시예에 따른 시스템에서, 상기 태그장치는 통신모듈 및 센서모듈을 포함하고, 상기 태그장치는 상기 센서모듈을 통해 상기 태그장치가 바라보는 방향을 나타내는 뷰 방향 정보를 생성하고, 생성된 뷰 방향 정보를 상기 통신모듈을 통해 상기 서버로 전송할 수 있다.In a system according to various embodiments of the present disclosure, the tag device includes a communication module and a sensor module, and the tag device generates and generates view direction information indicating a direction viewed by the tag device through the sensor module. View direction information may be transmitted to the server through the communication module.
본 발명의 다양한 실시예에 따른 시스템에서, 상기 기준장치 및 상기 태그장치가 복수개인 경우, 상기 서버는 복수개의 기준장치들로부터 안테나 모듈의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하며, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하고, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하며, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정할 수 있다.In a system according to various embodiments of the present disclosure, when there are a plurality of the reference apparatus and the tag apparatus, the server collects position information of each tag apparatus located in the propagation area of the antenna module from the plurality of reference apparatuses, and Set one reference device or any point among a plurality of reference devices as an origin, calculate relative coordinates of each reference device with respect to the origin as first virtual coordinate information, and the angle for the first virtual coordinate information. The location information of the tag device may be calculated as second virtual coordinate information, and the location of the virtual object may be determined based on the second virtual coordinate information and view direction information of each tag device.
본 발명의 다양한 실시예에 따른 서버는 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 서버로서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 가상 오브젝트 관리부; 상기 가상 오브젝트가 스크린 영상으로 출력되도록 확인된 경우, 상기 스크린에 상기 가상 오브젝트를 스크린 영상으로 출력하는 스크린 영상 출력부; 상기 가상 오브젝트가 증강현실 영상으로 출력되도록 확인된 경우, 상기 공간에서 상기 가상 오브젝트를 증강현실 영상으로 출력하는 증강현실 영상 출력부; 및 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 상기 스크린 영상 출력부 또는 상기 증강현실 영상 출력부 중 어느 하나를 통해 출력하도록 하는 출력 제어부를 포함할 수 있다.According to various embodiments of the present disclosure, a server may include a server for implementing a stereoscopic image through a space including a screen, the virtual object manager configured to identify a location of a virtual object set in the space; A screen image output unit configured to output the virtual object as a screen image on the screen when the virtual object is output to the screen image; An augmented reality image output unit configured to output the virtual object as an augmented reality image in the space when the virtual object is determined to be output as an augmented reality image; And an output controller configured to output the virtual object through one of the screen image output unit and the augmented reality image output unit based on an arbitrary point in the space, the screen, and the position of the virtual object. have.
본 발명의 다양한 실시예에 따른 서버에서, 상기 출력 제어부는, 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점 쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고, 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력할 수 있다.In the server according to various embodiments of the present disclosure, the output controller may be configured to locate the virtual object through the augmented reality image output unit when the virtual object is located at an arbitrary point with respect to the screen in the space. The virtual object may be output as a screen image through the screen image output unit when the virtual object is located opposite to the random point with respect to the screen in the space.
본 발명의 다양한 실시예에 따른 서버에서, 상기 스크린이 서클 스크린 또는 돔형 스크린인 경우, 상기 출력 제어부는, 상기 가상 오브젝트가 상기 스크린의 내부에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고, 상기 가상 오브젝트가 상기 스크린의 외부에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력할 수 있다.In the server according to various embodiments of the present disclosure, when the screen is a circle screen or a domed screen, the output controller may control the virtual object through the augmented reality image output unit when the virtual object is located inside the screen. The virtual object may be output as an augmented reality image, and when the virtual object is located outside the screen, the virtual object may be output as a screen image through the screen image output unit.
본 발명의 다양한 실시예에 따른 증강현실 구현 시스템은 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 증강현실 구현 시스템으로서, 관찰자가 착용하는 증강현실 디스플레이 장치에 부착되거나 상기 증강현실 디스플레이 장치와 연결되는 태그장치; 상기 태그장치로부터 소정 거리 이격된 기준장치; 및 상기 태그장치 및 상기 기준장치와 통신하여 상기 기준장치의 위치를 기준으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하고, 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 상기 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 서버를 포함하고, 상기 입체 영상 구현 서버는 상기 공간상에서 상기 결정된 가상 오브젝트의 위치를 확인하고, 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다.An augmented reality implementation system according to various embodiments of the present invention is an augmented reality implementation system for implementing a stereoscopic image through a space including a screen, attached to an augmented reality display device worn by an observer or connected to the augmented reality display device. Tag device; A reference device spaced apart from the tag device by a predetermined distance; And collecting the relative position information of the tag apparatus based on the position of the reference apparatus and the view direction information viewed by the tag apparatus by communicating with the tag apparatus and the reference apparatus, the position information of the tag apparatus, and the tag. And a server configured to determine a position of the virtual object to be output from the augmented reality image based on the view direction information of the device, wherein the stereoscopic image implementing server identifies the position of the determined virtual object in the space, The virtual object may be output as either a screen image or an augmented reality image based on an arbitrary point, the screen, and the position of the virtual object.
본 발명의 다양한 실시예에 따른 증강현실 구현 시스템에서, 상기 증강현실 구현 시스템 또는 상기 기준장치는 상기 태그장치의 위치를 감지하기 위한 안테나 모듈을 포함하고, 상기 안테나 모듈은 각각 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함하며, 각 안테나의 위치는 상기 기준장치를 기준으로 좌표화되어 상기 서버에서 인식될 수 있다.In the augmented reality implementation system according to various embodiments of the present invention, the augmented reality implementation system or the reference device includes an antenna module for detecting the position of the tag device, the antenna modules each having a different height and direction Three or more antennas are included, and the position of each antenna is coordinated with respect to the reference device and can be recognized by the server.
본 발명의 다양한 실시예에 따른 증강현실 구현 시스템에서, 상기 태그장치는 통신모듈 및 센서모듈을 포함하고, 상기 태그장치는 상기 센서모듈을 통해 상기 태그장치가 바라보는 방향을 나타내는 뷰 방향 정보를 생성하고, 생성된 뷰 방향 정보를 상기 통신모듈을 통해 상기 서버로 전송할 수 있다.In the augmented reality implementation system according to various embodiments of the present disclosure, the tag device includes a communication module and a sensor module, and the tag device generates view direction information indicating a direction viewed by the tag device through the sensor module. The generated view direction information may be transmitted to the server through the communication module.
본 발명의 다양한 실시예에 따른 증강현실 구현 시스템에서, 상기 기준장치 및 상기 태그장치가 복수개인 경우, 상기 서버는 복수개의 기준장치들로부터 안테나 모듈의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하며, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하고, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하며, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정할 수 있다.In the augmented reality implementation system according to various embodiments of the present disclosure, when there are a plurality of reference apparatuses and the tag apparatuses, the server collects position information of each tag apparatus located in a propagation area of the antenna module from a plurality of reference apparatuses. Set one reference device or any point among the plurality of reference devices as an origin, calculate relative coordinates of each reference device with respect to the origin as first virtual coordinate information, and calculate the first virtual coordinate information. The location information of each of the tag devices may be calculated as second virtual coordinate information, and the location of the virtual object may be determined based on the second virtual coordinate information and view direction information of each tag device.
본 발명의 다양한 실시예에 따른 입체영상 구현 방법은 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 입체영상 구현 방법으로서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 단계; 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력하는 단계를 포함할 수 있다.According to various embodiments of the present disclosure, a method of implementing a stereoscopic image may include: determining a location of a virtual object set in the space; And outputting the virtual object as one of a screen image and an augmented reality image based on an arbitrary point in the space, the screen, and a position of the virtual object.
본 발명의 다양한 실시예에 따른 입체영상 구현 방법에서, 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력하는 단계는, 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점 쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상으로 출력하는 단계; 및 상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상으로 출력하는 단계를 포함할 수 있다.In the method of implementing a stereoscopic image according to various embodiments of the present disclosure, the outputting of the virtual object as either a screen image or an augmented reality image may include: positioning the virtual object on the point of the screen with respect to the screen in the space; If the virtual object is output to the augmented reality image; And outputting the virtual object as the augmented reality image when the virtual object is located opposite to the random point with respect to the screen in the space.
본 발명의 다양한 실시예에 따른 입체영상 구현 방법에서, 상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 단계는, 상기 공간에서 관찰자가 착용하는 증강현실 디스플레이 장치에 부착되는 태그장치 및 상기 태그장치로부터 소정 거리 이격된 기준장치와 통신하는 단계; 상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하는 단계; 및 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 상기 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 단계를 포함할 수 있다.In the stereoscopic image implementation method according to various embodiments of the present disclosure, the checking of the position of the virtual object set in the space may include: a tag device attached to an augmented reality display device worn by an observer in the space and the tag device; Communicating with a reference device spaced a predetermined distance apart; Collecting relative position information of the tag apparatus based on the position of the reference apparatus and view direction information viewed by the tag apparatus; And determining the location of the virtual object to be output from the augmented reality image based on the location information of the tag device and the view direction information of the tag device.
본 발명의 다양한 실시예에 따라 GPS 신호 또는 마커를 사용하지 않고 태그장치의 위치 정보와 뷰 방향 정보를 기반으로 가상 오브젝트의 출력 위치를 지정함으로써 증강현실 영상을 구현하는 처리속도가 향상되고, 처리장치에서의 발열량이 감소하며, 확장될 수 있는 분야가 증가될 수 있다는 효과가 있다.According to various embodiments of the present disclosure, a processing speed for implementing an augmented reality image is improved by designating an output position of a virtual object based on location information and view direction information of a tag device without using a GPS signal or a marker, and a processing device. There is an effect that the calorific value of in and the area that can be expanded can be increased.
또한, 본 발명의 다양한 실시예에 따라 증강현실 장치와 빔 프로젝터를 연동하여 입체영상을 구현함에 따라 스크린을 벗어난 물체까지 입체영상으로 표현할 수 있다는 효과가 있다.In addition, according to various embodiments of the present invention, by implementing an stereoscopic image by interlocking an augmented reality device and a beam projector, an object that is out of the screen may be represented as a stereoscopic image.
나아가, 본 발명의 다양한 실시예에 따라 GPS 신호 또는 마커를 사용하지 않고 태그장치의 위치 정보와 뷰 방향 정보를 기반으로 가상 오브젝트의 출력 위치를 지정함으로써 증강현실 영상을 구현하는 처리속도가 향상되고, 처리장치에서의 발열량이 감소하며, 확장될 수 있는 분야가 증가될 수 있다는 효과가 있다.Furthermore, according to various embodiments of the present disclosure, the processing speed for implementing the augmented reality image may be improved by designating the output position of the virtual object based on the position information and the view direction information of the tag apparatus without using a GPS signal or a marker. There is an effect that the amount of heat generated in the processing apparatus is reduced, and the field which can be expanded can be increased.
도 1은 본 발명의 다양한 실시예에 따른 증강현실 구현 시스템의 구성도이다.1 is a block diagram of an augmented reality implementation system according to various embodiments of the present invention.
도 2는 본 발명의 다양한 실시예에 따른 서버의 블록도이다.2 is a block diagram of a server according to various embodiments of the present disclosure.
도 3은 본 발명의 다양한 실시예에 따라 증강현실 영상을 제작하는 순서도이다.3 is a flowchart illustrating a process of manufacturing an augmented reality image according to various embodiments of the present disclosure.
도 4는 본 발명의 다양한 실시예에 따른 증경현실 구현 시스템의 예시도이다.4 is a diagram illustrating an augmented reality implementation system according to various embodiments of the present disclosure.
도 5는 본 발명의 다양한 실시예에 따른 멀티 태그장치/기준장치 방식의 예시도이다.5 is an exemplary diagram of a multi tag device / reference device method according to various embodiments of the present disclosure.
도 6은 본 발명의 다른 실시예에 따른 증강현실 구현 시스템의 구성도이다.6 is a block diagram of an augmented reality implementation system according to another embodiment of the present invention.
도 7 내지 도 9는 본 발명의 다양한 실시예에 따라 증강현실(예: 입체영상)의 구현 원리를 나타내는 예시도이다.7 to 9 are exemplary diagrams showing principles of implementing augmented reality (eg, stereoscopic images) according to various embodiments of the present disclosure.
도 10은 본 발명의 다른 실시예에 따른 서버의 블록도이다.10 is a block diagram of a server according to another embodiment of the present invention.
도 11은 본 발명의 다양한 실시예에 따라 입체영상을 구현하는 동작을 나타내는 순서도이다.11 is a flowchart illustrating an operation of implementing a stereoscopic image according to various embodiments of the present disclosure.
도 12는 본 발명의 다양한 실시예에 따라 가상 오브젝트의 출력 위치를 결정하는 동작을 나타내는 순서도이다.12 is a flowchart illustrating an operation of determining an output position of a virtual object according to various embodiments of the present disclosure.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used in a sense that can be commonly understood by those skilled in the art. In addition, terms that are defined in a commonly used dictionary are not ideally or excessively interpreted unless they are specifically defined clearly.
본 문서에서 언급하는 “공간”은 증강현실 기술에서 사용되는 현실 세계의 공간을 의미할 수 있다. As used herein, “space” may refer to the real world space used in augmented reality technology.
또한, 본 문서에서 언급하는 “가상 공간”은 공간에 출력될 가상 오브젝트의 위치를 결정하기 위한 가상의 좌표 공간 또는 가상의 로컬 좌표 공간일 수 있다. In addition, the "virtual space" referred to in this document may be a virtual coordinate space or a virtual local coordinate space for determining the position of the virtual object to be output to the space.
이하, 첨부 도면을 참조하여 증강현실 영상 구현 시스템(10)에 대해 설명하도록 한다. 도 1은 본 발명의 다양한 실시예에 따른 증강현실 구현 시스템(10)의 구성도이다.Hereinafter, the augmented reality image implementation system 10 will be described with reference to the accompanying drawings. 1 is a block diagram of an augmented reality implementation system 10 according to various embodiments of the present invention.
도면에 도시된 바와 같이, 다양한 실시예에 따른 증강현실 구현 시스템(10)은 태그장치(100), 서버(200), 기준장치(300) 및 안테나 모듈(400)을 포함할 수 있다. 이러한 도 1의 증강현실 구현 시스템(10)은 후술할 실시예에 따른 도 6의 구성(예: 빔 프로젝터(700), 스크린(800))을 더 포함할 수도 있다.As shown in the drawing, the augmented reality implementation system 10 according to various embodiments may include a tag device 100, a server 200, a reference device 300 and an antenna module 400. The augmented reality implementation system 10 of FIG. 1 may further include a configuration (eg, a beam projector 700 and a screen 800) of FIG. 6 according to an embodiment to be described later.
도 1의 실시예에서는 증강현실 구현 시스템(10)에 가상 오브젝트 랜더링 모듈(500)이 포함되지 않는 것으로 도시되어 있으나, 이에 한정하는 것은 아니며 다른 실시예에 따라 가상 오브젝트 랜더링 모듈(500)이 증강현실 구현 시스템(10)에 포함될 수 있다.In the embodiment of FIG. 1, although the virtual object rendering module 500 is not included in the augmented reality implementation system 10, the virtual object rendering module 500 is not limited thereto. May be included in implementation system 10.
먼저, 태그장치(100)는 증강현실 영상에서 가상 오브젝트들을 출력시킬 때 증강현실 관찰자의 시점과 매칭시키기 위한 수단일 수 있다. 즉, 관찰자의 위치와 시선 방향을 도출하기 위해서 본 발명의 다양한 실시예들은 태그장치(100)를 증강현실 디스플레이 장치(600)에 탈/부착하거나 연결할 수 있다. 이를 위해, 태그장치(100)는 증강현실 디스플레이 장치(600)에 부착되거나 연결될 수 있는 연결부를 포함할 수 있다.First, the tag device 100 may be a means for matching the viewpoint of the augmented reality observer when outputting the virtual objects in the augmented reality image. That is, various embodiments of the present invention may detach / attach or attach the tag device 100 to the augmented reality display device 600 in order to derive the observer's position and gaze direction. To this end, the tag device 100 may include a connection that may be attached or connected to the augmented reality display device 600.
태그장치(100)는 제어부(예: 프로세서 등), 저장부(예: 메모리), 유선/무선 통신 모듈(예: RF, 지그비, 적외선, 트랜시버 등) 및 센서 모듈을 포함할 수 있다. 그리고, 태그장치(100)는 통신 모듈을 통해 서버(200) 또는 안테나 모듈(400)과 유선/무선 통신을 수행할 수 있다. The tag device 100 may include a controller (eg, a processor), a storage unit (eg, a memory), a wired / wireless communication module (eg, RF, Zigbee, infrared ray, transceiver, etc.) and a sensor module. In addition, the tag device 100 may perform wired / wireless communication with the server 200 or the antenna module 400 through the communication module.
다양한 실시예에 따르면, 태그장치(100)는 센서 모듈을 통해 감지된 태그장치(100)의 뷰 방향 정보를 생성하여 서버(200)로 전송할 수 있다. 이러한 뷰 방향 정보는 예컨대, 태그장치(100)가 속한 로컬 공간 내에서 태그장치(100)가 임의의 방향을 바라보는 방향 벡터값 일 수 있다.According to various embodiments of the present disclosure, the tag device 100 may generate view direction information of the tag device 100 detected through the sensor module and transmit the generated view direction information to the server 200. The view direction information may be, for example, a direction vector value in which the tag device 100 views an arbitrary direction in a local space to which the tag device 100 belongs.
몇몇 실시예에 따르면, 태그장치(100)는 뷰 방향 정보와 함께 또는 독립적으로 태그장치(100)의 식별 정보(예: ID 등)를 서버(200)로 전송할 수 있다.According to some embodiments, the tag apparatus 100 may transmit identification information (eg, ID, etc.) of the tag apparatus 100 to the server 200 together with or independently of the view direction information.
한정되지 않는 예로서, 태그장치(100)의 센서 모듈은 가속도 센서 및 지자기 센서를 포함할 수 있고, 이를 기반으로 태그장치(100)가 바라보는 방향 정보인 뷰 방향 정보를 생성할 수 있다.By way of example, and not limitation, the sensor module of the tag device 100 may include an acceleration sensor and a geomagnetic sensor, and may generate view direction information that is direction information viewed by the tag device 100 based on this.
구체적으로, 태그장치(100)는 가속도 센서를 이용하여 중력방향을 확인하고, 지자기 센서를 이용하여 정북방향(지구북쪽 방향)을 확인할 수 있다. 두 방향축을 이용하여 외적을 구하면 측면 방향의 직교측을 구할 수 있고, 이와 같은 방식으로 지구의 절대축 방향을 구할 수 있다. 그리고, 절대축을 기준으로 태그 장치의 방향을 구할 수 있다. Specifically, the tag device 100 may check the gravity direction using an acceleration sensor, and check the north north direction (the earth north direction) using the geomagnetic sensor. If you use the two directions to find the cross product, you can find the orthogonal side of the lateral direction. In this way, you can get the absolute axis of the earth. Then, the direction of the tag device can be obtained based on the absolute axis.
태그장치(100)를 카메라가 포함된 증강현실 디스플레이 장치(600)에 부착하여 사용하게 되면 증강현실 디스플레이 장치(600)의 카메라가 바라보는 방향과 태그장치(100)의 뷰 방향이 일치하므로, 이러한 태그장치(100)의 뷰 방향 정보를 관찰자의 시선 방향으로 활용할 수 있다. 또한, 뷰 방향을 정확히 파악하기 위해, 태그장치(100)의 정면과 후면 중 어느 한면이 뷰 방향으로 설정할 수 있도록 태그장치(100)에서 미리 정의될 수 있다.When the tag device 100 is attached to the augmented reality display device 600 including a camera and used, the viewing direction of the camera of the augmented reality display device 600 coincides with the view direction of the tag device 100. The view direction information of the tag device 100 may be used as the observer's gaze direction. In addition, in order to accurately determine the view direction, the tag device 100 may be predefined in any one of the front and rear surfaces of the tag device 100 to be set in the view direction.
다음으로, 서버(200)는 태그장치(100) 및 기준장치(300)와 통신하여 태그장치(100)의 위치 정보 및 뷰 방향 정보를 수집하고, 수집된 정보를 기반으로 가상 오브젝트의 출력 위치를 지정할 수 있다. 이러한 서버(200)의 구체적인 구성은 도 2를 통해 구체적으로 설명하도록 한다.Next, the server 200 communicates with the tag device 100 and the reference device 300 to collect location information and view direction information of the tag device 100, and based on the collected information, output the location of the virtual object. Can be specified. The detailed configuration of the server 200 will be described in detail with reference to FIG. 2.
다음으로, 기준장치(300)는 관찰자의 위치와 가상 오브젝트의 출력 위치와의 관계를 계산하기 위한 제3의 기준점으로 사용될 수 있다. 이러한 기준장치(300)는 제어부(예: 프로세서 등), 저장부(예: 메모리) 및 유선/무선 통신 모듈(예: RF, 지그비, 적외선, 트랜시버 등)을 포함할 수 있다. 도 1에서 기준장치(300)와 안테나 모듈(400)이 별도로 도시되어 있으나, 이에 한정하는 것은 아니며 기준장치(300)는 안테나 모듈(400)을 포함하여 구성될 수 있다.Next, the reference device 300 may be used as a third reference point for calculating a relationship between the position of the observer and the output position of the virtual object. The reference device 300 may include a controller (for example, a processor), a storage (for example, a memory), and a wired / wireless communication module (for example, RF, Zigbee, infrared ray, transceiver, etc.). Although the reference device 300 and the antenna module 400 are separately shown in FIG. 1, the present disclosure is not limited thereto, and the reference device 300 may include an antenna module 400.
본 발명의 다양한 실시예에서, 기준장치(300)는 안테나 모듈(400)로부터 수신된 태그장치(300)의 위치 정보(예: 소정 영역 내에서의 좌표)를 서버(200)로 전송할 수 있다.In various embodiments of the present disclosure, the reference device 300 may transmit location information (eg, coordinates in a predetermined area) of the tag device 300 received from the antenna module 400 to the server 200.
몇몇 실시예에 따르면, 기준장치(300)는 태그장치(100)의 위치 정보와 함께 또는 독립적으로 태그장치(100)의 식별 정보(예: ID 등)를 서버(200)로 전송할 수 있다.According to some embodiments, the reference device 300 may transmit identification information (eg, ID, etc.) of the tag device 100 to the server 200 together with or independently of the location information of the tag device 100.
다음으로, 안테나 모듈(400)은 복수의 안테나를 포함할 수 있다. 본 발명의 다양한 실시예에서, 안테나 모듈(400)은 각각 서로 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함할 수 있고, 각 안테나의 위치는 로컬 공간의 기준장치(300)를 기준으로 각각 좌표화되도록 안테나 모듈(400), 기준장치(300) 또는 서버(200)에서 미리 설정되거나 저장될 수 있다. 이러한 안테나 모듈(400) 또는 각각의 안테나는 통신 모듈, 프로세서, 메모리 등을 포함할 수 있다.Next, the antenna module 400 may include a plurality of antennas. In various embodiments of the present disclosure, the antenna module 400 may include three or more antennas having different heights and directions, respectively, and the positions of the antennas are coordinated with respect to the reference device 300 in the local space. The antenna module 400, the reference device 300, or the server 200 may be set or stored in advance. The antenna module 400 or each antenna may include a communication module, a processor, a memory, and the like.
몇몇 실시예에 따르면, 안테나 모듈(400)은 기준장치(300)에 포함되거나 기준장치(300)와 별도로 구성될 수 있고, 유선 또는 무선 통신을 이용하여 기준장치(300) 또는 서버(200)로 태그장치(100)의 위치 정보를 전송할 수 있다. According to some embodiments, the antenna module 400 may be included in the reference device 300 or may be configured separately from the reference device 300, and may be connected to the reference device 300 or the server 200 by using wired or wireless communication. Location information of the tag device 100 may be transmitted.
이러한 안테나 모듈(400)은 태그장치의(100)의 위치 정보를 확인할 수 있다. The antenna module 400 may check the position information of the tag device 100.
안테나 모듈(400)이 3개의 안테나를 가지는 경우로 예를 들면, 제1 안테나는 발송시각이 포함된 데이터를 전파 등을 통해 태그장치(100)에 전송할 수 있다. 그러면, 태그장치(100)는 태그장치(100)의 식별 정보를 수신된 데이터에 추가할 수 있고, 수신된 데이터에 포함된 발송시각에 태그장치(100)의 내부처리 소요시간을 추가할 수 있다. In the case where the antenna module 400 has three antennas, for example, the first antenna may transmit data including a sending time to the tag device 100 through radio waves. Then, the tag apparatus 100 may add identification information of the tag apparatus 100 to the received data, and may add the internal processing time of the tag apparatus 100 to the dispatch time included in the received data. .
이어서, 태그장치(100)는 식별 정보 및 내부처리 소요시간이 반영된 데이터를 제1 안테나로 전송할 수 있고, 제1 안테나는 데이터가 수신된 도착시각에서 발송시각과 태그 장치(100)의 내부처리시간을 더한 값을 빼서 왕복소요 시간을 산정할 수 있다. 그러면, 제1 안테나는 전파 속도와 왕복소요 시간을 곱해서 태그장치(100)까지의 거리를 산정할 수 있다. Subsequently, the tag apparatus 100 may transmit data reflecting the identification information and the internal processing time to the first antenna, and the first antenna may transmit time and internal processing time of the tag apparatus 100 at the arrival time at which the data is received. The round trip time can be calculated by subtracting Then, the first antenna may calculate the distance to the tag device 100 by multiplying the propagation speed by the round trip time.
이후, 제2 안테나와 제3 안테나에서도 전술한 동작을 반복하여 각각의 안테나로부터 태그장치(100)까지의 거리를 측정하고, 측정된 거리를 반지름으로 하는 3개의 구(sphere)를 이용하여 교점을 찾으면 태그 장치(100)의 위치를 좌표로 산출해 낼 수 있다.Subsequently, the above-described operations are repeated in the second and third antennas to measure the distances from the respective antennas to the tag device 100, and use the three spheres whose radius is the measured distance. If found, the position of the tag device 100 may be calculated using coordinates.
상기와 같이 태그 장치(100)의 위치를 산출해 내는 과정은 본 발명의 다양한 실시예에 따른 예시이며 특정 방식을 한정하는 것은 아니다. 또한, 각각의 안테나가 전술한 산출과정을 연산하는 것으로 기재하였으나 이에 한정하는 것은 아니며, 이러한 산출과정은 안테나 모듈(400)에서 이루어질 수도 있다.The process of calculating the position of the tag device 100 as described above is an example according to various embodiments of the present invention, and is not intended to limit the specific method. In addition, each antenna is described as calculating the above-described calculation process, but is not limited thereto, and this calculation process may be performed in the antenna module 400.
다음으로, 가상 오브젝트 랜더링 모듈(500)은 서버(200)로부터 수신된 정보를 기반으로 가상 오브젝트를 랜더링할 수 있다. 서버(200)로부터 수신된 정보는 예를 들어, 태그장치(100)의 ID 정보, 태그장치(100)의 뷰 방향 정보, 태그장치(100)의 위치 정보 또는 가상 오브젝트의 출력위치 정보를 포함할 수 있다. 이러한 가상 오브젝트 랜더링 모듈(500)은 랜더링된 가상 오브젝트와 관련된 정보를 서버(200)의 통신 모듈(210) 또는 자체적으로 내장된 통신 모듈을 통해 증강현실 디스플레이 장치(600)에 전송할 수 있다.Next, the virtual object rendering module 500 may render the virtual object based on the information received from the server 200. The information received from the server 200 may include, for example, ID information of the tag device 100, view direction information of the tag device 100, location information of the tag device 100, or output location information of a virtual object. Can be. The virtual object rendering module 500 may transmit information related to the rendered virtual object to the augmented reality display apparatus 600 through the communication module 210 of the server 200 or a communication module built therein.
증강현실 디스플레이 장치(600)는 내장된 카메라를 통해 수집된 현실의 영상과 가상 오브젝트 랜더링 모듈(500) 또는 서버(200)로부터 수신된 가상 오브젝트를 정합하여 증강현실 영상을 생성할 수 있다. 이러한 증강현실 디스플레이 장치(600)는 스마트폰, 테블릿 등과 같은 단말 또는 스마트 글라스와 같은 웨어러블 장치일 수 있으나 이에 한정하는 것은 아니다. The augmented reality display apparatus 600 may generate an augmented reality image by matching a virtual image received through a built-in camera with a virtual object received from the virtual object rendering module 500 or the server 200. The augmented reality display device 600 may be a wearable device such as a terminal or a smart glass, such as a smart phone, tablet, but is not limited thereto.
최종적으로, 관찰자는 증강현실 디스플레이 장치(600)를 착용하여 증강현실 영상을 관찰할 수 있다. Finally, the observer may observe the augmented reality image by wearing the augmented reality display device 600.
도 2는 본 발명의 다양한 실시예에 따른 서버(200)의 블록도이다.2 is a block diagram of a server 200 according to various embodiments of the present disclosure.
도면에 도시되는 바와 같이, 서버(200)는 통신 모듈(210), 제어부(220), 정보 수집부(221), 가상 오브젝트 결정부(225) 및 저장부(230)를 포함할 수 있다. 이러한 도 2의 서버(200)는 후술할 실시예에 따른 도 10의 서버(200)의 구성을 더 포함할 수도 있다.As shown in the figure, the server 200 may include a communication module 210, a controller 220, an information collector 221, a virtual object determiner 225, and a storage 230. The server 200 of FIG. 2 may further include a configuration of the server 200 of FIG. 10 according to an embodiment to be described later.
통신 모듈(210)은 서버(200)를 태그장치(100) 또는 기준장치(300)와 통신연결할 수 있으며, 유선(예: 커넥터, 단자 등) 및/또는 무선 통신 방식(RF, 적외선, 지그비, 블루투스 또는 네트워크 등)으로 구성될 수 있다. The communication module 210 may connect the server 200 with the tag device 100 or the reference device 300, and may be wired (eg, a connector, a terminal, etc.) and / or a wireless communication method (RF, infrared, Zigbee, Bluetooth or network).
제어부(220)는 서버(200)의 전원공급 제어 등과 같은 전반적인 동작 및 서버(200)의 내부 구성 간의 신호 흐름을 제어하고 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어부(220)는 적어도 하나의 프로세서를 포함할 수 있다. The controller 220 may perform a data processing function of controlling a signal flow and processing data between an overall operation such as power supply control of the server 200 and an internal configuration of the server 200. The controller 220 may include at least one processor.
정보 수집부(221)는 가상 오브젝트의 위치를 결정하기 위해 필요한 자료를 통신 모듈(210)을 통해 수집할 수 있다. The information collector 221 may collect data necessary for determining the location of the virtual object through the communication module 210.
이러한 정보 수집부(221)는 태그장치(100)로부터 소정 거리 이격된 기준장치(100)의 위치를 기준점으로 하는 태그장치(100)의 상대적인 위치 정보와 태그장치(100)의 뷰 방향 정보를 수집할 수 있다. 뿐만 아니라, 정보 수집부(221)는 태그장치(100)로부터 태그장치(100)의 식별 정보를 수신할 수 있다. 그리고, 정보 수집부(221)는 수집된 정보를 제어부(220), 가상 오브젝트 결정부(225) 또는 저장부(230)에 전달할 수 있다. The information collecting unit 221 collects the relative position information of the tag apparatus 100 and the view direction information of the tag apparatus 100 based on the position of the reference apparatus 100 spaced a predetermined distance from the tag apparatus 100. can do. In addition, the information collecting unit 221 may receive identification information of the tag device 100 from the tag device 100. The information collector 221 may transfer the collected information to the controller 220, the virtual object determiner 225, or the storage 230.
가상 오브젝트 결정부(225)는 서버(200)에서 수집된 정보들을 기반으로 가상 오브젝트의 출력 위치를 결정하는 기능을 수행할 수 있다. The virtual object determiner 225 may perform a function of determining an output position of the virtual object based on the information collected by the server 200.
이러한 가상 오브젝트 결정부(225)는 태그장치(100)와 관련된 정보들(예: 식별 정보, 위치 정보, 뷰 방향 정보)을 취합할 수 있고, 태그장치(100)의 위치 정보와 뷰 방향 정보를 가상 카메라의 위치와 방향으로 설정할 수 있다. 여기서, 가상 카메라란 가상 오브젝트의 출력 위치를 결정하기 위해 증강현실 영상을 관찰자의 시점에 매핑시키는 가상의 논리적 수단일 수 있다. 예를 들어, 가상 카메라의 뷰 방향 및 위치는 증강현실 디스플레이 장치(600)에 포함된 카메라의 뷰 방향 및 위치와 매칭될 수 있다. The virtual object determination unit 225 may collect information (eg, identification information, location information, view direction information) related to the tag device 100, and may collect location information and view direction information of the tag device 100. You can set the position and direction of the virtual camera. Here, the virtual camera may be a virtual logical means for mapping the augmented reality image to the viewer's viewpoint to determine the output position of the virtual object. For example, the view direction and position of the virtual camera may be matched with the view direction and position of the camera included in the augmented reality display device 600.
그리고, 가상 오브젝트 결정부(225)는 관찰자의 시선방향과 위치에 매핑된 태그장치(100)의 뷰 방향과 위치에서 가상 오브젝트의 출력 위치(예: 좌표)를 지정할 수 있다. 지정이 완료되면, 가상 오브젝트 결정부(225)는 지정된 가상 오브젝트의 출력 위치 정보를 가상 오브젝트 랜더링 모듈(500)로 전달할 수 있다.The virtual object determiner 225 may designate an output position (eg, coordinates) of the virtual object in the viewing direction and the position of the tag device 100 mapped to the observer's gaze direction and the position. When the designation is completed, the virtual object determiner 225 may transmit output position information of the designated virtual object to the virtual object rendering module 500.
저장부(230)는 제어부(220), 서버(200) 또는 증강현실 구현 시스템(10)의 다른 구성요소들로부터 수신되거나 생성된 데이터를 저장할 수 있다. 저장부(230)는 예를 들어, 메모리(memory), 캐시(cash), 버퍼(buffer) 등을 포함할 수 있다. The storage unit 230 may store data received or generated from the controller 220, the server 200, or other components of the AR system 10. The storage unit 230 may include, for example, a memory, a cash, a buffer, and the like.
다양한 실시예에 따르면, 저장부(230)는 정보 DB(231) 및 컨텐츠 DB(235)를 포함할 수 있다. 이러한 정보 DB(231) 및 컨텐츠 DB(235)는 저장부(230)상에서 구분되는 것으로 도시되어 있으나, 이에 한정하지 않으며, 하나의 모듈로서 구성될 수도 있다.According to various embodiments, the storage unit 230 may include an information DB 231 and a content DB 235. Although the information DB 231 and the content DB 235 are illustrated as being separated on the storage unit 230, the information DB 231 and the content DB 235 are not limited thereto and may be configured as one module.
정보 DB(231)는 정보 수집부(221)를 통해 수집된 정보들을 저장할 수 있다. 그리고, 정보 DB(231)는 서버(200)에서 생성된 가상 오브젝트의 출력위치 정보를 저장할 수 있다. 새로운 정보가 생성/수신됨에 따라, 정보 DB(231)의 기존 정보들은 소정 주기, 임의의 시점 또는 실시간으로 정보 수집부(221)를 통해 수집되는 정보들로 변경되거나 업데이트될 수 있다.The information DB 231 may store information collected through the information collector 221. The information DB 231 may store output location information of the virtual object generated by the server 200. As new information is generated / received, existing information of the information DB 231 may be changed or updated with information collected through the information collection unit 221 at a predetermined period, at any time point or in real time.
컨텐츠 DB(235)는 증강현실 영상을 구현하는데 필요한 컨텐츠를 저장할 수 있다. 이러한 컨텐츠는 예컨대, 증강현실 영상에 삽입할 적어도 하나의 가상 오브젝트일 수 있으나 이에 한정하는 것은 아니다.The content DB 235 may store content necessary to implement an augmented reality image. Such content may be, for example, at least one virtual object to be inserted into an augmented reality image, but is not limited thereto.
전술한 정보 수집부(221) 및 가상 오브젝트 결정부(225)는 서버(200)의 제어부(220)의 각 기능을 논리적으로 또는 기능적으로 분류한 구성일 수 있다. 따라서, 정보 수집부(221) 및 가상 오브젝트 결정부(225)와 제어부(220)는 하나의 모듈로서 구성될 수도 있다.The information collecting unit 221 and the virtual object determining unit 225 may be configured to logically or functionally classify each function of the control unit 220 of the server 200. Therefore, the information collector 221, the virtual object determiner 225, and the controller 220 may be configured as one module.
또한, 정보 수집부(221), 가상 오브젝트 결정부(225) 및 제어부(220)의 기능은 저장부(230, 예: 메모리)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다. In addition, the functions of the information collector 221, the virtual object determiner 225, and the controller 220 may be implemented in the form of a routine, an instruction, or a program stored in the storage 230 (eg, a memory). .
뿐만 아니라, 이러한 루틴, 명령어 또는 프로그램은 컴퓨터로 읽을 수 있는 저장매체에도 저장될 수 있다. 저장매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 저장매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 플래쉬 메모리 장치 등이 포함될 수 있다. 또한, 이러한 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. In addition, these routines, instructions, or programs may be stored in a computer-readable storage medium. Storage media includes all types of storage media on which programs and data are stored so that they can be read by a computer system. Examples include Read Only Memory (ROM), Random Access Memory (RAM), Compact Disk (CD), Digital Video Disk (DVD) -ROM, Magnetic Tape, Floppy Disk, Optical Data Storage, Flash Memory Devices, etc. Can be. In addition, these storage media can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
도 3은 본 발명의 다양한 실시예에 따라 증강현실 영상을 제작하는 순서도이다. 설명의 편의를 위해 도 4를 참조하여 설명하도록 한다. 도 4는 본 발명의 다양한 실시예에 따른 증경현실 구현 시스템(10)의 예시도이다.3 is a flowchart illustrating a process of manufacturing an augmented reality image according to various embodiments of the present disclosure. For convenience of explanation, it will be described with reference to FIG. 4. 4 is a diagram illustrating an augmented reality implementation system 10 according to various embodiments of the present disclosure.
먼저, S310 단계에서 서버(200)는 태그장치의 위치 정보 및 뷰 방향 정보를 수집할 수 있다. First, in operation S310, the server 200 may collect location information and view direction information of a tag device.
도 4를 참조하면, 로컬 좌표 공간에 구현되는 태그장치(100), 기준장치(300) 및 증강현실 디스플레이 장치(600)가 도시된다. 또한, 로컬 좌표 공간의 구성들로부터 정보를 수신하는 서버(200)가 도시된다. 도시되어 있지 않지만, 가상 오브젝트 랜더링 모듈(500)은 서버(200) 또는 증강현실 디스플레이 장치(600)에 포함될 수 있으며, 안테나 모듈(400)은 기준장치(300)에 포함된 것으로 가정하도록 한다. Referring to FIG. 4, a tag device 100, a reference device 300, and an augmented reality display device 600 implemented in a local coordinate space are shown. Also shown is a server 200 that receives information from configurations of a local coordinate space. Although not shown, the virtual object rendering module 500 may be included in the server 200 or the augmented reality display device 600, and it is assumed that the antenna module 400 is included in the reference device 300.
이 경우, 태그 장치(100)는 도 4에 도시된 바와 같이 증강현실 디스플레이 장치(600)의 외부에 결합되어 있을 수 있으나, 이와 달리 상기 증강현실 디스플레이 장치(600)의 내부에 내장된 형태로 결합되어 있을 수도 있다.In this case, the tag device 100 may be coupled to the outside of the augmented reality display device 600 as shown in FIG. 4, but in contrast, the tag device 100 may be coupled in a built-in form of the augmented reality display device 600. It may be.
서버(200)는 태그장치(100)가 바라보는 뷰 방향 정보 및 태그장치(100)의 식별 정보를 태그 장치(100)로부터 수신할 수 있고, 태그 장치(100)의 위치 정보를 안테나 모듈(400) 또는 기준장치(300)로부터 수신할 수 있다. 한정되지 않는 실시예로서, 서버(200)는 뷰 방향 정보 및 위치 정보를 수집하기 위해 태그장치(100), 기준장치(300) 또는 안테나 모듈(400)로 무선신호를 전송하거나 브로드캐스팅할 수 있다. The server 200 may receive the view direction information viewed by the tag device 100 and the identification information of the tag device 100 from the tag device 100, and receive the location information of the tag device 100 from the antenna module 400. ) Or from the reference device 300. In an embodiment, the server 200 may transmit or broadcast a radio signal to the tag device 100, the reference device 300, or the antenna module 400 to collect view direction information and location information. .
다음으로, S330 단계에서, 서버(200)는 수집된 정보를 기반으로 가상 오브젝트의 출력 위치를 결정할 수 있다.Next, in operation S330, the server 200 may determine an output position of the virtual object based on the collected information.
도 4를 참조하면, 본 발명이 동작하는 시스템 내에서는 기준장치(300) 위치를 기준점(또는 원점, 49)으로 하는 가상의 로컬 좌표 공간이 존재할 수 있다. 그리고, 상기 로컬 좌표 공간은 상기 기준장치(300)의 위치를 원점(49)으로 하되, 상기 원점(49)을 기준으로 하여 형성된 세 방향의 직교축(예를 들어, X축(45), Y축(43), Z축(41))을 포함하여 이루어질 수 있다. Referring to FIG. 4, in the system in which the present invention operates, there may be a virtual local coordinate space having the reference device 300 as the reference point (or origin, 49). In addition, the local coordinate space has a position of the reference device 300 as an origin 49, and orthogonal axes in three directions formed on the basis of the origin 49 (for example, X axis 45 and Y). Axis 43, Z axis 41) can be made.
서버(200)는 수집된 태그장치(100)의 뷰 방향 정보 및 위치 정보를 기반으로 상기 로컬 좌표 공간 내에서 태그장치(100)의 측위를 확인할 수 있다. 그리고, 서버(200)는 태그장치(100)의 뷰 방향 및 위치를 가상 카메라의 뷰 방향과 위치로 설정할 수 있다. 관찰자의 시점을 태그장치(100)와 매칭시키기 위해서이다. The server 200 may check the location of the tag device 100 in the local coordinate space based on the collected view direction information and the location information of the tag device 100. The server 200 may set the view direction and the position of the tag device 100 as the view direction and the position of the virtual camera. This is to match the viewpoint of the observer with the tag apparatus 100.
서버(200)는 태그장치(100)의 뷰 방향 및 위치를 기초로 관찰자에게 제공하기 위한 가상 오브젝트의 출력위치를 결정할 수 있다. 이러한 출력위치는 도 4의 로컬 좌표 공간 내에 소정 좌표에 해당할 수 있으며, 구체적인 지정 위치는 서버(200) 또는 증강현실 구현 시스템(10)의 관리자에 의해 설정되거나 미리 설정된 컨텐츠 시나리오에 의해 결정될 수 있다. The server 200 may determine an output position of the virtual object for providing to the observer based on the view direction and the position of the tag device 100. Such an output position may correspond to a predetermined coordinate in the local coordinate space of FIG. 4, and a specific designated position may be determined by a content scenario set or preset by an administrator of the server 200 or the augmented reality implementation system 10. .
다음으로, S350 단계에서 가상 오브젝트 랜더링 모듈(500)은 가상 오브젝트의 출력위치에 기반하여 가상 오브젝트의 이미지를 랜더링할 수 있다. 이어서, S370 단계에서 증강현실 디스플레이 장치(600)는 카메라를 통해 획득된 현실 영상과 가상 오브젝트 랜더링 모듈(500)에서 랜더링된 가상 오브젝트 이미지를 정합하여 증강현실 영상을 생성할 수 있다.Next, in operation S350, the virtual object rendering module 500 may render an image of the virtual object based on the output position of the virtual object. Subsequently, in operation S370, the augmented reality display apparatus 600 may generate an augmented reality image by matching a real image acquired through a camera with a virtual object image rendered by the virtual object rendering module 500.
상기와 같은 실시예에 의해, GPS 신호 또는 마커를 사용하지 않고도 가상 오브젝트의 출력 위치를 지정함으로써 보다 빠르고 효율적으로 증강현실 영상을 구현할 수 있다.According to the above embodiment, an augmented reality image can be realized more quickly and efficiently by specifying an output position of a virtual object without using a GPS signal or a marker.
도 5는 본 발명의 다양한 실시예에 따른 멀티 태그장치/기준장치 방식의 예시도이다.5 is an exemplary diagram of a multi tag device / reference device method according to various embodiments of the present disclosure.
도면에 도시되는 바와 같이, 본 발명의 다양한 실시예에 따른 증강현실 구현 시스템(10)은 복수의 태그장치들(100_1, 100_2, 100_3)과 복수의 기준장치들(300_S, 300_1, 300_2)로 구성될 수 있다. 설명의 편의를 위해, 제1 그룹(c1)과 제 그룹(c2)으로 구분한다. 제1 그룹(c1)은 기준장치(300_1)의 안테나 모듈(400)의 전파 영역 내에 속한 구성요소들을 의미하며, 제2 그룹(c2)은 기준장치(300_2)의 안테나 모듈(400)의 전파 영역 내에 속한 구성요소들을 의미한다.As shown in the figure, the augmented reality implementation system 10 according to various embodiments of the present invention is composed of a plurality of tag devices (100_1, 100_2, 100_3) and a plurality of reference devices (300_S, 300_1, 300_2) Can be. For convenience of description, it is divided into a first group (c1) and a first group (c2). The first group c1 refers to components belonging to the propagation area of the antenna module 400 of the reference device 300_1, and the second group c2 represents the propagation area of the antenna module 400 of the reference device 300_2. It means components belonging to.
서버(200)는 제1 그룹(c1)과 제2 그룹(c2)에 속한 모든 구성들로부터 정보를 수신할 수 있다. 전술한 실시예에서 하나의 기준장치(300)가 원점 또는 기준점이 되어 태그장치(100)의 상대적인 위치를 구했다면, 도 5의 실시예에서는 각 기준장치(300)마다 상대적인 좌표값을 가지게 되므로 태그장치(100)들의 위치를 특정할 수 있는 연계 작업이 필요하다. The server 200 may receive information from all components belonging to the first group c1 and the second group c2. In the above-described embodiment, if one reference device 300 is obtained as a reference point or a reference point to obtain a relative position of the tag device 100, in the embodiment of FIG. 5, since each reference device 300 has a relative coordinate value, the tag is tagged. There is a need for a cooperative task that can specify the location of the devices 100.
이를 위해, 서버(200)는 복수개의 기준장치들(300_S, 300_1, 300_2) 중 어느 하나(300_S)를 원점으로 설정할 수 있다. 다만 이에 한정하는 것은 아니며, 서버(200)는 전술한 로컬 좌표 공간의 임의의 지점을 원점으로 설정할 수도 있다. To this end, the server 200 may set any one of the plurality of reference devices 300_S, 300_1, and 300_2 as the origin. However, the present disclosure is not limited thereto, and the server 200 may set an arbitrary point of the above-described local coordinate space as the origin.
그러면, 서버(2000)는 상기 원점에 대한 각 기준장치(300_1, 300_2)의 상대적인 좌표들을 제1 가상좌표 정보로서 산정할 수 있다. 즉, 제1 그룹(c1)의 기준장치(300_1)와 제2 그룹(c2)의 기준장치(300_2)가 원점에 대하여 상대적으로 결정되는 좌표들을 1차적으로 산정할 수 있다. Then, the server 2000 may calculate relative coordinates of each of the reference devices 300_1 and 300_2 with respect to the origin as first virtual coordinate information. That is, the reference device 300_1 of the first group c1 and the reference device 300_2 of the second group c2 may first calculate coordinates determined relative to the origin.
그리고, 서버(200)는 산정된 제1 가상좌표 정보에 대한 각 태그장치들(100_1, 100_2, 100_3)의 위치 정보를 제2 가상좌표 정보로서 산정할 수 있다. 이에 의해, 원점을 기준으로 하는 각 태그장치들(100_1, 100_2, 100_3)의 위치 정보가 산정될 수 있다.In addition, the server 200 may calculate location information of each tag device 100_1, 100_2, and 100_3 with respect to the calculated first virtual coordinate information as second virtual coordinate information. As a result, location information of each of the tag devices 100_1, 100_2, and 100_3 based on the origin may be calculated.
상기 도 5와 같은 실시예에 의해, 본 발명의 실시예에 따른 증강현실 구현 시스템(10)은 증강현실을 구현할 수 있는 로컬 영역의 범위를 보다 확장시킬 수 있다.5, the augmented reality implementation system 10 according to an embodiment of the present invention can further extend the range of the local area that can implement augmented reality.
도 6은 본 발명의 다른 실시예에 따른 증강현실 구현 시스템(10)의 구성도이다. 도 6에서 개시하는 구성 중 도 1과 중복되는 내용은 생략하거나 간결히 개시하도록 한다. 도 1과 다른 구성은, 도 6에서는 빔 프로젝터(700) 및 스크린(800)이 더 추가된 것을 확인할 수 있다.6 is a block diagram of an augmented reality implementation system 10 according to another embodiment of the present invention. In the configuration disclosed in FIG. 6, the content overlapping with FIG. 1 will be omitted or concisely disclosed. 1 and the other configuration, in FIG. 6, it may be confirmed that the beam projector 700 and the screen 800 are further added.
도 6의 실시예에서는 증강현실 구현 시스템(10)에 가상 오브젝트 랜더링 모듈(500)과 빔 프로젝터(700)는 포함되지 않는 것으로 도시되어 있으나, 이에 한정하는 것은 아니며 다른 실시예에 따라 가상 오브젝트 랜더링 모듈(500) 및/또는 빔 프로젝터(700)가 증강현실 구현 시스템(10)에 포함될 수 있다.In the embodiment of FIG. 6, although the virtual object rendering module 500 and the beam projector 700 are not included in the augmented reality implementation system 10, the virtual object rendering module is not limited thereto and according to another embodiment. 500 and / or beam projector 700 may be included in augmented reality implementation system 10.
도 6의 실시예에 따른 증강현실 구현 시스템(10)은 서버(200)가 태그장치(100), 기준장치(300) 및 안테나 모듈(400)과 통신함으로써 전술한 도면들에서 개시된 가상 오브젝트의 출력 위치의 결정 동작이 수행된 상태일 수 있다.In the augmented reality implementation system 10 according to the embodiment of FIG. 6, the server 200 communicates with the tag apparatus 100, the reference apparatus 300, and the antenna module 400 to output the virtual object disclosed in the aforementioned drawings. The determination operation of the position may be performed.
가상 오브젝트의 위치가 결정되면, 서버(200)는 가상 오브젝트의 위치, 스크린(800) 및 공간(예: 로컬 공간)에서의 임의의 지점을 기반으로 해당 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다.Once the position of the virtual object is determined, the server 200 may select the virtual object as either a screen image or an augmented reality image based on the position of the virtual object, the screen 800 and an arbitrary point in the space (eg, the local space). You can output it as one.
도 6의 실시예에 따른 서버(200)는 가상 오브젝트의 출력 위치를 확인하고, 확인된 가상 오브젝트를 공간 상에서 소정 조건에 따라 증강현실 영상 또는 스크린 영상으로 출력하는 기능을 수행할 수 있다. 이러한 기능은 도 10을 통해 구체적으로 설명하도록 한다.The server 200 according to the embodiment of FIG. 6 may perform a function of checking an output position of the virtual object and outputting the identified virtual object as an augmented reality image or a screen image according to a predetermined condition in a space. This function will be described in detail with reference to FIG. 10.
가상 오브젝트 랜더링 모듈(500)은 가상 오브젝트가 증강현실 영상으로 출력되는 것으로 결정된 경우, 서버(200)로부터 수신된 정보를 기반으로 가상 오브젝트를 랜더링할 수 있다. When it is determined that the virtual object is output as an augmented reality image, the virtual object rendering module 500 may render the virtual object based on the information received from the server 200.
빔 프로젝터(700)는 가상 오브젝트가 스크린 영상으로 출력되는 것으로 결정된 경우, 서버(200)로부터 수신된 정보를 기반으로 스크린(800)에 가상 오브젝트의 스크린 영상을 출력시키는 기능을 수행할 수 있다.When it is determined that the virtual object is output as a screen image, the beam projector 700 may perform a function of outputting the screen image of the virtual object to the screen 800 based on the information received from the server 200.
스크린(800)은 빔 프로젝터(700)로부터 투사된 영상이 출력되는 장치이다. 다양한 실시예에 따르면, 스크린(800)은 사각 스크린, 서클 스크린 또는 돔형 스크린일 수 있으나 이에 한정하는 것은 아니다.The screen 800 is a device that outputs an image projected from the beam projector 700. According to various embodiments, the screen 800 may be a rectangular screen, a circle screen, or a domed screen, but is not limited thereto.
상기와 같은 구성들에 의해 가상 오브젝트의 위치가 결정되면, 증강현실 구현 시스템(10)은 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다. 도 7 내지 도 9는 본 발명의 다양한 실시예에 따라 입체영상의 구현 원리를 나타내는 예시도이다. 이러한 도 7 내지 도 9에서는 입체영상을 구현하기 위한 로컬 공간(Local Space)이 도시된다. When the position of the virtual object is determined by the above configurations, the augmented reality implementation system 10 may output the virtual object as either a screen image or an augmented reality image. 7 to 9 are exemplary views illustrating an implementation principle of a stereoscopic image according to various embodiments of the present disclosure. 7 to 9 illustrate a local space for implementing a stereoscopic image.
도 7에 도시되는 바와 같이 증강현실 구현 시스템(10) 또는 서버(200)는 공간에서 가상의 임의의 지점(o)을 설정할 수 있고, 공간에서 출력될 가상 오브젝트(OB1, OB2)의 위치를 확인할 수 있다.As shown in FIG. 7, the augmented reality implementation system 10 or the server 200 may set an arbitrary virtual point o in the space, and check the positions of the virtual objects OB1 and OB2 to be output in the space. Can be.
구체적으로, 도 7에서 서버(200)는 스크린(800)을 기준으로 임의의 지점(O)쪽에 위치한 오브젝트(OB2)는 스크린 영상으로 출력할 수 있고, 스크린(800)을 기준으로 임의의 지점(O)과 반대쪽에 위치한 오브젝트(OB1)는 증강현실 영상으로 출력할 수 있다. 이러한 출력 결과는 도 8에 도시된 바와 같이 나타난다. 이에 의해, 증강현실 구현 시스템(10)은 복수의 오브젝트들에 대하여 일부는 스크린 영상으로, 나머지 일부는 증강현실 영상으로 구현함으로써 보다 입체적이고 효율적인 방법의 입체영상을 구현할 수 있다. In detail, in FIG. 7, the server 200 may output an object OB2 positioned at an arbitrary point O with respect to the screen 800 as a screen image. The object OB1 positioned opposite to O) may be output as an augmented reality image. This output result is shown as shown in FIG. As a result, the augmented reality implementation system 10 may implement a stereoscopic image of a more stereoscopic and efficient method by implementing a portion of the plurality of objects as a screen image and a portion as an augmented reality image.
또한, 도 9와 같이 스크린(800)이 서클 스크린으로 구현되는 경우 또는 돔형 스크린으로 구현되는 경우가 발생할 수 있다. 이 경우, 서버(200)는 스크린(800)을 기준으로 스크린(800)의 내부 공간에 있는 가상 오브젝트(OB2)는 증강현실 영상으로 출력하고, 스크린(800)의 외부 공간에 있는 가상 오브젝트(OB1)는 스크린 영상으로 출력할 수 있다.In addition, as shown in FIG. 9, a case where the screen 800 is implemented as a circle screen or a dome screen may occur. In this case, the server 200 outputs the virtual object OB2 in the internal space of the screen 800 based on the screen 800 as an augmented reality image, and outputs the virtual object OB1 in the external space of the screen 800. ) Can be output as a screen image.
도 10는 도 6의 증강현실 구현 시스템(10)에서 사용되는 서버(200)의 블록도이다. 이러한 도 10의 서버(200)의 구성은 도 2의 서버(200)의 구성을 더 포함하거나 일부 구성이 생략될 수 있다. 도 10의 서버(200)의 구성과 관련하여 도 2의 서버(200)와 중복되는 내용은 생략하거나 간략하게 개시하도록 한다.FIG. 10 is a block diagram of the server 200 used in the augmented reality implementation system 10 of FIG. 6. The configuration of the server 200 of FIG. 10 may further include the configuration of the server 200 of FIG. 2 or some components may be omitted. Regarding the configuration of the server 200 of FIG. 10, the content overlapping with the server 200 of FIG. 2 will be omitted or briefly disclosed.
도면에 도시되는 바와 같이, 서버(200)는 통신 모듈(210), 제어부(220), 가상 오브젝트 관리부(222), 스크린 영상 출력부(223), 증강현실 영상 출력부(224), 출력 제어부(227) 및 저장부(230)를 포함할 수 있다.As shown in the drawing, the server 200 includes a communication module 210, a controller 220, a virtual object manager 222, a screen image output unit 223, an augmented reality image output unit 224, and an output control unit ( 227 and the storage 230.
통신 모듈(210)은 가상 오브젝트를 스크린 영상 또는 증강현실 영상으로 출력하기 위해 가상 오브젝트 랜더링 모듈(500) 또는 빔 프로젝터(700)와 연결될 수 있다. 통신 모듈(200)은 유무선 통신 방식 이외에 내부적인 연결 방식(예: 버스)으로 가상 오브젝트 랜더링 모듈(500) 또는 빔 프로젝터(700)와 연결될 수 있다.The communication module 210 may be connected to the virtual object rendering module 500 or the beam projector 700 to output the virtual object as a screen image or an augmented reality image. The communication module 200 may be connected to the virtual object rendering module 500 or the beam projector 700 by an internal connection method (for example, a bus) in addition to the wired / wireless communication method.
가상 오브젝트 관리부(222)는 로컬 공간에서 출력될 가상 오브젝트의 위치를 결정하는 기능을 수행할 수 있다. 이를 위해, 가상 오브젝트 관리부(222)는 증강현실 구현 시스템(10)에서 가상 오브젝트의 위치를 결정하기 위해 필요한 자료를 통신 모듈(210)을 통해 수집할 수 있다. 이러한 가상 오브젝트 관리부(222)는 도 2의 서버(200)의 가상 오브젝트 결정부(225)와 동일한 기능을 수행할 수 있다. 즉, 가상 오브젝트 관리부(222)는 태그장치(100)로부터 소정 거리 이격된 기준장치(100)의 위치를 기준점으로 하는 태그장치(100)의 상대적인 위치 정보와 태그장치(100)의 뷰 방향 정보를 수집할 수 있다.The virtual object manager 222 may perform a function of determining the location of the virtual object to be output in the local space. To this end, the virtual object manager 222 may collect data necessary for determining the location of the virtual object in the augmented reality implementation system 10 through the communication module 210. The virtual object manager 222 may perform the same function as the virtual object determiner 225 of the server 200 of FIG. 2. That is, the virtual object manager 222 may determine the relative position information of the tag apparatus 100 and the view direction information of the tag apparatus 100 based on the position of the reference apparatus 100 spaced apart from the tag apparatus 100 by a predetermined distance. Can be collected.
스크린 영상 출력부(223)는 출력 제어부(227)로부터 가상 오브젝트를 스크린 영상으로 출력한다는 판단 신호를 수신할 수 있고, 빔 프로젝터(700)로 해당 가상 오브젝트의 스크린 영상을 전달할 수 있다. 이러한 스크린 영상은 스크린 영상 출력부(223)에서 미리 생성되거나 출력 제어부(227)의 판단 신호를 수신함에 따라 생성될 수 있다. 한정되지 않는 실시예로서, 전술한 도 6과 달리 빔 프로젝터(700)는 스크린 영상 출력부(223)에 포함될 수도 있다.The screen image output unit 223 may receive a determination signal that outputs the virtual object as a screen image from the output control unit 227, and may transmit the screen image of the virtual object to the beam projector 700. The screen image may be generated in advance by the screen image output unit 223 or by receiving the determination signal of the output control unit 227. According to an embodiment, the beam projector 700 may be included in the screen image output unit 223 unlike FIG. 6.
증강현실 영상 출력부(224)는 출력 제어부(227)로부터 가상 오브젝트를 증강현실 영상으로 출력한다는 판단 신호를 수신할 수 있고, 가상 오브젝트를 증강현실 영상으로 생성하기 위해 필요한 자료를 가상 오브젝트 랜더링 모듈(500)에 전달할 수 있다. 한정되지 않는 실시예로서, 전술한 도 6과 달리 가상 오브젝트 랜더링 모듈(500)은 증강현실 영상 출력부(224)에 포함될 수도 있다.The augmented reality image output unit 224 may receive a determination signal that outputs the virtual object as an augmented reality image from the output control unit 227, the virtual object rendering module (A) 500). As an exemplary embodiment, the virtual object rendering module 500 may be included in the augmented reality image output unit 224, unlike FIG. 6.
출력 제어부(227)는 가상 오브젝트의 위치를 확인하고, 설정된 조건에 따라 가상 오브젝트를 스크린 영상 또는 증강현실 영상으로 출력하는 기능을 수행할 수 있다.The output controller 227 may check the position of the virtual object and perform a function of outputting the virtual object as a screen image or an augmented reality image according to a set condition.
전술한 가상 오브젝트 관리부(222), 스크린 영상 출력부(223), 증강현실 영상 출력부(224) 및 출력 제어부(227)는 서버(200)의 제어부(220)의 각 기능을 논리적으로 또는 기능적으로 분류한 구성일 수 있다. 따라서, 가상 오브젝트 관리부(222), 스크린 영상 출력부(223), 증강현실 영상 출력부(224) 및 출력 제어부(227)와 제어부(220)는 하나의 모듈로서 구성될 수도 있다.The virtual object manager 222, the screen image output unit 223, the augmented reality image output unit 224, and the output control unit 227 may logically or functionally perform respective functions of the control unit 220 of the server 200. It can be a sorted configuration. Accordingly, the virtual object manager 222, the screen image output unit 223, the augmented reality image output unit 224, the output control unit 227, and the control unit 220 may be configured as one module.
또한, 가상 오브젝트 관리부(222), 스크린 영상 출력부(223), 증강현실 영상 출력부(224), 출력 제어부(227) 및 제어부(220)의 기능은 저장부(230, 예: 메모리)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다. 뿐만 아니라, 이러한 루틴, 명령어 또는 프로그램은 컴퓨터로 읽을 수 있는 저장매체에도 저장될 수 있다. In addition, the functions of the virtual object manager 222, the screen image output unit 223, the augmented reality image output unit 224, the output control unit 227, and the control unit 220 may be stored in the storage unit 230 (eg, a memory). It may be implemented in the form of a routine, instruction or program. In addition, these routines, instructions, or programs may be stored in a computer-readable storage medium.
도 11은 본 발명의 다양한 실시예에 따라 입체영상을 구현하는 동작을 나타내는 순서도이다. 도 11에서 설명되는 사항 중 도 6 내지 도 10에서 설명된 내용과 중복된 내용은 생략하도록 한다.11 is a flowchart illustrating an operation of implementing a stereoscopic image according to various embodiments of the present disclosure. Of the matters described with reference to FIG. 11, the content duplicated with the content described with reference to FIGS. 6 to 10 will be omitted.
먼저, S1110 단계에서, 서버(200)는 가상 오브젝트의 위치를 확인할 수 있다. 이러한 S1110 단계는 도 12와 같이 전술한 도 3의 S310 단계와 S330 단계와 동일한 단계(S1210, S1230)를 포함한다. 그리고, S1130 단계에서 서버(200)는 스크린을 기준으로 가상 오브젝트의 상대적인 위치를 비교할 수 있다. 이 경우, 서버(200)는 공간에서의 임의의 지점, 스크린 및 확인된 가상 오브젝트의 위치를 비교할 수 있다.First, in step S1110, the server 200 may check the location of the virtual object. This step S1110 includes the same step (S1210, S1230) and step S310 and step S330 of FIG. 3 described above as shown in FIG. In operation S1130, the server 200 may compare the relative positions of the virtual objects based on the screen. In this case, server 200 may compare any point in the space, the screen and the location of the identified virtual object.
이어서, S1150 단계에서 서버(200)는 비교된 결과를 기반으로 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력할 수 있다. 예를 들어, 서버(200)는 가상 오브젝트 랜더링 모듈(500) 또는 빔 프로젝터(700)를 이용하여 증강현실 영상과 스크린 영상을 각각 출력할 수 있다. 이에 의해, S1170 단계에서 로컬 공간내에서 스크린 영상과 증강현실 영상이 모두 출력되는 입체영상이 구현될 수 있다. In operation S1150, the server 200 may output the virtual object as either a screen image or an augmented reality image based on the compared result. For example, the server 200 may output an augmented reality image and a screen image using the virtual object rendering module 500 or the beam projector 700, respectively. Thus, in operation S1170, a stereoscopic image may be implemented in which both the screen image and the augmented reality image are output in the local space.
전술한 본 발명의 다양한 실시예들에 의해서 스크린을 벗어난 물체까지 입체영상으로 표현할 수 있으며, GPS 신호 또는 마커를 사용하지 않고 태그장치의 위치 정보와 뷰 방향 정보를 기반으로 가상 오브젝트의 출력 위치를 지정할 수 있다.According to various embodiments of the present disclosure, an object outside the screen may be expressed in a stereoscopic image, and an output position of a virtual object may be specified based on the location information and the view direction information of the tag device without using a GPS signal or a marker. Can be.
본 발명의 다양한 실시예에 사용된 용어 “모듈”또는 “~부”는, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈” 또는 “~부”는 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈” 또는“~부”는 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있고, 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈” 또는“~부”는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈” 또는“~부”는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다. As used in various embodiments of the present invention, the term “module” or “unit” may refer to a unit including one or a combination of two or more of hardware, software, or firmware. . “Module” or “unit” is interchangeable with, for example, terms such as unit, logic, logical block, component, or circuit. Can be. “Module” or “part” may be a minimum unit or part of an integrally formed part, or may be a minimum unit or part of one or more functions. The "module" or "~ part" can be implemented mechanically or electronically. For example, a “module” or “unit” in accordance with various embodiments of the present invention may be an application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs) that perform certain operations, known or developed in the future. ) Or at least one of a programmable-logic device.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.Modules or programming modules according to various embodiments of the present disclosure may include at least one or more of the aforementioned components, omit some of them, or further include additional components. Operations performed by modules, programming modules, or other components in accordance with various embodiments of the present invention may be executed in a sequential, parallel, repetitive, or heuristic manner. In addition, some operations may be executed in a different order, may be omitted, or other operations may be added.

Claims (17)

  1. 증강현실 영상을 구현하기 위한 서버로서,As a server for implementing augmented reality image,
    태그장치 또는 기준장치와 상기 서버를 연결하는 통신 모듈;A communication module connecting the tag device or the reference device with the server;
    상기 태그장치로부터 소정 거리 이격된 상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하는 정보 수집부; 및An information collector configured to collect relative position information of the tag apparatus based on the position of the reference apparatus spaced apart from the tag apparatus as a reference point and view direction information viewed by the tag apparatus; And
    상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 가상 오브젝트 결정부를 포함하는 서버.And a virtual object determiner configured to determine a position of a virtual object to be output from an augmented reality image based on location information of the tag device and view direction information of the tag device.
  2. 제 1항에 있어서,The method of claim 1,
    상기 서버는 상기 가상 오브젝트의 위치에 기초하여 상기 가상 오브젝트를 랜더링하는 가상 오브젝트 랜더링 모듈을 더 포함하거나,The server further includes a virtual object rendering module for rendering the virtual object based on the location of the virtual object,
    상기 가상 오브젝트 랜더링 모듈이 상기 서버에 포함되지 않는 경우, 상기 가상 오브젝트 결정부는 상기 결정된 위치를 나타내는 가상 오브젝트의 위치 정보를 상기 통신 모듈을 통해 상기 가상 오브젝트 랜더링 모듈로 전송하는 서버.If the virtual object rendering module is not included in the server, the virtual object determining unit transmits the location information of the virtual object indicating the determined position to the virtual object rendering module through the communication module.
  3. 제 2항에 있어서,The method of claim 2,
    상기 서버가 상기 가상 오브젝트 랜더링 모듈을 포함하는 경우, 상기 가상 오브젝트 랜더링 모듈은 상기 랜더링된 가상 오브젝트를 상기 태그장치와 연결되거나 상기 태그장치가 부착되는 증강현실 디스플레이 장치로 전송하는 서버.And when the server includes the virtual object rendering module, the virtual object rendering module transmits the rendered virtual object to the augmented reality display device connected to the tag device or to which the tag device is attached.
  4. 제 2항에 있어서, 상기 정보 수집부는,The method of claim 2, wherein the information collecting unit,
    상기 뷰 방향 정보를 상기 통신 모듈을 통해 상기 태그장치로부터 수신하고,Receiving the view direction information from the tag device through the communication module,
    상기 태그장치의 위치 정보를 상기 통신 모듈을 통해 상기 기준장치로부터 수신하는 서버. Server for receiving the location information of the tag device from the reference device through the communication module.
  5. 제 1항에 있어서, The method of claim 1,
    상기 기준장치 및 상기 태그장치가 복수개인 경우,When there are a plurality of the reference device and the tag device,
    상기 정보 수집부는 복수개의 기준장치들로부터 각 기준장치의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고,The information collecting unit collects location information of each tag device located in a propagation area of each reference device from a plurality of reference devices.
    상기 가상 오브젝트 결정부는, The virtual object determination unit,
    상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하고, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하며, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하고, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정하는 서버. Set one reference device or any point among the plurality of reference devices as an origin, calculate relative coordinates of each reference device with respect to the origin as first virtual coordinate information, and calculate the relative to the first virtual coordinate information. Calculating location information of each tag device as second virtual coordinate information, and determining a location of the virtual object based on the second virtual coordinate information and view direction information of each tag device.
  6. 증강현실 영상을 구현하기 위한 시스템으로서,As a system for implementing augmented reality image,
    증강현실 디스플레이 장치에 부착되거나 상기 증강현실 디스플레이 장치와 연결되는 태그장치;A tag device attached to the augmented reality display device or connected to the augmented reality display device;
    상기 태그장치로부터 소정 거리 이격된 기준장치; 및A reference device spaced apart from the tag device by a predetermined distance; And
    상기 태그장치 및 상기 기준장치와 통신하여 상기 기준장치의 위치를 기준점으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하고, 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 서버를 포함하는 시스템.Communicates with the tag apparatus and the reference apparatus to collect relative position information of the tag apparatus based on the position of the reference apparatus and view direction information viewed by the tag apparatus, and position information of the tag apparatus and the tag apparatus. And a server configured to determine a location of a virtual object to be output in the augmented reality image based on the view direction information of the.
  7. 제 6항에 있어서, The method of claim 6,
    상기 시스템은 상기 가상 오브젝트의 위치에 기초하여 상기 가상 오브젝트를 랜더링하는 가상 오브젝트 랜더링 모듈을 더 포함하는 시스템.The system further comprises a virtual object rendering module for rendering the virtual object based on the location of the virtual object.
  8. 제 6항에 있어서, The method of claim 6,
    상기 시스템 또는 상기 기준장치는 상기 태그장치의 위치를 감지하기 위한 안테나 모듈을 포함하고,The system or the reference device includes an antenna module for detecting the position of the tag device,
    상기 안테나 모듈은 각각 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함하며, 각 안테나의 위치는 상기 기준장치를 기준으로 좌표화되어 상기 서버에서 인식되는 것을 특징으로 하는 시스템.The antenna module includes three or more antennas having different heights and directions, respectively, and the position of each antenna is coordinated with respect to the reference device and recognized by the server.
  9. 제 6항에 있어서, The method of claim 6,
    상기 태그장치는 통신모듈 및 센서모듈을 포함하고,The tag device includes a communication module and a sensor module,
    상기 태그장치는 상기 센서모듈을 통해 상기 태그장치가 바라보는 방향을 나타내는 뷰 방향 정보를 생성하고, 생성된 뷰 방향 정보를 상기 통신모듈을 통해 상기 서버로 전송하는 시스템.The tag apparatus generates view direction information indicating a direction viewed by the tag apparatus through the sensor module, and transmits the generated view direction information to the server through the communication module.
  10. 제 6항에 있어서,The method of claim 6,
    상기 기준장치 및 상기 태그장치가 복수개인 경우,When there are a plurality of the reference device and the tag device,
    상기 서버는 복수개의 기준장치들로부터 안테나 모듈의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하며, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하고, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하며, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정하는 시스템.The server collects location information of each tag device located in the propagation area of the antenna module from a plurality of reference devices, sets one reference device or any point among the plurality of reference devices as an origin, and the origin point. Calculate relative coordinates of each reference device with respect to the first virtual coordinate information, calculate position information of each tag device with respect to the first virtual coordinate information as second virtual coordinate information, and calculate the second virtual coordinate information and each And determining the position of the virtual object based on the view direction information of the tag device.
  11. 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 서버로서,A server for realizing a stereoscopic image through a space including a screen,
    상기 공간상에 설정된 가상 오브젝트의 위치를 확인하는 가상 오브젝트 관리부;A virtual object manager to check a position of the virtual object set in the space;
    상기 가상 오브젝트가 스크린 영상으로 출력되도록 확인된 경우, 상기 스크린에 상기 가상 오브젝트를 스크린 영상으로 출력하는 스크린 영상 출력부;A screen image output unit configured to output the virtual object as a screen image on the screen when the virtual object is output to the screen image;
    상기 가상 오브젝트가 증강현실 영상으로 출력되도록 확인된 경우, 상기 공간에서 상기 가상 오브젝트를 증강현실 영상으로 출력하는 증강현실 영상 출력부; 및An augmented reality image output unit configured to output the virtual object as an augmented reality image in the space when the virtual object is determined to be output as an augmented reality image; And
    상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 상기 스크린 영상 출력부 또는 상기 증강현실 영상 출력부 중 어느 하나를 통해 출력하도록 하는 출력 제어부를 포함하는 서버.And an output controller configured to output the virtual object through one of the screen image output unit and the augmented reality image output unit based on an arbitrary point in the space, the screen, and the position of the virtual object.
  12. 제 11항에 있어서, 상기 출력 제어부는,The method of claim 11, wherein the output control unit,
    상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점 쪽에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고, Outputting the virtual object as an augmented reality image through the augmented reality image output unit when the virtual object is located toward the random point based on the screen in the space,
    상기 공간에서 상기 가상 오브젝트가 상기 스크린을 기준으로 상기 임의의 지점과 반대쪽에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력하는, 서버.And outputting the virtual object as a screen image through the screen image output unit when the virtual object is located opposite to the random point with respect to the screen in the space.
  13. 제 11항에 있어서, 상기 스크린이 서클 스크린 또는 돔형 스크린인 경우, The method of claim 11, wherein when the screen is a circle screen or a domed screen,
    상기 출력 제어부는,The output control unit,
    상기 가상 오브젝트가 상기 스크린의 내부에 위치한 경우, 상기 가상 오브젝트를 상기 증강현실 영상 출력부를 통해 증강현실 영상으로 출력하고,When the virtual object is located inside the screen, the virtual object is output as an augmented reality image through the augmented reality image output unit,
    상기 가상 오브젝트가 상기 스크린의 외부에 위치한 경우, 상기 가상 오브젝트를 상기 스크린 영상 출력부를 통해 스크린 영상으로 출력하는, 서버When the virtual object is located outside the screen, the server outputs the virtual object as a screen image through the screen image output unit,
  14. 스크린을 포함하는 공간을 통해 입체영상을 구현하기 위한 증강현실 구현 시스템으로서,An augmented reality implementation system for realizing a stereoscopic image through a space including a screen,
    관찰자가 착용하는 증강현실 디스플레이 장치에 부착되거나 상기 증강현실 디스플레이 장치와 연결되는 태그장치;A tag device attached to the augmented reality display device worn by an observer or connected to the augmented reality display device;
    상기 태그장치로부터 소정 거리 이격된 기준장치; 및A reference device spaced apart from the tag device by a predetermined distance; And
    상기 태그장치 및 상기 기준장치와 통신하여 상기 기준장치의 위치를 기준으로 하는 상기 태그장치의 상대적인 위치 정보 및 상기 태그장치가 바라보는 뷰 방향 정보를 수집하고, 상기 태그장치의 위치 정보 및 상기 태그장치의 뷰 방향 정보를 기반으로 상기 증강현실 영상에서 출력될 가상 오브젝트의 위치를 결정하는 서버를 포함하고,Communicates with the tag apparatus and the reference apparatus to collect relative position information of the tag apparatus based on the position of the reference apparatus and view direction information viewed by the tag apparatus, the position information of the tag apparatus, and the tag apparatus The server determines a position of the virtual object to be output from the augmented reality image based on the view direction information of,
    상기 입체 영상 구현 서버는 상기 공간상에서 상기 결정된 가상 오브젝트의 위치를 확인하고, 상기 공간에서의 임의의 지점, 상기 스크린 및 상기 가상 오브젝트의 위치를 기반으로 상기 가상 오브젝트를 스크린 영상 또는 증강현실 영상 중 어느 하나로 출력하는, 증강현실 구현 시스템.The stereoscopic image implementation server checks the position of the determined virtual object in the space, and selects one of the screen image or the augmented reality image of the virtual object based on a random point in the space, the screen and the position of the virtual object. Augmented reality implementation system that outputs as one.
  15. 제 14항에 있어서, The method of claim 14,
    상기 증강현실 구현 시스템 또는 상기 기준장치는 상기 태그장치의 위치를 감지하기 위한 안테나 모듈을 포함하고,The augmented reality implementation system or the reference device includes an antenna module for detecting the position of the tag device,
    상기 안테나 모듈은 각각 다른 높이와 방향을 가지는 3개 이상의 안테나를 포함하며, 각 안테나의 위치는 상기 기준장치를 기준으로 좌표화되어 상기 서버에서 인식되는 것을 특징으로 하는, 증강현실 구현 시스템.The antenna module includes three or more antennas having different heights and directions, respectively, and the position of each antenna is coordinated based on the reference device and recognized by the server.
  16. 제 14항에 있어서, The method of claim 14,
    상기 태그장치는 통신모듈 및 센서모듈을 포함하고,The tag device includes a communication module and a sensor module,
    상기 태그장치는 상기 센서모듈을 통해 상기 태그장치가 바라보는 방향을 나타내는 뷰 방향 정보를 생성하고, 생성된 뷰 방향 정보를 상기 통신모듈을 통해 상기 서버로 전송하는, 증강현실 구현 시스템.The tag apparatus generates view direction information indicating a direction viewed by the tag apparatus through the sensor module, and transmits the generated view direction information to the server through the communication module.
  17. 제 14항에 있어서, The method of claim 14,
    상기 기준장치 및 상기 태그장치가 복수개인 경우,When there are a plurality of the reference device and the tag device,
    상기 서버는 복수개의 기준장치들로부터 안테나 모듈의 전파 영역내에 위치한 각 태그장치의 위치 정보를 수집하고, 상기 복수개의 기준장치들 중 어느 하나의 기준장치 또는 임의의 지점을 원점으로 설정하며, 상기 원점에 대한 각 기준장치의 상대적인 좌표들을 제1 가상좌표 정보로서 산정하고, 제1 가상좌표 정보에 대한 상기 각 태그장치의 위치 정보를 제2 가상좌표 정보로서 산정하며, 상기 제2 가상좌표 정보 및 각 태그장치의 뷰 방향 정보를 기반으로 상기 가상 오브젝트의 위치를 결정하는, 증강현실 구현 시스템.The server collects location information of each tag device located in the propagation area of the antenna module from a plurality of reference devices, sets one reference device or any point among the plurality of reference devices as an origin, and the origin point. Calculate relative coordinates of each reference device with respect to the first virtual coordinate information, calculate position information of each tag device with respect to the first virtual coordinate information as second virtual coordinate information, and calculate the second virtual coordinate information and each And determining the position of the virtual object based on view direction information of a tag device.
PCT/KR2016/010797 2016-06-14 2016-09-27 Server and system for implementing augmented reality image based on positioning information WO2017217595A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0073503 2016-06-14
KR1020160073503A KR101704513B1 (en) 2016-06-14 2016-06-14 Server and system for implementing augmented reality using positioning information
KR1020160079144A KR101729923B1 (en) 2016-06-24 2016-06-24 Method for implementing 3d image using screen image and augmented reality image and server and system implementing the same
KR10-2016-0079144 2016-06-24

Publications (1)

Publication Number Publication Date
WO2017217595A1 true WO2017217595A1 (en) 2017-12-21

Family

ID=60663096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/010797 WO2017217595A1 (en) 2016-06-14 2016-09-27 Server and system for implementing augmented reality image based on positioning information

Country Status (1)

Country Link
WO (1) WO2017217595A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833456A (en) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 Image processing method, device, equipment and computer readable storage medium
CN112565165A (en) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 Interaction method and system based on optical communication device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015075A (en) * 2008-07-07 2010-01-21 Seiko Epson Corp Display device
KR20110136038A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for tracking augmented reality device using several sensor
KR101246831B1 (en) * 2010-06-23 2013-03-28 김보민 Augmented reality based digital view system
KR20130136569A (en) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 System for the rendering of shared digital interfaces relative to each user's point of view
KR20150096947A (en) * 2014-02-17 2015-08-26 엘지전자 주식회사 The Apparatus and Method for Display System displaying Augmented Reality image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015075A (en) * 2008-07-07 2010-01-21 Seiko Epson Corp Display device
KR20110136038A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for tracking augmented reality device using several sensor
KR101246831B1 (en) * 2010-06-23 2013-03-28 김보민 Augmented reality based digital view system
KR20130136569A (en) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 System for the rendering of shared digital interfaces relative to each user's point of view
KR20150096947A (en) * 2014-02-17 2015-08-26 엘지전자 주식회사 The Apparatus and Method for Display System displaying Augmented Reality image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565165A (en) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 Interaction method and system based on optical communication device
CN112565165B (en) * 2019-09-26 2022-03-29 北京外号信息技术有限公司 Interaction method and system based on optical communication device
CN111833456A (en) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 Image processing method, device, equipment and computer readable storage medium

Similar Documents

Publication Publication Date Title
WO2018164460A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
US11416719B2 (en) Localization method and helmet and computer readable storage medium using the same
WO2016153100A1 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
WO2012091326A2 (en) Three-dimensional real-time street view system using distinct identification information
WO2014185710A1 (en) Method for correcting 3d image in tiled display and apparatus therefor
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2021033927A1 (en) Method for calculating location and electronic device therefor
EP3427233A1 (en) Method and apparatus for providing augmented reality services
WO2019221340A1 (en) Method and system for calculating spatial coordinates of region of interest, and non-transitory computer-readable recording medium
WO2018225932A1 (en) Systems and methods for stereo content detection
WO2020017890A1 (en) System and method for 3d association of detected objects
WO2022080869A1 (en) Method for updating 3-dimensional map using image, and electronic device for supporting same
WO2021075772A1 (en) Object detection method and device using multiple area detection
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
WO2017217595A1 (en) Server and system for implementing augmented reality image based on positioning information
Xiao et al. Moiréboard: A stable, accurate and low-cost camera tracking method
WO2020189909A2 (en) System and method for implementing 3d-vr multi-sensor system-based road facility management solution
WO2015108401A1 (en) Portable device and control method using plurality of cameras
WO2021025242A1 (en) Electronic device and method thereof for identifying object virtual image by reflection in indoor environment
US11436818B2 (en) Interactive method and interactive system
WO2022092762A1 (en) Stereo matching method and image processing device performing same
KR101729923B1 (en) Method for implementing 3d image using screen image and augmented reality image and server and system implementing the same
WO2019194561A1 (en) Location recognition method and system for providing augmented reality in mobile terminal
WO2022098164A1 (en) Electronic device and control method of electronic device
WO2015026002A1 (en) Image matching apparatus and image matching method using same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16905579

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12.04.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16905579

Country of ref document: EP

Kind code of ref document: A1