KR102428438B1 - 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템 - Google Patents

Abstract

본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법은, 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템의 적어도 하나의 프로세서에 의하여 실행되는 원격회의 어플리케이션이 실시간 좌표 공유 기반의 다자 간 원격 협업 서비스를 제공하는 방법으로서, 주변환경 내 제 1 객체를 기준으로 생성된 3차원 공간정보를 획득하는 단계; 상기 획득된 3차원 공간정보에 기초한 3차원 맵을 생성하는 단계; 상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성하는 단계; 상기 생성된 원격회의공간에 대한 저작 인터페이스를 제공하는 단계; 상기 제공된 저작 인터페이스를 기초로 저작된 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하는 단계; 상기 클라이언트 단말로부터 클라이언트의 포지션 정보를 획득하는 단계; 및 상기 획득된 포지션 정보를 기초로 상기 클라이언트를 시각화한 가상객체를 생성하여 상기 원격회의공간 상에 표시하는 단계를 포함한다.

Description

실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템{METHOD AND SYSTEM FOR MULTILATERAL REMOTE COLLABORATION BASED ON REAL-TIME COORDINATE SHARING}

본 발명은 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템에 관한 것이다. 보다 상세하게는, 복수의 사용자가 공통의 좌표를 기초로 공유되는 3차원 공간 상에서 원격 협업을 수행하는 방법 및 시스템에 관한 것이다.

네트워크 기술이 발전함에 따라서 종래의 협업(collaboration) 환경에서는, 온라인(on-line)에 기반한 웹 회의(web conferencing)나 화상　회의(video conferencing)를 지원하여, 이를 통한 회의의 진행과 의사결정, 인스턴트 메신저(Instant Messenger)를 이용한 자료 전달 및 데이터 공유 등을 수행할 수 있다.

그러나 온라인 상에서의 다양한　협업　애플리케이션(Application)의 지원에도 불구하고 실시간 정보 공유에 대한 사용자들의 필요(Needs)는 충족되지 않고 있다.

자세히, 온라인 협업을 수행하는 다자 간의　영상　대화는 통상 원격 교육, 화상 회의나 멀티 유저(user)가 접속하는 콘텐츠 환경(예컨대, 게임 등)에서 널리 이용되고 있으며, 이러한 다자 간 영상 대화에 참여하는 원격의 사용자들에게 있어서 영상 대화를 통한 상호 의사소통 시의 몰입도를 높이는 것은 매우 중요한 요소이다.

그러나 종래의 다자 간 영상 대화에서는, 원격의 사용자 간의 화상　채팅(Chatting) 기능, 동영상이나 문서와 같은 자료 전달 기능 등과 같이, 개인 네트워킹(Networking) 범주 내에 간단한 정보 및 의사 전달에 기반한 단순　협업　기능을 제공할 뿐이어서, 오프라인(off-line) 상에서 실제로 함께 마주하며 커뮤니케이션을 수행하는 것에 대비하였을 때 대화의 품질이나 편의가 상당히 저하된다는 문제가 있다.

즉, 종래의 원격의 사용자 간 영상 대화는, 상호 원격에 위치하는 사용자 간의 공간적인 제약에 의한 의사소통의 한계로 인해 다자 간 협업 수행에 있어 어려움이 존재하며, 이로 인해 오프라인 상에서의 대면 협업을 온전하게 대체하지 못한다는 문제가 있다.

한편, 최근에는 멀리 떨어져 있는 상대방을 원격으로 불러와서 마치 같은 공간에 있는 것과 같이 느끼게 하는 텔레프레즌스(Telepresence) 기술에 대한 관심이 높아지고 있다.

텔레프레즌스 기술은, 원거리를 뜻하는 '텔레(tele)와 참석을 뜻하는 '프레즌스(presence)'의 합성어로서, 공간적으로 떨어져 있는 장소 또는 가상의 장소를 신체적으로 경험하는 것을 의미한다.　

이러한 텔레프레즌스 기술은, 인터넷과 가상현실 기술이 결합되어 원격 화상회의를 할 수 있도록 개발된 시스템으로서, 특히, 스카이프 및 어도비 커넥트와 같은 프로그램을 활용하여 멀티 디스플레이, 컨텐츠 공유 등을 할 수 있게 하고, 최근에는 세그웨이를 활용한 모바일 플랫폼을 도입하는 등의 기술 개발이 활발히 진행되고 있다.

KR 10-1784266 B1

본 발명은, 상술된 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 서로 다른 공간에 위치하는 복수의 사용자가 공통의 좌표계에 기초하여 공유되는 3차원 공간 상에서 원격 협업을 수행하는 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템을 제공하는데 그 목적이 있다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법은, 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템의 적어도 하나의 프로세서에 의하여 실행되는 원격회의 어플리케이션이 실시간 좌표 공유 기반의 다자 간 원격 협업 서비스를 제공하는 방법으로서, 주변환경 내 제 1 객체를 기준으로 생성된 3차원 공간정보를 획득하는 단계; 상기 획득된 3차원 공간정보에 기초한 3차원 맵을 생성하는 단계; 상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성하는 단계; 상기 생성된 원격회의공간에 대한 저작 인터페이스를 제공하는 단계; 상기 제공된 저작 인터페이스를 기초로 저작된 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하는 단계; 상기 클라이언트 단말로부터 클라이언트의 포지션 정보를 획득하는 단계; 및 상기 획득된 포지션 정보를 기초로 상기 클라이언트를 시각화한 가상객체를 생성하여 상기 원격회의공간 상에 표시하는 단계를 포함한다.

이때, 상기 제 1 객체를 기준으로 생성된 3차원 공간정보를 획득하는 단계는, 상기 제 1 객체의 제 1 지점을 기준으로 상기 주변환경에 대한 기준좌표계를 설정하는 단계와, 상기 기준좌표계가 설정된 주변환경의 객체들에 대한 영상 및 거리정보를 획득하여 3차원 공간정보를 생성하는 단계를 포함한다.

또한, 상기 원격회의공간은, 상기 주변환경 외의 공간에 위치하는 적어도 한명 이상의 타 사용자와 상기 주변환경의 적어도 일부 객체에 대한 정보를 공유하기 위한 3차원의 가상공간이다.

또한, 상기 원격회의공간을 생성하는 단계는, 상기 제 1 객체 및 상기 기준좌표계 중 적어도 하나의 가상객체를 상기 원격회의공간에 표시하는 단계를 포함한다.

또한, 상기 저작 인터페이스는, 상기 원격회의공간 상에 증강할 가상객체를 생성하는 사용자 인터페이스와, 상기 생성된 가상객체의 속성정보를 세팅하는 사용자 인터페이스를 포함하고, 상기 속성정보는, 상기 가상객체에 대한 위치정보, 자세정보 및 스케일(scale) 정보 적어도 하나 이상의 정보를 포함한다.

또한, 상기 저작 인터페이스를 기초로 생성된 가상객체를 상기 원격회의공간 상에 표시하는 단계를 더 포함한다.

또한, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법은, 상기 클라이언트 단말로부터 저작된 가상객체를 수신하여 상기 원격회의공간 상에 표시하는 단계를 더 포함한다.

또한, 상기 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하는 단계는, 상기 기준좌표계와, 상기 클라이언트 단말에서 사용되는 개별 기준좌표계인 전용 기준좌표계를 소정의 기준에 따라서 매칭한 좌표변환 정보를 생성하는 단계와, 상기 생성된 좌표변환 정보를 포함하는 상기 원격회의공간을 상기 적어도 하나 이상의 클라이언트 단말과 공유하는 단계를 포함한다.

또한, 상기 좌표변환 정보를 생성하는 단계는, 상기 기준좌표계를 따르는 원격회의공간 내 제 1 오브젝트와, 상기 전용 기준좌표계로 인식된 제 1 실제객체를 소정의 기준에 따라서 매칭하는 단계와, 상기 제 1 실제객체와 상기 제 1 오브젝트의 매칭에 따른 위치관계에 따라서 상기 기준좌표계와 상기 전용 기준좌표계 사이의 상기 좌표변환 정보를 생성하는 단계를 포함한다.

또한, 상기 클라이언트 포지션 정보를 획득하는 단계는, 상기 클라이언트의 위치정보, 자세정보 및 시점정보 중 적어도 하나 이상의 정보를 포함하는 상기 포지션 정보를 상기 전용 기준좌표계에 따라서 획득하는 단계와, 상기 좌표변환 정보에 기초하여 상기 클리언트 포지션 정보를 상기 기준좌표계를 기준으로 변환하는 단계를 포함한다.

한편, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템은, 증강현실 기반 원격회의공간을 표시하는 디스플레이; 적어도 하나 이상의 프로세서; 및 적어도 하나 이상의 메모리; 를 포함하고, 상기 메모리에 저장되고 상기 적어도 하나 이상의 프로세서에 의해 실행되어 실시간 좌표 공유 기반의 다자 간 원격 협업 서비스를 제공하는 적어도 하나의 어플리케이션으로서 상기 적어도 하나의 어플리케이션은, 주변환경 내 제 1 객체를 기준으로 3차원 공간정보를 획득하고, 상기 획득된 3차원 공간정보에 기초한 3차원 맵을 생성하고, 상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성하고, 상기 생성된 원격회의공간에 대한 저작 인터페이스를 제공하고, 상기 저작 인터페이스를 기초로 저작된 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하고, 상기 클라이언트 단말로부터 클라이언트의 포지션 정보를 획득하고, 상기 획득된 포지션 정보를 기초로 상기 클라이언트를 시각화한 가상객체를 생성해 상기 원격회의공간 상에 표시한다.

본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템은, 서로 다른 공간에 위치하는 복수의 사용자 간의 원격 협업이 공통의 좌표계에 기초하여 공유되는 3차원 공간 상에서 수행하게 함으로써, 멀리 떨어져 있는 상대방과 마치 같은 공간 내에서 실제 대면한 것과 같은 상태로 협업하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템은, 상기 공유되는 3차원 공간 상에 사용자의 요구사항에 따른 가상객체를 더 제공함으로써, 가상의 협업공간을 사용자 맞춤형으로 제작하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템은, 상기 공유되는 3차원 공간에 기반하여 상호 공유하고자 하는 정보나 데이터를 시각화한 가상객체를 더 제공함으로써, 원격 협업 시의 커뮤니케이션(communication) 품질을 보다 향상시킬 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법을 호스트 사용자(Host user)의 관점에서 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 3차원 맵(3D map)을 설명하기 위한 도면의 일례이다.
도 5 내지 도 7는 본 발명의 실시예에 따른 원격회의공간을 설명하기 위한 도면의 일례이다.
도 8은 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법을 클라이언트 사용자(Client user)의 관점에서 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 클라이언트의 3차원 공간정보를 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 원격회의공간의 3차원 공간과 클라이언트 단말에서의 3차원 공간을 매칭하는 방법을 설명하기 위한 도면의 일례이다.
도 11은 본 발명의 실시예에 따른 원격회의공간을 설명하기 위한 도면의 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에서 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템(이하, 원격 협업 시스템)은, 웨어러블 디바이스(100) 및 원격회의 서비스 서버(200)를 포함할 수 있다.

여기서, 상기 웨어러블 디바이스(100) 및 원격회의 서비스 서버(200)는, 네트워크(Network)를 통해 연결될 수 있다.

여기서, 상기 네트워크는, 웨어러블 디바이스(100) 및 원격회의 서비스 서버(200) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

- 웨어러블 디바이스(Wearable Device: 100)

본 발명의 실시예에 따른 웨어러블 디바이스(100)는, 서로 다른 공간에 위치하는 복수의 사용자가 공통의 좌표계에 기초하여 공유되는 3차원 공간 상에서 원격 협업을 수행하는 원격 협업 서비스를 제공할 수 있다.

자세히, 실시예에서 웨어러블 디바이스(100)는, 원격 협업 서비스를 구현하는 원격회의 애플리케이션(111)이 설치된 소정의 컴퓨팅 디바이스일 수 있다.

또한, 실시예에서 웨어러블 디바이스(100)는, 사용자가 신체나 의복 등에 부착함으로써 해당 사용자가 이동 또는 활동 중에도 자유롭게 컴퓨팅 행위를 수행할 수 있는 컴퓨팅 디바이스로서, 일부 컴퓨팅 기능을 수행할 수 있는 애플리케이션을 더 의미할 수 있다.

이러한 웨어러블 디바이스(100)는, 스마트 글라스(Smart glasses), 스마트 워치(Smart watch) 및/또는 헤드 마운티드 디스플레이(Head mounted display; HMD) 등에 기반하여 구현될 수 있다. 다만, 사용성의 측면에서 본 발명의 실시예에서는 웨어러블 디바이스(100)가 스마트 글라스로 구현됨이 가장 바람직한 실시예일 것이다.

이하, 본 발명의 실시예에서는 웨어러블 디바이스(100)를 스마트 글라스에 기준하여 설명하나 이에 한정되는 것은 아니다.

또한, 본 발명의 실시예에서 스마트 글라스(100)는, 원격 협업 서비스의 구현을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리(Memory)와, 데이터 처리를 위한 적어도 하나 이상의 프로세서(Processor)를 포함하는 소정의 컴퓨팅 장치일 수 있다.

도 2는 본 발명의 실시예에 따른 스마트 글라스(100)의 내부 블록도이다.

보다 상세히, 도 2를 참조하면, 실시예에서 스마트 글라스(100)는, 원격회의 애플리케이션(111)을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 이때, 상기 구성요소들은 스마트 글라스(100) 하우징 내에 포함되도록 구현될 수 있다.

자세히, 메모리(110)에는, 원격회의 애플리케이션(111)이 저장되며, 원격회의 애플리케이션(111)에는 공통의 좌표계에 기초하여 공유되는 3차원 공간(실시예에서, 원격회의공간)을 제공하는 환경을 구현하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(110)는 원격회의공간 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.

실시예에서 원격회의 애플리케이션(111)은, 원격회의공간에 기초하여 커뮤니케이션을 수행하기 위한 커뮤니케이션 애플리케이션을 포함할 수 있다. 커뮤니케이션 애플리케이션은, 원격 협업 서비스를 제공하기 위한 각종 애플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다.

또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(120)는, 원격협업 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 원격회의 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(120)는, 원격 협업 서비스를 제공하기 위하여 메모리(110)의 원격회의 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

예를 들어, 프로세서 어셈블리(120)는, 이미지 센서(161)를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 가상 컨텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 스마트 글라스(100)의 구성요소들을 제어할 수 있다.

이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 원격회의 서비스 서버(200))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.

자세히, 통신 모듈(130)은, 원격협업 환경을 구현하기 위한 가상 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.

실시예에서 통신 모듈(130)은, 원격 협업 서비스와 관련된 각종 데이터를 원격회의 서비스 서버(200) 및/또는 다른 스마트 글라스(100)와 송수신할 수 있다.

이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 깊이 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

이미지 센서(161)는, 스마트 글라스(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서 이미지 센서(161)는, 원격 협업 서비스에 관련된 영상을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 스마트 글라스(100)의 전면 또는/및 후면에 배치되어 배치된 방향에서의 촬영 방향으로 영상을 획득할 수 있으며, 스마트 글라스(100)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다.

예를 들면, 이미지 센서(161)는, CMOS 또는 CCD 등에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.

IMU(163)는, 스마트 글라스(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 스마트 글라스(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.

또한, 일부 구현들에서, 원격회의 애플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.

오디오 센서(165)는, 스마트 글라스(100) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(165)는, 스마트 글라스(100) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서, 오디오 센서(165)는, 원격 협업 서비스를 통해 송수신되는 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.

인터페이스 모듈(140)은, 스마트 글라스(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.

이러한 인터페이스 모듈(140)을 통해 스마트 글라스(100)는, 여러 입출력 장치들과 연결될 수 있다.

예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.

예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 스마트 글라스(100) 내부에 설치되는 실시예도 포함될 수 있다.

이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(150)은 원격 협업 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

실시예에서 디스플레이 시스템(170)은, 원격 협업 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

이러한 디스플레이 시스템(170)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

또한, 스마트 글라스(100)의 디스플레이 시스템(170)은, 스마트 글라스(100)의 주변에 대한 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

이러한 디스플레이 시스템(170)은, 스마트 글라스(100)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다.

한편, 실시예에서 위와 같은 스마트 글라스(100)는, 회의를 주최하는 호스트 사용자(host user)의 스마트 글라스(100)인 호스트 단말(101)과, 회의에 참여하는 클라이언트 사용자(Client user)의 스마트 글라스(100)인 클라이언트 단말(102-1, 102-2, 102-3, …, 102-n: 102)을 포함할 수 있다.

이때, 상기 호스트 단말(101)과 클라이언트 단말(102)은, 사용하는 주체를 구분하기 위한 것으로 스마트 글라스(100)가 수행하는 기능적 특징은 동일할 수 있다.

- 원격회의 서비스 서버(Teleconference service Server: 200)

본 발명의 실시예에서 원격회의 서비스 서버(200)는, 원격 협업 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

자세히, 실시예에서 원격회의 서비스 서버(200)는, 스마트 글라스(100)와 같은 외부의 장치에서 원격 협업 프로세스가 구동되게 하기 위해 필요한 데이터를, 상기 외부의 장치와 교환함으로써 원격 협업 서비스를 제공할 수 있다.

보다 상세히, 실시예에서 원격회의 서비스 서버(200)는, 외부의 장치(실시예에서, 호스트 단말(101) 및/또는 클라이언트 단말(102) 등)에서 원격 협업 서비스가 동작할 수 있는 환경을 제공할 수 있다.

이를 위해, 원격회의 서비스 서버(200)는, 원격 협업 서비스를 구현하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있다.

또한, 실시예에서 원격회의 서비스 서버(200)는, 원격 협업 서비스를 구현하기 위한 각종 응용 프로그램, 애플리케이션, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.

실시예로, 원격회의 서비스 서버(200)는, 3차원 공간정보, 기준객체 정보, 기준좌표계 정보, 3차원 맵(3D map) 정보, 원격회의공간 정보, 가상객체 정보 및/또는 포지션(position) 정보 등을 저장 및 관리할 수 있다.

본 발명의 실시예에서는, 원격회의 서비스 서버(200)가 외부의 장치에서 원격 협업 서비스가 동작할 수 있는 환경을 제공하고, 원격 협업 서비스와 관련된 각종 데이터를 저장 및 관리할 수 있다고 설명하였으나, 실시예에 따라서 원격회의 서비스 서버(200)가 수행하는 기능 동작의 적어도 일부를 외부의 장치(예컨대, 스마트 글라스(100) 등)에서 수행할 수도 있고, 상기 외부의 장치에서 수행하는 기능 동작의 적어도 일부를 원격회의 서비스 서버(200)에서 더 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.

또한, 실시예에서 위와 같은 원격회의 서비스 서버(200)는, 원격 협업 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리(Memory)와, 데이터 처리를 위한 적어도 하나 이상의 프로세서(Processor)를 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.

- 실시간 좌표 공유 기반의 다자 간 원격 협업 방법: 호스트 사용자 관점

이하, 스마트 글라스(100) 및/또는 원격회의 서비스 서버(200)의 적어도 하나 이상의 프로세서에 의하여 실행되는 원격회의 애플리케이션(111)이 실시간 좌표 공유 기반의 다자 간 원격 협업을 수행하는 방법을 첨부된 도 3 내지 도 7을 참조하여 상세히 설명한다.

이때, 본 실시예에서의 사용자는, 회의를 주최하는 사용자인 호스트 사용자(host user)일 수 있다.

또한, 본 발명의 실시예에서 스마트 글라스(100)의 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 메모리에 저장된 적어도 하나 이상의 원격회의 애플리케이션(111)을 실행하거나 백그라운드 상태로 동작하게 할 수 있다.

도 3은 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법을 호스트 사용자(Host user)의 관점에서 설명하기 위한 흐름도이다.

도 3을 참조하면, 실시예에서 스마트 글라스(100)의 적어도 하나 이상의 프로세서에 의하여 실행되거나 백그라운드 상태로 동작하는 원격회의 애플리케이션(111)은, 주변환경 내 소정의 제 1 객체(기준객체)를 기준으로 3차원 공간정보를 획득할 수 있다. (S101)

여기서, 실시예에 따른 3차원 공간정보란, 사용자(여기서, 호스트 사용자)의 주변환경에 대한 3차원 영상정보 및/또는 깊이정보 등을 포함하는 정보일 수 있다.

실시예에서, 원격회의 애플리케이션(111)은, 센서 시스템(160)이 포함하는 적어도 하나 이상의 센서에 기반하여 위와 같은 3차원 공간정보를 획득될 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 주변환경 내 복수의 객체 중 어느 하나를 3차원 공간을 센싱하기 위한 기준이 되는 제 1 객체로 선정할 수 있다.

구체적으로, 실시예에서 원격회의 애플리케이션(111)은, 사용자 입력 인터페이스에 기반한 사용자(즉, 여기서 호스트 사용자) 입력을 기초로 제 1 객체를 선정할 수 있다.

또는, 원격회의 애플리케이션(111)은, 자체적인 프로세스를 기초로 주변환경에서 센싱된 적어도 하나 이상의 객체들 중 어느 하나를 소정의 기준(예컨대, 위치 및/또는 크기 등)에 따라서 자동으로 제 1 객체로 선정할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 주변환경 내 복수의 객체 중 가장 근접한 위치에 존재하는 테이블 객체를 제 1 객체로 자동 설정할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 선정된 제 1 객체를 기반으로 센싱하려는 3차원 공간에 대한 기준좌표계를 설정할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 선정된 제 1 객체에 대한 제 1 지점을 기준좌표계의 기준위치(원점)로 설정할 수 있다.

구체적으로, 원격회의 애플리케이션(111)은, 주변환경 내 복수의 객체 중 사용자 입력 및/또는 자체적인 프로세스에 따른 소정의 기준(예컨대, 객체의 위치 및/또는 크기 등)에 따라서 선택된 제 1 객체가 포함하는 임의의 일 지점(point)을, 상기 기준좌표계의 기준위치를 나타내는 제 1 지점으로 설정할 수 있다.

이때, 원격회의 애플리케이션(111)은, 상기 제 1 지점을 사용자 입력 및/또는 자체적인 프로세스에 따른 소정의 기준(예컨대, 객체의 중앙 지점 또는 모서리 지점 등)에 따라서 선택할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 제 1 객체가 테이블 객체인 경우, 상기 테이블 객체의 중앙 지점 또는 모서리 지점을 상기 제 1 객체에 대한 제 1 지점으로 자동 설정하여, 센싱하려는 3차원 공간에 대한 기준좌표계의 기준위치(원점)을 설정할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 상기 설정된 제 1 지점(기준좌표계의 원점)에 기준하여 주변환경에 대한 3차원 공간을 센싱할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 기준위치가 설정된 기준좌표계에 기준하여 적어도 하나 이상의 센서에 기초한 3차원 영상정보 및/또는 깊이정보를 센싱할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 이미지 센서(161)를 기반으로 제 1 지점을 중심으로 하여 주변환경에 대한 복수의 영상을 촬영하여 획득할 수 있다.

또한, 예를 들어 원격회의 애플리케이션(111)은, 깊이센서에 기반하여 주변환경 내 적어도 하나 이상의 객체 각각에 대한 깊이정보를 획득할 수도 있다.

실시예에서, 원격회의 애플리케이션(111)은, 적어도 하나 이상의 스테레오 카메라(Stereo camera)에 기반하여 주변환경에 대한 영상정보 및 해당 영상 내 각 객체에 대한 깊이정보를 획득할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 센싱된 정보들에 기초하여 주변환경 내 제 1 객체의 제 1 지점을 기준위치(원점)으로 하는 기준좌표계에 기초한 3차원 공간정보를 획득할 수 있다.

이와 같이, 원격회의 애플리케이션(111)은, 사용자(여기서, 호스트 사용자) 주변에 있는 복수의 객체들 중 어느 하나를 기준으로 해당 사용자의 주변환경에 대한 3차원 공간정보를 센싱해 획득함으로써, 사용자가 원하는 영역에 대한 3차원 공간정보를 명시화된 기준점에 기초하여 정확하게 획득할 수 있고, 추후 상기 3차원 공간정보를 기초로 생성되는 가상의 회의공간(실시예에서, 원격회의공간)에서의 기준좌표계를 쉽고 명확하게 설정할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 획득된 3차원 공간정보에 기초하여 3차원 맵(3D Map)을 생성할 수 있다. (S103)

도 4는 본 발명의 실시예에 따른 3차원 맵(3D map)을 설명하기 위한 도면의 일례이다.

자세히, 도 4를 참조하면, 실시예에 따른 3차원 맵이란, 소정의 기준좌표계(13)에 기반하여 주변환경이 포함하는 적어도 하나 이상의 객체 및/또는 해당 객체에 대한 좌표들을 표시하는 맵을 의미할 수 있다.

실시예에서, 원격회의 애플리케이션(111)은, 센싱된 영상이 포함하는 적어도 하나 이상의 객체에 대한 특징점을 추출할 수 있다.

또한, 원격회의 애플리케이션(111)은, 추출된 특징점에 기초한 공간좌표를 산출하여 실시예에 따른 3차원 맵을 생성할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 생성된 3차원 맵을 시각화한 원격회의공간을 생성할 수 있다. (S105)

도 5 내지 도 7는 본 발명의 실시예에 따른 원격회의공간을 설명하기 위한 도면의 일례이다.

자세히, 도 5를 참조하면, 실시예에 따른 원격회의공간(10)이란, 복수의 사용자(실시예에서, 호스트 사용자 및 적어도 하나 이상의 클라이언트 사용자)가 공유하는 3차원의 가상공간을 의미할 수 있다.

실시예에서, 원격회의 애플리케이션(111)은, 상술된 바와 같이 생성된 3차원 맵에 기반한 시각화를 수행하여 상기 원격회의공간(10)을 획득할 수 있다.

보다 상세히, 실시예에서 원격회의 애플리케이션(111)은, 3차원 맵에 기초하여 바닥면 가상객체(11)와 측면 가상객체(12-1, 12-2, 12-3, 12-4, …: 12)를 생성할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 3차원 맵에서의 기준좌표계(13) 및/또는 상기 기준좌표계(13)에 대한 기준이 되는 제 1 객체(14)를 가상객체로 생성할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 생성된 가상객체(실시예에서, 바닥면 가상객체(11), 측면 가상객체(12), 기준좌표계(13) 및/또는 제 1 객체(14) 등)와, 사용자 주변환경에 대한 영상정보에 기초하여 원격회의공간(10)을 생성할 수 있다.

자세히, 실시예로 원격회의 애플리케이션(111)은, 사용자 주변환경에 대한 영상정보 상에 상기 생성된 적어도 하나 이상의 가상객체를 3차원으로 증강하여 표시하는 원격화상공간을 생성할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 사용자 주변환경에 대한 영상정보 상에 제 1 객체(14)로 선정된 테이블 객체와, 상기 제 1 객체(14)의 제 1 지점을 기반으로 획득된 기준좌표계(13)와, 상기 주변환경에 대한 3차원 맵을 기초로 생성된 바닥면 가상객체(11)와 측면 가상객체(12)를 증강 표시하는 원격회의공간(10)을 생성할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 생성된 원격회의공간(10)에 대한 저작 인터페이스를 제공할 수 있다. (S107)

여기서, 실시예에 따른 저작 인터페이스란, 원격회의공간(10) 내의 실제객체에 매칭하여 소정의 가상객체를 저작할 수 있는 사용자 인터페이스일 수 있다.

자세히, 도 6을 참조하면, 실시예에서 원격회의 애플리케이션(111)은, 제공되는 저작 인터페이스에 기반한 사용자(여기서, 호스트 사용자(1)) 입력에 기초하여, 소정의 가상객체(20)를 생성할 수 있다.

이때, 실시예에서 원격회의 애플리케이션(111)은, 저작 인터페이스를 기초로 생성된 AR객체(20)에 대한 속성정보를 세팅할 수 있다.

여기서, 실시예에 따른 속성정보란, 생성된 AR객체(20)에 대한 위치, 자세(6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점 등) 및/또는 스케일(scale) 정보 등을 포함할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 생성된 AR객체(20)와 상기 AR객체(20)에 대한 속성정보를 가상객체 저작정보로 저장 및 관리할 수 있다.

보다 상세히, 실시예에서 원격회의 애플리케이션(111)은, 소정의 가상객체(20) 라이브러리(예컨대, 폴리(Poly) 등)로부터 원격회의공간(10)에 포함하고자 하는 가상객체(20)를 로드(load)할 수 있다.

그리고 원격회의 애플리케이션(111)은, 로드된 가상객체(20)를 원격회의공간(10)에 포함시켜 상기 원격회의공간(10) 상에 증강 표시할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 소정의 가상객체(20) 라이브러리에서 의자 가상객체(20-1)를 로드하여 가져올 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 소정의 데이터(예컨대, 회의 주제와 관련된 센싱 데이터 및/또는 파일(예를 들어, 워드, ppt 또는 excel 파일 등) 등)를 시각화한 데이터 가상객체(20-2)를 생성해 원격회의공간(10)에 증강 표시할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 회의 주체와 관련된 센싱 데이터를 그래프로 시각화한 데이터 가상객체(20-2)를 생성할 수 있다.

그리고 예시에서 원격회의 애플리케이션(111)은, 생성된 데이터 가상객체(20-2)를 원격회의공간(10) 상에 증강 표시할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 원격회의공간(10) 상에 증강된 가상객체(20)에 대한 속성정보를 세팅할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 저작 인터페이스에 기초하여 원격회의공간(10) 상에 증강된 가상객체(20)에 대한 속성정보(실시예에서, 해당하는 가상객체(20)에 대한 위치, 자세(6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점 등) 및/또는 스케일(scale) 정보 등을 포함)를 세팅할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 저작 인터페이스에 기초하여 원격회의공간(10) 상에 증강된 의자 가상객체(20-1)의 증강 위치를 설정할 수 있다. 즉, 예시에서 원격회의 애플리케이션(111)은, 원격회의공간(10)에서 의자 가상객체(20-1)가 가지는 위치에 대한 좌표값을 변경할 수 있다.

또한, 예시적으로 원격회의 애플리케이션(111)은, 상기 의자 가상객체(20-1)에 대한 스케일(크기)을 설정할 수 있다. 즉, 원격회의 애플리케이션(111)은, 원격회의공간(10)에 증강되는 의자 가상객체(20-1)의 스케일을 조정하는 원하는 크기를 가지도록 설정할 수 있다.

또한, 예시에서 원격회의 애플리케이션(111)은, 상기 의자 가상객체(20-1)에 대한 자세정보를 설정할 수 있다. 즉, 원격회의 애플리케이션(111)은, 원격회의공간(10)에 증강되는 의자 가상객체(20-1)의 6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점을 조정하여 원하는 자세를 가지도록 설정할 수 있다.

또한, 예시적으로 원격회의 애플리케이션(111)은, 상기 의자 가상객체(20-1)에 대한 삭제도 수행할 수 있다. 즉, 예시에서 원격회의 애플리케이션(111)은, 원격회의공간(10) 상에 증강된 가상객체(20)를 저작 인터페이스를 기반으로 상기 원격회의공간(10)에서 제거할 수도 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 적어도 하나 이상의 센서를 기초로 획득된 영상정보 내 적어도 하나 이상의 실제객체(예컨대, 칠판 실제객체 등) 중, 적어도 하나를 공유객체로 지정할 수 있다.

여기서, 실시예에 따른 공유객체란, 호스트 사용자(1)의 단말(호스트 단말(101))의 영상정보가 포함하는 실제객체 중, 원격회의공간(10)에 참여하는 클라이언트 사용자의 단말(클라이언트 단말(102))에서 출력되는 영상 상에서 가상객체(20)로 출력되어 공유되는 객체를 의미할 수 있다.

즉, 실시예에서 위와 같은 공유객체는, 상기 원격회의공간(10)에 참여하는 클라이언트 단말(102)에서 제공하는 원격회의공간(10)에서 AR객체(20)로 증강되어 표시될 수 있다.

이때, 실시예에서 원격회의 애플리케이션(111)은, 지정된 공유객체에 대한 속성정보를 저작 인터페이스를 기초로 세팅할 수 있다.

이와 같이, 원격회의 애플리케이션(111)은, 사용자 주변의 3차원 공간을 기반으로 생성된 가상의 원격회의공간(10) 상에 해당하는 사용자가 원하는 가상객체(20)(예컨대, 의자 및/또는 칠판 가상객체 등)를 자유롭게 저작 가능하도록 함으로써, 다자 간 원격 협업이 수행되는 3차원 공간을 사용자가 원하는 모습으로 다양하게 구축할 수 있고, 원격 협업의 원활한 진행을 위해 필요한 각종 오브젝트들을 쉽고 편리하게 가져와서 사용하게 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 저작된 원격회의공간(10)을 적어도 하나 이상의 클라이언트 단말(102)과 공유할 수 있다. (S109)

즉, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 저작된 원격회의공간(10) 정보를 적어도 하나 이상의 클라이언트 단말(102)과 공유하여 적어도 하나 이상의 클라이언트 사용자와 실시간 공유하게 할 수 있다.

실시예에서, 호스트 단말(101)의 원격회의 애플리케이션(111)은, 원격회의 서비스 서버(200)를 경유하여 클라이언트 단말(102)의 원격회의 애플리케이션(111)과 데이터 통신을 수행할 수 있다.

이를 통해 원격회의 애플리케이션(111)은, 저작된 원격회의공간(10) 정보를 복수의 사용자(여기서, 호스트 사용자(1)와 적어도 하나 이상의 클라이언트 사용자) 간 공유하게 할 수 있다.

또는, 호스트 단말(101)의 원격회의 애플리케이션(111)은, 클라이언트 단말(102)의 원격회의 애플리케이션(111)과 직접 통신을 수행하여 상기 원격회의공간(10) 정보를 공유할 수도 있다.

이와 같이, 원격회의 애플리케이션(111)은, 호스트 단말(101)에 기초하여 구축된 원격회의공간(10)을 적어도 하나 이상의 클라이언트 단말(102)과 공유함으로써, 원격에 위치하는 복수의 사용자들이 하나의 3차원 공간을 공유하며 마치 같은 공간에서 실시간으로 대면하며 원격 협업을 수행하는 것과 같은 환경을 제공할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 원격회의공간(10)을 공유하는 적어도 하나 이상의 클라이언트 단말(102)로부터 클라이언트의 포지션(position) 정보를 획득할 수 있다. (S111)

여기서, 실시예에 따른 포지션 정보란, 사용자의 위치 및 자세(6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점 등) 정보를 포함하는 정보일 수 있다.

실시예에서, 포지션 정보는, 원격회의공간(10)의 기준좌표계(13)에 대응되는 클라이언트의 위치정보와, 해당 클라이언트의 자세정보를 포함할 수 있다.

이때, 실시예에서 원격회의 애플리케이션(111)은, 위와 같은 클라이언트의 포지션 정보를 해당하는 클라이언트 단말(102)로부터 수신하여 획득할 수 있다.

자세히, 실시예에서 클라이언트 단말(102)은, 해당 클라이언트 단말(102)이 포함하는 적어도 하나 이상의 센서(예컨대, 자이로 센서 및/또는 위치센서 등)를 기반으로 해당하는 클라이언트의 포지션 정보를 획득할 수 있고, 이를 네트워크를 통해 송신할 수 있다.

그리고 원격회의 애플리케이션(111)은, 상기 클라이언트 단말(102)로부터 송신되는 클라이언트의 포지션 정보를 수신할 수 있다.

또는, 다른 실시예에서 원격회의 애플리케이션(111)은, 원격회의공간(10)의 기준좌표계(13)와 클라이언트 단말(102)에서 사용되는 개별 기준좌표계인 전용 기준좌표계(13)(즉, 클라이언트의 전용 좌표계) 간의 연관관계를 획득할 수 있다. 이때, 연관관계를 획득하는 방법에 대한 자세한 설명은 이하에서 후술하기로 한다.

또한, 원격회의 애플리케이션(111)은, 상기 클라이언트의 전용 기준좌표계(13)에 따른 클라이언트의 포지션 정보를 해당하는 클라이언트 단말(102)로부터 더 획득할 수 있다.

그리고 원격회의 애플리케이션(111)은, 위와 같이 획득된 연관관계 정보와 클라이언트의 전용 기준좌표계(13)에 따른 포지션 정보를 기반으로, 상기 전용 기준좌표계(13)에 따른 클라이언트의 포지션 정보를 상기 원격회의공간(10)의 기준좌표계(13)에 따른 클라이언트의 포지션 정보로 변환할 수 있다.

그리하여 원격회의 애플리케이션(111)은, 변환된 클라이언트의 포지션 정보에 기초해 상기 원격회의공간(10)의 기준좌표계(13)에 따른 클라이언트의 포지션 정보를 획득할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 획득된 클라이언트의 포지션 정보에 기초하여 해당하는 클라이언트를 시각화한 가상객체(20)를 생성 및 표시할 수 있다. (S113)

도 7을 참조하면, 실시예에서 원격회의 애플리케이션(111)은, 획득된 클라이언트의 포지션 정보를 기초로, 상기 클라이언트를 가상의 아바타(Avatar)로 표시하는 아바타 AR객체(30)를 생성할 수 있다.

그리고 원격회의 애플리케이션(111)은, 위와 같이 생성된 아바타 AR객체(30)를 사용자 영상(SA: Sensing Area) 즉, 여기선 호스트 영상 상에 증강하여 표시할 수 있다.

즉, 실시예에서 원격회의 애플리케이션(111)은, 클라이언트의 포지션 정보와 상호작용하며 해당하는 클라이언트를 나타내는 아바타 AR객체(30)를 호스트 영상 상에 증강하여 표시할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 복수의 클라이언트 단말(102)로부터 획득된 포지션 정보에 기반하여, 제 1 클라이언트를 시각화한 제 1 아바타 AR객체(30-1)와, 제 2 클라이언트를 시각화한 제 2 아바타 AR객체(30-2)와, 제 3 클라이언트를 시각화한 제 3 아바타 AR객체(30-3)를 사용자 영상(SA) 상에 증강하여 표시할 수 있다.

다른 실시예에서, 원격회의 애플리케이션(111)은, 해당하는 클라이언트 단말(102)에서의 기준위치에서 해당하는 클라이언트를 촬영한 실시간 영상에 기초하여 상기 클라이언트를 시각화한 아바타 AR객체(30)를 생성 및 표시할 수도 있다.

이와 같이, 원격회의 애플리케이션(111)은, 원격회의공간(10)을 공유하는 사용자의 포지션 정보를 기초로 상기 사용자의 위치와 자세를 시각화하여 나타내는 가상객체(20)(실시예에서, 아바타 AR객체(30))를 생성해 제공함으로써, 함께 원격 협업을 수행하고 있는 사용자들의 실시간 모습이 시각화하여 공유되게 할 수 있고, 이를 통해 사용자들이 같은 공간에 있는 것과 같은 느낌을 보다 현실감 있게 체감하며 원격 협업을 수행하게 할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 클라이언트 단말(102)로부터 저작된 가상객체(20)를 수신 및 표시할 수 있다. (S115)

자세히, 원격회의 애플리케이션(111)은, 클라이언트 단말(102)에서 제공되는 저작 인터페이스를 기초로 생성된 가상객체(20)(여기서, AR객체(20))를 상기 클라이언트 단말(102)로부터 획득할 수 있다.

이때, 원격회의 애플리케이션(111)은, 상기 클라이언트 단말(102)로부터 획득된 가상객체(20)에 대한 세팅정보(실시예에서, 위치, 자세(6 자유도, 시점) 및/또는 스케일(크기) 등))를 함께 획득할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 획득된 가상객체 저작정보에 기초하여 상기 클라이언트 단말(102)에서 저작된(즉, 원격회의공간(10)에 참여하는 클라이언트에 의하여 저작된) AR객체(20)를 증강 표시하여 제공할 수 있다.

이와 같이, 원격회의 애플리케이션(111)은, 호스트 사용자(1)에 의하여 저작된 가상객체(20) 뿐만 아니라 해당 원격회의공간(10)에 참여하는 클라이언트 사용자에 의해 저작된 가상객체(20)도 함께 증강하여 표시함으로써, 모든 사용자들에 의해 유연하게 구축 및 확장될 수 있는 공유 회의공간을 제공할 수 있고, 이를 통해 해당 공유 회의공간을 통한 양방향의 상호작용을 구현하는 원격 협업 서비스를 제공할 수 있다.

- 실시간 좌표 공유 기반의 다자 간 원격 협업 방법: 클라이언트 사용자 관점

이하, 스마트 글라스(100)의 적어도 하나 이상의 프로세서에 의하여 실행되는 원격회의 애플리케이션(111)이 실시간 좌표 공유 기반의 다자 간 원격 협업을 수행하는 방법을 첨부된 도 8 내지 도 11을 참조하여 상세히 설명한다.

이때, 이상에서 설명된 내용과 중복되는 기재는 요약되거나 생략될 수 있다.

또한, 본 실시예에서의 사용자는, 회의에 참여하는 사용자인 클라이언트 사용자(Client user)일 수 있다.

도 8은 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법을 클라이언트 사용자(Client user)의 관점에서 설명하기 위한 흐름도이다.

도 8을 참조하면, 실시예에서 스마트 글라스(100)의 적어도 하나 이상의 프로세서에 의하여 실행되거나 백그라운드 상태로 동작하는 원격회의 애플리케이션(111)은, 주변환경 내 소정의 제 1 객체(14)(기준객체)를 기준으로 3차원 공간정보를 획득할 수 있다. (S201)

도 9는 본 발명의 실시예에 따른 클라이언트의 3차원 공간정보를 설명하기 위한 도면의 일례이다.

도 9를 참조하면, 여기서 실시예에 따른 3차원 공간정보(40)란, 사용자(여기서, 클라이언트 사용자)의 주변환경에 대한 3차원 영상정보 및/또는 깊이정보 등을 포함하는 정보일 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 사용자 입력 인터페이스에 기반한 사용자(즉, 여기서 클라이언트 사용자) 입력을 기초로 제 1 객체(14)를 선정할 수 있다.

또는, 원격회의 애플리케이션(111)은, 자체적인 프로세스를 기초로 주변환경에서 센싱된 적어도 하나 이상의 객체들 중 어느 하나를 소정의 기준(예컨대, 위치 및/또는 크기 등)에 따라서 자동으로 제 1 객체(14)로 선정할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 선정된 제 1 객체(14)를 기반으로 센싱하려는 3차원 공간에 대한 전용 기준좌표계(15)를 설정할 수 있다.

즉, 원격회의 애플리케이션(111)은, 클라이언트 단말(102)에서 사용되는 개별 기준좌표계인 전용 기준좌표계(15)(즉, 클라이언트의 전용 좌표계)를 상기 제 1 객체(14)에 기초하여 설정할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 선정된 제 1 객체(14)에 대한 제 1 지점을 전용 기준좌표계(15)의 기준위치(원점)로 설정할 수 있다.

보다 상세히, 원격회의 애플리케이션(111)은, 주변환경 내 복수의 객체 중 사용자 입력 및/또는 자체적인 프로세스에 따른 소정의 기준(예컨대, 객체의 위치 및/또는 크기 등)에 따라서 선택된 제 1 객체(14)가 포함하는 임의의 일 지점(point)을, 상기 전용 기준좌표계(15)의 기준위치를 나타내는 제 1 지점으로 설정할 수 있다.

이때, 원격회의 애플리케이션(111)은, 상기 제 1 지점을 사용자 입력 및/또는 자체적인 프로세스에 따른 소정의 기준(예컨대, 객체의 중앙 지점 또는 모서리 지점 등)에 따라서 선택할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 상기 설정된 제 1 지점(전용 기준좌표계(15)의 원점)에 기준하여 주변환경에 대한 3차원 공간을 센싱할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 상기 전용 기준좌표계(15)에 기준하여 적어도 하나 이상의 센서에 기초한 3차원 영상정보 및/또는 깊이정보를 센싱할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 센싱된 정보들에 기초하여 주변환경 내 제 1 객체(14)의 제 1 지점을 기준위치(원점)으로 하는 전용 기준좌표계(15)에 기초한 3차원 공간정보(40)를 획득할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 호스트 단말(101)로부터 원격회의공간(10) 정보를 수신할 수 있다. (S203)

자세히, 실시예에서 원격회의 애플리케이션(111)은, 호스트 단말(101)에서 저작된 원격회의공간(10)을 수신하여 실시간 공유할 수 있다.

이때, 실시예에서 클라이언트 단말(102)의 원격회의 애플리케이션(111)은, 원격회의 서비스 서버(200)를 경유하여 호스트 단말(101)의 원격회의 애플리케이션(111)과 데이터 통신을 수행할 수 있고, 이를 통해 상기 호스트 단말(101)에서 저작된 원격회의공간(10) 정보를 수신할 수 있다.

또는, 클라이언트 단말(102)의 원격회의 애플리케이션(111)은, 호스트 단말(101)의 원격회의 애플리케이션(111)과 직접 통신을 수행하여 상기 원격회의공간(10) 정보를 공유할 수도 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 수신된 원격회의공간(10) 정보와 전용 기준좌표계(15)에 기반한 3차원 공간정보(40)를 매칭하여 좌표변환 정보(16)를 획득할 수 있다. (S205)

도 10은 본 발명의 실시예에 따른 원격회의공간(10)의 3차원 공간과 클라이언트 단말(102)에서의 3차원 공간을 매칭하는 방법을 설명하기 위한 도면의 일례이다.

도 10을 참조하면, 여기서 실시예에 따른 좌표변환 정보(16)란, 원격회의공간(10)의 3차원 공간에 대한 기준좌표계(13)와 클라이언트 단말(102)에서의 3차원 공간에 대한 전용 기준좌표계(15)가 상호 매칭되어 공통의 좌표계를 가지도록 설정된 좌표계를 의미할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 수신된 원격회의공간(10) 정보에 기초하여, 해당하는 원격회의공간(10) 내 적어도 하나 이상의 가상객체(20)를 클라이언트의 3차원 공간 내 소정의 위치에 표시할 수 있다.

또한, 원격회의 애플리케이션(111)은, 표시된 원격회의공간(10) 내 적어도 하나 이상의 가상객체(20) 중 어느 하나를 제 1 오브젝트로 설정할 수 있다.

자세히, 실시예에서 원격회의 애플리케이션(111)은, 저작 인터페이스 및/또는 사용자 입력 인터페이스에 기반한 사용자(즉, 여기서 클라이언트 사용자) 입력을 기반으로 상기 제 1 오브젝트를 설정할 수 있다.

또는, 원격회의 애플리케이션(111)은, 자체적인 프로세스에 기초하여 상기 원격회의공간(10) 내 적어도 하나 이상의 가상객체(20) 중 어느 하나를 소정의 기준(예컨대, 위치 및/또는 크기 등)에 따라서 자동으로 제 1 오브젝트로 설정할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 클라이언트의 3차원 공간 내 적어도 하나 이상의 실제객체 중 어느 하나를 제 1 실제객체(기준 실제객체)로 설정할 수 있다.

구체적으로, 원격회의 애플리케이션(111)은, 저작 인터페이스, 사용자 입력 인터페이스 및/또는 자체적인 프로세스에 기초하여 상기 클라이언트의 전용 좌표계를 따르는 3차원 공간 내 적어도 하나 이상의 실제객체 중 일 객체를 제 1 실제객체로 설정할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 설정된 제 1 오브젝트와 제 1 실제객체를 소정의 기준(예컨대, 기준위치(원점)에 기반한 정합 등)에 따라서 상호 매칭하여, 상기 원격회의공간(10)과 상기 클라이언트의 3차원 공간을 상호 매칭시킬 수 있다.

즉, 실시예에서 원격회의 애플리케이션(111)은, 원격회의공간(10)에서의 일 가상객체(20)인 제 1 오브젝트와, 클라이언트 단말(102)에서의 3차원 공간 내 제 1 실제객체에 기반한 공간 매칭을 수행하여, 상기 원격회의공간(10)의 3차원 공간에 대한 기준좌표계(13)와 상기 클라이언트 단말(102)에서의 3차원 공간에 대한 전용 기준좌표계(15)를 상호 매칭시킬 수 있다.

예를 들어, 클라이언트 단말(102)의 원격회의 애플리케이션(111)은, 공유된 원격회의공간(10)을 증강현실로 적어도 일 위치에 표시하고, 상기 원격회의공간(10)을 클라이언트의 제스처 입력에 따라 이동시킬 수 있는 제어 인터페이스를 제공할 수 있다. 예를 들어, 상기 클라이언트가 제어 인터페이스를 통해 원격회의공간(10)에서 바닥면을 선택한 후 드래그를 하여 클라이언트 주변의 일 위치의 바닥면까지 이동시킴으로써, 원격회의공간(10)의 가상 바닥면을 실제 주변 공간의 바닥면의 일 위치에 옮길 수 있다.

이와 같은 제어 인터페이스를 통해 클라이언트는 직관적으로 원격회의공간(10)을 클라이언트 주변에 일 위치에 이동되도록 설정할 수 있으며, 이러한 기준으로 설정된 원격회의공간(10)과 클라이언트 주변공간 사이의 위치관계에 따라서 원격회의공간(10)의 기준좌표계와 클라이언트의 전용 기준좌표계 사이의 위치관계 기준이 설정될 수 있다.

클라이언트 단말(102)의 원격회의 애플리케이션(111)은, 상기 위치관계 기준에 따라서, 클라이언트 전용 기준좌표계와 원격회의공간(10)의 기준좌표계 사이의 좌표변환 정보를 생성할 수 있고, 상기 좌표변환 정보에 따라서 클라이언트 단말(102)에서 감지된 실제객체의 포지션 정보를 원격회의공간(10) 기준좌표계에 따라 변환하여 호스트 단말(101)과 공유함으로써, 서로 간의 실제객체의 위치를 원격회의공간(10) 내에서 공유할 수 있다.

그리하여 실시예에서 원격회의 애플리케이션(111)은, 상기 기준좌표계(13)와 상기 전용 기준좌표계(15)의 매칭을 기반으로, 원격회의공간(10)의 3차원 공간과 클라이언트 단말(102)에서의 3차원 공간에서 공유되는 좌표변환 정보(16)를 획득할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 원격회의공간(10) 내 바닥면 가상객체(11)를 제 1 오브젝트로 설정하고, 클라이언트의 3차원 공간 내 바닥면 실제객체를 제 1 실제객체로 설정할 수 있다.

그리고 원격회의 애플리케이션(111)은, 설정된 바닥면 가상객체(11)와 바닥면 실제객체를 소정의 기준(예컨대, 해당 객체 내 중앙 포인트 지점 및/또는 엣지 포인트 등)에 따라서 상호 매칭할 수 있다.

그리하여 원격회의 애플리케이션(111)은, 원격회의공간(10)의 바닥면 가상객체(11)와 클라이언트의 3차원 공간의 바닥면 실제객체에 기반한 공간 정합을 수행할 수 있고, 이를 통해 상기 원격회의공간(10)의 기준좌표계(13)와 상기 클라이언트의 3차원 공간의 전용 기준좌표계(15)를 대응시킨 좌표변환 정보(16)를 획득할 수 있다.

즉, 실시예에서 원격회의 애플리케이션(111)은, 클라이언트의 전용 기준좌표계(15)와 원격회의공간(10)의 기준좌표계(13)가 상호 대응되게 함으로써, 원격회의공간(10)에 대한 3차원 공간과 클라이언트의 3차원 공간이 공통의 기준좌표계(13)인 좌표변환 정보(16)를 기준으로 공유되게 할 수 있다.

이때, 실시예에서 원격회의 애플리케이션(111)은, 사용자(여기서, 클라이언트 사용자)에게 제공된 저작 인터페이스를 기초로, 상기 좌표변환 정보(16)를 가지는 원격회의공간 내 적어도 하나 이상의 가상객체(20)에 대한 속성정보를 세팅할 수 있다.

즉, 실시예에서 원격회의 애플리케이션(111)은, 상기 좌표변환 정보(16)에 기초하여 공유되는 원격회의공간 내 적어도 하나 이상의 가상객체(20)에 대한 위치, 자세(6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점 등) 및/또는 스케일(scale) 정보 등을 저작 인터페이스를 기초로 세팅하게 할 수 있다.

다른 실시예에서, 원격회의 애플리케이션(111)은, 원격회의공간(10) 내 제 1 오브젝트와 클라이언트의 3차원 공간 내 제 1 실제객체 간의 좌표값에 기반하여, 상기 원격회의공간(10)의 기준좌표계(13)와 상기 클라이언트의 3차원 공간의 전용 기준좌표계(15) 간의 연관관계 정보를 설정할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 원격회의공간(10)의 제 1 오브젝트를 상기 원격회의공간(10) 내 바닥면 가상객체(11)로 설정하고, 클라이언트의 제 1 실제객체를 상기 클라이언트의 3차원 공간 내 바닥면 실제객체로 설정할 수 있다.

또한, 예시에서 원격회의 애플리케이션(111)은, 설정된 바닥면 가상객체(11)와 상기 바닥면 실제객체 내 소정의 위치좌표(예컨대, 중앙 포인트 지점 등)를 기반으로, 상기 원격회의공간(10)의 기준좌표계(13)와 상기 클라이언트의 3차원 공간의 전용 기준좌표계(15) 간의 차이값(예컨대, 기준위치 간 거리값 등)을 획득할 수 있다.

그리고 예시에서 원격회의 애플리케이션(111)은, 위와 같이 획득된 값에 기반하여 상기 기준좌표계(13)와 전용 기준좌표계(15) 간의 연관관계 정보를 생성할 수 있다.

즉, 본 실시예에서 원격회의 애플리케이션(111)은, 원격회의공간(10)의 기준좌표계(13)와 클라이언트의 전용 기준좌표계(15) 간의 위치관계를 설정함으로써 상기 원격회의공간(10)의 기준좌표계(13)와 상기 클라이언트의 전용 좌표계 간의 연관관계 정보를 생성할 수 있다.

또한, 원격회의 애플리케이션(111)은, 위와 같이 생성된 연관관계 정보에 기반하여 상기 원격회의공간(10)과 상기 클라이언트의 3차원 공간 간의 좌표변환 정보(16)를 획득할 수 있다.

이와 같이, 원격회의 애플리케이션(111)은, 원격회의공간(10)의 3차원 공간과 클라이언트의 3차원 공간에 대한 좌표계를 매칭시켜 공유하게 함으로써, 사용자 별로 존재하는 복수의 전용 기준좌표계(15)들이 하나의 공통 좌표계(실시예에서, 좌표변환 정보(16))를 따라서 감지되도록 통일시킬 수 있고, 이를 통해 원격회의공간(10)을 공유하는 사용자들이 동일한 좌표계에 따른 포지션(즉, 위치 및/또는 자세 등)을 인지하게 하여 같은 공간 상에서 상호작용하는 효과를 구현하는 3차원의 원격회의공간을 제공할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 획득된 좌표변환 정보(16)에 기반하여 원격회의공간 내 가상객체(20)를 표시할 수 있다. (S207)

도 11은 본 발명의 실시예에 따른 원격회의공간을 설명하기 위한 도면의 일례이다.

자세히, 도 11을 참조하면, 실시예에서 원격회의 애플리케이션(111)은, 좌표변환 정보(16)를 기초로 원격회의공간(10)의 3차원 공간과 매칭된 클라이언트 사용자(2)의 3차원 공간(즉, 해당하는 클라이언트와 공유되는 원격회의공간) 내에서, 상기 수신된 원격회의공간(10) 정보에 기반한 가상객체(20)를 증강하여 표시할 수 있다.

예를 들면, 원격회의 애플리케이션(111)은, 원격회의공간(10) 정보 내 제 2 아바타 AR객체(30-2)와, 제 3 클라이언트를 시각화한 제 3 아바타 AR객체(30-3)와, 호스트 사용자(1)를 시각화한 제 4 아바타 AR객체(30-4)를 제 1 클라이언트의 사용자 영상(SA) 상에 증강하여 표시할 수 있다.

이때, 실시예에서 원격회의 애플리케이션(111)은, 해당하는 원격회의공간에 대한 저작 인터페이스를 제공할 수 있다.

또한, 원격회의 애플리케이션(111)은, 제공되는 저작 인터페이스에 기반한 사용자(여기서, 클라이언트 사용자(2)) 입력에 기초하여, 소정의 가상객체(20)를 생성할 수 있다.

또한, 원격회의 애플리케이션(111)은, 상기 저작 인터페이스에 기초하여 상기 생성된 가상객체(20)에 대한 속성정보(실시예에서, 생성된 AR객체(20)에 대한 위치, 자세(6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점 등) 및/또는 스케일(scale) 정보 등)를 세팅할 수 있다.

또한, 원격회의 애플리케이션(111)은, 위와 같이 생성된 가상객체(20)와 상기 가상객체(20)에 대한 속성정보를 가상객체 저작정보로 저장 및 관리할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 생성된 가상객체 저작정보를 외부의 단말(실시예에서, 호스트 단말(101) 및/또는 원격회의 서비스 서버(200))로 송신하여 원격회의공간(10)을 기초로 공유할 수 있다.

이와 같이, 원격회의 애플리케이션(111)은, 호스트 사용자(1)에 의하여 저작된 가상객체(20) 뿐만 아니라 해당 원격회의공간에 참여하는 클라이언트 사용자(2)에 의해 저작된 가상객체(20)도 원격회의공간 상에 함께 증강하여 표시함으로써, 모든 사용자들에 의해 유연하게 구축 및 확장될 수 있는 공유 회의공간을 구현해 해당 공유 회의공간을 통한 양방향의 상호작용을 수행하는 원격 협업 서비스를 제공할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 클라이언트의 포지션 정보를 생성 및 공유할 수 있다. (S209)

자세히, 실시예에서 원격회의 애플리케이션(111)은, 원격회의공간에서의 클라이언트의 포지션 정보를 좌표변환 정보(16)에 기반하여 생성할 수 있다.

여기서, 실시예에 따른 포지션 정보는, 사용자의 위치 및 자세(6 자유도(6 degrees of freedom, 6 DOF) 및/또는 시점 등) 정보를 포함하는 정보일 수 있다.

실시예로, 포지션 정보는, 좌표변환 정보(16)에 기초하여 원격회의공간(10)의 기준좌표계(13)에 대응되는 클라이언트의 위치정보와, 해당 클라이언트의 자세정보를 포함할 수 있다.

즉, 실시예에서 원격회의 애플리케이션(111)은, 좌표변환 정보(16)에 따른 원격회의공간 내에서의 클라이언트의 포지션 정보를 생성할 수 있다.

보다 상세히, 원격회의 애플리케이션(111)은, 클라이언트의 초기 포지션 정보를 적어도 하나 이상의 센서를 기초로 전용 기준좌표계(15)에 기반하여 트래킹(tracking)해 획득할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 트래킹된 클라이언트의 초기 포지션 정보를 좌표변환 정보(16)에 기초해 변환하여 원격회의공간(10)에서의 기준좌표계(13)에 대응되는 클라이언트의 포지션 정보를 생성할 수 있다.

또한, 실시예에서 원격회의 애플리케이션(111)은, 위와 같이 생성된 클라이언트의 포지션 정보를 네트워크에 기반하여 외부의 단말(실시예에서, 호스트 단말(101) 및/또는 원격회의 서비스 서버(200))로 송신해 공유할 수 있다.

이와 같이, 원격회의 애플리케이션(111)은, 서로 다른 좌표계를 사용하는 사용자들에 대한 포지션 정보를 하나의 공통된 좌표계(실시예에서, 좌표변환 정보(16))를 기준으로 변환하여 공유함으로써, 상기 포지션 정보를 기초로 해당하는 사용자들을 시각화한 가상객체(20)(실시예에서, 아바타 AR객체(30))를 사용자 간 공유되는 원격회의공간 상에 표시할 시, 동일한 좌표계 상에서 보다 자연스럽고 정확한 위치와 자세로 상기 원격회의공간 상에 증강되게 할 수 있고, 이를 통해 원격 협업을 수행하고 있는 실시간 사용자들의 모습을 보다 실제와 같이 시각화해 제공하여 원격 협업 서비스의 품질을 향상시킬 수 있다.

이상, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템은, 서로 다른 공간에 위치하는 복수의 사용자 간의 원격 협업이 공통의 좌표계에 기초하여 공유되는 3차원 공간 상에서 수행하게 함으로써, 멀리 떨어져 있는 상대방과 마치 같은 공간 내에서 실제 대면한 것과 같은 상태로 협업하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템은, 상기 공유되는 3차원 공간 상에 사용자의 요구사항에 따른 가상객체(20)를 더 제공함으로써, 가상의 협업공간을 사용자 맞춤형으로 제작하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템은, 상기 공유되는 3차원 공간에 기반하여 상호 공유하고자 하는 정보나 데이터를 시각화한 가상객체(20)를 더 제공함으로써, 원격 협업 시의 커뮤니케이션(communication) 품질을 보다 향상시킬 수 있는 효과가 있다.

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (11)

1. 실시간 좌표 공유 기반의 다자 간 원격 협업 시스템의 적어도 하나의 프로세서에 의하여 실행되는 원격회의 어플리케이션이 실시간 좌표 공유 기반의 다자 간 원격 협업 서비스를 제공하는 방법으로서,
   주변환경 내에 위치한 제 1 객체를 결정하는 단계;
   상기 결정된 제 1 객체를 기준으로 생성된 3차원 공간정보를 획득하는 단계;
   상기 획득된 3차원 공간정보에 기초한 3차원 맵을 생성하는 단계;
   상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성하는 단계;
   상기 생성된 원격회의공간에 대한 저작 인터페이스를 제공하는 단계;
   상기 제공된 저작 인터페이스를 기초로 저작된 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하는 단계;
   상기 클라이언트 단말로부터 클라이언트의 포지션 정보를 획득하는 단계; 및
   상기 획득된 포지션 정보를 기초로 상기 클라이언트를 시각화한 가상객체를 생성하여 상기 원격회의공간 상에 표시하는 단계를 포함하고,
   상기 제 1 객체를 기준으로 생성된 3차원 공간정보를 획득하는 단계는, 상기 제 1 객체의 제 1 지점을 기준으로 상기 주변환경에 대한 기준좌표계를 설정하는 단계와, 상기 기준좌표계가 설정된 주변환경의 객체들에 대한 영상 및 거리정보를 획득하여 3차원 공간정보를 생성하는 단계를 포함하고,
   상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성하는 단계는, 상기 기준좌표계를 중심으로 상기 3차원 맵에 기초하여 상기 제 1 객체를 나타내는 제 1 가상객체와, 상기 주변환경의 바닥면을 나타내는 바닥면 가상객체를 생성하는 단계를 더 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 원격회의공간은,
   상기 주변환경 외의 공간에 위치하는 적어도 한명 이상의 타 사용자와 상기 주변환경의 적어도 일부 객체에 대한 정보를 공유하기 위한 3차원의 가상공간인
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
4. 제 3 항에 있어서,
   상기 원격회의공간을 생성하는 단계는,
   상기 제 1 객체 및 상기 기준좌표계 중 적어도 하나의 가상객체를 상기 원격회의공간에 표시하는 단계를 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
5. 제 1 항에 있어서,
   상기 저작 인터페이스는, 상기 원격회의공간 상에 증강할 가상객체를 생성하는 사용자 인터페이스와, 상기 생성된 가상객체의 속성정보를 세팅하는 사용자 인터페이스를 포함하고,
   상기 속성정보는, 상기 가상객체에 대한 위치정보, 자세정보 및 스케일(scale) 정보 적어도 하나 이상의 정보를 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
6. 제 5 항에 있어서,
   상기 저작 인터페이스를 기초로 생성된 가상객체를 상기 원격회의공간 상에 표시하는 단계를 더 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
7. 제 1 항에 있어서,
   상기 클라이언트 단말로부터 저작된 가상객체를 수신하여 상기 원격회의공간 상에 표시하는 단계를 더 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
8. 제 1 항에 있어서,
   상기 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하는 단계는,
   상기 기준좌표계와, 상기 클라이언트 단말에서 사용되는 개별 기준좌표계인 전용 기준좌표계를 소정의 기준에 따라서 매칭한 좌표변환 정보를 생성하는 단계와, 상기 생성된 좌표변환 정보를 포함하는 상기 원격회의공간을 상기 적어도 하나 이상의 클라이언트 단말과 공유하는 단계를 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
9. 제 8 항에 있어서,
   상기 좌표변환 정보를 생성하는 단계는,
   상기 기준좌표계를 따르는 원격회의공간 내 제 1 오브젝트와, 상기 전용 기준좌표계로 인식된 제 1 실제객체를 소정의 기준에 따라서 매칭하는 단계와,
   상기 제 1 실제객체와 상기 제 1 오브젝트의 매칭에 따른 위치관계에 따라서 상기 기준좌표계와 상기 전용 기준좌표계 사이의 상기 좌표변환 정보를 생성하는 단계를 포함하는
   실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
10. 제 8 항에 있어서,
    상기 클라이언트의 포지션 정보를 획득하는 단계는,
    상기 클라이언트의 위치정보, 자세정보 및 시점정보 중 적어도 하나 이상의 정보를 포함하는 상기 포지션 정보를 상기 전용 기준좌표계에 따라서 획득하는 단계와,
    상기 좌표변환 정보에 기초하여 상기 클라이언트의 포지션 정보를 상기 기준좌표계를 기준으로 변환하는 단계를 포함하는
    실시간 좌표 공유 기반의 다자 간 원격 협업 방법.
11. 증강현실 기반 원격회의공간을 표시하는 디스플레이;
    적어도 하나 이상의 프로세서; 및
    적어도 하나 이상의 메모리; 를 포함하고,
    상기 메모리에 저장되고 상기 적어도 하나 이상의 프로세서에 의해 실행되어 실시간 좌표 공유 기반의 다자 간 원격 협업 서비스를 제공하는 적어도 하나의 어플리케이션으로서 상기 적어도 하나의 어플리케이션은,
    주변환경 내에 위치한 제 1 객체를 결정하고,
    상기 결정된 제 1 객체를 기준으로 3차원 공간정보를 획득하고,
    상기 획득된 3차원 공간정보에 기초한 3차원 맵을 생성하고,
    상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성하고,
    상기 생성된 원격회의공간에 대한 저작 인터페이스를 제공하고,
    상기 저작 인터페이스를 기초로 저작된 원격회의공간을 적어도 하나 이상의 클라이언트 단말과 공유하고,
    상기 클라이언트 단말로부터 클라이언트의 포지션 정보를 획득하고,
    상기 획득된 포지션 정보를 기초로 상기 클라이언트를 시각화한 가상객체를 생성해 상기 원격회의공간 상에 표시하고,
    상기 적어도 하나의 어플리케이션은, 상기 제 1 객체를 기준으로 생성된 3차원 공간정보를 획득시, 상기 제 1 객체의 제 1 지점을 기준으로 상기 주변환경에 대한 기준좌표계를 설정하고, 상기 기준좌표계가 설정된 주변환경의 객체들에 대한 영상 및 거리정보를 획득하여 3차원 공간정보를 생성하며,
    상기 적어도 하나의 어플리케이션은, 상기 생성된 3차원 맵을 시각화한 원격회의공간을 생성시, 상기 기준좌표계를 중심으로 상기 3차원 맵에 기초하여 상기 제 1 객체를 나타내는 제 1 가상객체와, 상기 주변환경의 바닥면을 나타내는 바닥면 가상객체를 생성하는 단계를 더 포함하는
    실시간 좌표 공유 기반의 다자 간 원격 협업 시스템.

Images