KR102694333B1 - 실시간 3d ar 객체 획득 장치, 시스템 및 방법 - Google Patents

Abstract

본 발명은 실시간으로 고해상도의 3D AR 객체를 획득할 수 있도록 지원하는 실시간 3D AR 객체 획득 장치, 시스템 및 방법에 관한 것이다. 본 발명에 따른 3D AR 객체 획득 시스템은 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치와, 복수의 이미지를 기반으로 실시간으로 고해상도의 3D AR 객체를 획득하는 3D AR 객체 획득 장치를 포함한다. 3D AR 객체 획득 장치는 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 3D AR 객체 생성 모듈과, 생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하는 업스케일 모듈을 포함한다.

Description

실시간 3D AR 객체 획득 장치, 시스템 및 방법{Real-time 3D AR object acquisition apparatus, system and method}

본 발명은 3D AR 객체 영상 획득 기술에 관한 것으로, 더욱 상세하게는 실시간으로 고해상도의 3D AR 객체를 획득할 수 있도록 지원하는 실시간 3D AR 객체 획득 장치, 시스템 및 방법에 관한 것이다.

가상 현실(Virtual Reality: VR) 및 증강 현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 혼합 현실(Mixed Reality: MR)이 교육, 게임, 전시관, 산업 등 다양한 분야에서 활용되고 있다.

증강 현실의 경우, 카메라가 촬영한 영상을 기반으로 증강 이미지를 처리하기 때문에, 처리해야 할 데이터 양이 매우 크다. 이로 인해 증강 현실 기반의 컨텐츠를 구현하기 위해서는 높은 사양의 하드웨어 장치가 필요하거나 매우 제한적인 환경에서 증강 현실 컨텐츠를 구현해야 하기 때문에, 증강 현실 컨텐츠에 대한 이용이 높지 않은 문제가 있다.

증강 현실 컨텐츠의 경우, 데이터 처리량이 크기 때문에, 증강 현실에 적용되는 컨텐츠의 실시간 성이 떨어지는 문제가 있다.

그리고 실시간으로 증강 현실 컨텐츠를 생성하는 경우, 현재 실생활에서 많이 사용되는 FHD(Full HD) 또는 UHD(Ultra HD) 화질과 비교했을 때, 화질이 상대적으로 떨어지는 문제가 있다.

등록특허공보 제10-2300285호 (2021.09.03.등록)

따라서 본 발명의 목적은 실시간으로 고해상도의 3D AR 객체를 획득할 수 있도록 지원하는 실시간 3D AR 객체 획득 장치, 시스템 및 방법을 제공하는 데 있다.

상기 목적을 달성하기 위하여, 본 발명은 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치; 및 상기 복수의 이미지를 기반으로 실시간으로 고해상도의 3D AR 객체를 획득하는 3D AR 객체 획득 장치;를 포함하는 실시간 3D AR 객체 획득 시스템을 제공한다.

상기 3D AR 객체 획득 장치는, 상기 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 3D AR 객체 생성 모듈; 및 생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하는 업스케일 모듈;을 포함한다.

상기 이미지 획득 장치는, RGB 카메라, Depth 카메라, 라이다(LiDAR) 센서 및 레이더(RADAR) 센서를 포함할 수 있다.

상기 3D AR 객체 생성 모듈은, 상기 복수의 이미지에서 각각 선택된 특정 객체에 대한 데이터를 추출하는 객체 데이터 추출부; 상기 추출된 객체 데이터를 병합하여 3D AR 객체를 생성하는 3D AR 객체 생성부; 및 생성된 3D AR 객체를 검증하는 3D AR 객체 검증부;를 포함할 수 있다.

상기 3D AR 객체 획득 장치는, 상기 이미지 획득 장치와 상기 3D AR 객체 획득 장치를 연결하는 인터페이스;를 더 포함할 수 있다.

상기 인터페이스는, 상기 이미지 획득 장치와 상기 3D AR 객체 생성 모듈의 연결을 지원하고, 상기 이미지 획득 장치의 구동을 제어하고, 상기 이미지 획득 장치의 연결 상태와 상기 이미지 획득 장치의 온-오프 상태를 확인하고, 상기 이미지 획득 장치의 물리적인 연결 또는 세팅값 설정에서 발생하는 에러 정보를 제공할 수 있다.

상기 3D AR 객체 생성 모듈은 생성한 3D AR 객체 이미지를 단일 프레임 단위로 상기 업스케일 모듈로 전달할 수 있다.

상기 업스케일 모듈은 실시간 처리가 가능한 배수의 해상도로 각 프레임을 업스케일링 할 수 있다.

상기 업스케일 모듈은 실시간 처리가 가능한 최대 배수의 해상도로 각 프레임을 업스케일링 할 수 있다.

본 발명은 또한, 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치로부터 수신하는 상기 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 3D AR 객체 생성 모듈; 및 생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하는 업스케일 모듈;을 포함하는 실시간 3D AR 객체 획득 장치를 제공한다.

그리고 본 발명은, 3D AR 객체 획득 장치가 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치로부터 상기 복수의 이미지를 수신하는 단계; 상기 3D AR 객체 획득 장치가 상기 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 단계; 및 상기 3D AR 객체 획득 장치가 생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하는 단계;를 포함하는 실시간 3D AR 객체 획득 방법을 제공한다.

본 발명에 따르면, 3D AR 객체 획득 장치는 이미지 획득 장치를 통해서 획득한 이미지들을 이용하여 실시간으로 3D AR 객체를 생성하면, 업스케일 모듈은 생성한 3D AR 객체 이미지의 각 프레임 마다 n배의 해상도로 업스케일링(upscaling) 함으로써, 실시간으로 고해상도의 3D AR 객체를 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 실시간 3D AR 객체 획득 시스템을 보여주는 도면이다.
도 2는 도 1의 3D AR 객체 획득 장치의 인터페이스를 보여주는 도면이다.
도 3은 도 1의 3D AR 객체 획득 장치의 3D AR 객체 생성 모듈을 보여주는 도면이다.
도 4는 3의 3D AR 객체 생성부를 보여주는 도면이다.
도 5는 도 1의 3D AR 객체 획득 장치의 업스케일 모듈을 보여주는 도면이다.
도 6은 본 발명의 실시예에 따른 실시간 3D AR 객체 획득 방법을 보여주는 흐름도이다.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.

[실시간 3D AR 객체 획득 시스템]

도 1은 본 발명의 실시예에 따른 실시간 3D AR 객체 획득 시스템을 보여주는 도면이다.

도 1을 참조하면, 본 실시예에 따른 실시간 3D AR 객체 획득 시스템(600)은 실시간으로 피사체(300)에 대해 획득한 이미지를 이용하여 3D AR 객체(400)를 생성한 후, 생성한 3D AR 객체에 대한 업스케일링을 통하여 고해상도의 3D AR 객체(500)를 획득하는 시스템이다.

이러한 본 실시예에 따른 실시간 3D AR 객체 획득 시스템(600)은 이미지 획득 장치(100)와 3D AR 객체 획득 장치(200)를 포함한다. 이미지 획득 장치(100)는 실시간으로 피사체(300)에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득한다. 그리고 3D AR 객체 획득 장치(200)는 복수의 이미지를 기반으로 실시간으로 3D AR 객체(400)를 생성한 후, 생성한 3D AR 객체에 대한 업스케일링을 통하여 고해상도의 3D AR 객체(500)를 획득한다.

여기서 3D AR 객체 획득 장치(200)는 3D AR 객체 생성 모듈(30)과 업스케일 모듈(90)을 포함한다. 3D AR 객체 생성 모듈(30)은 복수의 이미지를 이용하여 실시간으로 3D AR 객체(400)를 생성한다. 그리고 업스케일 모듈(90)은 생성한 3D AR 객체(400) 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체(500)로 변환한다. 그 외 3D AR 객체 획득 장치(200)는 인터페이스(10)를 더 포함한다.

이와 같은 본 실시예에 따른 본 실시예에 따른 실시간 3D AR 객체 획득 시스템(600)에 대해서 구체적으로 설명하면 다음과 같다.

피사체(300)는 3D AR 객체로 만들기 위한 목표가 될 수 있다. 예컨대, 피사체(300)는 인물, 동물, 물건, 도구, 배경 등 다양한 타겟을 포함할 수 있다. 또는 피사체(300)는 이미지 획득 장치(100)에 의해 촬영되는 촬영 환경 중 적어도 일부를 포함할 수 있다.

이미지 획득 장치(100)는 3D AR 객체에 생성에 필요한 여러 종류의 이미지를 획득한다. 예컨대 이미지 획득 장치(100)는 RGB 카메라, Depth 카메라, 라이다(LiDAR) 센서 및 레이더(RADAR) 센서를 포함할 수 있다.

이미지 획득 장치(100)는 피사체(300)를 촬영할 수 있는 위치에 배치될 수 있다. 예컨대 RGB 카메라는 피사체(300)와 관련한 RGB 이미지를 획득할 수 있다. Depth 카메라는 피사체(300)의 깊이 데이터를 획득할 수 있다. RGB 카메라와 Depth 카메라는 동일한 피사체(300)를 촬영할 수 있도록 배치되며, 촬영 거리와 촬영 각도가 지정된 범위 이내에서 동일 또는 유사하게 형성될 수 있다. 라이다 센서는 레이저를 피사체(300)에 조사하여 피사체(300)와의 거리, 형상 등 다양한 물성을 획득할 수 있다. 그리고 레이더 센서는 전자기파를 이용하여 피사체(300)의 위치, 속도, 방향 등에 데이터를 획득할 수 있다.

인터페이스(10)는, 도 1 및 도 2에 도시된 바와 같이, 이미지 획득 장치(100)와 3D AR 객체 획득 장치(200)를 연결한다. 여기서 도 2는 도 1의 3D AR 객체 획득 장치(200)의 인터페이스(10)를 보여주는 도면이다. 인터페이스(10)는 연결부(11), 구동부(13) 및 에러 핸들링부(15)를 포함한다.

연결부(11)는 이미지 획득 장치(100)와 3D AR 객체 생성 모듈(30)의 연결을 지원한다. 연결부(11)는 이미지 획득 장치(100)에 구비된 커넥터에 삽입되는 유선 케이블, 유선 케이블과 연결되는 연결 핀 또는 장치 커넥터를 포함할 수 있다. 또는 이미지 획득 장치(100)가 무선 통신을 통한 이미지 전달을 지원하도록 구성되는 경우, 연결부(11)는 이미지 획득 장치(100)와 무선 통신 채널을 형성할 수 있는 무선 통신 인터페이스를 포함할 수 있다. 즉 연결부(11)는 이미지 획득 장치(100)와 연결될 수 있는 유선 통신 인터페이스(예: 케이블을 통한 연결) 또는 이미지 획득 장치(100)와 무선 통신 채널을 형성할 수 있는 무선 통신 인터페이스를 포함할 수 있다. 이미지 획득 장치(100)가 별도의 배터리를 포함하지 않는 경우, 연결부(11)는 이미지 획득 장치(100)에 전원을 공급할 수 있는 배선을 더 포함할 수 있다.

구동부(13)는 이미지 획득 장치(100)의 구동을 제어하고, 이미지 획득 장치(100)의 연결 상태와 이미지 획득 장치(100)의 온-오프 상태를 확인한다. 구동부(13)는 연결부(11)를 통해 이미지 획득 장치(100)가 연결되면, 연결된 이미지 획득 장치(100)와 초기 데이터 송수신을 통해 이미지 획득 장치(100)의 식별 정보, 각각의 이미지 획득 장치(100)의 종류와 스펙 정보를 수집할 수 있다. 구동부(13)는 이미지 획득 장치(100)의 구동을 위한 어플리케이션을 실행할 수 있다. 구동부(13)는 사전 정의된 설정에 따라 이미지 획득 장치(100)의 초기 설정을 수행하고, 사용자 조작에 따라 각각의 이미지 획득 장치(100)의 세팅 값 조정을 수행할 수 있다. 구동부(13)는 사용자 조작 또는 특정 어플리케이션(예: 3D AR 객체 이미지 제공 기능을 지원하는 어플리케이션) 실행에 따라 이미지 획득 장치(100)의 턴-온을 제어하고, 해당 어플리케이션 종료에 대응하여 이미지 획득 장치(100)의 턴-오프 제어를 수행할 수 있다.

그리고 에러 핸들링부(15)는 이미지 획득 장치(100)의 물리적인 연결 또는 세팅값 설정에서 발생하는 에러 정보를 제공한다.

그 외 인터페이스(10)는 이미지 획득 장치(100)의 연결과 관련한 정보를 표시할 수 있는 디스플레이 또는 오디오 장치와 같은 출력부를 더 포함할 수 있다. 에러 핸들링부(15)는 이미지 획득 장치(100)의 연결에 따라 연결된 이미지 획득 장치(100)의 리스트를 디스플레이로 출력하고, 이미지 획득 장치(100) 각각의 상태(예: 초기화 완료, 이미지 획득 장치의 설정 값들)를 출력부로 출력할 수 있다. 이 과정에서, 에러 핸들링부(15)는 이미지 획득 장치(100) 중 정상적으로 동작하지 않은 이미지 획득 장치(100)에 대한 식별 정보 에러 정보를 함께 출력부로 출력할 수 있다. 에러 정보에는 에러가 발생한 이미지 획득 장치(100)의 문제점이 포함될 수 있다.

그리고 3D AR 객체 획득 장치(200)는, 전술한 바와 같이, 3D AR 객체 생성 모듈(30)과 업스케일 모듈(90)을 포함한다.

3D AR 객체 생성 모듈(30)은, 도 1 내지 도 4에 도시된 바와 같이, 이미지 획득부(31), 객체 데이터 추출부(33), 3D AR 객체 생성부(35), 및 3D AR 객체 검증부(37)를 포함한다. 여기서 도 3은 도 1의 3D AR 객체 획득 장치(200)의 3D AR 객체 생성 모듈(30)을 보여주는 도면이다. 그리고 도 4는 3의 3D AR 객체 생성부(35)를 보여주는 도면이다.

이미지 획득부(31)는 사용자 조작에 따라 또는 특정 어플리케이션 실행에 따라 이미지 획득 장치(100)로부터 이미지들을 수신하여 획득한다. 이 과정에서 이미지 획득부(31)는 인터페이스(10)를 통해 연결되고 활성화된 이미지 획득 장치(100)에 대한 정보를 확인하고, 이미지 획득 장치(100)로 획득할 수 있는 이미지의 종류를 확인할 수 있다. 예컨대 이미지 획득부(31)는 RGB 이미지 및 Depth 이미지를 각각 획득할 수 있는 카메라가 이미지 획득 장치(100)에 포함되어 있지 않은 경우, 에러 메시지를 인터페이스(10)의 에러 핸들링부(15)에 전달할 수 있다. 에러 메시지를 수신한 에러 핸들링부(15)는 현재 연결되어 있지 않은 종류(예: RGB 카메라 또는 Depth 카메라)의 카메라의 연결 또는 턴-온을 요청하는 에러 정보를 출력할 수 있다. RGB 카메라 및 Depth 카메라가 모두 연결되고 정상적으로 RGB 이미지 및 Depth 이미지가 전달되면, 이미지 획득부(31)는 획득한 이미지들을 객체 데이터 추출부(33)에 전달할 수 있다. 객체 데이터 추출부(33)가 수신한 RGB 이미지 및 Depth 이미지는 피사체(300)를 포함하는 촬영 환경 전체에 대한 이미지를 포함할 수 있다.

객체 데이터 추출부(33)는 복수의 이미지에서 각각 선택된 특정 객체에 대한 데이터를 추출한다. 객체 데이터 추출부(33)는 이미지 획득부(31)로부터 전달받은 이미지들을 기반으로, 원하는 데이터만을 획득하는 필터링을 수행할 수 있다. 예컨대 객체 데이터 추출부(33)는 Depth 값을 활용하여 일정 깊이에 있는 피사체(300)들을 필터링할 수 있다. 객체 데이터 추출부(33)는 일정 깊이에 있는 피사체(300)에 대한 RGB 이미지를 별도 추출할 수 있다. 객체 데이터 추출부(33)는 RGB 이미지에서 경계선을 기준으로 객체 구분을 수행하고, Depth 정보를 기반으로 일정 깊이의 객체를 선택적으로 필터링할 수 있다. 또는, 객체 데이터 추출부(33)는 RGB 이미지 중 특정 패턴을 포함하는 객체(예: 사람의 얼굴 패턴 또는 특정 동물 패턴 등)에 대한 Depth 정보를 기반으로 해당 객체 대한 필터링을 수행할 수 있다. 즉, 객체 데이터 추출부(33)는 피사체(300) 중 적어도 일부 객체에 대한 RGB 데이터 및 Depth 데이터만을 필터링하여 획득할 수 있다.

3D AR 객체 생성부(35)는 추출된 객체 데이터를 병합하여 3D AR 객체(400)를 생성한다. 3D AR 객체 생성부(35)는 데이터 싱크부(50)와 데이터 생성부(70)를 포함할 수 있다.

데이터 싱크부(50)는 인포 핸들러(info handler; 51), 픽셀 매칭부(pixel matcher; 53) 및 제1 데이터 버퍼(data buffer; 55)를 포함할 수 있다.

인포 핸들러(51)는 객체 데이터 추출부(33)로부터 전달된 데이터에서 Depth 데이터와 RGB 데이터를 획득할 수 있다. 이 과정에서 인포 핸들러(51)는 객체 데이터 추출부(33)로부터 Depth 데이터의 해상도 및 RGB 데이터의 해상도 정보를 함께 획득할 수 있다. 또는, 인포 핸들러(51)는 인터페이스(10)로부터 RGB 이미지를 제공한 RGB 카메라의 해상도, Depth 이미지를 제공한 Depth 카메라의 해상도 정보를 획득할 수 있다.

픽셀 매칭부(53)는 RGB 데이터의 해상도를 변경할 수 있다. 즉 픽셀 매칭부(53)는 포인트 클라우드 생성을 위해 각각 다른 해상도를 가진 RGB 정보(해상도:1920*1080)와 깊이 정보(해상도:1024*1024) 중 RGB 정보의 크기를 깊이 정보에 맞게 변환할 수 있다. 픽셀 매칭부(53)는 변경된 정보를 제1 데이터 버퍼(55)에 저장할 수 있다.

제1 데이터 버퍼(55)는 픽셀 매칭부(53)가 매칭한 RGB 데이터 및 Depth 데이터를 저장할 수 있다. 여기서 저장된 RGB 데이터는 Depth 데이터의 해상도에 맞게 변환된 정보가 될 수 있다.

데이터 생성부(70)는 제2 데이터 버퍼(71), 포인트 클라우드 생성기(72), 포인트 클라우드 데이터 버퍼(73), 비디오 출력 생성기(74), 데이터 전송기(75) 및 PLY 파일 매니저(76)를 포함할 수 있다.

제2 데이터 버퍼(71)는 데이터 싱크부(50)에 의해 Depth 데이터를 기반으로 변환된 RGB 데이터 및 Depth 데이터를 제1 데이터 버퍼(55)로부터 전달 받아 임시 저장할 수 있다. 제2 데이터 버퍼(71)는 저장된 데이터들(예: 해상도가 변환된 RGB 데이터 및 Depth 데이터)을 포인트 클라우드 생성기(72)에 전달할 수 있다. 이때, 제2 데이터 버퍼(71)는 포인트 클라우드 생성을 위하여, 제1 데이터 버퍼(55)에서 전달받은 데이터들을 지정된 데이터 포맷 형식(예: 포인트 클라우드 생성을 위해 정의된 포맷 형식 또는 해당 데이터의 사용 목적에 맞는 포맷 형식)으로 변환하여 저장할 수 있다.

포인트 클라우드 생성기(72)는 제2 데이터 버퍼(71)에 저장된 데이터를 기반으로 포인트 클라우드 데이터(point cloud data)를 생성할 수 있다. 예컨대, 포인트 클라우드 생성기(72)는 제2 데이터 버퍼(71)에 저장된 데이터들에 대해 3D 공간에서 좌표를 할당하고, 할당된 좌표들에 대한 포인트 모음을 처리할 수 있다. 여기서, 포인트 클라우드 생성기(72)는 3D 데이터 구축을 위하여 포인트 클라우드에 오버레이 과정을 수행할 수 있다.

포인트 클라우드 데이터 버퍼(73)는 포인트 클라우드 생성기(72)에 의해 생성된 포인트 클라우드 데이터를 저장할 수 있다. 포인트 클라우드 데이터 버퍼(73)에 저장된 데이터는 3D AR 객체 이미지에 대응하는 각각의 좌표 모음들(또는 포인트들)을 포함할 수 있다.

비디오 출력 생성기(74)는 포인트 클라우드 데이터 버퍼(73)에 저장된 포인트 클라우드 데이터에 대응하는 비디오 파일을 생성하고, 생성된 비디오 파일을 저장하거나 지정된 장치에 전달할 수 있다. 비디오 출력 생성기(74)에 의해 생성된 비디오는 3D AR 객체 이미지의 실시간 이미지를 포함할 수 있다. 특히, 비디오 출력 생성기(74)가 생성한 비디오 파일은 피사체(300)를 기준으로 일부 객체에 대한 3D AR 객체 이미지의 실시간 비디오 영상을 포함할 수 있다.

데이터 전송기(75)는 포인트 클라우드 데이터 버퍼(73)에 저장된 포인트 클라우드 데이터를 지정된 장치로 전송할 수 있다. 예컨대, 3D AR 객체 이미지 지원 기능이 화상 회의 또는 게임 등의 프로그램을 기반으로 수행되는 경우, 데이터 전송기(75)는 특정 객체에 대응하는 포인트 클라우드 데이터를 해당 화상 회의나 게임을 수행하는 다른 전자 장치에 전달할 수 있다.

그리고 PLY 파일 매니저(76)는 포인트 클라우드 데이터를 기반으로 3D 폴리곤 파일을 생성할 수 있다. PLY 파일 매니저(76)는 포인트 클라우드 데이터를 기반으로 피사체(300)의 적어도 일부 객체에 대응하는 다각형의 파일 형식을 정의할 수 있다. 이 과정에서 PLY 파일 매니저(76)는 피사체(300)의 적어도 일부에 해당하는 객체의 색상 및 투명도, 표면 법선, 텍스처 좌표 및 데이터 신뢰값을 포함하여 다양한 속성을 저장할 수 있다. 즉, PLY 파일 매니저(76)는 포인트 클라우드 데이터에 대응하는 PLY 데이터(77)의 변환을 수행할 수 있다.

그리고 3D AR 객체 검증부(37)는 생성된 3D AR 객체(400)를 검증한다. 즉 3D AR 객체 검증부(37)는 3D AR 객체(400)를 생성하는 3D AR 객체 생성부(35)의 오류 등으로 인하여 빈 데이터가 생성되거나, 획득한 이미지들 중 적어도 하나가 누락된 상태로 3D AR 객체(400)가 생성되는 등의 오류 상황을 대비하기 위해서 생성된 3D AR 객체(400)를 검증한다.

업스케일 모듈(90)은, 도 1 및 도 5에 도시된 바와 같이, 3D AR 객체 생성 모듈(30)에서 생성된 저해상도의 3D AR 객체(400)를 업스케일링을 통하여 고해상도의 3D AR 객체(500)로 변환한다. 여기서 도 5는 도 1의 3D AR 객체 획득 장치의 업스케일 모듈(90)을 보여주는 도면이다.

3D AR 객체 생성 모듈(30)은 생성한 3D AR 객체(400)의 이미지를 단일 프레임 단위로 업스케일 모듈(90)로 전달할 수 있다.

업스케일 모듈(90)은 업스케일링 방법으로 Super Resolution을 적용하였다. 업스케일 모듈(90)은 실시간 처리가 가능한 배수의 해상도로 각 프레임을 업스케일링 할 수 있다. 바람직하게는 업스케일 모듈(90)은 실시간 처리가 가능한 최대 배수의 해상도로 각 프레임을 업스케일링 한다.

여기서 3D AR 객체 생성 모듈(30)이 3D AR 객체(400)의 이미지, 즉 업스케일링 전 3D AR 객체(400)의 이미지를 실시간으로 생성할 경우, 화질이 상대적으로 떨어질 수 밖에 없다.

하지만 업스케일 모듈(39)은 업스케일링 전 3D AR 객체(400)의 이미지를 업스케일링을 통해서 화질을 개선할 수 있다. 업스케일링 전 3D AR 객체(400)의 이미지와 비교해서 업스케일링 후 3D AR 객체(500)의 이미지의 화질이 개선된 것을 확인할 수 있다.

이와 같은 본 실시예에 따르면, 3D AR 객체 획득 장치(200)는 이미지 획득 장치(100)를 통해서 획득한 이미지들을 이용하여 실시간으로 3D AR 객체(400)를 생성하면, 업스케일 모듈(90)이 생성한 3D AR 객체(400) 이미지의 각 프레임 마다 n배의 해상도로 업스케일링 함으로써, 실시간으로 고해상도의 3D AR 객체(500)를 제공할 수 있다.

[실시간 3D AR 객체 획득 방법]

이와 같은 본 실시예에 따른 실시간 3D AR 객체 획득 시스템(600)을 이용한 실시간 3D AR 객체 획득 방법에 대해서 도 1 및 도 6을 참조하여 설명하면 다음과 같다. 여기서 도 6은 본 발명의 실시예에 따른 실시간 3D AR 객체 획득 방법을 보여주는 흐름도이다.

먼저 S10단계에서 이미지 획득 장치(100)는 실시간으로 피사체(300)에 대한 복수의 이미지를 획득한 후, 인터페이스(10)를 통하여 3D AR 객체 획득 장치(200)로 획득한 복수의 이미지를 전송한다.

다음으로 S20단계에서 3D AR 객체 획득 장치(200)는 수신한 복수의 이미지를 이용하여 시간으로 3D AR 객체(400)를 생성한다. 이때 생성된 3D AR 객체(400) 이미지는 업스케일링 전 3D AR 객체(400) 이미지이다.

그리고 S30단계에서 3D AR 객체 획득 장치(200)는 생성한 3D AR 객체(400) 이미지의 각 프레임마다 n배의 해상도로 업스케일링 하여 실시간으로 고해상도의 3D AR 객체(500) 이미지로 변환함으로써, 업스케일링 전 3D AR 객체(400) 이미지와 비교해서 고해상도의 3D AR 객체(500) 이미지를 획득할 수 있다. 이때 획득한 3D AR 객체(500) 이미지는 업스케일링 후 3D AR 객체(500) 이미지이다.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.

100 : 이미지 획득 장치 200 : 3D AR 객체 획득 장치
10 : 인터페이스 30 : 3D AR 객체 생성 모듈
31 : 이미지 획득부 33 : 객체 데이터 추출부
35 : 3D AR 객체 생성부 37 : 3D AR 객체 검증부
50 : 데이터 싱크부 51 : 인포 핸들러
53 : 픽셀 매칭부 55 : 제1 데이터 버퍼
70 : 데이터 생성부 71 : 제2 데이터 버퍼
72 : 포인트 클라우드 생성기 73 : 포인트 클라우드 데이터 버퍼
74 : 비디오 출력 생성기 75 : 데이터 전송기
76 : PLY 파일 매니저 77 : PLY 파일
90 : 업스케일 모듈 300 : 피사체
400 : 업스케일 전 3D AR 객체 500 : 업스케일 후 3D AR 객체
600 : 3D AR 객체 획득 시스템

Claims (13)

1. 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치; 및
   상기 복수의 이미지를 기반으로 실시간으로 고해상도의 3D AR 객체를 획득하는 3D AR 객체 획득 장치;를 포함하고,
   상기 3D AR 객체 획득 장치는,
   상기 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 3D AR 객체 생성 모듈; 및
   생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하되, 실시간 처리가 가능한 배수의 해상도로 각 프레임을 업스케일링 하는 업스케일 모듈;을 포함하고,
   상기 3D AR 객체 생성 모듈은,
   상기 복수의 이미지에서 각각 선택된 특정 객체에 대한 데이터를 추출하는 객체 데이터 추출부;
   상기 추출된 객체 데이터를 병합하여 3D AR 객체를 생성하는 3D AR 객체 생성부; 및
   생성된 3D AR 객체를 검증하는 3D AR 객체 검증부;
   를 포함하는 실시간 3D AR 객체 획득 시스템.
2. 제1항에 있어서, 상기 이미지 획득 장치는,
   RGB 카메라, Depth 카메라, 라이다(LiDAR) 센서 및 레이더(RADAR) 센서를 포함하는 것을 특징으로 실시간 3D AR 객체 획득 시스템.
3. 삭제
4. 제1항에 있어서, 상기 3D AR 객체 획득 장치는,
   상기 이미지 획득 장치와 상기 3D AR 객체 획득 장치를 연결하는 인터페이스;
   를 더 포함하는 것을 특징으로 하는 실시간 3D AR 객체 획득 시스템.
5. 제4항에 있어서, 상기 인터페이스는,
   상기 이미지 획득 장치와 상기 3D AR 객체 생성 모듈의 연결을 지원하고, 상기 이미지 획득 장치의 구동을 제어하고, 상기 이미지 획득 장치의 연결 상태와 상기 이미지 획득 장치의 온-오프 상태를 확인하고, 상기 이미지 획득 장치의 물리적인 연결 또는 세팅값 설정에서 발생하는 에러 정보를 제공하는 것을 특징으로 하는 실시간 3D AR 객체 획득 시스템.
6. 제1항에 있어서,
   상기 3D AR 객체 생성 모듈은 생성한 3D AR 객체 이미지를 단일 프레임 단위로 상기 업스케일 모듈로 전달하는 것을 특징으로 하는 실시간 3D AR 객체 획득 시스템.
7. 삭제
8. 제1항에 있어서,
   상기 업스케일 모듈은 실시간 처리가 가능한 최대 배수의 해상도로 각 프레임을 업스케일링 하는 것을 특징으로 하는 실시간 3D AR 객체 획득 시스템.
9. 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치로부터 수신하는 상기 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 3D AR 객체 생성 모듈; 및
   생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하되, 실시간 처리가 가능한 배수의 해상도로 각 프레임을 업스케일링 하는 업스케일 모듈;을 포함하고,
   상기 3D AR 객체 생성 모듈은,
   상기 복수의 이미지에서 각각 선택된 특정 객체에 대한 데이터를 추출하는 객체 데이터 추출부;
   상기 추출된 객체 데이터를 병합하여 3D AR 객체를 생성하는 3D AR 객체 생성부; 및
   생성된 3D AR 객체를 검증하는 3D AR 객체 검증부;
   를 포함하는 실시간 3D AR 객체 획득 장치.
10. 제9항에 있어서,
    상기 이미지 획득 장치와 상기 3D AR 객체 획득 장치를 연결하는 인터페이스;를 더 포함하고,
    상기 인터페이스는,
    상기 이미지 획득 장치와 상기 3D AR 객체 생성 모듈의 연결을 지원하고, 상기 이미지 획득 장치의 구동을 제어하고, 상기 이미지 획득 장치의 연결 상태와 상기 이미지 획득 장치의 온-오프 상태를 확인하고, 상기 이미지 획득 장치의 물리적인 연결 또는 세팅값 설정에서 발생하는 에러 정보를 제공하는 것을 특징으로 하는 실시간 3D AR 객체 획득 장치.
11. 제9항에 있어서,
    상기 업스케일 모듈은 실시간 처리가 가능한 최대 배수의 해상도로 각 프레임을 업스케일링 하는 것을 특징으로 하는 실시간 3D AR 객체 획득 장치.
12. 3D AR 객체 획득 장치가 실시간으로 피사체에 대한 3D AR 객체 생성에 필요한 복수의 이미지를 획득하는 이미지 획득 장치로부터 상기 복수의 이미지를 수신하는 단계;
    상기 3D AR 객체 획득 장치가 상기 복수의 이미지를 이용하여 실시간으로 3D AR 객체를 생성하는 단계; 및
    상기 3D AR 객체 획득 장치가 생성한 3D AR 객체 이미지의 각 프레임마다 n배의 해상도로 업스케일링(upscaling) 하여 실시간으로 고해상도의 3D AR 객체로 변환하는 단계;를 포함하고,
    상기 3D AR 객체를 생성하는 단계에서,
    상기 3D AR 객체 획득 장치가 상기 복수의 이미지에서 각각 선택된 특정 객체에 대한 데이터를 추출하고, 추출한 객체 데이터를 병합하여 3D AR 객체를 생성하고, 생성한 3D AR 객체를 검증하고,
    상기 변환하는 단계에서,
    상기 3D AR 객체 획득 장치가 실시간 처리가 가능한 배수의 해상도로 각 프레임을 업스케일링 하는 것을 특징으로 하는 실시간 3D AR 객체 획득 방법.
13. 제12항에 있어서, 상기 변환하는 단계에서,
    상기 3D AR 객체 획득 장치가 실시간 처리가 가능한 최대 배수의 해상도로 각 프레임을 업스케일링 하는 것을 특징으로 하는 실시간 3D AR 객체 획득 방법.

Images