KR20180077987A - 영상의 모션 데이터 산출 방법 - Google Patents

Abstract

본 발명은 영상의 모션 데이터 산출 방법에 관한 것으로, 보다 상세하게는 움직이면서 촬영된 영상 컨텐츠를 시뮬레이터에 사용할 수 있도록 해당 영상으로부터 촬영시의 움직임에 관한 모션 데이터를 산출할 수 있는 영상의 모션 데이터 산출 방법에 관한 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 영상의 모션 데이터 산출 방법은, 움직이는 촬영기에서 촬영된 영상으로부터 촬영기의 움직임에 관한 데이터를 산출하는 영상의 모션 데이터 산출 방법에 있어서, 제1프레임 영상에서 임의의 복수 기준점을 정하고 해당 기준점의 좌표를 산출 단계와, 상기 제1프레임에 후속하는 제2프레임 영상에서 상기 제1프레임 영상의 기준점이 이동하여 대응되는 이동점을 찾고 해당 이동점의 좌표를 산출하는 단계와, 상기 기준점 좌표와 이동점 좌표의 상대적인 변화로부터 촬영기의 움직임을 산출하는 단계를 포함하는 것을 특징으로 한다.

Description

영상의 모션 데이터 산출 방법{METHOD FOR CALCULATING MOTION DATA OF IMAGE}

본 발명은 영상의 모션 데이터 산출 방법에 관한 것으로, 보다 상세하게는 움직이면서 촬영된 영상 컨텐츠를 시뮬레이터에 사용할 수 있도록 해당 영상으로부터 촬영시의 움직임에 관한 모션 데이터를 산출할 수 있는 영상의 모션 데이터 산출 방법에 관한 것이다.

최근 가상현실(VR, Virtual Reality) 기술의 대두로 인해 각 영상과 VR 시뮬레이터의 연동으로 가상현실을 즐기는 콘텐츠가 출시되고 있다. 이러한 VR 시뮬레이터에는 영상 컨텐츠와 함께 그 영상 컨텐츠를 촬영시 이루어진 움직임에 관한 데이터가 필요하다.

일반적으로 이러한 VR 시뮬레이터의 작동을 위한 영상 컨텐츠는 촬영과 동시에 가속 센서 등으로부터 영상 컨텐츠와 동기화된 모션 데이터를 획득한다.

따라서, 촬영시 모션 데이터를 획득하지 않은 일반적인 영상 컨텐츠의 경우에는 시뮬레이터에 활용하는데 제약이 있고, 실감을 확보하는데 한계가 있다.

본 발명은 상기와 같은 점을 인식하여 안출된 것으로 본 발명의 목적은 움직이면서 촬영된 영상 컨텐츠를 시뮬레이터에 사용할 수 있도록 해당 영상으로부터 촬영시의 움직임에 관한 모션 데이터를 산출할 수 있는 영상의 모션 데이터 산출 방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 영상의 모션 데이터 산출 방법은, 움직이는 촬영기에서 촬영된 영상으로부터 촬영기의 움직임에 관한 데이터를 산출하는 영상의 모션 데이터 산출 방법에 있어서, 제1프레임 영상에서 임의의 복수 기준점을 정하고 해당 기준점의 좌표를 산출 단계와, 상기 제1프레임에 후속하는 제2프레임 영상에서 상기 제1프레임 영상의 기준점이 이동하여 대응되는 이동점을 찾고 해당 이동점의 좌표를 산출하는 단계와, 상기 기준점 좌표와 이동점 좌표의 상대적인 변화로부터 촬영기의 움직임을 산출하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 영상의 모션 데이터 산출 방법은, 상기 촬영기에서 촬영된 영상은 촬영기를 주행시키면서 촬용된 영상이고, 상기 촬영기의 움직임에는 좌우 방향 전환 주행과 오르막 및 내리막 주행에 대한 움직임을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 영상의 모션 데이터 산출 방법은, 상기 기준점에는 영상의 소실점이 포함된 것을 특징으로 한다.

상기와 같은 구성에 의하여 본 발명에 따른 영상의 모션 데이터 산출 방법은 움직이면서 촬영된 영상 컨텐츠를 시뮬레이터에 사용할 수 있도록 해당 영상으로부터 촬영시의 움직임에 관한 모션 데이터를 산출할 수 있는 장점을 갖는다.

도 1은 본 발명의 일실시예에 따른 영상의 모션 데이터 산출 방법에 의해 산출된 모션 데이터를 이용하는 시뮬레이터의 일예(자전거)를 도시한 도면
도 2a 내지 도 2c는 본 발명의 일실시예에 따른 영상의 모션 데이터 산출 방법을 개념적으로 도시한 도면

이하에서는 도면 및 실시예를 참조하여 본 발명에 따른 영상의 모션 데이터 산출 방법을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 영상의 모션 데이터 산출 방법에 의해 산출된 모션 데이터를 이용하는 시뮬레이터의 일예(자전거)를 도시한 도면이고, 도 2a 내지 도 2c는 본 발명의 일실시예에 따른 영상의 모션 데이터 산출 방법을 개념적으로 도시한 도면이다. 특히, 도 2a는 평지에서 직선 주행하는 경우에 대한 것이고, 도 2b는 평지에서 곡선 주행(우회전)하는 경우에 대한 것이며, 도 2c는 평지에서 경사지로 접어들어 주행(내리막)하는 것에 대한 것이다.

도 1은 본 발명의 일실시예에 따른 영상의 모션 데이터 산출 방법에 의해 산출된 모션 데이터를 이용하는 시뮬레이터의 일예(자전거)를 도시한 도면이다. 도 1에 도시된 실시예는 야외에서 실제 자전거를 주행하면서 자전거에 장착된 촬영기(도면에 미도시)로 촬영된 영상을 화면(10)이 디스플레이되고, 그 디스플레이되는 영상을 촬영할 때 실제 자전거가 겪은 움직임에 따른 모션 데이터를 영상분석부(20)가 상기 화면(10)에 디스플레이되는 영상으로부터 산출하고 그 산출된 모션 데이터를 이용하여 실내 자전거(30)에 움직임을 부여하는 시뮬레이터(40)의 작동이 제어되게 된다. 도면에는 화면(10)이 일반 모니터가 도시되어 있으나, 이는 HMD(Head Mounted Display)가 이용될 수 있다.

본 발명은 상기와 같이 실제 자전거와 같이 움직이면서 촬영된 동영상으로부터 그 움직임에 대한 모션 데이터를 촬영된 영상으로부터 산출하는 방법에 관한 기술이다. 즉, 본 발명은 움직이는 촬영기에서 촬영된 영상으로부터 촬영기의 움직임에 관한 데이터를 산출하는 영상의 모션 데이터 산출 방법에 관한 것으로 이하에서는 이를 보다 상세하게 설명하기로 한다.

본 발명에 따른 영상의 모션 데이터 산출 방법은 제1프레임 영상에서 임의의 복수 기준점을 정하고 해당 기준점의 좌표를 산출 단계와, 상기 제1프레임에 후속하는 제2프레임 영상에서 상기 제1프레임 영상의 기준점이 이동하여 대응되는 이동점을 찾고 해당 이동점의 좌표를 산출하는 단계와, 상기 기준점 좌표와 이동점 좌표의 상대적인 변화로부터 촬영기의 움직임을 산출하는 단계를 포함하여 구성된다.

도 2a 내지 도 2c는 촬영된 영상으로부터 상기와 같은 과정을 거쳐 영상을 촬영한 촬영기의 움직임을 산출하는 과정을 개념적으로 도시한 것이다.

특히, 도 2a는 평지를 주행하는 자전거에 의해 촬영된 영상으로, 우선 이로부터 상기의 과정에 따라 모션 데이터를 산출하는 방법을 설명하기로 한다.

도 2a에서는 3개의 영상 프레임이 도시되어 있고, 상단부터 순서대로 제1프레임 영상, 제2프레임 영상 및 제3프레임 영상을 도시한 것으로 이른 실제 시간의 선후관계와 일치된다.

도 2a의 제1프레임 영상에서는 총 5개의 기준점(a1,a2,a3,a4,a5)이 정해진 상태가 확인된다. 이러한 기준점은 임의의 위치에 임의의 갯수(가능한 적은 것이 계산량을 줄일 수 있어 바람직하다)로 정해질 수 있으나, 가능한 영상의 소실점이 기준점에 포함되는 것이 바람직하다. 도 2a에서는 기준점 a1이 소실점 위치에 상당하는 점이다. 또한, 나머지 기준점들은 가능한 상기 소실점 위치에 정해진 기준점 a1을 중심으로 대칭한 위치에 정하는 것이 산출시 계산량을 줄일 수 있다. 도2a에는 중앙의 소실점에 위치된 기준점 a1을 중심으로 4개의 기준점 a2,a3,a4,a5가 전후 좌우에 대칭된 위치에 선정된 예가 도시되어 있다. 상기와 같이 제1프레임에서 기준점(a1,a2,a3,a4,a5)이 선정되면, 선정된 기준점(a1,a2,a3,a4,a5)에 대한 좌표를 산출할 수 있게 된다.

도 2a의 두번째 영상은 시간적으로 제1프레임 영상에 후속하는 제2프레임 영상을 도시한 것으로, 도 2a의 두번째 영상에는 제1프레임 영상에서 선정된 기준점(a1,a2,a3,a4,a5)을 추적하여 그 기준점에 대응되는 이동점(a1',a2',a3',a4',a5')을 찾고 그 이동점(a1',a2',a3',a4',a5')의 좌표을 산출한다.

상기와 같은 과정에서 얻어진 기준점의 좌표와 이동점의 좌표를 비교하여 모션 데이터를 산출할 수 있게 된다. 상기 제2프레임 영상의 이동점(a1',a2',a3',a4',a5')은 대체로 기준점(a1,a2,a3,a4,a5)과 비슷한 좌표를 갖거나 중심의 기준점 a1을 중심으로 그 주위의 기준점 a2,a3,a4,a5가 점점 멀어지면서 크기가 확대되는 추이를 보인다. 이는 실제 자전거가 주행하기 때문에 촬영된 영상의 화상은 점점 가까워지면서 확대되는 것으로 보여지기 때문에 나타나는 현상이다. 그럼에도 불구하고 제1프레임 영상의 기준점 a1은 제2프레임 영상의 이동점 a1'의 위치는 거의 일치되고 있는데 이는 도 2a에서 제시된 영상은 실제 자전거가 직선 주행하면서 촬영된 것을 반영하는 것이고, 본 발명은 상기 영상으로부터 직선 움직임을 제외하고는 좌우 방향 전환이나 오르막 내리막 변화에 의한 움직임은 없는 것으로 산출하게 된다. 도 2a의 영상은 직선 주행에 의해 촬영된 영상이라는 것은 제3프레임 영상의 이동점 a1'',a2'',a3'',a4'',a5''에서 중앙의 이동점 a1''은 그 전 프레임의 기준점 a1 및 이동점 a1'와 거의 일치되고 있다는 점에서 다시 한번 확인된다.

한편, 상기 도 2a는 평지를 주행하면서 촬영된 영상인데, 도 2a에 나타난 영상은 자전거가 오르막이나 내리막의 기울기의 변화가 없이 주행이 이루어지는 경우에도 동일하게 나타난다. 즉, 도 2a에 도시된 영상의 변화로부터는 오르막과 내리막의 기울기 변화가 없이 주행이 이루어진 것으로 모션 데이터가 산출되게 된다.

다음으로 도 2b는 우회전으로 방향을 변경하면서 주행하는 자전거에 의해 촬영된 영상으로, 우선 이로부터 상기의 과정에 따라 모션 데이터를 산출하는 방법을 설명하기로 한다.

도 2b에서도 3개의 영상 프레임이 도시되어 있고, 상단부터 순서대로 제1프레임 영상, 제2프레임 영상 및 제3프레임 영상을 도시한 것으로 이른 실제 시간의 선후관계와 일치된다.

도 2b의 제1프레임 영상에서는 총 5개의 기준점(b1,b2,b3,b4,b5)이 정해진 상태가 확인된다. 이러한 기준점은 임의의 위치에 임의의 갯수로 정해질 수 있으나, 도 2a에서와 마찬가지로 가능한 영상의 소실점이 기준점에 포함되는 것이 바람직하다. 도 2b에서는 기준점 b1이 소실점 위치에 상당하는 점이다. 또한, 나머지 기준점들은 가능한 상기 소실점 위치에 정해진 기준점 b1을 중심으로 대칭한 위치에 정해지며, 중앙의 소실점에 위치된 기준점 b1을 중심으로 4개의 기준점 b2,b3,b4,b5가 전후 좌우에 대칭된 위치에 선정된 예가 도시되어 있다. 상기와 같이 제1프레임에서 기준점(b1,b2,b3,b4,b5)이 선정되면, 선정된 기준점(b1,b2,b3,b4,b5)에 대한 좌표를 산출할 수 있게 된다.

도 2b의 두번째 영상은 시간적으로 제1프레임 영상에 후속하는 제2프레임 영상을 도시한 것으로, 도 2b의 두번째 영상에는 제1프레임 영상에서 선정된 기준점(b1,b2,b3,b4,b5)을 추적하여 그 기준점에 대응되는 이동점(b1',b2',b3',b4',b5')을 찾고 그 이동점(b1',b2',b3',b4',b5')의 좌표을 산출한다.

상기와 같은 과정에서 얻어진 기준점의 좌표와 이동점의 좌표를 비교하여 모션 데이터를 산출할 수 있게 된다. 상기 제2프레임 영상의 이동점(b1',b2',b3',b4',b5')은 대체로 기준점(b1,b2,b3,b4,b5)에 비하여 확대되면서 좌측으로 이동된 위치의 좌표를 갖는다. 이는 실제 자전거가 주행하기 때문에 촬영된 영상의 화상은 점점 가까워지면서 확대되는 것으로 보여지기 때문에 나타나는 현상이다. 그럼에도 불구하고 제1프레임 영상의 기준점 b1에 비하여 제2프레임 영상의 이동점 b1'은 그 위치가 좌측으로 이동되는 것으로 나타나는데 이는 도 2b에서 제시된 영상은 실제 자전거가 우회전으로 방향을 전환 주행하면서 촬영된 것을 반영하는 것이고, 본 발명은 상기 영상으로부터 도 2b의 영상으로부터 오르막 내리막 변화은 없으나 우회전하는 움직임이 있는 것으로 산출하게 된다. 도 2b의 영상은 우회전 주행에 의해 촬영된 영상이라는 것은 제3프레임 영상의 이동점 b1'',b2'',b3'',b4'',b5''에서 중앙의 이동점 b1''은 그 전 프레임의 기준점 b1 및 이동점 b1'에 비하여 더욱더 왼쪽으로 이동되어 있다는 점에서 다시 한번 확인된다.

마지막으로 도 2c는 평지에서 내리막으로 진입하면 주행하는 자전거에 의해 촬영된 영상으로, 우선 이로부터 상기의 과정에 따라 모션 데이터를 산출하는 방법을 설명하기로 한다.

도 2c에서도 3개의 영상 프레임이 도시되어 있고, 상단부터 순서대로 제1프레임 영상, 제2프레임 영상 및 제3프레임 영상을 도시한 것으로 이른 실제 시간의 선후관계와 일치된다.

도 2c의 제1프레임 영상에서는 총 5개의 기준점(c1,c2,c3,c4,c5)이 정해진 상태가 확인된다. 이러한 기준점은 임의의 위치에 임의의 갯수로 정해질 수 있으나, 도 2a에서와 마찬가지로 가능한 영상의 소실점이 기준점에 포함되는 것이 바람직하다. 도 2c에서는 기준점 c1이 소실점 위치에 상당하는 점이다. 또한, 나머지 기준점들은 가능한 상기 소실점 위치에 정해진 기준점 c1을 중심으로 대칭한 위치에 정해지며, 중앙의 소실점에 위치된 기준점 c1을 중심으로 4개의 기준점 c2,c3,c4,c5가 전후 좌우에 대칭된 위치에 선정된 예가 도시되어 있다. 상기와 같이 제1프레임에서 기준점(c1,c2,c3,c4,c5)이 선정되면, 선정된 기준점(c1,c2,c3,c4,c5)에 대한 좌표를 산출할 수 있게 된다.

도 2c의 두번째 영상은 시간적으로 제1프레임 영상에 후속하는 제2프레임 영상을 도시한 것으로, 도 2c의 두번째 영상에는 제1프레임 영상에서 선정된 기준점(c1,c2,c3,c4,c5)을 추적하여 그 기준점에 대응되는 이동점(c1',c2',c3',c4',c5')을 찾고 그 이동점(c1',c2',c3',c4',c5')의 좌표을 산출한다.

상기와 같은 과정에서 얻어진 기준점의 좌표와 이동점의 좌표를 비교하여 모션 데이터를 산출할 수 있게 된다. 상기 제2프레임 영상의 이동점(c1',c2',c3',c4',c5')은 대체로 기준점(c1,c2,c3,c4,c5)에 비하여 확대되면서 상방으로 이동된 위치의 좌표를 갖는다. 이는 실제 자전거가 주행하기 때문에 촬영된 영상의 화상은 점점 가까워지면서 확대되는 것으로 보여지기 때문에 나타나는 현상이다. 그럼에도 불구하고 제1프레임 영상의 기준점 c1에 비하여 제2프레임 영상의 이동점 c1'은 그 위치가 위로 이동되는 것으로 나타나는데 이는 도 2c에서 제시된 영상은 실제 자전거가 내리막으로 전환하면서 촬영된 것을 반영하는 것이고, 본 발명은 상기 도 2c의 영상으로부터는 내리막으로 전환하면서 움직임이 있는 것으로 산출하게 된다. 도 2c의 영상은 내리막으로 전환하면서 촬영된 영상이라는 것은 제3프레임 영상의 이동점 c1'',c2'',c3'',c4'',c5''에서 중앙의 이동점 c1''은 그 전 프레임의 기준점 c1 및 이동점 c1'에 비하여 더욱더 위쪽으로 이동되어 있다는 점에서 다시 한번 확인된다.

도면 및 앞에서 설명된 영상의 모션 데이터 산출 방법은 본 발명을 실시하기 위한 하나의 실시예에 불과하며, 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안된다. 본 발명의 보호범위는 이하의 특허청구범위에 기재된 사항에 의해서만 정하여지며, 본 발명의 요지를 벗어남이 없이 개량 및 변경된 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것인 한 본 발명의 보호범위에 속한다고 할 것이다.

10 화면
20 모션 산출부
30 실내 자전거
40 시뮬레이터

Claims (3)

1. 움직이는 촬영기에서 촬영된 영상으로부터 촬영기의 움직임에 관한 데이터를 산출하는 영상의 모션 데이터 산출 방법에 있어서,
   제1프레임 영상에서 임의의 복수 기준점을 정하고 해당 기준점의 좌표를 산출 단계와,
   상기 제1프레임에 후속하는 제2프레임 영상에서 상기 제1프레임 영상의 기준점이 이동하여 대응되는 이동점을 찾고 해당 이동점의 좌표를 산출하는 단계와,
   상기 기준점 좌표와 이동점 좌표의 상대적인 변화로부터 촬영기의 움직임을 산출하는 단계를 포함하는 것을 특징으로 하는 영상의 모션 데이터 산출 방법.
2. 제1항에 있어서,
   상기 촬영기에서 촬영된 영상은 촬영기를 주행시키면서 촬용된 영상이고,
   상기 촬영기의 움직임에는 좌우 방향 전환 주행과 오르막 및 내리막 주행에 대한 움직임을 포함하는 것을 특징으로 하는 영상의 모션 데이터 산출 방법.
3. 제1항 또는 제2항에 있어서,
   상기 기준점에는 영상의 소실점이 포함된 것을 특징으로 하는 영상의 모션 데이터 산출 방법.
   
   
   
   
   

Images