KR20010055957A - 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 - Google Patents
증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 Download PDFInfo
- Publication number
- KR20010055957A KR20010055957A KR1019990057295A KR19990057295A KR20010055957A KR 20010055957 A KR20010055957 A KR 20010055957A KR 1019990057295 A KR1019990057295 A KR 1019990057295A KR 19990057295 A KR19990057295 A KR 19990057295A KR 20010055957 A KR20010055957 A KR 20010055957A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- tracker
- computer vision
- posture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 239000003550 marker Substances 0.000 claims description 17
- 230000002068 genetic effect Effects 0.000 claims description 5
- 238000007796 conventional method Methods 0.000 abstract description 2
- 108090000623 proteins and genes Proteins 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000349 chromosome Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 보다 정확하게 실사 영상과 가상 영상을 합성하여 보여주는 방법에 관한 것으로, 위치와 자세를 측정할 수 있는 3차원 트래커와 컴퓨터 비젼을 혼용하여 기존의 방법보다 안정적으로 카메라의 위치와 자세를 찾아 영상 정합을 하기 위한, 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합을 제공하기 위하여, 실사 영상을 캡처하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1단계; 실사 영상을 캡처하면서 트래커로부터 카메라의 위치와 자세 정보를 추출하는 제 2단계; 트래커로부터 추출한 정보와 실사 영상에 대하여 데이터베이스를 이용한 컴퓨터 비젼 처리를 통해 구한 특징점을 이용하여, 카메라의 위치와 자세를 보정하는 제 3단계; 및 보정된 카메라의 위치 및 자세값을 이용하여 실사 영상에 가상 영상을 합성하는 제 4단계를 포함하며, 증강현실 응용 시스템 등에 이용됨.
Description
본 발명은 카메라가 캡쳐한 실사 영상에 컴퓨터로 생성한 가상 영상을 합성하여 보여주는 증강현실 응용시스템에서, 보다 정확하게 실사 영상과 가상 영상을 합성하여 보여주는, 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
현실세계에서는 불가능한 영상 표현이나 정보 제공을 위하여 최근 사람이 살고 있는 실세계와 컴퓨터로 생성한 사이버 세계를 혼합하여 보다 쉽고 유용한 정보를 제공하는 기술에 대한 연구가 많이 진행되고 있으며, 이러한 기술을 증강현실(Augmented Reality) 기술이라고 한다.
증강현실 기술은 1990년대에 이르러 본격적인 연구가 시작된 분야로 아직 상용화된 시스템은 많지 않지만, 많은 응용 분야 및 기술의 잠재력으로 최근 활발한 연구가 진행되고 있다.
증강현실 시스템에서 실사 영상에 가상 영상을 정합하기 위해서는 카메라의 위치와 자세값을 이용하여 미리 3차원으로 모델링된 데이터를 실제 카메라가 실사 영상을 투영하는 것과 같은 3차원 원근 투영법을 이용하여 가상 영상을 렌더링한 다음, 실사 영상과 가상 영상을 합성하여 보여 주게 된다.
카메라의 위치와 자세 정보를 이용하여 원근투영되는 가상 영상은 카메라의위치와 자세 오차에 매우 민감하게 변화되며, 따라서 정확한 카메라의 위치와 자세 정보를 아는 것이 필요하다.
카메라의 위치와 자세를 알기 위하여 기존에는 3차원 위치와 자세를 측정할 수 있는 트래커를 사용하는 방법과 컴퓨터 비젼을 이용하여 미리 알고 있는 특징점을 이용하여 카메라의 위치와 자세를 구하는 방법이 이용되고 있다.
그러나, GPS(Global Position System), 자기트래커, 자이로스코프 등의 트래커를 이용하는 방법은 트래커 자체에 포함된 오차로 인하여 영상 정합에 필요한 충분한 정밀도를 제공하지 못한다는 문제점이 있으며, 컴퓨터 비젼기반의 방법은 매 프레임마다 위치와 자세 연산에 필요한 마커 또는 특징점을 추출해야 하며, 이러한 작업은 주변 환경에 매우 민감하여 경우에 따라서는 영상 정합을 위한 특징점을 찾지 못해 결과 영상을 생성할 수 없게 되는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 위치와 자세를 측정할 수 있는 3차원 트래커와 컴퓨터 비젼을 혼용하여 기존의 방법보다 안정적으로 카메라의 위치와 자세를 찾아 영상 정합을 하기 위한, 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명이 적용되는 증강현실 시스템의 일실시예 구성도.
도 2 는 본 발명에 따른 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법의 일실시예 흐름도.
도 3 은 본 발명이 적용되는 위치와 자세에 대한 탐색 범위를 나타내는 3차원 사면체의 일예시도.
도 4 는 본 발명이 적용되는 카메라 위치와 자세값에 대한 정확도 산정을 위한 계산법의 일예시도.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 트래커(수신기) 20 : 트래커(송신기)
30 : 트래커 처리기 40 : CCD 카메라
50 : 컴퓨터 60 : 3D 모델링 데이터
70 : 마커 또는 특징점
상기 목적을 달성하기 위한 본 발명은, 증강현실 시스템에 적용되는 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 있어서, 실사 영상을 캡처하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 단계; 실사 영상을 캡처하면서 트래커로부터 상기 카메라의 위치와 자세 정보를 추출하는 제 2 단계; 상기 트래커로부터 추출한 상기 정보와 상기 실사 영상에 대하여 상기 데이터베이스를 이용한 컴퓨터 비젼 처리를 통해 구한 특징점을 이용하여, 상기 카메라의 위치와 자세를 보정하는 제 3 단계; 및 보정된 상기 카메라의 위치 및 자세값을 이용하여 상기 실사 영상에 가상 영상을 합성하는 제 4 단계를 포함한다.
또한, 3차원 트래커와 컴퓨터 비젼을 이용하여 영상을 정합하기 위하여, 대용량 프로세서를 구비한 증강현실 시스템에, 실사 영상을 캡처하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 기능; 실사 영상을 캡처하면서 트래커로부터 상기 카메라의 위치와 자세 정보를 추출하는 제 2 기능; 상기 트래커로부터 추출한 상기 정보와 상기 실사 영상에 대하여 상기 데이터베이스를 이용한 컴퓨터 비젼 처리를 통해 구한 특징점을 이용하여, 상기 카메라의 위치와 자세를 보정하는 제 3 기능; 및 보정된 상기 카메라의 위치 및 자세값을 이용하여 상기 실사 영상에 가상 영상을 합성하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명은 실사와 가상 영상을 합성하는 증강현실 시스템에 있어 현재 사용되는 트래커 방법과 컴퓨터 비젼을 이용한 방법을 보완하기 위하여 두 개의 방법을 혼합하여 사용하며, 먼저 트래커에서 대략적인 카메라 위치와 자세를 추출하고, 컴퓨터 비젼을 이용하여 미리 구축된 3차원 특징점 데이타베이스와 영상 처리를 통해 구한 특징점을 이용하여, 스크린에 나타난 좌표값의 차이가 작아지도록 유전자 알고리즘을 이용하여 세부적인 보정을 해가는 점진적인 탐색(Coarse-to-Fine) 방식의 오차 보정 방법을 사용한다.
즉, 본 발명에서는 증강현실 시스템을 구현하는 데 있어 가장 중요한 이슈 중의 하나인 카메라의 위치와 자세를 보다 정확하게 측정하여, 카메라가 캡쳐한 실사 영상과 컴퓨터가 생성한 가상 영상을 정확하게 합성하고자 한다.
본 발명의 작동은 먼저 실사에 대응하는 가상 영상을 생성할 수 있도록 컴퓨터그래픽을 이용하여 3차원 모델링 데이터를 만들고, 가상 영상이 중첩되는 지역에 컴퓨터 비젼을 이용한 특징 추출에 용이한 마커를 부착하거나 특징들을 미리 계산하여, 마커의 위치와 3차원 모델링 데이터에서의 특징 위치를 별도의 데이터베이스에 저장해 둔다.
또한, 카메라가 캡쳐한 실사에 대한 가상 정보를 생성하는데 필요한 카메라의 위치와 자세 정보를 측정하기 위하여 카메라에 3차원 위치와 자세를 측정할 수 있는 트래커를 부착한다. 그리고, 여기에서 측정된 위치와 자세 데이터를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여 카메라가 캡쳐한 실사영상에서 마커를 추출하여 트래커의 오차범위(Threshold)내에서 카메라의 위치와 자세를 미세 조정한다.
이 과정은 카메라가 캡쳐한 마커의 스크린 위치와 트래커에서 산출된 위치와 자세값을 기반으로 탐색되는 위치와 자세값을 이용하여 마커의 3차원 좌표값을 스크린으로 원근 투영하였을 때의 카메라가 캡쳐한 마커에 대한 스크린 좌표값과 원근 투영된 마커의 스크린 좌표값과의 거리 차이가 가장 적은 위치와 자세값을 최종 카메라의 위치와 자세로 선택하여 전체 3차원 모델링 데이터를 원근 투영하여 가상 영상을 생성한다.
그리고, 카메라가 캡쳐한 실사 영상과 합성하여 사용자에게 표출하게 된다. 따라서, 기존의 증강현실 시스템에서 사용되는 영상 정합 방법에 비해 시각적으로 보다 정확한 합성을 이룰 수 있다.
이하, 도 1 내지 도 4 를 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 증강현실 시스템의 일실시예 구성도로서, 카메라의 위치와 자세를 측정할 수 있도록 카메라에 부착된 GPS 또는 자기트래커와 같은 3차원 위치와 자세를 측정할 수 있는 트래커(10), 실사를 캡쳐하기 위한 CCD 카메라(40), 획득된 정보를 처리하고 실사와 가상 정보를 합성하여 표출하는 컴퓨터 시스템(50), 캡쳐된 영상에 중첩되는 가상 정보를 생성하기 위하여 실사와 똑같이 3차원으로 모델링된 데이터(60) 및 컴퓨터 비젼 기반의 오차 보정을 위하여 미리 측정된 마커와 특징점(70)으로 이루어진 3차원 데이터로 구성된다.
도 2 는 본 발명에 따른 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법의 일실시예 흐름도로서, 캘리브레이션 단계와 시스템 운용단계로 나뉘어진다.
이때, 사용되는 오차(Derr)와 최대 허용값(Threshold) 및 오차범위에 대하여 정의하면 다음과 같다.
오차(Derr)는 카메라에서 캡쳐한 영상에서 마커의 스크린 좌표값과 트래커의 위치와 자세를 기반으로 탐색한 위치와 자세값을 이용하여 마커의 3차원 좌표값을 원근 투영하여 얻어진 스크린 좌표값간의 거리를 말한다.
최대 허용값(Threshold)은 위치와 자세를 탐색하면서 오차(Derr)값이 사용자가 원하는 정도보다 작게 될 때 탐색을 중지하도록 하기 위하여 사전에 사용자가 설정하는 값을 말한다.
오차 범위라는 것은 트래커를 제조한 업체에서 트래커의 정밀도를 표시한 것이다. 예를 들면 트래커의 위치 정밀도가 1cm 이내라고 하면, 실제 위치가 트래커의 기준점으로부터 10cm 떨어진 곳에서 트래커를 이용하여 위치를 측정하면, 9cm에서 11cm내의 결과가 나오게 된다. 따라서, 여기서 말하는 오차 범위는 트래커에서 산출된 위치를 기준으로 +,- 1cm의 범위를 말한다.
우선, 초기 캘리브레이션 단계에서는 카메라의 내부 파라미터, 즉 초점 거리 및 수직과 수평 화각을 측정하고(201), 카메라로 캡쳐한 영상에서 추출할 수 있는 특징점을 추출하여 특징점 데이터베이스를 구축하며(202), 특징점 추출이 어려운 부분에 대해서는 능동적인 특징 추출을 위하여 사전에 약속된 마커를 위치시키는 과정(202)으로 이루어진다.
그리고, CCD 카메라에서 캡쳐된 영상을 이용하여 세부적인 위치와 자세 탐색을 위하여 탐색 범위, 단계별 탐색점의 등분수와 탐색을 종료하기 위하여 CCD 카메라에서 캡쳐한 마커의 스크린 좌표값과 트래커에서 산출된 마커의 위치와 자세를 기반으로 탐색하여 얻은 위치와 자세값을 이용하여 원근 투영한 마커의 스크린 좌표값과의 거리 차이로 구성되는 오차에 대한 최대 허용값(Threshold) 및 최대 허용 탐색 시간값을 사용자가 사전에 설정한다(203).
이때, 유전자 알고리즘을 운영하기 위하여 미리 탐색 범위, 탐색점의 등분수를 기반으로 탐색 영역 내에서 랜덤하게 미리 정해진 수만큼 위치(X, Y, Z)와 자세값(Yaw, Roll, Pitch)의 6개 염색체로 구성된 여러 개의 유전자 집단, 즉 인구(Population)를 생성한다.
다음으로, 시스템 운용 단계에서는 카메라에 부착된 트래커(10)로부터 현재시점의 위치와 자세를 추출하며, CCD 카메라(40)로부터 실사 영상을 캡쳐한다(204). 즉, 트래커에서 대략적인 카메라 위치와 자세를 추출한다.
그리고, 트래커(10)에서 얻은 위치와 자세 정보를 이용하여 현재 뷰에서 보일 수 있는 마커들을 사전에 구축된 마커 데이터베이스에서 찾은 다음, 해당되는 마커들을 스크린으로 원근 투영하여 생기는 스크린 좌표점을 중심으로 사전에 입력된 범위 만큼의 이미지를 대상으로 영상 처리를 이용한 특징점(70)을 추출한다(205).
이때, 특징점 추출에 있어서 마커를 정의한 경우에는 마커에 대한 데이터베이스를 이용하여 특징점을 추출하게 된다.
다음 단계에서는 트래커에서 산출된 위치와 자세 정보를 중심으로 트래커의위치와 자세에 대한 오차 범위내에서 특징점과의 오차 보정을 위한 세부 탐색을 실시한다(206).
이때, 세부 탐색 과정은 위치와 자세의 변수값인 X, Y, Z축으로의 이동값(X,Y,Z)과 X, Y, Z 축을 기준으로 한 회전값(yaw, roll, pitch)의 6개 변수로 구성되며, 도 3 에 나와 있는 것과 같이 위치와 자세에 대한 탐색 범위는 각각의 3차원 사면체 내를 기준으로 한다.
특징점과 트래커의 위치와 자세를 이용하여 오차 보정을 위한 세부 탐색을 해가는 과정(206)은, 트래커의 위치와 자세를 중심으로 만든 6개의 변수에 대한 탐색 범위에 대하여 유전자 알고리즘을 이용한 탐색 방법으로 수행된다.
즉, 유전자 알고리즘은 찾아야 할 변수 X, Y, Z, Roll, Pitch, Yaw에 대한 각각의 변수를 하나의 염색체로 간주하여, 탐색해야 될 위치와 자세는 모두 6개의 염색체로 구성된 한 개의 유전자로 칭한다.
그리고 초기 캘리브레이션 단계에서 생성된 유전자 집단, 즉 인구(Population)을 이용하여 인구를 구성하는 유전자끼리 사전에 주어진 랜덤 변수 비율로 서로 교배(crossover)를 시키고, 사전에 지정한 랜덤 변수로 유전자내의 염색체에 대하여 돌연변이(mutation)를 시킨다.
그리고, 오차(Derr)를 이용하여 각 유전자에 대한 성능 평가를 실시하여 좋은 성능을 가지는 유전자는 선택하고 그렇지 않은 유전자에 대해서는 도태(selection)를 시키며 새로운 유전자를 생성하여 인구에 추가를 한다.
그리고, 다시 교배와 돌연변이 과정을 반복하여 수행하게 된다. 이러한 과정을 계속 수행하면 인구내의 대부분 유전자가 특징점간의 오차의 합(Derr)이 가장 적게 되는 값을 가지도록 수렴하게 된다.
이 과정은 약간의 시간이 소요되며, 시스템의 성능에 따라서 실사 영상을 약 2-3프레임 정도의 지연시킨 후, 주어진 시간내에 오차(Derr)가 가장 적은 유전자를 선택한 후, 이를 이용하여 3차원 모델링 데이터를 원근 투영한 영상과 CCD 카메라로 캡쳐한 영상과 합성한다.
즉, 트래커에서 산출된 위치와 자세를 기준으로 트래커의 오차 범위 내에서 위치와 자세를 변경시켜 가면서, 이를 이용하여 원근 투영한 마커의 스크린 좌표값이 CCD 카메라에서 캡쳐된 마커의 스크린 좌표값과 가장 잘 맞는 위치와 자세를 찾은 후, 이를 이용하여 가상 영상을 생성하여(208) CCD 카메라에서 캡쳐한 실사와 가상 영상을 합성한다(209).
도 4 는 본 발명이 적용되는 위치와 자세값을 이용하여 3차원 데이터를 원근 투영하고, 본 발명에서 적용되는 정확도 산정에 대한 계산법의 일예시도로서, 도 2 에서 예시한 오차 범위내에서 트래커와 카메라의 중심간의 오차(Derr) 만큼 위치와 자세를 변경시키기 위한 과정(206,207)에 이용되는 계산법이다.
원근 투영법은 먼저 월드(world) 좌표계상의 점(xw,yw,zw)를 트래커를 기준으로 한 트래커 좌표계로 변환한 다음, 카메라의 초점 거리 및 2차원 화면 크기값으로 도면에 도식한 수식과 같이 행렬 연산으로 스크린 좌표인 (xu, yu)를 구할 수 있다.
카메라 좌표계는 실제 컴퓨터 비젼으로 구한 마커의 스크린 위치로 원근 투영하기 위한 정확한 위치와 자세값으로 구성된 좌표계이며, 특징점 (xwn,ywn,zwn)을 원근 투영한 좌표는 (xu', yu')가 된다.
트래커 좌표계는 가상 영상을 생성하기 위하여 사용되는 위치와 자세값에 대한 좌표계로 특징점 (x,y,z)를 원근 투영한 결과 좌표를 (xu, yu)라고 하며, 화면상에서 보이는 모든 n개의 특징점에 대하여 각각 대응되는 두 점 (xun', yun') (xun, yun)간의 거리의 합으로 위치와 자세값에 대한 오차(Derr)를 정의한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 같은 본 발명은 증강현실 시스템을 구현하는 데 필수적인 카메라의 위치와 자세를 측정함에 있어, 3차원 트래커와 컴퓨터 비젼 기반의 장단점을 이용하여, 트래커에서 계산되는 위치와 자세값으로 대략적인 카메라의 위치와 자세를 산정하고, 트래커의 오차 범위를 이용하여 지역적인 컴퓨터 비젼을 위한 특징점을 추출하고, 이를 이용하여 카메라의 위치와 자세를 세부적으로 보정해가는 Coarse-to-fine 방식의 탐색 방법을 사용하므로, 기존의 방법보다 정확한 위치와 자세를추출하는 것이 가능하며, 또한 사용자에게 보다 정확하게 합성된 실사와 가상 정보를 제공할 수 있는 증강현실시스템의 구현이 가능하다는 우수한 효과가 있다.
또한, 트래커와 컴퓨터 비젼을 독립적으로 사용하는 방법보다 두개의 트래킹 시스템을 혼합하여 사용하므로 각각의 장단점을 보완해 주게되어 증강현실 시스템을 운용시 안정성이 높아진다는 우수한 효과가 있다.
Claims (5)
- 증강현실 시스템에 적용되는 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 있어서,실사 영상을 캡처하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 단계;실사 영상을 캡처하면서 트래커로부터 상기 카메라의 위치와 자세 정보를 추출하는 제 2 단계;상기 트래커로부터 추출한 상기 정보와 상기 실사 영상에 대하여 상기 데이터베이스를 이용한 컴퓨터 비젼 처리를 통해 구한 특징점을 이용하여, 상기 카메라의 위치와 자세를 보정하는 제 3 단계; 및보정된 상기 카메라의 위치 및 자세값을 이용하여 상기 실사 영상에 가상 영상을 합성하는 제 4 단계를 포함하는 영상 정합 방법.
- 제 1 항에 있어서,상기 특징점에 대한 데이터베이스의 구축이 어려운 경우 마커를 정의하고 상기 마커에 대한 데이터베이스를 구축하는 제 5 단계를 더 포함하는 영상 정합 방법.
- 제 2 항에 있어서,상기 제 3 단계의 상기 특징점은, 상기 마커에 대한 데이터베이스를 이용하여 추출되는 것을 특징으로 하는 영상 정합 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,상기 카메라의 위치와 자세의 보정은, 유전자 알고리즘을 이용하는 것을 특징으로 하는 영상 정합 방법.
- 3차원 트래커와 컴퓨터 비젼을 이용하여 영상을 정합하기 위하여, 대용량 프로세서를 구비한 증강현실 시스템에,실사 영상을 캡처하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 기능;실사 영상을 캡처하면서 트래커로부터 상기 카메라의 위치와 자세 정보를 추출하는 제 2 기능;상기 트래커로부터 추출한 상기 정보와 상기 실사 영상에 대하여 상기 데이터베이스를 이용한 컴퓨터 비젼 처리를 통해 구한 특징점을 이용하여, 상기 카메라의 위치와 자세를 보정하는 제 3 기능; 및보정된 상기 카메라의 위치 및 자세값을 이용하여 상기 실사 영상에 가상 영상을 합성하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990057295A KR100327120B1 (ko) | 1999-12-13 | 1999-12-13 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990057295A KR100327120B1 (ko) | 1999-12-13 | 1999-12-13 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010055957A true KR20010055957A (ko) | 2001-07-04 |
| KR100327120B1 KR100327120B1 (ko) | 2002-03-13 |
Family
ID=19625530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990057295A KR100327120B1 (ko) | 1999-12-13 | 1999-12-13 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100327120B1 (ko) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6965699B2 (en) | 2001-12-17 | 2005-11-15 | Electronics And Telecommunications Research Institute | Camera information coding/decoding method for synthesizing stereoscopic real video and a computer graphic image |
| KR100702534B1 (ko) * | 2005-07-29 | 2007-04-02 | (주)포스트미디어 | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 |
| KR100915298B1 (ko) * | 2007-10-24 | 2009-09-03 | 중앙대학교 산학협력단 | 3차원 가상 신발 착용 시스템 및 이의 운용방법 |
| KR100941749B1 (ko) * | 2008-08-25 | 2010-02-11 | 에이알비전 (주) | 증강 현실 장치 및 가상 이미지 합성 방법 |
| US8077906B2 (en) | 2006-09-27 | 2011-12-13 | Electronics And Telecommunications Research Institute | Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same |
| US8315432B2 (en) | 2007-01-22 | 2012-11-20 | Total Immersion | Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream |
| US20130136300A1 (en) * | 2011-11-29 | 2013-05-30 | Qualcomm Incorporated | Tracking Three-Dimensional Objects |
| US9870644B2 (en) | 2011-06-14 | 2018-01-16 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| KR20180039718A (ko) * | 2015-09-15 | 2018-04-18 | 사토리우스 스테딤 바이오테크 게엠베하 | 연결 방법, 가시화 시스템 및 컴퓨터 프로그램 장치 |
| KR20210063998A (ko) * | 2019-11-25 | 2021-06-02 | 윤석희 | 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법 |
| CN116524022A (zh) * | 2023-04-28 | 2023-08-01 | 北京优酷科技有限公司 | 偏移数据计算方法、图像融合方法、装置及电子设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101195942B1 (ko) | 2006-03-20 | 2012-10-29 | 삼성전자주식회사 | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 |
| KR100964951B1 (ko) * | 2008-10-29 | 2010-06-21 | 에이알비전 (주) | 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법 |
| KR101335617B1 (ko) | 2009-04-16 | 2013-12-02 | 주식회사 제니텀 | 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100248374B1 (ko) * | 1997-11-25 | 2000-03-15 | 정선종 | 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 |
-
1999
- 1999-12-13 KR KR1019990057295A patent/KR100327120B1/ko not_active IP Right Cessation
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6965699B2 (en) | 2001-12-17 | 2005-11-15 | Electronics And Telecommunications Research Institute | Camera information coding/decoding method for synthesizing stereoscopic real video and a computer graphic image |
| KR100702534B1 (ko) * | 2005-07-29 | 2007-04-02 | (주)포스트미디어 | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 |
| US8077906B2 (en) | 2006-09-27 | 2011-12-13 | Electronics And Telecommunications Research Institute | Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same |
| US8315432B2 (en) | 2007-01-22 | 2012-11-20 | Total Immersion | Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream |
| KR100915298B1 (ko) * | 2007-10-24 | 2009-09-03 | 중앙대학교 산학협력단 | 3차원 가상 신발 착용 시스템 및 이의 운용방법 |
| KR100941749B1 (ko) * | 2008-08-25 | 2010-02-11 | 에이알비전 (주) | 증강 현실 장치 및 가상 이미지 합성 방법 |
| US9870644B2 (en) | 2011-06-14 | 2018-01-16 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| US20130136300A1 (en) * | 2011-11-29 | 2013-05-30 | Qualcomm Incorporated | Tracking Three-Dimensional Objects |
| US8855366B2 (en) * | 2011-11-29 | 2014-10-07 | Qualcomm Incorporated | Tracking three-dimensional objects |
| CN103946890B (zh) * | 2011-11-29 | 2016-08-24 | 高通股份有限公司 | 跟踪三维物体的方法及设备 |
| CN103946890A (zh) * | 2011-11-29 | 2014-07-23 | 高通股份有限公司 | 跟踪三维物体 |
| KR20180039718A (ko) * | 2015-09-15 | 2018-04-18 | 사토리우스 스테딤 바이오테크 게엠베하 | 연결 방법, 가시화 시스템 및 컴퓨터 프로그램 장치 |
| KR20210063998A (ko) * | 2019-11-25 | 2021-06-02 | 윤석희 | 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법 |
| CN116524022A (zh) * | 2023-04-28 | 2023-08-01 | 北京优酷科技有限公司 | 偏移数据计算方法、图像融合方法、装置及电子设备 |
| CN116524022B (zh) * | 2023-04-28 | 2024-03-26 | 神力视界(深圳)文化科技有限公司 | 偏移数据计算方法、图像融合方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100327120B1 (ko) | 2002-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
| US8144238B2 (en) | Image processing apparatus and method | |
| US9020187B2 (en) | Planar mapping and tracking for mobile devices | |
| US7003136B1 (en) | Plan-view projections of depth image data for object tracking | |
| TWI574223B (zh) | 運用擴增實境技術之導航系統 | |
| Satoh et al. | A hybrid registration method for outdoor augmented reality | |
| JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| KR100327120B1 (ko) | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 | |
| CN113989450A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| CN113340312A (zh) | 一种ar室内实景导航方法及系统 | |
| Mehralian et al. | EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images | |
| Lee | Real-time camera tracking using a particle filter combined with unscented Kalman filters | |
| CN112767482A (zh) | 一种多传感器融合的室内外定位方法及系统 | |
| Thomas et al. | Dealing with noise in multiframe structure from motion | |
| KR20100006736A (ko) | 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 | |
| CN114092668A (zh) | 虚实融合方法、装置、设备及存储介质 | |
| Schall et al. | 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality | |
| Kim et al. | Implicit 3d modeling and tracking for anywhere augmentation | |
| US20240428437A1 (en) | Object and camera localization system and localization method for mapping of the real world | |
| CN110648353A (zh) | 一种基于单目传感器的机器人室内定位方法和装置 | |
| Kang et al. | A Drone’s 3D Localization and Load Mapping Based on QR Codes for Load Management | |
| CN118470474A (zh) | 多传感器融合的slam方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19991213 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20010730 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20020128 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20020221 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20020222 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20050131 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20060201 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20070131 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20080214 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20080214 Start annual number: 7 End annual number: 7 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |