KR100521413B1

KR100521413B1 - 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법

Info

Publication number: KR100521413B1
Application number: KR10-2003-0097797A
Authority: KR
Inventors: 엄기문; 장은영; 최태호; 윤경현; 안충현
Original assignee: 한국전자통신연구원; 학교법인 중앙대학교
Priority date: 2003-12-26
Filing date: 2003-12-26
Publication date: 2005-10-17
Also published as: KR20050066501A

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야

본 발명은 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은 필요로 하는 입력 사진의 수를 줄임은 물론, 카메라와 광원의 위치를 정교하게 조정하기 위한 특수한 장치없이 한 영상내의 물체의 BRDF를 계측하고, 이때 입력으로 사용되는 영상내의 모델에 대한 3차원 위치 정보의 양을 최소한으로 줄일 수 있는 역렌더링 장치 및 그 방법을 제공하고자 함.

3. 발명의 해결 방법의 요지

본 발명은, 영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 있어서, 상기 물체에 대한 광원정보로서 사용하기 위해, 반사속성을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터링수단; 상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾기 위한 디퓨즈 검사수단; 상기 디퓨즈 필터링된 환경맵 및 상기 그로시(glossy) 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾기 위한 그로시 검사수단; 및 상기 디퓨즈 검사수단에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐 정의수단을 포함함.

4. 발명의 중요한 용도

본 발명은 영상내의 물체에 대한 반사속성(BRDF)를 복원하는데 이용됨.

Description

필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법{Inverse rendering apparatus and method using filtered environment map}

본 발명은 환경맵 필터링 기술을 이용하여 영상내에 존재하는 물체의 양방향반사분포함수(BRDF : Bidirectional Reflectance Distribution Function)(이하, "반사속성"이라 함)를 측정해내기 위한 역렌더링 장치 및 그 방법에 관한 것으로서, 특히 다양한 BRDF에서 들어오는 빛의 양을 미리 환경맵 필터링을 통해 계산하고, 각각의 모델 데이터를 이용하여 미리 계산된 저장된 빛의 양을 가져와 렌더링 공식을 거꾸로 취함으로써, 물체의 BRDF를 얻어 내는 역렌더링 장치 및 그 방법에 관한 것이다.

BRDF란, 표면재료의 파장별 반사율을 두 개의 방향, 즉 입사광의 방향과 반사광의 방향에 대한 함수로 나타내는 것으로서, 입사광 강도에 대한 방향별 반사광 강도의 비이다.

실세계의 복잡한 구조물들을 모델링하고 렌더링하는 것은 많은 노력을 필요로 한다. 이러한 작업을 손쉽게 하기 위해 영상 기반 모델링과 렌더링(rendering) 기술이 등장하게 되었다. 이 영상기반 렌더링은 한 장 또는 여러 장의 영상들을 이용하여 3차원 영상을 생성하는 기술이다. 이러한 기술들은 영상으로부터 텍스쳐(texture)를 추출하여 렌더링에 사용한다. 그러나, 이러한 텍스쳐는 주변 환경으로부터 빛의 영향을 받았으므로, 영상으로부터 획득한 텍스쳐를 텍스쳐 맵으로 사용할 경우, 영상을 획득할 때와 다른 조명 환경상에서는 비사실적인 영상을 만들어낸다. 이러한 점을 해결하기 위해서는, 획득한 텍스쳐(texture)로부터 사용한 물체의 실제 반사속성(BRDF)을 알아내는 작업이 필요하다.

특히, 사실적인 영상을 만들어 내기 위해서 갖추어져야 할 필수 조건은 물리적 속성에 기반한 렌더링 알고리즘과 모델링 데이터이다. 이중, 본 발명은 보다 사실적인 영상을 생성해 내기 위해, 모델링 데이터 그 중에서도 반사속성(BRDF)을 얻어 내는 것이다.

그런데, 모델링 데이터중 물체의 반사속성(BRDF)은 측정하기 힘든 물체의 속성중 하나인 바, 종래에는 카메라와 광원의 위치를 매우 정교하게 조정해 가며 수많은 사진을 찍고, 이 사진에 찍힌 영상들을 분석하여 물체의 반사속성을 알아냈다. 그러나, 이와 같은 방법은 실험실 환경에서는 매우 유용하게 적용될 수 있지만, 그 외의 환경, 예를 들면 임의의 사진속의 물체의 반사속성을 알아내고 싶을 때는 매우 부적절한 방법이 될 수 있다.

그럼, 종래의 BRDF 측정 장치를 살펴보기로 한다.

물체의 속성중 하나인 BRDF는 오래전부터 연구되어 왔다. 일예로, BRDF를 측정하는 종래의 장치로서, 도 1과 같은 "Murray-Coleman"의 gonioreflectometer가 있으며, 측정재료와 조도계 및 광원으로 구성되어 있다. 도 1에 도시된 바와 같이, 광원과 조도계는 설치된 궤도를 따라서 이동하고, 재료 샘플은 회전할 수 있도록 고안되어 있다.

"Murray-Coleman"은 이와 같은 장치를 이용하여 물체의 BRDF를 측정하였다. 또한, 가우시안(gaussian) 분포에 기반한 anisotropic 반사를 표현할 수 있는 새로운 BRDF 모델을 제시하였다.

한편, "Sato"는 물체의 모델과 BRDF를 동시에 획득하였다. 즉, 물체의 BRDF를 디퓨즈 맵(diffuse map)과 스펙큘라(specular) 성분으로 나누어 계산을 해내었고, 이를 이용하여 사실적으로 렌더링할 수 있었다.

이외에도, "Konrad F. Karner", "S. Marschner"도 BRDF를 측정하기 위한 세로운 장비를 고안하였고, 이를 이용하여 BRDF를 측정하였다. 그러나, 이러한 방법들은 실험실적인 환경, 즉 정교하게 조정이 가능한 카메라와 광원을 가지고 물체의 반사속성을 측정하기 때문에 다양한 물체에 대해 다양한 조건에서의 BRDF 측정은 힘들었다.

한편, BRDF 계측과는 약간은 거리가 있지만, 영상의 재조명이라는 분야에 대해 몇몇 연구가 이루어졌다. 일예로, "R.C Love"와 "Y.Yu", "Jeffry Nimeroff"는 하늘과 같은 자연광 조건이 바뀔 때 어떻게 보여질 것인지에 대해 연구하였다. 이들은 하늘의 조명모델을 정의하고, 이를 이용하여 물체에 들어오는 빛을 계산하였다. 그리고, 하늘의 조명 조건을 바꿔서 다시 렌더링함으로써, 다른 시간대에서 그리고 다른 하늘의 상황, 즉 구름이 많은 하늘, 또는 맑은 하늘과 같은 조건하에서 건축물들이나 물건들이 어떻게 보일지에 대한 예측을 하였다. 그러나, 이러한 연구는 매우 제한적인 상황, 즉 물체가 건축물과 같은 디퓨즈(diffuse) 물체일 경우를 가정하고 있다.

이와 달리, "Y. Yu"는 위의 방법과는 조금 다른 접근법을 가지고 물체들의 BRDF를 측정하였다. 즉, "Y.Yu"는 영상내에 가상의 물체를 사실적으로 추가하고, 영상내의 조명 조건을 변경했을 때 올바른 조명 효과를 가질 수 있도록 하기 위한 연구를 수행하였다. 이를 구체적으로 살펴보면, 우선 실내 전체의 장면을 여러 장의 사진을 가지고 촬영하였다. 그리고, 이 영상들을 "Paul E. Debevec"의 방법을 통해 모델링하고, 이렇게 얻어진 모델 데이터와 사진의 radiance 자료를 이용하여 실내 전체내에 있는 물체들의 BRDF를 계측해 내었고, 이렇게 얻어낸 모델 데이터와 BRDF 데이터를 이용하여 재조명했을 때 사실적인 영상들을 생성해 낼 수 있었다. 이렇게 함으로써, "Y.Yu"의 방법은 기존의 방법과는 다르게 디퓨즈(diffuse) 물체만이라는 단점과 카메라와 광원에 대한 정교한 조정이 필요하다는 단점 또한 극복할 수 있었다. 그러나, 이 방법은 전체 실내의 모델과 빛 조건을 복원하기 위해, 도 2와 같이 많은 수의 입력 사진이 필요한 단점이 있다.

이러한 단점을 극복하기 위해, "Samuel Boivin"은 한 장의 사진을 이용하여 사진내에 있는 물체들의 BRDF를 복원하고, 재조명과 가상의 물체를 추가하는 등의 작업을 수행하였다. 이때, 입력 데이터로서 사진내의 모델 데이터와 빛의 조건들을 그리고 우선 모든 물체에 대해 디퓨즈(diffuse) 속성을 복원해내고, 그 후 거울 반사속성을 찾아내었다. 그리고, isotropic 반사와 anisotropic 반사의 속성을 찾아내고, 최종적으로 남은 물체에 대해 텍스쳐(texture)로써 처리하였다. 이런 수학식으로 찾아낸 BRDF와 입력으로 주어진 모델 데이터를 이용하여 도 3과 같이 매우 사실적으로 재조명과 가상의 물체를 추가할 수 있었다. 그러나, 이 방법은 한 장의 사진 데이터를 이용하였고 조명에 대해서도 현광등과 같은 직접 조명만을 이용하였으므로, 실제 BRDF 계산에 있어서는 오차를 수반할 수 있을 뿐만 아니라, 다양한 BRDF를 찾아내기 위한 알고리즘이 오차를 보정해 나가면서 BRDF를 계측했기 때문에 많은 시간을 필요로 하는 단점이 있다.

본 발명은, 상기와 같은 제반 문제점을 해결하기 위하여 제안된 것으로, 필요로 하는 입력 사진의 수를 줄임은 물론, 카메라와 광원의 위치를 정교하게 조정하기 위한 특수한 장치없이 한 영상내의 물체의 BRDF를 계측하고, 이때 입력으로 사용되는 영상내의 모델에 대한 3차원 위치 정보의 양을 최소한으로 줄일 수 있는 역렌더링 장치 및 그 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 있어서, 상기 물체에 대한 광원정보로서 사용하기 위해, 반사속성을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터링수단; 상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾기 위한 디퓨즈 검사수단; 상기 디퓨즈 필터링된 환경맵 및 상기 그로시(glossy) 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾기 위한 그로시 검사수단; 및 상기 디퓨즈 검사수단에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐 정의수단을 포함하여 이루어진 것을 특징으로 한다.

한편, 본 발명은 영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 적용되는 역렌더링 방법에 있어서, 반사속성을 얻고자 하는 상기 물체 주변의 환경맵을 획득하는 환경맵 획득단계; 상기 물체에 대한 광원정보로서 사용하기 위해, 상기 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하는 환경맵 필터링단계; 상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾는 디퓨즈 검사단계; 상기 디퓨즈 필터링된 환경맵 및 상기 그로시 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾는 그로시 검사단계; 및 상기 디퓨즈 검사단계에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하는 디퓨즈 텍스쳐 정의단계를 포함하여 이루어진 것을 특징으로 한다.

본 발명은 영상과 모델 데이터, 그리고 환경맵을 이용하여 영상내의 물체에 대한 BRDF를 복원하는 역렌더링에 관한 것으로서, 영상내에 있는 모델들에 대한 BRDF를 획득하기 위해 물체 주변의 환경맵을 촬영한 후, 물체에 대한 광원 정보로 사용하기 위해 환경맵의 필터링을 수행하고, 이를 이용하여 물체를 디퓨즈(diffuse), 그로시(glossy), 디퓨즈 텍스쳐(diffuse texture)로서 구분한다. 이를 위해, 우선 디퓨즈(diffuse) 물체를 찾아내고, 다음 그로시(glossy) 물체, 그리고 마지막 남은 물체에 대해서는 디퓨즈 텍스쳐(diffuse texture)로서 처리함으로써, 영상에서 찾아낸 광원 정보와 필터링된 환경맵으로부터 얻어낸 광원정보와의 오차를 이용하여 물체의 BRDF를 획득하고, 이렇게 획득한 BRDF 정보를 이용하여 다른 광원 조건하에서 물리적으로 올바른 영상을 만들어 낼 수 있게 한다.

상기 종래기술에 비춰 볼 때, 본 발명에서는 "Samuel Boivin"과 유사한 접근 방법을 취하나, 방법론에서는 매우 다른 방법을 사용한다. 우선, 입력으로서 얻고자 하는 물체의 모델 데이터만을 필요로 하며, 또한 광원의 조건을 환경맵으로써 대체하였다. 그렇게 함으로써, "Y.Yu"의 방법에서 전체 장면에 대한 모델링의 노력을 최소화할 수 있게 된다. 또한, "Samuel Boivin"과는 달리, BRDF를 계산하려는 물체로 들어오는 빛의 양을 정확히 얻어 낼 수 있게 된다. 또한, BRDF 계산에 있어서도 위의 두 방법에서는 사진내에 존재하는 모든 물체의 BRDF를 계산해야 하지만, 본 발명에서는 BRDF를 얻고자 하는 물체에 대해서만 BRDF를 측정하므로 속도향상을 꾀할 수 있다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 4 는 본 발명에 따른 역렌더링 장치의 일실시예 구성도이다.

본 발명에서는 물체의 반사속성을 획득하기 위해 한 장의 사진과 한 장의 환경맵을 이용한다. 우선, 물체의 모델링 정보를 이용하여 영상내 화소마다 보이는 물체의 정보를 얻어낸다. 그 후, 모든 물체를 디퓨즈(diffuse) 물체로 가정하여 BRDF를 측정한 후, 디퓨즈(diffuse)가 아닌 물체에 대해서 그로시(glossy) 속성을 측정하고, 나머지 물체를 디퓨즈 텍스쳐(diffuse texture)로서 적용을 하였다.

도 4에 도시된 바와 같이, 본 발명에 따른 필터링된 환경맵을 이용한 역렌더링 장치는, 물체에 대한 광원정보로서 사용하기 위해, 반사속성(BRDF)을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터(24)와, 디퓨즈(diffuse) 필터링된 환경맵을 이용하여, 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈(diffuse) 반사속성을 갖는 평면을 찾기 위한 디퓨즈(diffuse) 검사부(21)와, 디퓨즈(diffuse) 필터링된 환경맵 및 그로시(glossy) 필터링된 환경맵을 이용하여, 디퓨즈(diffuse) 평면으로 결정되지 않은 물체의 평면에 대해 그로시(glossy) 반사속성을 갖는 평면을 찾기 위한 그로시(glossy) 검사부(22)와, 디퓨즈 검색부(21)에서 디퓨즈(diffuse) 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 디퓨즈(diffuse) 반사속성 및 그로시(glossy) 반사속성을 갖지 않는 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐(diffuse texture) 정의부(23)를 포함한다.

여기에서는, 다양한 BRDF에서 들어오는 빛의 양을 미리 환경맵 필터링을 통해 계산하고, 각각의 모델 데이터를 이용하여 미리 계산된 저장된 빛의 양을 가져와 렌더링 공식을 거꾸로(역렌더링) 취함으로써, 물체의 BRDF를 얻어 낸다.

본 발명에 따른 필터링된 환경맵을 이용한 역렌더링 장치는 영상과 모델, 그리고 환경맵으로 입력으로 하여, 환경맵 필터링을 이용하여 각각의 평면에 들어오는 빛의 양을 계산하고, 이를 이용하여 평면들의 BRDF를 계산해낸다. 이때, 주어진 모델 정보와 BRDF 그리고 빛정보를 이용하여 시점의 일관성을 물론 조명의 일관성을 유지할 수 있고, 영상에 새로운 조명을 추가하거나, 영상에 가상의 물체를 추가할 경우 올바른 그림자를 만들어내거나 올바른 반사를 표현할 수 있어 가상의 공간에 3차원 물체를 매우 사실적으로 쉽게 추가할 수 있다.

환경맵 필터링은 환경맵에 의한 광원효과를 적절히 줄 수 있으면서도 실시간으로 처리를 할 수 있는 기술이다. 그러나, 단점으로 그림자 현상과 상호반사를 표현하지 못한다는 단점이 있다.

환경맵의 필터링은 환경맵 영상을 블러링함으로써 유사한 영상을 얻어 낼 수 있다. 그러나, 이 방법은 물리적 현상에 잘 맞아 떨어지지 않는다. 좀더 물리적인 올바른 접근 방법으로서는, BRDF를 이용하여 환경맵을 필터링하는 방법이 있다. 일반적으로, 환경맵 필터링은 대칭형 BRDF에 대해 적용이 가능하다. 따라서, 본 발명에서는 노멀화된 퐁 BRDF(normalized phong BRDF)를 사용하였다. 하기의 [수학식 1]은 normalized phong BRDF에서의 식이다.

상기 [수학식 1]에서, 각각의 항은 미리 계산될 수 있고, K_d는 디퓨즈(diffuse) 상수이고, K_s는 스펙큘라(specular) 상수이다. 그리고, N은 그로시(glossy) 상수이며, n은 노멀 벡터이고, l은 빛의 방향 벡터이다. 또한, r은 시선의 반사 벡터이다. 또한, r은 시선의 반사 벡터이다. L은 물체를 렌더링했을때의 값이다. 또한, 앞의 는 난반사에 대한 부분으로서, Ω는 모든 반구를 말한다. 즉, 모든 반구로부터 들어오는 각각의 빛에 평면의 노멀과 빛의 방향에 대한 내적값을 곱한 빛의 세기의 합을 의미한다. 하나의 환경맵이 주어지면 임의의 평면의 노멀 n에 대해 위의 식이 미리 계산될수 있다. 이렇게 계산된 값은 HDRI 영상으로 저장된다. 또한, 뒤의 은 그로시(glossy)반사에 대한 부분이다. 위의 식과 마찬가지로 모든 반구로부터 들어오는 빛에 시선벡터의 반사 벡터 r과 빛의 방향백터 l의 내적값을 N제곱한 값을 곱한 빛의 세기의 합을 의미한다. 위의 식에서는 시선의 반사벡터 r과 그로시 상수 N에 대해 위의 식의 값을 전처리할 수 있다. 이렇게 전처리한 결과는 HDRI 영상으로 저장된다.

환경맵 필터(24)를 통해 BRDF를 이용하여 환경맵을 필터링하게 되면, 도 8에 도시된 바와 같은 필터링된 환경맵을 얻을 수 있다. 도 8의 필터링된 환경맵은 도 7의 환경맵을 BRDF에 맞춰 필터링한 결과이다.

그럼, 디퓨즈(diffuse) 검사부(21)에서의 디퓨즈(diffuse) 평면을 찾는 과정을 살펴보기로 한다.

디퓨즈(diffuse) 평면의 경우, 표면의 radiance값은 상기 [수학식 1]에 의해 결정된다. 그러므로, 디퓨즈 상수 K_d는 표면의 radiance 값을 로 나누어 줌으로써 계산할 수 있다. 이때, 는 환경맵 필터(24)에 의해 필터링된 환경맵에서 가져올 수 있다.

그런데, 이 방법의 문제점으로는 BRDF를 측정하려는 물체의 디퓨즈(diffuse) 속성을 계산하고자 할 때 shadowing 현상이나 inter-반사현상을 반영할 수 없다는 점이다. 이와 같은 점에 대한 개선 방법으로서, 획득해낸 BRDF를 이용하여 렌더링한 영상과 실제영상과의 오차를 구하고, 이렇게 계산된 오차를 이용하여 다시 BRDF를 보정하는 방법이 있을 수 있다. 도 9 는 디퓨즈(diffuse) 속성을 이용하여 픽셀 단위로 BRDF를 계산해낸 영상, 즉 디퓨즈 맵(diffuse map)을 나타낸다.

물체는 디퓨즈(diffuse) 속성과 미러(mirror) 반사속성을 둘 다 가지고 있을 수 있다.

미러(mirror) 반사는 phong BRDF에서 그로시(glossy) 상수 N이 무한대일 경우이다. 이 경우는 필터링을 수행하지 않은 환경맵으로부터 빛을 가져와 계산해야 한다. 이때, 물체의 geometry 정보를 알고 있으므로, 노멀 벡터 n과 반사 벡터 r을 알 수 있다. 그러므로, 눈으로 들어 오는 빛은 계산된 n과 r을 이용하여 디퓨즈(diffuse)로 필터링된 환경맵과 필터링되지 않은 환경맵으로부터 값을 가져와서 계산하게 된다[수학식 3].

본 발명에서 구하고자 하는 파라미터는 현재 N을 무한대한 값이다. 상기 [수학식 3]에서 L_d와 L_sn는 환경맵에서 얻어올 수 있는 값이고, K_d와 K _s는 본 발명에서 구하고자 하는 값이다. 두 개의 미지수를 계산하기 위해서는 두 개의 식이면 충분하므로, 두 개 이상의 점을 샘플링하여 K_d와 K_s를 계산할 수 있다.

미러(mirror) 반사의 경우, N이 무한대로써 특별한 상황에서의 계산이다.

최초에 N이 1로써 필터링된 환경맵을 가지고 위의 알고리즘을 적용하여 K_s와 K_d를 계산했다고 가정한다면, 실제 영상의 값과 계산된 값을 가지고 얻어낸 값의 오차는 매우 클 것이다. 그러나, N을 점점 증가시켜 감에 따라 실제 영상과 계산된 값의 오차는 점점 줄어들어 N이 무한대가 되었을 때 오차가 최소가 될 것이다. 마찬가지로, 임의의 N값을 갖는 물체에 대해 환경맵의 N값을 점차 증가시켜 가면서 오차값을 관찰하면, 처음에는 큰 오차값을 갖다가, 점차 오차가 줄어들고 물체의 그로시(glossy) 상수 N과 환경맵의 N이 유사해 질 때 최소의 오차를 가지게 될 것이고, 그 이후 다시 오차는 증가하게 될 것이다.

본 발명에서는 그로시(glossy) 반사를 갖는 물체의 BRDF를 계산하기 위해서 환경맵을 각각의 N에 대해 필터링을 수행하고, 각각의 환경맵에 대해서 K_s와 K_d 그리고 오차를 계산한 후 오차가 최소가 되는 환경맵의 K_s와 K_d 그리고 N을 택한다.

이제, 도 5를 참조하여 본 발명에 따른 필터링된 환경맵을 이용한 역렌더링 방법을 살펴보기로 한다.

본 발명에서는 물체의 BRDF를 계산하기 위해 3가지 디퓨즈(diffuse), 그로시(glossy), 디퓨즈 텍스쳐(diffuse texture)로 분류하는데, 우선 BRDF를 계산하고자 하는 물체의 환경맵을 획득하여(501), 환경맵을 BRDF에 맞춰 필터링한 후(502), 디퓨즈(diffuse) 물체를 선택하고(503), 남은 평면에 대해 그로시(glossy) 반사속성을 찾아내고(504), 마지막으로 남은 평면에 대해 디퓨즈 텍스쳐(diffuse texture)로써 처리를 한다. 이를 구체적으로 살펴보면 다음과 같다.

먼저, 디퓨즈 검사부(21)에서 디퓨즈(diffuse) 반사평면을 찾는 과정(503)을 살펴보기로 한다.

우선, 환경맵 필터(24)를 통해 환경맵을 디퓨즈(diffuse)에 대해서 필터링을 수행한다.

그리고, 물체의 모델 데이터와 카메라 파라메터를 이용하여 렌더링하여 아이템 버퍼(item buffer)를 획득한다. 이 아이템 버퍼(item buffer)는 픽셀 단위로 보이는 물체의 식별자(ID)를 저장하고 있는데, 입력 영상과 픽셀로 1대1 매칭이 된다. 이 아이템 버퍼를 이용하여 픽셀 단위의 노멀을 얻어 낼수 있고, 이 노멀을 이용하여 디퓨즈(diffuse) 필터링된 환경맵으로부터 L_d를 얻어 낼 수 있다.

또한, 물체가 있는 모든 픽셀에 대해 입력 영상의 픽셀값을 이값으로 나누어 의사 디퓨즈 맵(pseudo diffuse map)을 얻어 낼 수 있다. 이후, 평면의 아이템마다 디퓨즈(diffuse) 값의 평균을 계산하고, 이 값을 이용하여 오차를 계산한다[수학식 4]. 이때, 오차가 일정 임계값내에 들 경우 디퓨즈(diffuse) 반사로 판단한다.

상기 [수학식 4]에서, K _d arg는 임의의 평면의 Diffuse 상수값의 평균을 말한다. 또한, M은 입력 영상내에서 평면이 차지하는 픽셀의 수를 말한다. 또한, 는 각각의 픽셀에 대해 난반사 필터링된 환경맵에서 값을 가져와 이 값으로 픽셀의 인텐시티를 나눈 값의 합을 의미한다. 또한, 은 i번째 픽셀의 노멀을 말하고, 는 이 노멀을 이용하여 난반사 필터링된 환경맵으로부터 빛의 값을 가져왔음을 의미한다. 또한, Error는 평면의 Diffuse 값의 오차를 의미한다. 계산된 K _d arg 값으로부터 얼마나 차이가 있는지를 알아내기 위한 식이 아래의 식이다. 또한, abs()는 괄호 안의 값의 절대값을 반환하는 함수이다. 즉, 임의의 평면에 속하는 각각의 픽셀에 대해 난반사 값에서 평균을 뺀 값의 평균을 Error값으로 취한다.

이와 같은 과정을 통해 디퓨즈(diffuse) 평면을 찾은 결과는 다음의 [표 1]과 같다.

이후, 그로시 검사부(22)에서는 디퓨즈 검사부(21)에서 디퓨즈(diffuse) 속성이 결정되지 않은 나머지 평면에 대해 그로시(glossy) 반사인지를 체크한다(504). 이를 구체적으로 살펴보면 다음과 같다.

먼저, 각각의 평면에 대해 정해진 개수 만큼의 점을 샘플링한다. 이때, 샘플링할 때는 반사 벡터가 다른 물체에 충돌하지 않는 점을 선택한다. 그리고, 선택된 점의 노멀 벡터 n과 반사 벡터 r을 이용하여 환경맵들로부터 값을 가져온다. 도 17 은 샘플링할 때 반사벡터를 구하고, 구한 반사벡터를 이용하여 환경맵으로부터 값을 가져오는 과정을 나타낸 것이다. 하기의 [수학식 5]는 샘플링의 개수가 3개인 경우를 나타낸 것이다.

상기 [수학식 5]에서는 K_d와 K_s를 구하기 위해 SVD 방법을 사용하였다. SVD 방법을 사용하여 오차가 최소를 가지는 K_d와 K_s를 구할 수 있고, 이렇게 구한 K _d와 K_s를 이용하여 에러를 계산한다.

이렇게 각각의 환경맵에 대해 에러를 구한후, 이 에러중 가장 작은 에러를 갖는 환경맵의 N을 평면의 그로시(glossy) 상수 N으로 사용한다. 그러나, 에러가 가장 작다고 해서 항상 그로시(glossy)한 것은 아니다. 따라서, 텍스쳐(texture)의 경우는 위와 상관없이 에러를 가질 것이므로, 일정한 임계값을 두어 에러가 임계값 이내에 속하는 평면에 대해서만 그로시(glossy)로서 선택한다. 도 10 은 본 발명의 그로시 검사(glossy check) 과정(504)에서의 에러 그래프를 보여 주고 있다. 하기의 [표 2]는 각각의 평면과 본 발명의 수행 결과를 나타낸다.

마지막으로, 디퓨즈 텍스쳐 정의부(23)에서는 위와 같은 과정을 통해 결정이 되고 남은 평면에 대해서 디퓨즈 텍스쳐(diffuse texture)로 결정을 한다(505). 이때, 디퓨즈 텍스쳐(diffuse texture)는 상기 디퓨즈 검사 과정(503)에서 디퓨즈(diffuse) 상수를 계산할 때 만들어진 디퓨즈 맵(diffuse map)을 그대로 사용함으로써 가능하다.

도 11 은 본 발명의 다른 실시예에 따른 입력 예를 나타낸다.

상기 도 11을 입력으로 하여 생성한 디퓨즈 맵(diffuse map)은 도 12와 같다.

또한, 상기 도 11을 입력으로 하여, 계산된 BRDF를 이용하여 다른 시점에서 본 영상을 렌더링한 결과는 도 13과 같다. 이때, 실제 물체를 제거한 영상은 도 14와 같다. 즉, 도 14에서는 상기 도 11에서 존재하는 물체를 제거한 결과를 보여준다.

상기 도 11에서 가상의 물체를 추가하여 렌더링한 결과는 도 15와 같다. 이를 다른 환경에서 모델링한 물체를 렌더링한 결과는 도 16과 같다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 한 장의 영상내에 있는 물체의 BRDF를 획득하고, 이를 이용하여 가상의 물체를 추가, 또는 실제 물체를 삭제, 그리고 다른 환경에서 렌더링할 수 있는 효과가 있다. 또한, 본 발명은 BRDF를 획득함에 있어서 필요로 하는 영상 수의 감소, 모델링 노력의 감소, 계산 시간 단축의 이점을 얻을 수 있는 효과가 있다.

또한, 본 발명은 환경맵으로부터 빛의 정보를 얻어내고, 이를 이용하여 물체의 BRDF를 획득함으로써, 이렇게 획득된 BRDF를 이용하여 영상에 새로운 조명을 추가하거나 가상의 물체를 추가하는 것이 가능하고, 시점의 일관성 뿐만 아니라 조명의 일관성을 유지할 수 있는 효과가 있다. 이때, 주어진 모델 정보와 BRDF 그리고 빛정보를 이용하여 가상의 물체를 추가할 경우, 올바른 그림자를 만들어 내거나 올바른 반사를 표현할 수 있어, 가상의 공간에 3차원 물체를 매우 사실적으로 쉽게 추가할 수 있는 효과가 있다.

도 1 은 종래의 BRDF 측정 장치(gonioreflectometer)의 구성 예시도.

도 2 는 종래기술에 따라 Y.Yu가 제안한 방법에서 입력으로 사용한 영상 예시도.

도 3 은 종래기술에 따라 Boivin이 제안하는 알고리즘을 나타낸 일예시도.

도 4 는 본 발명에 따른 역렌더링 장치의 일실시예 구성도.

도 5 는 본 발명에 따른 역렌더링 방법에 대한 일실시예 흐름도.

도 6 은 본 발명에 이용되는 입력 모델 및 영상을 나타낸 일실시예 설명도.

도 7 은 본 발명의 일실시예에 이용되는 입력 환경맵을 나타낸 설명도.

도 8 은 본 발명의 일실시예에 따라 상기 도 7의 환경맵을 필터링하여 획득한 필터링된 환경맵을 나타낸 설명도.

도 9 는 본 발명의 일실시예에 따라 생성된 디퓨즈 맵(diffuse map)을 나타낸 설명도.

도 10a 내지 10d 는 본 발명의 일실시예에 따라 그로시(glossy) 상수에 따른 오차가 감소하는 것을 보여주는 그래프를 나타낸 설명도.

도 11 은 본 발명에 이용되는 입력 모델 및 영상을 나타낸 다른 실시예 설명도.

도 12 는 본 발명의 다른 실시예에 따라 상기 도 11을 입력으로 하여 생성된 디퓨즈 맵(diffuse map)을 나타낸 설명도

도 13 은 본 발명의 다른 실시예에 따라 상기 도 11을 입력으로 하여 계산된 BRDF 파라미터들을 이용하여 다시 렌더링한 결과를 나타낸 설명도.

도 14 는 본 발명의 다른 실시예에 따라 상기 도 11에서 존재하는 물체를 제거한 결과를 보여주는 설명도.

도 15 는 본 발명의 다른 실시예에 따라 상기 도 11에서 가상의 물체를 추가한 결과를 보여주는 설명도.

도 16 은 본 발명의 다른 실시예에 따라 상기 도 11에서 물체를 가상의 다른 환경에서 렌더링한 결과를 보여주는 설명도.

도 17 은 본 발명의 실시예에 따라 샘플링할 때 반사벡터가 환경맵에 충돌하는 것만을 샘플링하는 것을 것을 보여주는 설명도.

* 도면의 주요 부분에 대한 부호 설명

10 : 환경맵 필터 20 : BRDF 검사부

21 : 디퓨즈 검사부 22 : 그로시 검사부

23 : 디퓨즈 텍스쳐 정의부

Claims

영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 있어서,

상기 물체에 대한 광원정보로서 사용하기 위해, 반사속성을 얻고자 하는 물체 주변의 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하기 위한 환경맵 필터링수단;

상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾기 위한 디퓨즈 검사수단;

상기 디퓨즈 필터링된 환경맵 및 상기 그로시(glossy) 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾기 위한 그로시 검사수단; 및

상기 디퓨즈 검사수단에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하기 위한 디퓨즈 텍스쳐 정의수단

을 포함하는 필터링된 환경맵을 이용한 역렌더링 장치.
제 1 항에 있어서,

상기 환경맵 필터링수단은,

실제 물체에 들어오는 빛의 양을 미리 계산하기 위하여 환경맵을 필터링하여 각각의 그로시(glossy) 상수에 대해 필터링된 환경맵을 생성하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 장치.
제 2 항에 있어서,

상기 필터링된 환경맵을 바탕으로, 영상내의 물체의 디퓨즈(diffuse), 그로시(glossy), 디퓨즈 텍스쳐(diffuse texture)로 구별하여 반사속성(BRDF)을 복원하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 디퓨즈 검사수단은,

디퓨즈(diffuse) 물체를 찾아 내기 위해, 상기 환경맵 필터링수단에서 디퓨즈 BRDF에 맞춰 필터링된 환경맵을 평면으로 들어오는 빛의 총합으로 계산하고, 이를 이용하여 픽셀단위로 디퓨즈 값을 찾아내어, 동일 평면에 속하는 픽셀들의 디퓨즈 값의 평균을 구하고, 이 평균과 픽셀단위의 디퓨즈 값과의 차이의 평균이 임계치보다 작을 경우 디퓨즈 평면으로 정의하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 장치.
제 4 항에 있어서,

상기 그로시 검사수단은,

그로시(glossy) 물체를 찾아내기 위해, 상기 환경맵 필터링수단에서 그로시 BRDF에 맞춰 필터링할 때, 각각의 그로시 상수값에 따라 생성된 필터링된 환경맵으로부터 시선 벡터의 반사 벡터가 환경맵으로 가는 점을 샘플링하고, 샘플링된 값들을 이용하여 디퓨즈 상수와 스펙큘라(specular) 상수를 계산하여, 얻어낸 그로시 상수마다 계산된 디퓨즈 상수와 스펙큘라 상수를 이용하여 오차를 얻어내고, 오차를 최소로 가지는 그로시 상수와 디퓨즈 상수 그리고 스펙큘라 상수를 그로시 BRDF의 파라메터로 사용하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 장치.
영상내에 존재하는 모델에 대해 물체의 반사속성(BRDF)을 측정하는 역렌더링 장치에 적용되는 역렌더링 방법에 있어서,

반사속성을 얻고자 하는 상기 물체 주변의 환경맵을 획득하는 환경맵 획득단계;

상기 물체에 대한 광원정보로서 사용하기 위해, 상기 환경맵을 디퓨즈(diffuse), 그로시(glossy) 반사속성에 맞춰 필터링하는 환경맵 필터링단계;

상기 디퓨즈 필터링된 환경맵을 이용하여, 상기 영상내의 모델들에 대해 물체의 각 평면에서 디퓨즈 반사속성을 갖는 평면을 찾는 디퓨즈 검사단계;

상기 디퓨즈 필터링된 환경맵 및 상기 그로시 필터링된 환경맵을 이용하여, 상기 디퓨즈 평면으로 결정되지 않은 상기 물체의 평면에 대해 그로시 반사속성을 갖는 평면을 찾는 그로시 검사단계; 및

상기 디퓨즈 검사단계에서 디퓨즈 상수를 계산할 때 생성된 디퓨즈 맵(diffuse map)을 사용하여, 상기 디퓨즈 반사속성 및 상기 그로시 반사속성을 갖지 않는 상기 물체의 평면을 디퓨즈 텍스쳐(diffuse texture)로 결정하는 디퓨즈 텍스쳐 정의단계

를 포함하는 필터링된 환경맵을 이용한 역렌더링 방법.
제 6 항에 있어서,

상기 환경맵 필터링단계는,

영상내의 물체의 디퓨즈(diffuse), 그로시(glossy), 디퓨즈 텍스쳐(diffuse texture)로 구별하여 반사속성(BRDF)을 복원할 수 있도록,

실제 물체에 들어오는 빛의 양을 미리 계산하기 위해 환경맵을 필터링하여 각각의 그로시(glossy) 상수에 대해 필터링된 환경맵을 생성하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 방법.
제 6 항 또는 제 7 항에 있어서,

상기 디퓨즈 검사단계에서,

디퓨즈(diffuse) 물체를 찾아 내기 위해, 상기 환경맵 필터링수단에서 디퓨즈 BRDF에 맞춰 필터링된 환경맵을 평면으로 들어오는 빛의 총합으로 계산하고, 이를 이용하여 픽셀단위로 디퓨즈 값을 찾아내어, 동일 평면에 속하는 픽셀들의 디퓨즈 값의 평균을 구하고, 이 평균과 픽셀단위의 디퓨즈 값과의 차이의 평균이 임계치보다 작을 경우 디퓨즈 평면으로 정의하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 방법.
제 4 항에 있어서,

상기 그로시 검사단계에서,

그로시(glossy) 물체를 찾아내기 위해, 상기 환경맵 필터링단계에서 그로시 BRDF에 맞춰 필터링할 때, 각각의 그로시 상수값에 따라 생성된 필터링된 환경맵으로부터 시선 벡터의 반사 벡터가 환경맵으로 가는 점을 샘플링하고, 샘플링된 값들을 이용하여 디퓨즈 상수와 스펙큘라(specular) 상수를 계산하여, 얻어낸 그로시 상수마다 계산된 디퓨즈 상수와 스펙큘라 상수를 이용하여 오차를 얻어내고, 오차를 최소로 가지는 그로시 상수와 디퓨즈 상수 그리고 스펙큘라 상수를 그로시 BRDF의 파라메터로 사용하는 것을 특징으로 하는 필터링된 환경맵을 이용한 역렌더링 방법.