[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101636537B1 - 깊이감 인지 향상을 위한 영상 처리 장치 및 방법 - Google Patents

깊이감 인지 향상을 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101636537B1
KR101636537B1 KR1020090109153A KR20090109153A KR101636537B1 KR 101636537 B1 KR101636537 B1 KR 101636537B1 KR 1020090109153 A KR1020090109153 A KR 1020090109153A KR 20090109153 A KR20090109153 A KR 20090109153A KR 101636537 B1 KR101636537 B1 KR 101636537B1
Authority
KR
South Korea
Prior art keywords
layer
color
unit
foreground
representative
Prior art date
Application number
KR1020090109153A
Other languages
English (en)
Other versions
KR20110052207A (ko
Inventor
홍지영
이호영
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090109153A priority Critical patent/KR101636537B1/ko
Priority to US12/926,010 priority patent/US8605105B2/en
Publication of KR20110052207A publication Critical patent/KR20110052207A/ko
Application granted granted Critical
Publication of KR101636537B1 publication Critical patent/KR101636537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

깊이감 인지 향상을 위한 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 입력 영상을 포 그라운드 레이어, 미들 레이어, 백그라운드 레이어로 분류하고, 상기 분류된 레이어들 각각의 대표 색상을 계산하며, 상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 미들 레이어와 상기 백그라운드 레이어의 색체 입체시를 렌더링하여 입체감 및 깊이감을 향상시킬 수 있다. 그리고, 상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 포 그라운드 레이어와 상기 미들 레이어의 색 온도를 제어함으로써 미들 레이어와 포 그라운드 레이어간의 깊이감 차이를 발생시켜 더욱 깊이감 있는 영상을 재현 할 수 있다.
Figure R1020090109153
포 그라운드 레이어, 백그라운드 레이어, 색체 입체시, 색 온도

Description

깊이감 인지 향상을 위한 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR ENHANCING OF DEPTH PERCEPTION}
영상 처리 장치 및 방법에 관한 것으로, 입력 영상을 복수의 레이어로 분할하고 색체 입체시를 랜더링하여 입체감이 향상된 영상을 생성하도록 하는 영상 처리 장치 및 방법이다.
입체로 영상을 표현하는 것이 가능한 3D 디스플레이는 기존의 평면 영상만을 표시하는 2D 디스플레이에 비해 차원 높은 현실감을 사용자에게 직접적으로 전달하는 것이 가능하므로, 많은 연구가 이루어 지고 있다.
본 발명은 3D Display에서 시각 인지 특성(Human Visual Perception) 을 이용하여 색채 속성을 제어함으로써 보다 깊이감 있는 영상을 재현하여 입체감을 증대시키는 것에 있다.
영상 처리 장치는 입력된 깊이 영상을 포 그라운드 레이어(ForeGround Layer), 미들 레이어(Middle Layer), 백그라운드 레이어(Background Layer)로 분류하는 멀티 레이어 처리부; 상기 분류된 레이어들 각각의 대표 색상을 계산하는 대표 색상 계산부; 상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 미들 레이어와 상기 백그라운드 레이어의 색체 입체시를 렌더링하는 색체 입체시 모델링부; 및 상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 포 그라운드 레이어와 상기 미들 레이어의 색 온도를 제어하는 색 온도 처리부를 포함할 수 있다.
일례로 영상 처리 장치는 깊이감(Depth)를 포함한 영상을 입력영상으로 입력받을 수 있다. 또한, 다른 일례로 깊이감으로 인한 시각적 피로를 감소시키기 위해 양안 시차의 크기를 감소시켜 깊이감을 조정하는 깊이감 조정 연산부를 더 포함할 수 있다.
이때, 멀티 레이어 처리부는 깊이감(Depth)를 포함한 입력 영상 또는 깊이감을 향상 시키고자 하는 영상, 혹은 깊이감이 조정된 깊이 영상에 대해 포 그라운드 레이어, 미들 레이어, 백그라운드 레이어로 분류할 수 있다.
영상 처리 장치의 색체 입체시 모델링부는, 상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스를 추출하는 클래스 추출부 및 상기 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 미들 레이어와 상기 백그 라운드 레이어의 밝기와 채도를 제어하는 레이어 랜더링부를 포함할 수 있다.
영상 처리 장치의 색 온도 처리부는, 상기 분류된 레이어들을 구성하는 픽셀의 색공간을 R G B 색공간으로 변환한 후, XYZ 색공간으로 변환하는 XYZ 변환부; 상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 포 그라운드 레이어 및 상기 미들 레이어의 색 온도를 이동시킬 지 여부를 판단하는 특성 추출부; 상기 색 온도가 이동하는 경우, 상기 포 그라운드 레이어와 상기 미들 레이어에 대한 색 온도의 이동 범위인 계수를 계산하는 계수 계산부; 상기 계수를 상기 포 그라운드 레이어와 상기 미들 레이어의 R, G, B 값에 적용하는 색 온도 매핑부 및 상기 색 온도 매핑부에서 변경된 픽셀을 X, Y, Z에서 R, G, B로 변환하는 RGB 변환부를 포함할 수 있다.
영상 처리 방법은 입력된 깊이 영상을 포 그라운드 레이어(ForeGround Layer), 미들 레이어(Middle Layer), 백그라운드 레이어(Background Layer)로 분류하는 단계; 상기 분류된 레이어들 각각의 대표 색상을 계산하는 단계; 상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 미들 레이어와 상기 백그라운드 레이어의 색체 입체시를 렌더링하는 단계; 및 상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 포 그라운드 레이어와 상기 미들 레이어의 색 온도를 제어하는 단계를 포함할 수 있다.
영상 처리 방법의 색체 입체시를 렌더링하는 단계는, 상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스를 추출하는 단계 및 상기 클래스와 상 기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 미들 레이어와 상기 백그라운드 레이어의 밝기와 채도를 제어하는 단계를 포함할 수 있다.
영상 처리 방법의 색 온도를 제어하는 단계는, 상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 포 그라운드 레이어 및 상기 미들 레이어의 색 온도를 이동시킬 지 여부를 판단하는 단계; 상기 색 온도가 이동하는 경우, 상기 포 그라운드 레이어와 상기 미들 레이어에 대한 색 온도의 이동 범위인 계수를 계산하는 단계; 및 상기 계수를 상기 포 그라운드 레이어와 상기 미들 레이어의 R, G, B 값에 적용하는 단계를 포함할 수 있다.
입력 영상을 복수의 레이어로 분할하고 색체 입체시를 랜더링하여 입체감이 향상된 영상을 생성 할 수 있다.
백 그라운드 레이어의 밝기 정도에 따라, 색채 입체시와 색채 입체시 역전현상을 색 온도 조절에 적용하여 포 그라운드 레이어와 미들 레이어의 색 온도를 변경 함으로써 미들 레이어와 포 그라운드 레이어간의 깊이감 차이를 발생시켜 더욱 깊이감 있는 영상을 재현 할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명 의 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 설명하기 위한 도면이다.
도 1을 참고하면, 영상 처리 장치(100)은 2차원 영상(2D)과 깊이감(Depth)으로 구성된 입력 영상을 복수의 레이어로 분할하고 색체 입체시를 랜더링하여 입체감을 향상 시킬 수 있다.
일례로, 깊이감 조정 연산부(110)은 깊이감으로 인한 시각적 피로를 감소시키기 위해 양안 시차의 크기를 감소시켜 입력 영상의 깊이감(Depth)을 조정할 수 있다. 이때, 시각 피로를 해결하기 위하여 깊이감(Depth)을 조정하면 깊이감(Depth)이 저하됨과 동시에 입체감도 저하된다.
다음으로 가상 깊이감 렌더링부(120)는 깊이감 조정 연산부(110)에서 깊이감이 조정된 영상(111)의 2차원 영상(2D)을 복수의 레이어로 분할하고 색체 입체시를 랜더링한 영상(112)을 생성할 수 있다. 가상 깊이감 렌더링부(120)의 상세 구성과 동작은 이하 도 2를 참조하여 상세히 설명한다.
마지막으로 렌더링 이미지부(130)는 랜더링한 영상(112)을 사용하여 3차원으로 디스플레이 하기에 적합한 출력 영상을 송출할 수 있다.
출력 영상이 편광 안경 식 스테레오스코픽 3D 디스플레이(Stereoscopic 3D Display)에서 사용될 경우에 편광 안경 식 스테레오스코픽 3D 디스플레이는 좌안 영상과 우안 영상이 따로 분리되어 출력되어야만 입체영상으로 인지할 수 있으므로 렌더링 이미지부(130)는 좌안과 우안의 시차(Disparity)를 이용하여 영상을 생성할 수 있다.
일례로 렌더링 이미지부(130)는 랜더링한 영상(112)에 하기된 수학식 1을 적용하여 출력 영상을 생성할 수 있다.
Offset = x - k * Viewing_distance*(Depth(x))
K=0.05*FrameWidth
이때, Viewing_distance는 편광 안경 식 스테레오스코픽 3D 디스플레이를 사용하는 사용자(User)와 편광 안경 식 스테레오스코픽 3D 디스플레이 간의 거리이고, Depth 는 랜더링한 영상(112)의 깊이 맵(Depth map)에 제시된 깊이감(Depth)이며, FrameWidth는 랜더링한 영상(112)의 가로 사이즈일 수 있다.
또한, 렌더링 이미지부(130)는 상기 수학식 1에 따라 계산된 Offset의 위치에 있는 원본 RGB 픽셀(Original RGB Pixel)값이 정수인 경우에 원본 RGB 픽셀 값을 사용하고, 렌더링 이미지부(130)는 원본 RGB 픽셀 값이 실수이면, 인접한 픽셀의 값을 보간(Interpolation)하여 사용할 수 있다.
다시 말해, 영상 처리 장치(100)은 입력영상을 깊이감에 따라 복수의 레이어로 분류하고, 분류된 각 레이어의 특성에 따라 적응적인 영상 처리를 하여 입체감을 증대 시킬 수 있다.
도 2는 본 발명의 일실시예에 따른 가상 깊이감 렌더링부의 상세 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 가상 깊이감 렌더링부(120)는 멀티 레이어 처리부(210), 색공간 변환부(220), 평균 밝기 계산부(230), 대표 색상 계산부(240), 색상 영역 판단부(250), 색체 입체시 모델링부(260) 및 색 온도 처리부(270)를 포함할 수 있다.
멀티 레이어 처리부(210)는 깊이감이 조정된 영상(111)을 깊이감에 기초하여 3개 이상의 레이어로 레이어링(layering)한다. 이때, 멀티 레이어 처리부(210)는 레이어링된 레이어를 깊이감에 따라 포 그라운드 레이어(ForeGround Layer), 미들 레이어(Middle Layer), 백그라운드 레이어(Background Layer)로 분류할 수 있다.
일례로 멀티 레이어 처리부(210)는 도 3에 도시된 바와 같이 가상 깊이감 렌더링부(120)에 입력된 입력 영상(310)을 깊이감에 따라 가장 전면에 위치하는 포 그라운드 레이어(321)와 가장 뒤쪽에 위치하는 백그라운드 레이어(323) 및 포 그라운드 레이어(321)와 백그라운드 레이어(323)에 위치한 미들 레이어(322)로 분할 할 수 있다. 이때, 포 그라운드 레이어(321)와 미들 레이어(322)에는 복수의 레이어가 포함될 수도 있다.
색공간 변환부(220)는 멀티 레이어 처리부(210)에서 분류된 레이어들의 픽셀에서 사용하는 색공간을 RGB에서 휘도(lightness), 채도(chroma), 및 색상(Hue quadrature)로 변환한다.
이때, 멀티 레이어 처리부(210)에서 분류된 레이어들의 픽셀에서 사용하는 색공간은 RGB 디지털 신호로서 인간의 시각 체계와 연관되지 않으므로 색공간 변환부(220)는 RGB 색공간을 인간의 시각 체계로 표현되는 휘도, 채도 및 색상과 같이 인간의 지각 특성이 이용된 색공간으로 변환할 수 있다.
또한, 멀티 레이어 처리부(210)는 RGB 색공간을 휘도, 채도 및 색상을 지원하는 다양한 색 공간 중에 하나로 변환할 수 있다.
일례로 정확한 칼라 어피어런스(Appearance) 예측을 하고자 하는 경우에는CIECAM02의 색공간을 사용하고, 칼라 또는 이미지의 차이를 평가하는 경우에는, CIELAB을 기초로 한 LCH의 색공간을 사용하며, 칼라 디자인 및 간단한 산업적 응용에 사용할 경우에는 HSV의 색공간을 사용할 수 있다.
또한, 멀티 레이어 처리부(210)는 사용하는 색 공간에 따라 하기된 표1과 같이 휘도, 채도 및 색상을 각기 다른 약어로 사용할 수 있다. 본 발명의 실시예에서는 CIECAM02을 사용한 경우에 따라 설명하며, 휘도, 채도 및 색상은 각각 J, C, H로 사용한다.
Figure 112009069566410-pat00001
평균 밝기 계산부(230)는 멀티 레이어 처리부(210)에서 백 그라운드 레이어로 분류된 레이어의 평균 밝기 값을 계산한다.
이때, 평균 밝기 계산부(230)는 색공간 변환부(220)에서 변환된 값 중에 휘도에 해당하는 J를 사용하여 백 그라운드 레이어의 평균 밝기 값을 계산할 수 있다.
대표 색상 계산부(240)는 멀티 레이어 처리부(210)에서 분류된 레이어들 각각의 대표 색상을 계산한다.
구체적으로 대표 색상 계산부(240)는 멀티 레이어 처리부(210)에서 분류된 레이어들 각각을 구성하는 픽셀 개수가 가장 많은 파장 대역이 나타내는 색상을 대표 색상으로 계산할 수 있다.
또한, 대표 색상 계산부(240)는 다양한 방법으로 대표 색상 값을 계산할 수 있으며, 일례로 CIECAM02의 색상 대역을 이용하여 레이어의 입력 픽셀 개수가 가장 많은 빈도(frequency)도 나타내는 색상을 해당 레이어의 대표 색상으로 설정할 수 있다.
그리고, CIECAM02에서 색상은 크게 4가지 영역으로 분류될 수 있으며, 대표 색상 계산부(240)는 파장의 대역으로 색상을 분류하여 장파장을 대표하는 Red 계열은 0 ~ 61, 그리고 270 ~ 360으로 설정하고 중성 색을 나타내는 Green계열은 61 ~ 184, 단파장을 대표하는 Blue계열은 185 ~ 269로 설정할 수 있다. 이때, 각 파장대역을 결정짓는 설정 값은 디스플레이(Display) 특성에 따라 변경될 수 있으며 장파장과 단파장 외의 중성 색을 포함시키지 않을 수도 있다.
색상 영역 판단부(250)는 대표 색상 계산부(240)에서 계산된 대표 색상을 조합하여 색상 영역을 판단하기 위한 클래스를 생성한다.
일례로 색상 영역 판단부(250)는 도 4에 도시된 바와 같이 포 그라운드 레이어의 대표 색상(411)과 미들 레이어의 대표 색상(412)를 조합하여 표 2와 같은 클래스(421)를 생성하고, 포 그라운드 레이어의 대표 색상(411)과 백그라운드 레이어의 대표 색상(413)를 조합하여 표 3과 같은 클래스(422)를 생성할 수 있다.
Figure 112009069566410-pat00002
Figure 112009069566410-pat00003
이때, 표 2와 표 3에서 각 레이어에 표시된 숫자는 색상 영역을 나타내는 숫자로서, 0은 Red 영역인 장파장 계열이고, 1은 Green영역인 중성 색 계열이며, 2는 단파장인 Blue계열일 수 있다. 따라서, 표 2를 참고하면 Class B는 포 그라운드 레이어가 Red 영역이며, 미들 레이어는 Blue영역임을 알 수 있다.
색체 입체시 모델링부(260)는 대표 색상 계산부(240)에서 계산된 대표 색상과 평균 밝기 계산부(230)에서 계산된 백그라운드 레이어의 밝기에 기초하여 포 그라운드와 미들 레이어 및 백그라운드 레이어의 색체 입체시를 렌더링한다.
이때, 색체 입체시 모델링부(260)는 도 5에 도시된 바와 같이 레이어 추출부(510)와 밝기 정보 저장부(520), 및 레이어 렌더링부(530)으로 구성될 수 있다.
먼저, 클래스 추출부(510)는 색상 영역 판단부(250)에서 생성된 클래스 중에서 레이어들 각각의 대표 색상의 조합으로 생성된 클래스를 추출할 수 있다.
다음으로 밝기 정보 저장부(520)는 평균 밝기 계산부(230)에서 평균 밝기 계산부(230)가 계산한 상기 평균 밝기 값을 로드 하여 임시로 저장할 수 있다.
이때, 밝기 정보 저장부(520)는 로드 한 백 그라운드 밝기 정도를 3가지 정도로 분류하여 저장할 수 있다. 일례로 백 그라운드 밝기(CIECAM02의 J 값)를 0~30, 31~60, 그리고 61~100 3개의 영역으로 구분하여 색채 입체시와 색채 입체시 역전 현상 특성을 제어하는 것에 사용할 수 있다.
마지막으로 레이어 랜더링부(530)는 클래스 추출부(510)가 추출한 클래스와 밝기 정보 저장부(520)에 저장된 백그라운드 레이어의 평균 밝기 값을 이용하여 포 그라운드 레이어와 미들 레이어 및 백그라운드 레이어의 밝기와 채도를 제어할 수 있다. 이때, 레이어 랜더링부(530)는 평균 밝기 계산부(230)에서 백그라운드 레이어의 평균 밝기 값을 로드 할 수도 있다.
이때, 레이어 랜더링부(530)는 하기된 수학식 2를 사용하여 포 그라운드 레이어와 미들 레이어 및 백그라운드 레이어의 밝기와 채도를 제어할 수 있다.
Lout = G x Lin
이때, Lin은 레이어 랜더링부(530)에 입력되는 픽셀이고, Lout은 레이어 랜더링부(530)이 제어한 픽셀이며, G는 클래스와 평균 밝기 값에 따라 선택되는 일정한 게인(Gain)이며 각 레이어 별 G를 계산하는 방법은 하기된 수학식 3 내지 수학식 5를 사용하여 상세히 설명한다.
또한, 레이어 랜더링부(530)는 깊이감의 정도에 따라 밝기 J와 채도 C를 사용하여 적응적으로 그라데이션 매핑(Gradation Mapping)을 수행할 수도 있다.
Figure 112009069566410-pat00004
Figure 112009069566410-pat00005
Figure 112009069566410-pat00006
상기 수식들을 도식화한 도 6에 도시된 바와 같이 Dmax_fore는 포 그라운드 레이어(610)의 최대(Maximum)깊이감이고, Th1은 포 그라운드 레이어(610)와 미들 레이어(620)를 분리하는 깊이감 경계(threshold)이며, Th0은 미들 레이어(620)와 백그라운드 레이어(630)를 분리하는 깊이감 경계이다.
이때, 레이어 랜더링부(530)는 상기 수학식 3과 같이
Figure 112009069566410-pat00007
와
Figure 112009069566410-pat00008
를 사용하여 포 그라운드 레이어의 밝기 J와 채도 C를 제어하고, 상기 수학식 4와 같이
Figure 112009069566410-pat00009
와
Figure 112009069566410-pat00010
를 사용하여 미들 레이어의 밝기 J와 채도 C를 제어하며, 상기 수학식 5와 같이
Figure 112009069566410-pat00011
와
Figure 112009069566410-pat00012
를 사용하여 백그라운드 레이어의 밝기 J와 채도 C를 제어할 수 있다.
그리고, 레이어 랜더링부(530)는 각 레이어의 대표 색상조합에 따라 상기 수학식 2 내지 수학식 5에 따라 계산된 값을 제어하여 Lout 을 출력할 수 있다.
먼저, 클래스 추출부(510)가 추출한 클래스가 A부터 F까지인 경우에 레이어 랜더링부(530)는 미들 레이어의 밝기 J와 채도 C 를 제어할 수 있다.
구체적으로 레이어 랜더링부(530)는 백 그라운드의 평균 밝기가 3가지로 분류된 표 4를 사용하여 해당 분류(Category)에 속하는 밝기와 채도를 제어할 수 있다.
이때, 숫자 0은 아무 처리도 하지 않고 입력된 픽셀을 그대로 출력하도록 하는BYPASS이고, +는 밝기 J와 채도 C의 증가이며, -는 밝기 J와 채도 C의 감소이다.
Figure 112009069566410-pat00013
또한, 클래스 추출부(510)가 추출한 클래스가 G부터 L까지인 경우에 레이어 랜더링부(530)는 표 5를 사용하여 백그라운드 레이어의 밝기 J와 채도 C 를 제어할 수 있다.
Figure 112009069566410-pat00014
일례로, Lin의 백 그라운드 밝기가 50이고 포 그라운드 레이어의 대표 색상이 장파장인 Red 영역이며, 미들 레이어는 단파장인 Blue영역이고, 백 그라운드 레이어는 중성색인 Green영역인 경우에, 포 그라운드 레이어와 미들 레이어의 색상 조합은 Class 'B'이고 미들 레이어와 백 그라운드 레이어의 색상 조합은 'F' Class가 될 수 있다. 이때, 표 4를 참고하면 미들 레이어는 모두 BYPASS이고, 백그라운드 레이어는 밝기(lightness)가 +, 채도(Chroma)가 - 이다.
따라서 레이어 랜더링부(530)는 도 7의 그래프(710)와 같이 미들 레이어와 백그라운드 레이어(711)의 밝기를 처리하고, 도 7의 그래프(720)와 같이 미들 레이어와 백그라운드 레이어(721)의 채도를 처리할 수 있다.
마지막으로 레이어 랜더링부(530)는 상기 수학식 3에 따라 계산된 게인(Gain)에 별도의 밝기나 채도를 변화시키지 않고 포 그라운드 레이어에 적용하여 포 그라운드 레이어의 Lout을 출력할 수 있다.
일례로 도 8에 도시된 바와 같이 포 그라운드 레이어의 Lin(810)은 상기 수학식 3에 따라 계산된 게인 만큼 증가하여 포 그라운드 레이어의 Lout(820)가 될 수 있다.
즉, 색체 입체시 모델링부(260)는 색채 입체시 특성과 역전현상을 이용하여 미들 레이어와 백 그라운드 레이어를 처리할 수 있다.
색 온도 처리부(270)는 대표 색상과 백그라운드 레이어의 밝기에 기초하여 포 그라운드 레이어와 미들 레이어의 색 온도를 제어한다. 이때, 색 온도 처리부(270)는 백그라운드 레이어의 색 온도는 변경하지 않고, 백그라운드 레이어의 평균 밝기 값만을 사용할 수 있다.
이때, 색 온도 처리부(270)는 도 9에 도시된 바와 같이 XYZ 변환부(910), 특성 추출부(920), 계수 계산부(930), 색 온도 매핑부(940) 및 RGB 변환부(950)로 구성될 수 있다.
XYZ 변환부(910)는 레이어들을 구성하는 픽셀의 색공간을 R G B 색공간으로 변환한 다음에 R G B 색공간을 다시 XYZ 색공간으로 변환한다. 이때, XYZ 변환부(910)는 X Y Z 색공간으로 변환하기 전의 J, C, H값을 메모리에 저장할 수 있다.
특성 추출부(920)는 레이어들 각각의 대표 색상의 조합으로 생성된 클래스와 백그라운드 레이어의 평균 밝기 값을 이용하여 포 그라운드 레이어 및 미들 레이어의 색 온도를 이동시킬 지 여부를 판단한다. 이때, 색 온도는 빛이 가지고 있는 변화를 온도 차를 통해 표기한 것으로 절대온도인 Kelvin값을 이용하여 표기하는 값이며 도 10에 도시된 바와 같이 값이 낮을수록 붉은 빛(1010)을 띄고 값이 높을수록 청색(1020)에 가깝게 보인다. 따라서, 색 온도의 값이 낮으면 차가운 색(Cool Colour), 높으면 따뜻한 색(Warm Colour)로 표현된다.
이때, 특성 추출부(920)는 백그라운드 레이어의 평균 밝기 값이 일정 값 이상인 경우, 포 그라운드 레이어의 색 온도를 장파장 계열로 이동시키고, 백그라운드 레이어의 평균 밝기 값이 일정 값 미만인 경우, 포 그라운드 레이어의 색 온도를 단파장 계열로 이동시킬 수 있다.
또한, 특성 추출부(920)는 포 그라운드 레이어의 색 온도가 이동하는 방향과 반대 방향으로 미들 레이어의 색 온도를 이동할 수 있다. 일례로 포 그라운드 레이어가 장파장 계열로 이동하면 미들 레이어는 단파장 계열로 이동할 수 있다.
구체적으로 특성 추출부(920)는 포 그라운드 레이어와 미들 레이어의 대표 색상의 조합으로 생성된 클래스를 사용하여 포 그라운드 레이어와 미들 레이어의 대표 색상 조합을 확인하고, 포 그라운드 레이어와 미들 레이어의 대표 색상에 평균 밝기 계산부(230)에서 계산된 백 그라운드 레이어의 평균 밝기 값을 찾아 조합할 수 있다.
이때, 특성 추출부(920)는 조합되는 백 그라운드 레이어의 평균 밝기 값이 일정 값 미만인 경우 블랙(Black)으로 판단하여 포 그라운드 레이어의 색 온도를 장파장 계열인 따듯한 방향으로 이동시키며, 조합되는 백 그라운드 레이어의 평균 밝기 값이 일정 값 이상인 경우 화이트(White)라고 판단하고, 기존의 색채 입체시 역전현상을 적용하여 포 그라운드 레이어의 색 온도를 단파장 계열인 차가운 방향으로 이동시킬 수 있다.
또한, 특성 추출부(920)는 하기된 표 6을 사용하여 미들 레이어의 색 온도를 이동할 수도 있다.
Figure 112009069566410-pat00015
이때, W는 따뜻한(Warm) 방향으로 색 온도가 이동하는 것이고, C는 차가운(Cool) 방향으로 색 온도가 이동하는 것이며 0은 색 온도가 변경되지 않는 것을 의미한다. 이때, 0은 미들 레이어에서만 발생할 수 있다.
일례로 장파장 계열의 색상이 미들 레이어의 대표 색상으로 선정된 경우에 상기 장파장 계열의 색상은 색채 입체시 모델링부(260)에서 밝기와 채도가 제어된 상태이므로 차가운 색 온도로 이동하면 화질 열화 현상이 발생 할 수 있으므로 특성 추출부(920)는 해당 미들 레이어를 0으로 설정하여 색 온도를 변경하지 않을 수 있다.
특성 추출부(920)는 표 6과 같이 포 그라운드 레이어와 미들 레이어의 화이트 밸런스(White Balance)를 반대로 변경함으로써 레이어 간의 깊이감이 발생하여 더욱 깊이감 있는 영상을 재현할 수 있다.
계수 계산부(930)는 색 온도가 이동하는 경우에 포 그라운드 레이어와 미들 레이어에 대한 색 온도의 이동 범위인 계수를 계산한다.
이때, 계수는 R, G, B 계수이며, 계수 계산부(930)는 대부분의 TV가 6500K ~ 7100K로 화이트 밸런스가 맞춰져 있으므로 내정 값이 D65인 장치에서 디스플레이 되는 것을 가정하고 계수를 계산할 수 있다.
색 온도가 6500K에서 5000K로 이동할 경우의 일례에 따라 계수 계산부(930)의 동작을 상세히 설명한다.
먼저, 계수 계산부(930)는 각 온도 별로 x, y 값을 정규화(Normalization)하여 표 7과 표 8과 같은 X, Y, Z값을 계산한다.
Figure 112009069566410-pat00016
Figure 112009069566410-pat00017
표 7은 5000K로 색 온도를 변경할 경우의 X, Y, Z 값의 일례이고, 표 8은 6500K로 색 온도를 변경할 경우의 X, Y, Z 값의 일례이다.
다음으로, 계수 계산부(930)는 표 7과 같이 정규화된 값을 X, Y, Z로 값을 변경하여 R, G, B 각각에 따른 Y비율이 계산할 수 있다. 일례로 표 7에서는 0.2502, 0.6977, 0.0521이 R, G, B 각각에 따른 Y비율일 수 있다.
그 다음으로, 계수 계산부(930)는 기본 색 온도인 6500K일 때의 Y비율을 확인하고, R, G, B 계수가 얼마만큼 변해야 하는지 알기 위하여 5000K일 때의 Y비율을 6500K일 때의 Y비율로 나눈 결과 값에서 R에 해당되는 값으로 정규화하여 R, G, B 계수를 계산할 수 있다.
색 온도 매핑부(940)는 계수 계산부(930)가 계산한 계수를 포 그라운드 레이어와 미들 레이어의 R, G, B 값에 적용할 수 있다.
구체적으로 색 온도 매핑부(940)는 계수를 포 그라운드 레이어와 미들 레이어의 R, G, B 값에 각각 곱하여 RGB 변환부(950)에 입력할 수 있다.
RGB 변환부(950)는 색 온도 매핑부(950)에서 변경된 픽셀의 색공간을 X, Y, Z에서 다시 R, G, B로 변환한다.
색 온도 처리부(270)는 백 그라운드 레이어의 밝기 정도에 따라, 색채 입체시와 색채 입체시 역전현상을 색 온도 조절에 적용하여 가장 입체감 있게 인지되어야 하는 포 그라운드 레이어의 색 온도를 변경할 수 있다.
또한, 색 온도 처리부(270)는 색체 입체시 모델링부(260)에서 색채 입체시 특성에 따른 색채 속성이 제어된 미들 레이어의 색 온도를 변경 함으로써 포 그라운드 레이어간의 깊이감 차이를 발생시켜 더욱 깊이감 있는 영상을 재현 할 수 있다.
도 11은 본 발명의 일실시예에 따른 영상 처리 방법의 전체 과정을 도시한 플로우차트이다.
깊이감 조정 연산부(110)은 깊이감으로 인한 시각적 피로를 감소시키기 위해 양안 시차의 크기를 감소시켜 입력 영상의 깊이감(Depth)을 조정할 수 있다(S1110).
멀티 레이어 처리부(210)는 단계(S1110)에서 깊이감이 조정된 깊이 영상에 대해 포 그라운드 레이어(ForeGround Layer), 미들 레이어(Middle Layer), 백그라운드 레이어(Background Layer)로 분류할 수 있다(S1120).
색공간 변환부(220)는 단계(S1120)에서 분류된 레이어들의 픽셀에서 사용하는 색공간을 RGB에서 휘도(lightness), 채도(chroma), 및 색상(Hue quadrature)로 변환할 수 있다(S1130). 이때, 멀티 레이어 처리부(210)에서 분류된 레이어들의 픽셀에서 사용하는 색공간은 RGB 디지털 신호로서 인간의 시각 체계와 연관되지 않으므로 색공간 변환부(220)는 RGB 색공간을 인간의 시각 체계로 표현되는 휘도, 채도 및 색상과 같이 인간의 지각 특성이 이용된 색공간으로 변환할 수 있다.
평균 밝기 계산부(230)는 단계(S1120)에서 백 그라운드 레이어로 분류된 레이어의 평균 밝기 값을 계산할 수 있다(S1140). 이때, 평균 밝기 계산부(230)는 색공간 변환부(220)에서 변환된 값 중에 휘도에 해당하는 J를 사용하여 백 그라운드 레이어의 평균 밝기 값을 계산할 수 있다.
대표 색상 계산부(240)는 단계(S1120)에서 분류된 레이어들 각각의 대표 색상을 계산할 수 있다(S1150). 구체적으로 대표 색상 계산부(240)는 멀티 레이어 처리부(210)에서 분류된 레이어들 각각을 구성하는 픽셀 개수가 가장 많은 파장 대역이 나타내는 색상을 대표 색상으로 계산할 수 있다.
색상 영역 판단부(250)는 단계(S1150)에서 계산된 대표 색상을 조합하여 색상 영역을 판단하기 위한 클래스를 생성할 수 있다(S1160).
색체 입체시 모델링부(260)는 단계(S1150)에서 계산된 대표 색상과 단계(S1140) 에서 계산된 백그라운드 레이어의 밝기에 기초하여 미들 레이어 및 백그라운드 레이어의 색체 입체시를 렌더링할 수 있다(S1170).
구체적으로 색체 입체시 모델링부(260)는 단계(S1160)에서 생성된 클래스 중에서 레이어들 각각의 대표 색상의 조합으로 생성된 클래스를 추출하고, 추출한 클래스와 단계(S1140) 에서 계산된 백그라운드 레이어의 평균 밝기 값을 이용하여 미들 레이어와 백그라운드 레이어의 밝기와 채도를 제어할 수 있다.
이때, 색체 입체시 모델링부(260)는 별도의 밝기나 채도를 변화시키지 않고 일정한 게인을 포 그라운드 레이어에 적용하여 포 그라운드 레이어의 출력 값을 선형으로 변경할 수 있다.
색 온도 처리부(270)는 단계(S1150)에서 계산된 대표 색상과 단계(S1140) 에서 계산된 백그라운드 레이어의 밝기에 따라 포 그라운드 레이어와 미들 레이어의 색 온도를 제어하여 단계(S1170)에서 렌더링된 색체 입체시를 조정할 수 있다(S1180).
구체적으로, 색 온도 처리부(270)는 레이어들을 구성하는 픽셀의 색공간을 R G B 색공간으로 변환한 다음에 R G B 색공간을 다시 XYZ 색공간으로 변환하고, 레이어들 각각의 대표 색상의 조합으로 생성된 클래스와 백그라운드 레이어의 평균 밝기 값을 이용하여 포 그라운드 레이어 및 미들 레이어의 색 온도를 이동시킬 지 여부를 판단할 수 있다.
다음으로, 색 온도 처리부(270)는 색 온도가 이동하는 경우에 포 그라운드 레이어와 미들 레이어에 대한 색 온도의 이동 범위인 계수를 계산하고, 계산된 계수를 포 그라운드 레이어와 미들 레이어의 R, G, B 값에 적용하며, 계수가 적용된 픽셀의 색공간을 X, Y, Z에서 다시 R, G, B로 변환할 수 있다.
렌더링 이미지부(130)는 단계(S1180)에서 색체 입체시가 조정된 영상을 사용하여 3차원으로 디스플레이 하기에 적합한 출력 영상을 송출할 수 있다(S1190).
도 11에서 설명되지 않은 부분은 도 1 내지 도 10의 설명을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 영상 처리 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 가상 깊이감 렌더링부의 상세 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 멀티 레이어 처리부에서 깊이 감에 따라 레이어를 분류한 일례이다.
도 4는 본 발명의 일실시예에 따른 색상 영역 판단부에서 클래스를 생성하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따른 색체 입체시 모델링부의 상세 구성을 도시한 블록 다이어그램이다.
도 6은 본 발명의 일실시예에 따른 색체 입체시 모델링부에서 색상과 채도를 랜더링한 결과의 일례이다.
도 7은 본 발명의 일실시예에 따른 색체 입체시 모델링부가 클래스에 따라 색상과 채도를 보정한 결과의 일례이다.
도 8은 본 발명의 일실시예에 따른 색체 입체시 모델링부에서 포 그라운드 레이어의 변화의 일례이다.
도 9는 본 발명의 일실시예에 따른 색 온도 처리부의 상세 구성을 도시한 블록 다이어그램이다.
도 10은 색 온도 그래프의 일례이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 방법의 전체 과정을 도시한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
210: 멀티 레이어 처리부
250: 색상 영역 판단부
260: 색채 입체시 모델링부
270: 색 온도 처리부

Claims (15)

  1. 입력된 깊이 영상을 포 그라운드 레이어(ForeGround Layer), 미들 레이어(Middle Layer), 백그라운드 레이어(Background Layer)로 분류하는 멀티 레이어 처리부;
    상기 분류된 레이어들 각각의 대표 색상을 계산하는 대표 색상 계산부;
    상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 미들 레이어와 상기 백그라운드 레이어의 색체 입체시를 렌더링하는 색체 입체시 모델링부; 및
    상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 포 그라운드 레이어와 상기 미들 레이어의 색 온도를 제어하는 색 온도 처리부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    양안 시차의 크기를 조절함으로써, 상기 깊이 영상의 깊이감을 조정하는 깊이감 조정 연산부
    를 더 포함하고,
    상기 멀티 레이어 처리부는,
    상기 깊이감이 조정된 깊이 영상에 대해 포 그라운드 레이어, 미들 레이어, 백그라운드 레이어로 분류하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 대표 색상 계산부는,
    상기 분류된 레이어들을 구성하는 픽셀을 밝기(lightness), 채도(chroma), 및 색상(hue)로 구성된 색공간으로 변환하여 대표 색상을 계산하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 대표 색상 계산부는,
    상기 분류된 레이어에 포함된 복수의 픽셀을 파장 대역에 따라 분류하여, 가장 많은 픽셀이 포함된 파장 대역의 색상을 상기 대표 색상으로 계산하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 색체 입체시 모델링부는,
    상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스를 추출하는 클래스 추출부 및
    상기 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 미들 레이어와 상기 백그라운드 레이어의 밝기와 채도를 제어하는 레이어 랜더링부
    를 포함하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 색 온도 처리부는,
    상기 분류된 레이어들을 구성하는 픽셀의 색공간을 R G B 색공간으로 변환한 후, XYZ 색공간으로 변환하는 XYZ 변환부;
    상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 포 그라운드 레이어 및 상기 미들 레이어의 색 온도를 이동시킬 지 여부를 판단하는 특성 추출부;
    상기 색 온도가 이동하는 경우, 상기 포 그라운드 레이어와 상기 미들 레이어에 대한 색 온도의 이동 범위인 계수를 계산하는 계수 계산부;
    상기 계수를 상기 포 그라운드 레이어와 상기 미들 레이어의 R, G, B 값에 적용하는 색 온도 매핑부 및
    상기 색 온도 매핑부에서 변경된 픽셀을 X, Y, Z에서 R, G, B로 변환하는 RGB 변환부
    를 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 특성 추출부는,
    상기 백그라운드 레이어의 평균 밝기 값이 일정 값 이상인 경우, 상기 포 그라운드 레이어의 색 온도를 장파장 계열로 이동시키고,
    상기 백그라운드 레이어의 평균 밝기 값이 일정 값 미만인 경우, 상기 포 그라운드 레이어의 색 온도를 단파장 계열로 이동시키는 것을 특징으로 하는 영상 처리 장치.
  8. 입력된 깊이 영상을 포 그라운드 레이어(ForeGround Layer), 미들 레이어(Middle Layer), 백그라운드 레이어(Background Layer)로 분류하는 단계;
    상기 분류된 레이어들 각각의 대표 색상을 계산하는 단계;
    상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 미들 레이어와 상기 백그라운드 레이어의 색체 입체시를 렌더링하는 단계; 및
    상기 대표 색상과 상기 백그라운드 레이어의 밝기에 기초하여 상기 포 그라운드 레이어와 상기 미들 레이어의 색 온도를 제어하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    양안 시차의 크기를 조절함으로써, 상기 깊이 영상의 깊이감을 조정하는 단계
    를 더 포함하고,
    상기 분류하는 단계는,
    상기 깊이감이 조정된 깊이 영상에 대해 포 그라운드 레이어, 미들 레이어, 백그라운드 레이어로 분류하는 것을 특징으로 하는 영상 처리 방법.
  10. 제8항에 있어서,
    상기 대표 색상을 계산하는 단계는,
    상기 분류된 레이어들을 구성하는 픽셀을 밝기(lightness), 채도(chroma), 및 색상(hue)로 구성된 색공간으로 변환하여 대표 색상을 계산하는 것을 특징으로 하는 영상 처리 방법.
  11. 제8항에 있어서,
    상기 대표 색상을 계산하는 단계는,
    상기 분류된 레이어에 포함된 복수의 픽셀을 파장 대역에 따라 분류하여, 가장 많은 픽셀이 포함된 파장 대역의 색상을 상기 대표 색상으로 계산하는 것을 특징으로 하는 영상 처리 방법.
  12. 제8항에 있어서,
    상기 색체 입체시를 렌더링하는 단계는,
    상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스를 추출하는 단계 및
    상기 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 미들 레이어와 상기 백그라운드 레이어의 밝기와 채도를 제어하는 단계
    를 포함하는 영상 처리 방법.
  13. 제8항에 있어서,
    상기 색 온도를 제어하는 단계는,
    상기 분류된 레이어들을 구성하는 픽셀의 색공간을 R G B 색 공간으로 변환한 후, XYZ 색공간으로 변환하는 단계;
    상기 분류된 레이어들 각각의 대표 색상의 조합으로 생성된 클래스와 상기 백그라운드 레이어의 평균 밝기 값을 이용하여 상기 포 그라운드 레이어 및 상기 미들 레이어의 색 온도를 이동시킬 지 여부를 판단하는 단계;
    상기 색 온도가 이동하는 경우, 상기 포 그라운드 레이어와 상기 미들 레이어에 대한 색 온도의 이동 범위인 계수를 계산하는 단계;
    상기 계수를 상기 포 그라운드 레이어와 상기 미들 레이어의 R, G, B 값에 적용하는 단계 및
    상기 적용하는 단계에서 변경된 픽셀을 X, Y, Z에서 R, G, B로 변환하는 단계
    를 포함하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 판단하는 단계는,
    상기 백그라운드 레이어의 평균 밝기 값이 일정 값 이상인 경우, 상기 포 그라운드 레이어의 색 온도를 장파장 계열로 이동시키고,
    상기 백그라운드 레이어의 평균 밝기 값이 일정 값 미만인 경우, 상기 포 그라운드 레이어의 색 온도를 단파장 계열로 이동시키는 것을 특징으로 하는 영상 처리 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020090109153A 2009-11-12 2009-11-12 깊이감 인지 향상을 위한 영상 처리 장치 및 방법 KR101636537B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090109153A KR101636537B1 (ko) 2009-11-12 2009-11-12 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
US12/926,010 US8605105B2 (en) 2009-11-12 2010-10-20 Image processing apparatus and method for enhancing depth perception

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090109153A KR101636537B1 (ko) 2009-11-12 2009-11-12 깊이감 인지 향상을 위한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110052207A KR20110052207A (ko) 2011-05-18
KR101636537B1 true KR101636537B1 (ko) 2016-07-06

Family

ID=43973832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090109153A KR101636537B1 (ko) 2009-11-12 2009-11-12 깊이감 인지 향상을 위한 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US8605105B2 (ko)
KR (1) KR101636537B1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009903B2 (en) * 2006-06-29 2011-08-30 Panasonic Corporation Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US9349183B1 (en) * 2006-12-28 2016-05-24 David Byron Douglas Method and apparatus for three dimensional viewing of images
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
CN103098459B (zh) * 2010-09-22 2016-11-09 富士胶片株式会社 立体摄像装置及阴影校正方法
US8675957B2 (en) * 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
KR20120067879A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 삼차원 영상 표시 장치 및 그 표시 방법
US20120212477A1 (en) * 2011-02-18 2012-08-23 Intergraph Technologies Company Fast Haze Removal and Three Dimensional Depth Calculation
WO2012153726A1 (ja) 2011-05-11 2012-11-15 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体
US20120293489A1 (en) * 2011-05-20 2012-11-22 Himax Technologies Limited Nonlinear depth remapping system and method thereof
KR101803571B1 (ko) * 2011-06-17 2017-11-30 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
TWI496452B (zh) * 2011-07-29 2015-08-11 Wistron Corp 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
KR101917764B1 (ko) 2011-09-08 2018-11-14 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
KR101960844B1 (ko) 2011-11-01 2019-03-22 삼성전자주식회사 영상 처리 장치 및 방법
JP6202856B2 (ja) * 2012-06-21 2017-09-27 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9106908B2 (en) * 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
KR101470693B1 (ko) * 2012-07-31 2014-12-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
KR101901184B1 (ko) * 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
CN102883174B (zh) * 2012-10-10 2015-03-11 彩虹集团公司 一种2d转3d的方法
US9721292B2 (en) 2012-12-21 2017-08-01 Ebay Inc. System and method for image quality scoring
RU2013109063A (ru) * 2013-02-28 2014-09-10 ЭлЭсАй Корпорейшн Процессор изображения с многоканальным интерфейсом между уровнем предварительной обработки и одним или несколькими более высокими уровнями
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
GB2524478A (en) * 2014-03-20 2015-09-30 Nokia Technologies Oy Method, apparatus and computer program product for filtering of media content
KR20160074810A (ko) 2014-12-18 2016-06-29 삼성디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
KR20170025058A (ko) 2015-08-27 2017-03-08 삼성전자주식회사 영상 처리 장치 및 이를 포함하는 전자 시스템
WO2018058690A1 (zh) 2016-09-30 2018-04-05 华为技术有限公司 一种矩形框边缘的显示方法及终端
EP3680853A4 (en) * 2017-09-11 2020-11-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING PROCESS AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE INFORMATION MEDIA
US11222105B2 (en) * 2018-12-12 2022-01-11 International Business Machines Corporation Graphic color-based authentication
CN113613897B (zh) 2019-03-26 2023-05-12 琳得科株式会社 剥离片
KR20210146894A (ko) 2019-03-26 2021-12-06 린텍 가부시키가이샤 박리 시트
KR20210145132A (ko) 2019-03-26 2021-12-01 린텍 가부시키가이샤 박리 시트
KR102267442B1 (ko) * 2019-10-07 2021-06-22 계명대학교 산학협력단 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006024206A (ja) 2004-06-28 2006-01-26 Microsoft Corp シーンの２レイヤ３ｄ表現を生成するシステムおよび処理
US7010163B1 (en) 2001-04-20 2006-03-07 Shell & Slate Software Method and apparatus for processing image data
JP2006106989A (ja) 2004-10-01 2006-04-20 Sharp Corp 画像合成装置、電子機器、画像合成方法、制御プログラムおよび可読記録媒体
JP2006211386A (ja) 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 立体画像処理装置、立体画像表示装置、及び立体画像生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612835B1 (ko) * 2002-12-12 2006-08-18 삼성전자주식회사 영상의 색 특성에 관한 사용자 선호성 데이터 생성 방법및 장치와 이를 이용한 영상 색선호특성 변환 방법 및 장치
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010163B1 (en) 2001-04-20 2006-03-07 Shell & Slate Software Method and apparatus for processing image data
JP2006024206A (ja) 2004-06-28 2006-01-26 Microsoft Corp シーンの２レイヤ３ｄ表現を生成するシステムおよび処理
JP2006106989A (ja) 2004-10-01 2006-04-20 Sharp Corp 画像合成装置、電子機器、画像合成方法、制御プログラムおよび可読記録媒体
JP2006211386A (ja) 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 立体画像処理装置、立体画像表示装置、及び立体画像生成方法

Also Published As

Publication number Publication date
US8605105B2 (en) 2013-12-10
US20110109620A1 (en) 2011-05-12
KR20110052207A (ko) 2011-05-18

Similar Documents

Publication Publication Date Title
KR101636537B1 (ko) 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
KR101502598B1 (ko) 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
CN101583040B (zh) 使用空间频率分析将压缩图像处理为域映射图像的方法
KR100834762B1 (ko) 이 기종간 색역 사상 방법 및 장치
KR101348369B1 (ko) 디스플레이 장치의 색 변환 방법 및 장치
CN108781246B (zh) 用于动态范围映射的饱和度处理指定
CN105915909B (zh) 一种高动态范围图像分层压缩方法
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
JPH11341296A (ja) 色域変換方法及び色域変換装置
US7286702B2 (en) Color image processing method, color image processor, color display, computer program for implementing the color image processing method
JP2004192614A (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
EP3087725B1 (en) Method of mapping source colors of images of a video content into the target color gamut of a target color device
JP2007329902A (ja) 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
Šikudová et al. A gamut-mapping framework for color-accurate reproduction of HDR images
US8570341B1 (en) Method and system for enhancing color saturation
US8331665B2 (en) Method of electronic color image saturation processing
Chae et al. A tone compression model for the compensation of white point shift generated from HDR rendering
McAllister et al. Methods for computing color anaglyphs
Doutre et al. Optimized contrast reduction for crosstalk cancellation in 3D displays
KR20160007319A (ko) 전자 장치 및 이의 제어 방법
KR101805621B1 (ko) 입력 영상의 채도 향상 장치 및 방법
Kumar et al. Grey level to RGB using YCbCr color space Technique
EP3942790B1 (en) Camera color image processing
WO2013045468A1 (en) Adaptive colorspace conversion for 3d steroscopic disparity estimation
Dalton Visually optimized color-image enhancement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4