KR20170017911A

KR20170017911A - 디지털 이미지들의 컬러 프로세싱을 위한 방법들 및 시스템들

Info

Publication number: KR20170017911A
Application number: KR1020167034626A
Authority: KR
Inventors: 크리스뗄 샤마레; 드미트리 꾸조프킨; 타니아 뽀테이니 뿔리
Original assignee: 톰슨 라이센싱
Priority date: 2014-06-12
Filing date: 2015-06-11
Publication date: 2017-02-15
Also published as: WO2015189343A1; CN106462986A; JP2017517818A; US20170116765A1; US10204432B2; EP3155593B1; EP3155593A1

Abstract

디지털 이미지들을 리-컬러하는 시스템들 및 방법들이 개시된다. 프로세서 및 메모리를 포함하는 시스템은, 제1 이미지, 예를 들어, 원본 그레이스케일 이미지의 휘도 정보를 획득하고(901), 제2 이미지, 원본 그레이스케일 이미지의 컬러화된 이미지의 컬러 정보를 획득하기(902) 위해 저장된 명령어들을 실행할 수 있다. 다수의 세그먼트화된 이미지 영역들은 제1 이미지의 휘도 정보에 기초하여 결정될 수 있다(903). 각각의 세그먼트화된 이미지 영역에 대한 컬러 시드는 제2 이미지의 컬러 정보에 기초하여 결정될 수 있다(904). 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지, 예를 들어, 리-컬러된 이미지가 결정될 수 있다(905).

Description

디지털 이미지들의 컬러 프로세싱을 위한 방법들 및 시스템들{METHODS AND SYSTEMS FOR COLOR PROCESSING OF DIGITAL IMAGES}

본 개시내용은 일반적으로 디지털 이미지들의 컬러 프로세싱을 위한 방법들 및 시스템들에 관한 것으로, 보다 구체적으로는, 이전의 이미지 프로세싱을 거친 디지털 이미지들을 리-컬러(re-color)하는 시스템 및 방법에 관한 것이다.

그레이스케일 이미지들의 컬러화 및 컬러 이미지들의 리-컬러링을 위한 종래의 프로세스들은 결과 이미지에서의 시각적 아티팩트들을 초래할 수 있다. 예를 들어, 종래의 컬러화 프로세스들, 특히 컬러 전환 및 컬러 조화와 같은 자동 컬러 이미지 프로세싱/매핑 방법은, 컬러 및/또는 휘도 값들이 원본 이미지에서 부드럽게 변하는 영역들에서 컬러 불일치를 초래할 수 있다. 따라서, 원본 이미지에 존재하지 않는 강한 인위적인 컬러 가장자리들이 결과 이미지에 생성될 수 있다. 또한 컬러를 직접 수정하지 않는 다른 종류의 이미지 프로세싱은 이미지의 컬러에 영향을 주는 시각적 아티팩트들을 또한 초래할 수 있다.

종래의 컬러화, 리-컬러링, 또는 이미지 컬러에 영향을 주는 다른 이미지 프로세싱을 거친 이미지들에서의 시각적 아티팩트들을 제거하거나 감소시킬 수 있는 디지털 이미지 리-컬러링을 위한 다양한 시스템들 및 방법들이 본 명세서에 설명된다. 예를 들어, 원본 그레이스케일 이미지(또는 원본 컬러 이미지)는 컬러화된 이미지(또는 리-컬러된 이미지)를 야기하는 컬러화 프로세스(또는 리-컬러 프로세스)를 거칠 수 있다. 다양한 실시예들에서, 제1 이미지(예를 들어, 원본 그레이스케일 또는 컬러 이미지)의 휘도 정보가 획득될 수 있고, 제2 이미지(예를 들어, 제1 이미지의 이미지 프로세싱 결과인 컬러 또는 리-컬러된 이미지)의 컬러 정보가 획득될 수 있다. 제1 이미지의 휘도 정보에 기초하여 다수의 세그먼트화된 이미지 영역들이 결정될 수 있다. 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드가 결정될 수 있다. 컬러 시드들은, 예를 들어, 제2 이미지(예를 들어, 컬러화되거나 또는 리-컬러된 이미지)에서의 세그먼트화된 이미지 영역의 지배적인 컬러를 나타낼 수 있다. 세그먼트화된 이미지 영역의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지(예를 들어, 컬러-정정된 이미지)가 결정될 수 있다. 이러한 관점에서, 다양한 실시예들은 임의의 컬러 이미지 프로세싱 방법의 시각적 품질을 개선하기 위한 사후-프로세싱으로서 구현될 수 있는 정규화 방법으로서 간주될 수 있다. 이러한 방식으로, 예를 들어, 컬러화, 리-컬러링, 또는 다른 이미지 프로세싱 결과인 시각적 아티팩트들이 감소되거나 제거될 수 있다.

도 1은 다양한 실시예들에 따른 이미지 수집 디바이스의 블록도이다.
도 2는 다양한 실시예들에 따른 방법의 예의 흐름도이다.
도 3은 다양한 실시예들에 따라 컬러화될 입력 그레이스케일 이미지의 도해이다.
도 4는 다양한 실시예들에 따라 그레이스케일 이미지를 세그먼트화한 결과인 세그먼트화된 이미지 영역들을 포함하는 세그먼트화된 이미지를 도시한다.
도 5는 다양한 실시예들에 따라 각각의 세그먼트화된 이미지 영역에 대해 결정되는 형태 골격을 포함하는 세그먼트화된 이미지를 도시하는 개념도이다.
도 6은 다양한 실시예들에 따른 컬러 시드된 형태 골격들을 도시하는 개념도이다.
도 7은 다양한 실시예들에 따른 컬러 시드된 형태 골격들로부터의 컬러 확산을 도시하는 개념도이다.
도 8은 다양한 실시예들에 따른 입력 그레이스케일 이미지의 컬러화된 이미지의 개념도이다.
도 9는 다양한 실시예들에 따른 다른 방법의 예의 흐름도이다.
도 10a-b는 다양한 실시예들에 따라 원본 그레이스케일 이미지의 컬러화된 이미지를 리-컬러하는 도 9의 방법의 구현의 예의 개념도를 도시한다.
도 11은 다양한 실시예들에 따른 장치의 다른 예를 도시한다.
도면들은 본 개시내용의 개념들을 설명하기 위한 것이며, 반드시 본 개시내용을 도해하기 위해 가능한 구성들만은 아니라는 점이 이해되어야 한다.

그레이스케일 이미지들의 컬러화, 컬러 이미지들의 리-컬러링, 및 다른 종류의 이미지 프로세싱을 위한 프로세스들은 결과 이미지들의 컬러에 시각적 아티팩트들을 초래할 수 있다. 시각적 아티팩트들이 더 적거나 없는 결과 이미지들을 초래할 수 있는 컬러링 및 리-컬러링을 위한 다양한 시스템들 및 방법들이 본 명세서에 설명된다. 다양한 실시예들에서, 이러한 기술들은 디지털 이미지들의 컬러화 및/또는 리-컬러링을 위한 독립형 방법들로서 사용될 수 있다. 다양한 실시예들에서, 이러한 기술들은 다른 컬러화 또는 리-컬러링 프로세스들로부터 초래될 수 있는 시각적 아티팩트들을 정정하는 것을 돕는 사후-프로세싱으로서 구현될 수 있다. 일부 종래의 방법들은, 예를 들어, 컬러 및/또는 휘도 값들이 원본 이미지에서 부드럽게 변하는 영역들에서 컬러 불일치를 초래할 수 있다. 따라서, 원본 이미지에 존재하지 않는 강한 인위적인 컬러 가장자리들이 결과 이미지에 생성될 수 있다. 이러한 관점에서, 다양한 실시예들은 임의의 컬러 이미지 프로세싱 방법의 시각적 품질을 개선하기 위한 사후-프로세싱 기술로서 간주될 수 있는 정규화 방법으로서 구현될 수 있다. 컬러 전환, 컬러 조화 등과 같은 알고리즘들이 먼저 사용될 수 있으며, 본 명세서에 설명되는 기술들을 구현하는 프로세스들이 사후-프로세싱으로서 이후에 적용될 수 있다.

본 명세서에 설명되는 기술들은, 이미지 프로세싱 소프트웨어를 실행하는 퍼스널 컴퓨터, 이미지 프로세싱 기능성을 포함하는 이미지 수집 디바이스, 예를 들어, 카메라, 비디오 카메라 등, 스마트 폰, 태블릿 컴퓨터 등과 같은, 이미지 프로세싱을 수행할 수 있는 임의의 종류의 디바이스에서 구현될 수 있다. 예를 들어, 도 1은 다양한 실시예들에 따른 이미지 수집 디바이스(100)의 블록도이다. 도 1에서, 장면으로부터 반사되는 광(102)은 광학 엘리먼트들(104)에 의해 수집되고 포커싱될 수 있다. 포커싱된 광(106)은, 예를 들어, 전하 결합 디바이스 또는 다른 종류의 광 검출 시스템일 수 있는 검출기(108) 상에 투영될 수 있다. 포커싱된 광(106)은 검출기(108)에 의해 전기 신호로 변환될 수 있고, 신호 라인들(110)을 통해 검출기 제어기(112)에 전송될 수 있다. 검출기 제어기(112)에서는, 검출기(108)로부터의 개별 신호가 디지털 이미지로 변환될 수 있다. 다음으로, 디지털 이미지는 추가 프로세싱을 위해 버스(116)를 통해서 프로세서(114)에 의해 RAM(random access memory)(118)에 전송될 수 있다. RAM(118)은 DRAM(dynamic RAM), SRAM(static RAM), 플래시 메모리 모듈, 또는 다른 종류의 컴퓨터 메모리일 수 있다.

광학 엘리먼트들(104)는 광학 엘리먼트들(104)이 프로세서(114)에 의해 제어되게 하도록 버스(116)에 접속될 수 있다. 예를 들어, 프로세서(114)는 버스(116)를 통해 광학 엘리먼트들(104)의 포커스, 정지, 또는 다른 특성들을 조절할 수 있다.

프로세서(114)는 버스(116)로부터 액세스가능할 수 있는 ROM(read only memory)(120)에 포함되는 이미지 수집 및 프로세싱 프로그램에 의해 제어될 수 있다. 프로그램들이 ROM 내에 있어야 하는 것은 아니며, 다른 것들 중에서, 디스크 드라이브, 플래시 카드, 또는 EEPROM(electrically erasable programmable read only memory)와 같은, 임의 종류의 장기 메모리에 포함될 수 있다. 일반적으로, ROM (120) 내의 프로그램은 도 2-10에 대하여 논의되는 이미지 컬러링, 리-컬러링, 및 컬러 정정 프로시저들을 포함할 수 있다.

디지털 이미지는, 디지털 비디오 테이프, 기록가능한 광학 디스크, 하드 드라이브 등과 같은, 별개의 디지털 이미지 스토리지(122)에 프로세싱 이전에 또는 이후에 저장될 수 있다. 디지털 이미지 스토리지(122)는 또한 프로그램 스토리지와 조합될 수 있다. 예를 들어, 디스크 드라이브는 프로그램들 및 디지털 이미지들 양자 모두를 저장하는데 사용될 수 있다.

이미지들은 버스(116)에 접속될 수 있는 디스플레이 유닛(124) 상에 디스플레이될 수 있다. 프로세서(114)에 의한 이미지들의 수집 및 프로세싱을 제어하는 제어부(126) 또한 버스(116)에 접속될 수 있다. 이러한 제어부(126)는 키패드들, 선택 노브들, 및 주밍, 포커싱, 이미지들의 수집 시작 등과 같은 기능들을 위한 별개의 버튼들을 포함할 수 있다.

이미지들은 버스(116)에 접속될 수 있는 NIC(network interface controller)(128)를 통해 이미지 수집 디바이스(100)로부터 전송될 수 있다. NIC(128)는 외부 LAN(local area network)(130)에 접속될 수 있는데, 이는 이미지들을 LAN(130) 상에 위치되는 외부 디바이스(132)에 전송하는데 사용될 수 있다.

위에 제시되는 기능 블록들의 배열은 단지 하나의 가능한 배열이며, 임의의 수의 다른 배열들이 사용될 수 있다. 예를 들어, NIC(128)는 디지털 수집 디바이스의 RAM(118)으로의 및 이로부터의 직접 메모리 액세스, 또는 DMA 전송들이 발생하는 것을 하도록 RAM(118)의 영역에 직접 연결될 수 있다. 이것은 고 화질 디지털 비디오 카메라에서와 같이 다량의 데이터가 관련될 때 데이터 전송들을 가속화할 수 있다. 또한, 다른 배열들에서 제어부(126) 및 디스플레이(128)는 단일 유닛으로 조합될 수 있다. 또 다른 조합들에서, 디스플레이(128)는 프로세서(114)로부터 디스플레이 기능을 오프 로드하도록 검출기 제어기(112)에 직접 접속될 수 있다.

도 2는 다양한 실시예들에 따른 방법의 예의 흐름도이다. 일부 실시예들에서, 본 방법은 그레이스케일 이미지들을 컬러화하도록 구현될 수 있다. 일부 실시예들에서, 본 방법은 컬러 이미지를 리-컬러하도록 구현될 수 있다. 마찬가지로, 일부 실시예들에서, 본 방법은 다른 컬러화 또는 리-컬러링 프로세스들로부터 초래될 수 있는 시각적 아티팩트들을 정정하는 것을 돕는 사후-프로세싱 단계로서 사용될 수 있다. 도 3-8은 다양한 실시예들에 따라 그레이스케일 이미지들을 컬러화하는 도 2의 방법의 구현 예를 도시하는 개념도들이다. 이하의 도 2의 방법의 설명 동안, 도 3-8은 도 2의 방법이 하나의 특정 실시예에 따라 어떻게 구현될 수 있는지를 도시하기 위해 참조될 것이다.

도 2를 참조하면, 프로세싱될 이미지(예를 들어, 컬러화될 그레이스케일 이미지 또는 리-컬러될 컬러 이미지)는, 예를 들어, 이미지 수집 디바이스(100)의 디지털 이미지 스토리지(122)와 같은, 이미지 프로세싱 디바이스의 메모리로부터 획득될 수 있다. 예를 들어, 도 3은 컬러화될 입력 그레이스케일 이미지(300)의 도해이다. 이러한 이미지는 세그먼트화된 이미지 영역을 획득하도록 세그먼트화될 수 있다(201). 예를 들어, 도 4는 그레이스케일 이미지(300)를 세그먼트화한 결과인 세그먼트화된 이미지 영역들(401)을 포함하는 세그먼트화된 이미지(400)를 도시한다.

세그먼트화는 슈퍼픽셀 세그먼트화를 포함할 수 있는데, 이는 픽셀들을 인지적으로 의미있는 영역들로 그룹화하여 일관된 영역들을 추정할 수 있다. 픽셀 그룹화들은 이미지 리던던시를 캡처할 수 있고, 그로부터 이미지 피처들을 계산할 수 있는 편리한 프리미티브를 제공할 수 있으며, 후속 이미지 프로세싱 태스크들의 복잡성을 감소시킬 수 있다. 일부 경우들에서, 슈퍼픽셀 알고리즘은, 자체로, 과다-세그먼트화 또는 과소-세그먼트화를 생성할 수 있는데, 이는 추가적 컬러 아티팩트들로 이어질 수 있다. 다양한 실시예들에서, 세그먼트화는 추가적인 아티팩트들의 생성을 완화할 수 있는 수정된 슈퍼픽셀 세그먼트화를 포함할 수 있다. 수정된 슈퍼픽셀 세그먼트화는 이미지를 과다-세그먼트화는 것, 및 다음으로 공간적으로 가깝고 유사한 통계(예를 들어, 유사한 휘도 평균 및 분산)를 갖는 슈퍼픽셀들을 병합하는 것을 포함할 수 있다. 예를 들어, 슈퍼픽셀 알고리즘이 적용된 이후, 인접 슈퍼 픽셀들 S1 및 S2는 다음과 같은 경우 병합될 수 있다:

여기서, μ _S2 , μ _S1 및 σ _S2 , σ _S1 은, 각각, 고려되는 슈퍼픽셀들의 평균 및 분산이다. T는 임계값인데, 2.5로 설정될 수 있다.

슈퍼픽셀 세그먼트화는 사용될 수 있는 세그먼트화의 한 종류에 불과하다는 점이 주목되어야 한다. 그러나, 관련분야의 숙련된 자가 쉽게 이해할 듯이, 이미지들을 세그먼트화하는 다른 방법들이 구현될 수 있다. 다양한 실시예들에서, 세그먼트화는 휘도 정보, 예를 들어, 그레이스케일 이미지(300)와 같은 컬러화될 입력 이미지의 휘도 성분들에 기초할 수 있다. 컬러 이미지가 리-컬러될(예를 들어, 컬러화 프로세스에 의해 초래되는 아티팩트들을 제거할) 일부 실시예들에서는, 세그먼트화가 컬러 이미지 자체의 휘도 정보에 기초할 수 있지만, 다른 실시예들에서는, 컬러화된 이미지를 얻기 위해 컬러화된 원본 그레이스케일 이미지의 휘도 정보에 기초할 수 있다(원본 그레이스케일 이미지의 휘도 정보가 획득되는 경우).

다양한 실시예들에서, 도 2 및 도 3-8의 방법들은 이미지들이 겪었을 수 있는 임의의 이전의 이미지 프로세싱과 무관하게, 즉, 임의의 이전의 이미지 프로세싱과 독립적으로 그레이스케일 및 컬러 이미지들에 적용될 수 있다. 다양한 실시예들에서, 이러한 방법들은 이전의 이미지 프로세싱으로부터 초래될 수 있는 아티팩트들을 정정하는 이미지들의 사후-프로세싱에 사용될 수 있다.

이미지가 세그먼트화된 이후에, 각각의 세그먼트화된 이미지 영역에 대해 형태 골격(예를 들어, 중간 축 표현)이 결정될 수 있다(202). 달리 말하면, 세그먼트화된 이미지 영역들은 형태 골격들을 결정하기 위한 기초를 제공할 수 있다. 형태 골격들은 컬러 확산 프로세스에서 컬러에 대한 시작 위치들로서 사용될 수 있다. 형태 골격들은 다른 종류의 획들을 사용하거나 시작 위치들에 대한 포인트들을 사용하는 것에 비해 더 우수한 컬러 확산 결과들을 제공할 수 있다. 특히, 형태 골격들은 세그먼트화된 이미지 영역들을 더 우수하게 확장시킬 수 있어, 세그먼트화된 이미지 영역들 전반적으로 보다 균일하게 컬러가 확산될 수 있다. 이는, 특히 각각의 세그먼트화된 이미지 영역 내의 단일 포인트가 시작 위치로서 사용될 때, 세그먼트화된 이미지 영역들의 가장자리들 근처에서 발생할 수 있는 바람직하지 않은 불포화를 감소시킬 수 있다.

도 5는 각각의 세그먼트화된 이미지 영역(401)에 대해 결정되는 형태 골격(501)을 포함하는 세그먼트화된 이미지를 보여주는 개념도(500)이다.

컬러는 각각의 형태 골격과 관련될 수 있다(203). 달리 말하면, 각각의 형태 골격은 컬러로 시드될 수 있다. 다양한 실시예들에서, 각각의 형태 골격과 관련되는 컬러는, 예를 들어, 리-컬러될 입력 컬러 이미지, 컬러 템플릿 이미지, 사용자 입력 등에 기초할 수 있다.

위에 설명된 바와 같이, 세그먼트화된 이미지 영역들은 형태 골격들을 결정하기 위한 기초를 제공할 수 있다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들은 또한 형태 골격과 관련되는 컬러들을 결정하기 위한 기초를 제공할 수 있다. 예를 들어, 입력 컬러 이미지를 리-컬러링하는 것에 관한 다양한 실시예들에서, 각각의 형태 골격과 관련시킬 컬러는 다양한 방식들로 결정될 수 있다. 예를 들어, 일부 실시예들에서, 각각의 형태 골격과 관련되는 컬러는 입력 컬러 이미지에서 세그먼트화된 이미지 영역에서의 컬러에 기초할 수 있다. 예를 들어, 각각의 형태 골격과 컬러를 관련시키는 것은 입력 컬러 이미지에서 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 것을 포함할 수 있다. 다양한 실시예들에서, 각각의 형태 골격과 관련되는 컬러는 입력 컬러 이미지에서 세그먼트화된 이미지 영역의 평균 컬러, 중간 컬러 등에 기초하여 결정될 수 있다. 각각의 형태 골격과 관련시킬 컬러를 결정하는 다른 방식들은, 관련분야에 숙련된 자가 쉽게 이해할 듯이, 예를 들어, 입력 컬러 이미지에서 색조들을 클러스터링하는 것, 및, 다양한 투표 방식들 중 하나 이상을 사용하여, 각각의 세그먼트화된 이미지 영역에 가장 가까운 색조를 할당하는 것 등을 포함할 수 있다.

입력 그레이스케일 이미지를 컬러화하는 것에 관한 다양한 실시예들에서, 각각의 형태 골격과 관련시킬 컬러는 다양한 방식들로 결정될 수 있다. 예를 들어, 일부 실시예들에서, 세그먼트화된 이미지 영역들의 경계들을 나타내는 입력 그레이스케일 이미지가 사용자에게 디스플레이될 수 있고, 사용자는 각각의 세그먼트화된 이미지 영역에 대해 원하는 컬러를 입력할 수 있다. 원하는 컬러들은 대응하는 형태 골격들과 관련될 수 있다. 다른 실시예들에서, 컬러 이미지는 형태 골격들과 관련되는 컬러들을 결정하기 위한 템플릿으로서 사용될 수 있다. 예를 들어, 컬러 템플릿 이미지도 마찬가지로 세그먼트화될 수 있고, 컬러 템플릿 이미지의 세그먼트화된 이미지 영역들은, 예를 들어, 텍스처-맵핑 등에 기초하여, 입력 그레이스케일 이미지의 세그먼트화된 이미지 영역들과 매칭될 수 있다. 예를 들어, 입력 그레이스케일 이미지에서 세그먼트화된 이미지 영역과 매칭되는 컬러 템플릿 이미지에서의 세그먼트화 이미지 영역의 가장 빈번한 컬러, 평균 컬러, 중간 컬러 등에 기초하여 컬러들이 형태 골격들과 관련될 수 있다.

도 6은 컬러를 형태 골격(501)과 관련시킴으로써 얻어지는 컬러 시드된 골격(601)을 도시하는 개념도(600)이다.

컬러는 각각의 형태 골격으로부터 확산될 수 있다(204). 다양한 실시예들에서, 형태 골격들로부터의 컬러 확산은, 예를 들어, 근처 픽셀들의 휘도를 고려할 수 있는, Levin의 알고리즘에 기초할 수 있어, 휘도가 유사하면, 그 컬러는 근처 픽셀로 확산되고, 휘도가 유사하지 않으면, 그 컬러는 확산되지 않는다. 임의의 주어진 픽셀에서, 하나의 형태 골격으로부터의 컬러 확산은 하나 이상의 다른 형태 골격들로부터의 컬러 확산과 잠재적으로 중첩될 수 있다. 이러한 경우들에서는, 픽셀에 할당되는 최종 컬러를 결정하는 다양한 방법들이 사용될 수 있다. 다양한 실시예들에서, 예를 들어, 각각의 형태 골격으로부터 확산된 컬러에 대해 신뢰도 값이 결정될 수 있다. 신뢰도 값들은 비교될 수 있으며, 최고 신뢰도 값을 갖는 확산된 컬러가 픽셀에 할당할 수 있다. 다른 실시예들에서, 각각의 형태 골격으로부터 확산된 컬러에 대해 가중치가 결정될 수 있고, 확산된 컬러들은 픽셀에 할당되는 최종 컬러 값을 획득하기 위해 가중치들에 기초하여 조합될 수 있다. 다양한 실시예들에서, 가중치들 및/또는 신뢰도 레벨들은, 예를 들어, 형태 골격으로부터의 거리, 형태 골격 크기, 중첩하는 확산된 컬러들 사이의 차이들 등을 포함하는 인자들에 기초할 수 있다. 관련분야에 숙련된 자가 쉽게 이해할 듯이, 텍스처, 경계들 등을 고려하는 방법들과 같은, 컬러를 확산시키는 다른 방법들이 사용될 수 있다.

도 7은 컬러 시드된 형태 골격들(601)로부터의 컬러 확산을 보여주는 개념도(700)이다. 컬러 확산은 컬러 시드된 형태 골격들로부터 연장되는 작은 화살표들로 도시된다. 명료함을 위해, 컬러 확산은 컬러 시드된 형태 골격들의 일부에 대해서만 도시되지만, 컬러 시드된 형태 골격들 모두로부터 컬러가 확산된다는 점이 이해되어야 한다.

확산된 컬러에 기초하여 컬러 이미지가 획득될 수 있다(205). 예를 들어, 다양한 실시예들에서 컬러 이미지는 컬러 확산의 직접적인 결과일 수 있다. 일부 실시예들에서는, 최종 컬러 이미지를 획득하기 위해 다른 프로세싱이 컬러 확산의 결과에 적용될 수 있다. 다른 프로세싱은, 예를 들어, 감마 보정, 채도 조정 등을 포함할 수 있다. 도 8은 컬러 시드된 형태 골격들(601)의 컬러 확산의 결과일 수 있는 입력 그레이스케일 이미지(300)의 컬러화된 이미지(800)의 개념도이다.

도 9는 다양한 실시예들에 따른 다른 방법의 예의 흐름도이다. 본 방법은, 예를 들어, 다른 컬러링 또는 리-컬러링 프로세스의 결과일 수 있는 시각적 아티팩트들을 보정하는데 도움이 되는 사후-프로세싱 단계로서, 컬러 이미지를 리-컬러하도록 구현될 수 있다. 이러한 관점에서, 본 방법은, 컬러 전환, 컬러 조화, 그레이스케일 사진들의 컬러화 등과 같은, 자동 컬러 이미지 프로세싱/매핑 방법들에 의해 야기되는 통상적인 아티팩트를 감소시키거나 제거하는데 도움이 될 수 있다. 특히, 일부 종래의 이미지 프로세싱 방법들은 원본 사진에서 컬러 및/또는 휘도 값들이 매끄럽게 변하는 영역들에서 컬러 불일치를 초래할 수 있다. 예를 들어, 일부 종래의 컬러화 방법들은 원본 이미지에 존재하지 않는 공간 불규칙성들, 강한 인위적 컬러 가장자리들 등을 생성할 수 있다. 도 9의 방법은 임의의 컬러 이미지 프로세싱 방법의 시각적 품질을 개선하기 위한 사후-프로세싱으로서 구현될 수 있는 정규화 방법으로서 보여질 수 있다.

도 10a-b는 원본 그레이스케일 이미지의 컬러화된 이미지를 리-컬러하는 도 9의 방법의 구현의 예의 개념도를 도시한다. 이하 도 9의 방법의 설명 동안, 도 10a-b는 도 9의 방법이 하나의 특정 실시예에 따라 어떻게 구현될 수 있는지를 예시하기 위해 참조될 것이다.

도 9를 참조하면, 원본 이미지의 휘도 정보가 획득할 수 있다(901). 휘도 정보는, 예를 들어, 각 픽셀에서의 휘도 채널의 값들과 같은, 원본 이미지의 휘도 성분들을 포함할 수 있다. 수정된 이미지의 컬러 정보가 획득될 수 있다(902). 컬러 정보는, 예를 들어, 각 픽셀에서의 컬러 채널들의 값과 같은, 수정된 이미지의 컬러 성분들을 포함할 수 있다. 수정된 이미지는 원본 이미지의 이미지 프로세싱의 결과인 이미지일 수 있다. 다양한 실시예들에서, 수정된 이미지는 원본 그레이스케일 이미지의 컬러화된 버전일 수 있다. 예를 들어, 도 10a-b에 도시된 구현에서, 원본 그레이스케일 이미지(1000)는, 예를 들어, 종래의 컬러링 방법을 사용하여 컬러화되어, 컬러화된 이미지(1001)가 된다. 일부 실시예들에서, 수정된 이미지는 원본 컬러 이미지의 리-컬러된 버전일 수 있다.

세그먼트화된 이미지 영역들은 원본 이미지의 휘도 정보에 기초하여 결정될 수 있다(903). 도 2의 방법과 관련하여 위에 설명된 방법에서와 같이, 세그먼트화는 슈퍼픽셀 세그먼트화를 포함할 수 있다. 일부 경우들에서는 슈퍼픽셀 알고리즘, 자체로, 과다 세그먼트화 또는 과소 세그먼트화를 생성할 수 있는데, 이는 추가 컬러 아티팩트들에 이를 수 있다. 다양한 실시예들에서, 세그먼트화는 수정된 슈퍼픽셀 세그먼트화를 포함할 수 있는데, 이는 이미지를 과다 세그먼트화하고 다음으로 공간적으로 가깝고 유사한 통계(예를 들어, 유사한 휘도 평균 및 분산)를 갖는 슈퍼픽셀들을 병합하는 것을 포함할 수 있다. 예를 들어, 슈퍼픽셀 알고리즘이 적용된 후에, 인접한 슈퍼픽셀들 S1 및 S2는, 예를 들어, 수학식 1에 기초하여 병합될 수 있다. 슈퍼픽셀 세그먼트화가 세그먼트화의 하나의 방법으로서 본 명세서에 설명되지만, 관련분야의 숙련된 자가 쉽게 이해할 듯이, 이미지들을 세그먼트화하기 위한 다른 방법이 구현될 수 있다.

도 10a는 원본 그레이스케일 이미지(1000)로부터 휘도 정보(1003)가 획득될 수 있고, 휘도 정보에 기초하여 세그먼트화된 이미지 영역들(1005)이 결정될 수 있다는 것을 도시한다.

수정된 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드가 결정될 수 있다(904). 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 것은, 세그먼트화된 이미지 영역에 대응하는 형태 골격, 포인트 등과 같은 시작 위치를 결정하는 것, 및 형태 골격과 컬러를 관련시키는 것을 포함할 수 있으며, 관련되는 컬러는 수정된 이미지의 컬러 정보에 기초한다. 도 2의 방법과 관련하여 위에 설명된 기술들은, 예를 들어, 관련분야의 숙련된 자가 쉽게 이해할 듯이, 형태 골격들을 결정하고 형태 골격들을 컬러로 시드하는데 적용될 수 있다. 시작 위치들로서 포인트들 또는 다른 형상들을 결정하고 시작 위치들을 컬러로 시드하는 유사한 다른 기술들이 사용될 수 있다. 예를 들어, 각각의 시작 위치는 각각의 세그먼트화된 이미지 영역의 중심 포인트로서 결정될 수 있다.

도 10a는 각각의 세그먼트화된 이미지 영역에 대해 결정되는 시작 위치(1007)를 도시한다. 명료성을 위해, 시작 위치들(1007)은 도 10a에서 점들로서 도시된다. 그러나, 시작 위치들은, 예를 들어, 포인트들, 형태 골격들, 다른 스트로크들 등일 수 있다는 점이 이해되어야 한다. 컬러화된 이미지(1001)로부터 컬러 정보(1009)가 획득될 수 있고, 시작 위치들(1007)은 컬러 시드들(1011)을 획득하기 위해 컬러 정보에 기초하는 컬러로 시드될 수 있다.

세그먼트화된 이미지 영역들은 컬러 시드들의 컬러들을 결정하기 위한 기초를 제공할 수 있다는 점이 주목되어야 한다. 예를 들어, 다양한 실시예들에서, 각각의 형태 골격, 포인트 등과 관련되는 컬러는 수정된 이미지, 예를 들어, 도 10a-10b 예에서의 컬러화된 이미지에서의 세그먼트화된 이미지 영역의 컬러에 기초할 수 있다. 예를 들어, 각각의 형태 골격, 포인트 등과 컬러를 관련시키는 것은 수정된 이미지에서의 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 것을 포함할 수 있다. 다양한 실시예들에서, 각각의 형태 골격, 포인트 등과 관련되는 컬러는 수정된 이미지에서의 세그먼트화된 이미지 영역의 평균 컬러, 중간 컬러 등에 기초하여 결정될 수 있다. 각각의 형태 골격, 포인트 등과 관련시킬 컬러를 결정하는 다른 방식들은, 관련분야의 숙련된 자가 쉽게 이해할 듯이, 예를 들어, 수정된 이미지에서의 색조들을 클러스터링하고, 다양한 투표 방식들 중 하나 이상을 사용하여, 각각의 세그먼트화된 이미지 영역에 가장 가까운 색조를 할당하는 것 등을 포함할 수 있다.

리-컬러된 이미지는 컬러 시드들을 확산시키는 것에 기초하여 결정될 수 있다(905). 도 2를 참조하여 위에 설명된 바와 같이, 다양한 실시예들에서, 컬러 확산은, 예를 들어, 근처 픽셀들의 휘도를 고려할 수 있는, Levin의 알고리즘에 기초할 수 있어, 휘도가 유사하면, 그 컬러는 근처 픽셀로 확산되고, 휘도가 유사하지 않으면, 그 컬러는 확산되지 않는다. 이러한 경우, 각각의 픽셀의 휘도는, 원본 이미지에서의 픽셀들의, 휘도 성분들과 같은, 휘도 정보에 기초할 수 있다. 관련분야의 숙련된 자가 쉽게 이해할 것 같은, 텍스처, 경계들 등을 고려하는 방법과 같은, 컬러를 확산하는 다른 방법들이 사용될 수 있다. 컬러 성분들은 컬러 시드들을 확산시키는 것에 기초하여 결정될 수 있으며, 리-컬러된 이미지는 컬러 성분들을 원본 이미지의 휘도 성분들과 조합하여 결정될 수 있다.

도 10b에서, 시드들로부터의 컬러 확산(1013)은 컬러 시드들(1011)로부터 연장되는 작은 화살표들로 도시된다. 리-컬러된 이미지(1015)는 컬러 확산(1013)에 기초하여 결정될 수 있다. 도 2를 참조하여 위에 설명된 방법에서와 같이, 다양한 실시예들에서, 리-컬러된 이미지는 컬러 확산의 직접적인 결과일 수 있다. 일부 실시예들에서는, 최종적인 리-컬러된 이미지를 획득하기 위해 다른 프로세싱이 컬러 확산의 결과에 적용될 수 있다. 다른 프로세싱은, 예를 들어, 감마 보정, 채도 조정 등을 포함할 수 있다.

도 11은 다양한 실시예들에 따른 장치의 다른 예를 도시한다. 도 11은 디지털 이미지들의 컬러링 및 리-컬러링에 대해 위에 설명된 다양한 기술들을 구현하기 위한 장치(1100)의 블록도이다. 장치(1100)는, 예를 들어, 범용 컴퓨팅 플랫폼으로서 구현될 수 있다.

장치(1100)는 위에 설명된 다양한 기술들을 수행하는 컴퓨터 실행가능 프로그램들을 실행하기 위한 프로세서(1110)를 포함할 수 있다. 이러한 프로그램들은 이미지 데이터를 또한 저장할 수 있는 메모리 (1120)에 저장될 수 있다. 버스(1130)는 프로세서(1110) 및 메모리 (1120)를 서로 그리고 장치(1100)의 다른 컴포넌트들에 접속할 수 있다. 일부 실시예들에서, 장치(1100)는, 병렬로 프로그램의 다양한 부분들을 실행할 수 있는, 다수의 프로세서들 또는 다수의 프로세싱 코어들을 갖는 프로세서들을 포함할 수 있다.

대용량 스토리지 디바이스(1140)가 디스크 제어기(1150)를 통해 버스(1130)에 접속될 수 있다. 대용량 스토리지 디바이스(1140)는 운영 체제, 다른 프로그램들, 다른 데이터 등뿐만 아니라 이미지 또는 비디오 데이터를 포함할 수 있다. 디스크 제어기(1150)는 SATA(Serial Advanced Technology Advancement), SCSI(Small Computer System Interface), 또는 다른 표준들을 따라 동작할 수 있고, 다수의 대용량 스토리지 디바이스들로의 접속을 제공할 수 있다.

비디오 디스플레이(1160)가 비디오 제어기(1170)를 통해 버스(1130)에 접속될 수 있다. 비디오 제어기(1170)는, 이미지 및 UI 디스플레이 기능들을 제공하기 위한 것뿐만 아니라, 컬러화, 리-컬러화, 또는 컬러 정정 프로세스들의 특정 양상들을 구현하거나 가속화하는데 사용하기 위한 자체 메모리 및 그래픽 프로세싱 능력을 제공할 수 있다.

입력 디바이스(1180)가 I/O(input/output) 제어기(1190)를 통해 버스(1130)에 접속될 수 있다. I/O 제어기(1190)는 USB, IEEE 1394a, 또는 다른 표준들 중 하나 이상을 이용할 수 있다. 키보드들, 마우스들, 및 트랙패드들과 같은, 다수의 입력 디바이스들이 접속될 수 있다. I/O 제어기(1190) 또는 다른 I/O 표준들을 구현하는 추가적 I/O 제어기들을 통해 이미지 및 비디오 캡처 디바이스가 시스템에 또한 접속될 수 있다. 네트워킹 기능성은 I/O 제어기(1190) 또는 별도의 I/O 제어기에 의해 제공될 수 있다.

본 개시내용의 방법들의 다양한 양상들이 더 빠른 프로세싱을 제공하기 위해 다수의 시스템들 상에서 병렬로 실행될 수 있다는 점이 관련분야의 숙련된 자에 의해 인식될 것이다. 예를 들어, 비디오 파일을 프로세싱하는 경우, 프레임들은 병렬 프로세싱을 제공하기 위해 수십 또는 수백 개의 컴퓨팅 시스템들 사이에 분할될 수 있다. 비디오 디스플레이(1160)와 같은, 특정 컴포넌트들은 일부 동작 환경들에서는 일부 시스템에서 생략될 수 있다. 또한, 다수의 시스템들은 I/O 버스를 통해 또는 네트워크를 통해 액세스되는 공유 스토리지를 이용할 수 있다.

장치(1100)는 디지털 스틸 카메라 또는 디지털 비디오 카메라와 같은 이미지 캡쳐 디바이스 내에서 구현될 수 있다는 점이 관련분야의 숙련된 자에 의해 인식될 것이다. 본 명세서에 개시되는 다양한 기술들은 컬러할, 리-컬러할, 또는 컬러 보정을 수행할 이미지 캡처시에 장치(1100)에 의해 구현될 수 있다.

다양한 실시예들은 프로세서 및 메모리를 포함하는 시스템을 포함할 수 있고, 메모리는 프로세서로 하여금, 제1 이미지의 휘도 정보를 획득하게 하고, 제2 이미지의 컬러 정보를 획득하게 하고- 제2 이미지는 제1 이미지의 이미지 프로세싱 결과인 이미지임 -, 제1 이미지의 휘도 정보에 기초하여 복수의 세그먼트화된 이미지 영역들을 결정하게 하고, 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하게 하며, 그리고 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하게 하도록 구성되는 명령어들을 저장한다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들을 결정하는 것은 제1 이미지의 휘도 정보에 기초하여 슈퍼픽셀 세그먼트화를 수행하는 것을 포함한다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들을 결정하는 것은, 2개 이상의 슈퍼픽셀들을 병합하는 것을 더 포함한다- 슈퍼픽셀들은 슈퍼픽셀 세그먼트화를 수행한 결과임 -. 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 것은 세그먼트화된 이미지 영역 내의 포인트를 결정하는 것 및 포인트와 컬러를 관련시키는 것을 포함한다- 관련되는 컬러는 제2 이미지의 컬러 정보에 기초함 -. 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 것은 세그먼트화된 이미지 영역에 대응하는 형태 골격을 결정하는 것 및 형태 골격과 컬러를 관련시키는 것을 포함한다- 관련되는 컬러는 제2 이미지의 컬러 정보에 기초함 -. 다양한 실시예들에서, 형태 골격과 컬러를 관련시키는 것은 제2 이미지에서의 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 것 및 가장 빈번한 컬러를 형태 골격과 관련시키는 것을 포함한다. 다양한 실시예들에서, 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 것은 휘도 정보에 기초하여 컬러 시드들을 확산시키는 것을 포함한다. 다양한 실시예들에서, 제1 이미지의 휘도 정보는 제1 이미지의 휘도 성분들을 포함하고, 제3 이미지를 결정하는 것은 컬러 성분들을 획득하기 위해 컬러 시드를 확산시키는 것 및 컬러 성분들을 제1 이미지의 휘도 성분들과 조합하는 것을 포함한다.

다양한 실시예들은 제1 이미지의 휘도 정보를 획득하는 단계, 제2 이미지의 컬러 정보를 획득하는 단계- 제2 이미지는 제1 이미지의 이미지 프로세싱 결과인 이미지임 -, 제1 이미지의 휘도 정보에 기초하여 복수의 세그먼트화된 이미지 영역들을 결정하는 단계, 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계, 및 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 단계를 포함하는 방법을 포함한다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들을 결정하는 단계는 제1 이미지의 휘도 정보에 기초하여 슈퍼픽셀 세그먼트화를 수행하는 단계를 포함한다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들을 결정하는 단계는 2개 이상의 슈퍼픽셀들을 병합하는 단계를 더 포함한다- 슈퍼픽셀들은 슈퍼픽셀 세그먼트화를 수행한 결과임 -. 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계는 세그먼트화된 이미지 영역 내의 포인트를 결정하는 단계 및 포인트와 컬러를 관련시키는 단계를 포함한다- 관련되는 컬러는 제2 이미지의 컬러 정보에 기초함 -. 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계는 세그먼트화된 이미지 영역에 대응하는 형태 골격을 결정하는 단계 및 형태 골격과 컬러를 관련시키는 단계를 포함한다- 관련되는 컬러는 제2 이미지의 컬러 정보에 기초함 -. 다양한 실시예들에서, 형태 골격과 컬러를 관련시키는 단계는 제2 이미지에서의 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 단계 및 가장 빈번한 컬러를 형태 골격과 관련시키는 단계를 포함한다. 다양한 실시예들에서, 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 단계는 휘도 정보에 기초하여 컬러 시드들을 확산시키는 단계를 포함한다. 다양한 실시예들에서, 제1 이미지의 휘도 정보는 제1 이미지의 휘도 성분들을 포함하고, 제3 이미지를 결정하는 단계는 컬러 성분들을 획득하기 위해 컬러 시드를 확산시키는 단계 및 컬러 성분들을 제1 이미지의 휘도 성분들과 조합하는 단계를 포함한다.

다양한 실시예들은 방법을 수행하도록 실행가능한 컴퓨터 실행가능 명령어들을 저장하는 비-일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 이러한 방법은, 제1 이미지의 휘도 정보를 획득하는 단계, 제2 이미지의 컬러 정보를 획득하는 단계- 제2 이미지는 제1 이미지의 이미지 프로세싱 결과인 이미지임 -, 제1 이미지의 휘도 정보에 기초하여 복수의 세그먼트화된 이미지 영역들을 결정하는 단계, 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계, 및 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 단계를 포함한다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들을 결정하는 단계는 제1 이미지의 휘도 정보에 기초하여 슈퍼픽셀 세그먼트화를 수행하는 단계를 포함한다. 다양한 실시예들에서, 세그먼트화된 이미지 영역들을 결정하는 단계는 2개 이상의 슈퍼픽셀들을 병합하는 단계를 더 포함한다- 슈퍼픽셀들은 슈퍼픽셀 세그먼트화를 수행한 결과임 -. 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계는 세그먼트화된 이미지 영역 내의 포인트를 결정하는 단계 및 포인트와 컬러를 관련시키는 단계를 포함한다- 관련되는 컬러는 제2 이미지의 컬러 정보에 기초함 -. 다양한 실시예들에서, 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계는 세그먼트화된 이미지 영역에 대응하는 형태 골격을 결정하는 단계 및 형태 골격과 컬러를 관련시키는 단계를 포함한다- 관련되는 컬러는 제2 이미지의 컬러 정보에 기초함 -. 다양한 실시예들에서, 형태 골격과 컬러를 관련시키는 단계는 제2 이미지에서의 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 단계 및 가장 빈번한 컬러를 형태 골격과 관련시키는 단계를 포함한다. 다양한 실시예들에서, 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 단계는 휘도 정보에 기초하여 컬러 시드들을 확산시키는 단계를 포함한다. 다양한 실시예들에서, 제1 이미지의 휘도 정보는 제1 이미지의 휘도 성분들을 포함하고, 제3 이미지를 결정하는 단계는 컬러 성분들을 획득하기 위해 컬러 시드를 확산시키는 단계 및 컬러 성분들을 제1 이미지의 휘도 성분들과 조합하는 단계를 포함한다.

다양한 실시예들의 다양한 예들이 본 명세서에 상세히 도시되고 설명되었지만, 관련분야의 숙련된 자는 여전히 본 개시내용의 범위 내에 있는 다른 다양한 실시예들을 쉽게 고안할 수 있다는 점이 또한 이해되어야 한다.

본 명세서에 나열되는 모든 예들 및 조건부 언어는, 본 개시내용의 원리들 및 관련분야를 발전시키는데 발명자가 기여한 개념들을 독자가 이해하는 것을 돕기 위한 교육적인 목적들로 의도되고, 이러한 구체적으로 나열된 예들 및 조건들에 제한되지 않는 것으로서 해석되어야 한다.

또한, 본 개시내용의 원리들, 양상들, 및 실시예들 뿐만 아니라, 이들의 구체적인 예들을 나열하고 있는 본원 명세서의 모든 서술들은 이들의 구조적 및 기능적 등가물들 양자 모두를 포함하는 것으로 의도된다. 추가적으로, 이러한 균등물들은 현재 알려진 균등물 뿐만 아니라 미래에 개발될 균등물들 양자 모두를, 즉 구조에 무관하게, 동일한 기능을 수행하도록 개발되는 임의의 엘리먼트들을 포함하는 것으로 의도된다.

따라서, 예를 들어, 본 명세서에 제시되는 블록도들은 본 개시내용의 원리들을 구현하는 예시적인 회로, 전기 컴포넌트들, 광학 컴포넌트들 등의 개념도들을 표현한다는 점이 관련분야의 숙련된 자에 의해 이해될 것이다. 유사하게, 임의의 순서도들, 흐름도들, 상태 천이도들, 의사코드 등은 컴퓨터 판독가능 매체에 실질적으로 표현될 수 있고 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을, 이러한 컴퓨터 또는 프로세서가 명시적으로 도시되건 또는 아니건, 표현한다는 점이 이해될 것이다.

도면들에 도시된 다양한 엘리먼트들의 기능들은 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어 뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이러한 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 복수의 개별 프로세서들에 의해 제공될 수 있는데, 이들 중 일부는 공유될 수 있다. 또한, "프로세서" 또는 "제어기"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되어서는 안 되며, DSP(digital signal processor) 하드웨어, 소프트웨어를 저장하기 위한 ROM(read only memory), RAM(random access memory), 및 비휘발성 스토리지를, 제한없이, 암시적으로 포함할 수 있다.

종래의 및/또는 주문형 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시되는 임의의 스위치들은 개념적일 뿐이다. 이들의 기능은 프로그램 로직의 조작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 특정 기술은 정황에 따라 더 구체적으로 이해되는 바와 같이 구현자에 의해 선택될 수 있다.

본 명세서의 청구항들에서, 명시된 기능을 수행하기 위한 수단으로 표현 되는 임의의 엘리먼트는, 예를 들어, 그 기능을 수행하는 회로 엘리먼트들, 그 기능을 수행하는 소프트웨어를 실행하기에 적절한 회로와 조합되는, 펌웨어, 마이크로코드 등을, 그에 따라, 포함하는 임의 형태의 소프트웨어 등의 조합을 포함하는, 그 기능을 수행하는 임의의 방식을 포함하는 것으로 의도된다. 이러한 청구항들에 의해 정의되는 바와 같은 본 개시내용은, 다양한 열거된 수단에 의해 제공되는 기능성들이 청구항들이 요구하는 방식으로 조합되고 결합된다는 사실에 존재한다. 따라서, 이러한 기능성들 제공할 수 있는 임의의 수단은 본 명세서에 보여지는 것들과 등가인 것으로 간주된다.

Claims

시스템(100, 1100)으로서,
프로세서(114, 1110); 및
메모리(118, 1120)
를 포함하고,
상기 메모리(118, 1120)는 상기 프로세서로 하여금,
제1 이미지의 휘도 정보를 획득하게 하고(901);
제2 이미지의 컬러 정보를 획득하게 하고(902)- 상기 제2 이미지는 상기 제1 이미지의 이미지 프로세싱 결과인 이미지임 -;
상기 제1 이미지의 휘도 정보에 기초하여 복수의 세그먼트화된 이미지 영역들을 결정하게 하고(903);
상기 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하게 하며(904); 그리고
상기 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하게(905) 하도록 구성되는
명령어들을 저장하는 시스템.
제1항에 있어서,
상기 세그먼트화된 이미지 영역들을 결정하는 것은, 상기 제1 이미지의 휘도 정보에 기초하여 슈퍼픽셀 세그먼트화를 수행하는 것을 포함하는 시스템.
제2항에 있어서,
상기 세그먼트화된 이미지 영역들을 결정하는 것은, 2개 이상의 슈퍼픽셀들을 병합하는 것을 더 포함하는- 상기 슈퍼픽셀들은 슈퍼픽셀 세그먼트화를 수행한 결과임 - 시스템.
제1항에 있어서,
각각의 세그먼트화된 이미지 영역에 대해 상기 컬러 시드를 결정하는 것은 상기 세그먼트화된 이미지 영역 내의 포인트를 결정하는 것 및 상기 포인트와 컬러를 관련시키는 것을 포함하는- 상기 관련되는 컬러는 상기 제2 이미지의 컬러 정보에 기초함 - 시스템.
제1항에 있어서,
각각의 세그먼트화된 이미지 영역에 대해 상기 컬러 시드를 결정하는 것은 상기 세그먼트화된 이미지 영역에 대응하는 형태 골격을 결정하는 것 및 상기 형태 골격과 컬러를 관련시키는 것을 포함하는- 상기 관련되는 컬러는 상기 제2 이미지의 컬러 정보에 기초함 - 시스템.
제5항에 있어서,
상기 형태 골격과 컬러를 관련시키는 것은 상기 제2 이미지에서의 상기 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 것 및 상기 가장 빈번한 컬러를 상기 형태 골격과 관련시키는 것을 포함하는 시스템.
제1항에 있어서,
상기 컬러 시드들을 확산시키는 것에 기초하여 상기 제3 이미지를 결정하는 것은 상기 휘도 정보에 기초하여 상기 컬러 시드들을 확산시키는 것을 포함하는 시스템.
제7항에 있어서,
상기 제1 이미지의 휘도 정보는 상기 제1 이미지의 휘도 성분들을 포함하고, 상기 제3 이미지를 결정하는 것은 컬러 성분들을 획득하기 위해 상기 컬러 시드를 확산시키는 것 및 상기 컬러 성분들을 상기 제1 이미지의 휘도 성분들과 조합하는 것을 포함하는 시스템.
방법으로서,
제1 이미지의 휘도 정보를 획득하는 단계(901);
제2 이미지의 컬러 정보를 획득하는 단계(902)- 상기 제2 이미지는 상기 제1 이미지의 이미지 프로세싱 결과인 이미지임 -;
상기 제1 이미지의 휘도 정보에 기초하여 복수의 세그먼트화된 이미지 영역들을 결정하는 단계(903);
상기 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계(904); 및
상기 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 단계(905)
를 포함하는 방법.
제9항에 있어서,
상기 세그먼트화된 이미지 영역들을 결정하는 단계는 상기 제1 이미지의 휘도 정보에 기초하여 슈퍼픽셀 세그먼트화를 수행하는 단계를 포함하는 방법.
제10항에 있어서,
상기 세그먼트화된 이미지 영역들을 결정하는 단계는 2개 이상의 슈퍼픽셀들을 병합하는 단계를 더 포함하는- 상기 슈퍼픽셀들은 슈퍼픽셀 세그먼트화를 수행한 결과임 - 방법.
제9항에 있어서,
각각의 세그먼트화된 이미지 영역에 대해 상기 컬러 시드를 결정하는 단계는 상기 세그먼트화된 이미지 영역 내의 포인트를 결정하는 단계 및 상기 포인트와 컬러를 관련시키는 단계를 포함하는- 상기 관련되는 컬러는 상기 제2 이미지의 컬러 정보에 기초함 - 방법.
제9항에 있어서,
각각의 세그먼트화된 이미지 영역에 대해 상기 컬러 시드를 결정하는 단계는 상기 세그먼트화된 이미지 영역에 대응하는 형태 골격을 결정하는 단계 및 상기 형태 골격과 컬러를 관련시키는 단계를 포함하는- 상기 관련되는 컬러는 상기 제2 이미지의 컬러 정보에 기초함 - 방법.
제13항에 있어서,
상기 형태 골격과 컬러를 관련시키는 단계는 상기 제2 이미지에서의 상기 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 단계 및 상기 가장 빈번한 컬러를 상기 형태 골격과 관련시키는 단계를 포함하는 방법.
제9항에 있어서,
상기 컬러 시드들을 확산시키는 것에 기초하여 상기 제3 이미지를 결정하는 단계는 상기 휘도 정보에 기초하여 상기 컬러 시드들을 확산시키는 단계를 포함하는 방법.
제15항에 있어서,
상기 제1 이미지의 휘도 정보는 상기 제1 이미지의 휘도 성분들을 포함하고, 상기 제3 이미지를 결정하는 단계는 컬러 성분들을 획득하기 위해 상기 컬러 시드를 확산시키는 단계 및 상기 컬러 성분들을 상기 제1 이미지의 휘도 성분들과 조합하는 단계를 포함하는 방법.
방법을 수행하도록 실행가능한 컴퓨터 실행가능 명령어들을 저장하는 비-일시적 컴퓨터 판독가능 매체(120, 1140)로서,
상기 방법은,
제1 이미지의 휘도 정보를 획득하는 단계(901);
제2 이미지의 컬러 정보를 획득하는 단계(902)- 상기 제2 이미지는 상기 제1 이미지의 이미지 프로세싱 결과인 이미지임 -;
상기 제1 이미지의 휘도 정보에 기초하여 복수의 세그먼트화된 이미지 영역들을 결정하는 단계(903);
상기 제2 이미지의 컬러 정보에 기초하여 각각의 세그먼트화된 이미지 영역에 대해 컬러 시드를 결정하는 단계(904); 및
상기 세그먼트화된 이미지 영역들의 컬러 시드들을 확산시키는 것에 기초하여 제3 이미지를 결정하는 단계(905)
를 포함하는 컴퓨터 판독가능 매체.
제17항에 있어서,
상기 세그먼트화된 이미지 영역들을 결정하는 단계는 상기 제1 이미지의 휘도 정보에 기초하여 슈퍼픽셀 세그먼트화를 수행하는 단계를 포함하는 컴퓨터 판독가능 매체.
제18항에 있어서,
상기 세그먼트화된 이미지 영역들을 결정하는 단계는 2개 이상의 슈퍼픽셀들을 병합하는 단계를 더 포함하는- 상기 슈퍼픽셀들은 슈퍼픽셀 세그먼트화를 수행한 결과임 - 컴퓨터 판독가능 매체.
제17항에 있어서,
각각의 세그먼트화된 이미지 영역에 대해 상기 컬러 시드를 결정하는 단계는 상기 세그먼트화된 이미지 영역 내의 포인트를 결정하는 단계 및 상기 포인트와 컬러를 관련시키는 단계를 포함하는- 상기 관련되는 컬러는 상기 제2 이미지의 컬러 정보에 기초함 - 컴퓨터 판독가능 매체.
제17항에 있어서,
각각의 세그먼트화된 이미지 영역에 대해 상기 컬러 시드를 결정하는 단계는 상기 세그먼트화된 이미지 영역에 대응하는 형태 골격을 결정하는 단계 및 상기 형태 골격과 컬러를 관련시키는 단계를 포함하는- 상기 관련되는 컬러는 상기 제2 이미지의 컬러 정보에 기초함 - 컴퓨터 판독가능 매체.
제21항에 있어서,
상기 형태 골격과 컬러를 관련시키는 단계는 상기 제2 이미지에서의 상기 세그먼트화된 이미지 영역의 가장 빈번한 컬러를 결정하는 단계 및 상기 가장 빈번한 컬러를 상기 형태 골격과 관련시키는 단계를 포함하는 컴퓨터 판독가능 매체.
제17항에 있어서,
상기 컬러 시드들을 확산시키는 것에 기초하여 상기 제3 이미지를 결정하는 단계는 상기 휘도 정보에 기초하여 상기 컬러 시드들을 확산시키는 단계를 포함하는 컴퓨터 판독가능 매체.
제23항에 있어서,
상기 제1 이미지의 휘도 정보는 상기 제1 이미지의 휘도 성분들을 포함하고, 상기 제3 이미지를 결정하는 단계는 컬러 성분들을 획득하기 위해 상기 컬러 시드를 확산시키는 단계 및 상기 컬러 성분들을 상기 제1 이미지의 휘도 성분들과 조합하는 단계를 포함하는 컴퓨터 판독가능 매체.