[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102311317B1 - 단색 트래킹을 위한 장치 및 그 방법 - Google Patents

단색 트래킹을 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR102311317B1
KR102311317B1 KR1020190153285A KR20190153285A KR102311317B1 KR 102311317 B1 KR102311317 B1 KR 102311317B1 KR 1020190153285 A KR1020190153285 A KR 1020190153285A KR 20190153285 A KR20190153285 A KR 20190153285A KR 102311317 B1 KR102311317 B1 KR 102311317B1
Authority
KR
South Korea
Prior art keywords
value
input image
scene
blocks
awb gain
Prior art date
Application number
KR1020190153285A
Other languages
English (en)
Other versions
KR20210064734A (ko
Inventor
김광은
Original Assignee
(주)비트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비트리 filed Critical (주)비트리
Priority to KR1020190153285A priority Critical patent/KR102311317B1/ko
Publication of KR20210064734A publication Critical patent/KR20210064734A/ko
Application granted granted Critical
Publication of KR102311317B1 publication Critical patent/KR102311317B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 단색 트래킹을 위한 장치 및 그 방법을 개시한다. 즉, 본 발명은 입력 영상에 대해 Gb/Gr 값을 계산하고, 계산된 Gb/Gr 값과 RGB 값을 입력값으로 기계 학습을 수행하고, 미리 설정된 복수의 분류 중에서 기계 학습 수행 결과에 따른 어느 하나의 분류를 확인하고, 확인된 분류에 따라 ISP의 AWB 블록의 게인을 조정하여 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행함으로써, AWB 기능 수행에 따른 화이트 밸런스 성능을 향상시킬 수 있다.

Description

단색 트래킹을 위한 장치 및 그 방법{Apparatus for tracking single color and method thereof}
본 발명은 단색 트래킹을 위한 장치 및 그 방법에 관한 것으로서, 특히 입력 영상에 대해 Gb/Gr 값을 계산하고, 계산된 Gb/Gr 값과 RGB 값을 입력값으로 기계 학습을 수행하고, 미리 설정된 복수의 분류 중에서 기계 학습 수행 결과에 따른 어느 하나의 분류를 확인하고, 확인된 분류에 따라 ISP의 AWB 블록의 게인을 조정하여 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하는 단색 트래킹을 위한 장치 및 그 방법에 관한 것이다.
사람의 시각은 광원이 바뀌어도 동일한 피사체에 대하여 항상 같은 색으로 인지하는 특징이 있다.
즉, 광원이 태양광, 형광등, 백열등과 같이 색온도가 다른 광원으로 변화하는 경우에도 사람의 시각은 흰색을 항상 동일한 흰색으로 인식하게 된다. 이에 반해, 고체 촬상소자를 적용한 이미지 센서는 빛을 전기적 신호로 변환하는 장치이기 때문에 광원에 따라 변화하는 피사체의 색상을 변화한 그대로 검출하게 된다. 따라서, 이러한 이미지 센서로부터 검출된 색상을 사람의 시각과 유사하게 표현될 수 있도록 하기 위해 대부분의 디지털 이미지 처리 장치들(예를 들어, 디지털 카메라)은 화이트밸런스를 자동으로 조정하기 위한 자동 화이트 밸런스 조정 알고리즘을 적용하고 있다.
이러한 상기 디지털 이미지 처리 장치에서 이루어지는 자동 화이트 밸런스 조정은, 이미지에서의 중간 밝기를 가진 흰색 피사체가 동일한 출력 레벨들을 가지는 색신호(RGB 신호)로 표현되도록 함으로써 수행된다. 또한, 상기 자동 화이트 밸런스 조정을 위하여 사용되는 가장 일반적인 알고리즘은, 광원의 변동과 상관없이 화면의 색 평균치를 화이트로 가정하여 색 평균치를 구한 후 색 평균치를 화이트로 이동시킬 수 있는 색신호 레벨의 이득을 구하여 전체 이미지에 적용하는 방식을 채택하고 있다. 예를 들면, 종래의 자동 화이트 밸런스 조정 방법은 입력 이미지 내의 백색 추정 영역에 속한 화소들의 색차 신호인 Cb, Cr 값을 적분하고 이에 대한 평균값을 계산하여 적색(R)과 청색(B)의 이득을 조정하는 방법을 채택하였다.
그러나 이러한 통상의 자동 화이트 밸런스 조정 기술들은 한 색상이 매우 넓게 분포하는 단색 영상에서는 화이트 밸런스를 위한 이득을 연산하는데 한 색상의 영향을 크게 받아 연산된 이득을 적용한 경우 화이트 밸런스가 무너지는 문제가 발생하게 된다.
한국등록특허 제10-1018237호 [제목: 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법]
본 발명의 목적은 입력 영상에 대해 Gb/Gr 값을 계산하고, 계산된 Gb/Gr 값과 RGB 값을 입력값으로 기계 학습을 수행하고, 미리 설정된 복수의 분류 중에서 기계 학습 수행 결과에 따른 어느 하나의 분류를 확인하고, 확인된 분류에 따라 ISP의 AWB 블록의 게인을 조정하여 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하는 단색 트래킹을 위한 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 단색 트래킹을 위한 장치는 입력 영상을 미리 설정된 NХN 블록으로 분할하고, 상기 NХN 블록으로 분할된 입력 영상에서 Gb값과 Gr값을 계산하고, 상기 계산된 Gb값, Gr값 및 RGB 값을 근거로 기계 학습을 수행하여, 미리 설정된 복수의 분류 중에서 어느 하나의 분류를 확인하고, 상기 확인된 분류를 근거로 ISP의 AWB 게인을 조정하고, 상기 조정된 AWB 게인을 근거로 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하는 제어부; 및 상기 이미지 신호 처리 기능 수행 결과를 표시하는 표시부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 복수의 블록으로 분할된 입력 영상에서 각 블록의 Gb값과 Gr값을 각각 계산할 수 있다.
본 발명과 관련된 일 예로서 상기 복수의 분류는, 노멀 장면, 레드 장면, 그린 장면, 블루 장면, 옐로우 장면, 시안 장면 및 마젠타 장면 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 확인된 분류에 대응하는 미리 설정된 AWB 게인으로 상기 ISP의 AWB 게인을 조정할 수 있다.
본 발명의 실시예에 따른 단색 트래킹을 위한 방법은 제어부에 의해, 입력 영상을 미리 설정된 NХN 블록으로 분할하는 단계; 상기 제어부에 의해, 상기 NХN 블록으로 분할된 입력 영상에서 Gb값과 Gr값을 계산하는 단계; 상기 제어부에 의해, 상기 계산된 Gb값, Gr값 및 RGB 값을 근거로 기계 학습을 수행하여, 미리 설정된 복수의 분류 중에서 어느 하나의 분류를 확인하는 단계; 상기 제어부에 의해, 상기 확인된 분류를 근거로 ISP의 AWB 게인을 조정하는 단계; 상기 제어부에 의해, 상기 조정된 AWB 게인을 근거로 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하는 단계; 및 표시부에 의해, 상기 이미지 신호 처리 기능 수행 결과를 표시하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 Gb값과 Gr값을 계산하는 단계는, 복수의 블록으로 분할된 입력 영상에서 각 블록의 Gb값과 Gr값을 각각 계산할 수 있다.
본 발명과 관련된 일 예로서 상기 ISP의 AWB 게인을 조정하는 단계는, 상기 확인된 분류에 대응하는 미리 설정된 AWB 게인으로 상기 ISP의 AWB 게인을 조정할 수 있다.
본 발명은 입력 영상에 대해 Gb/Gr 값을 계산하고, 계산된 Gb/Gr 값과 RGB 값을 입력값으로 기계 학습을 수행하고, 미리 설정된 복수의 분류 중에서 기계 학습 수행 결과에 따른 어느 하나의 분류를 확인하고, 확인된 분류에 따라 ISP의 AWB 블록의 게인을 조정하여 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행함으로써, AWB 기능 수행에 따른 화이트 밸런스 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 단색 트래킹을 위한 장치의 구성을 나타낸 블록도이다.
도 2는 발명의 실시예에 따른 단색 트래킹을 위한 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 입력 영상의 복수 블록으로의 분할 예를 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 노멀 장면의 분류 예를 나타낸 도이다.
도 5는 본 발명의 실시예에 따른 레드 장면의 분류 예를 나타낸 도이다.
도 6은 본 발명의 실시예에 따른 그린 장면의 분류 예를 나타낸 도이다.
도 7은 본 발명의 실시예에 따른 블루 장면의 분류 예를 나타낸 도이다.
도 8은 본 발명의 실시예에 따른 옐로우 장면의 분류 예를 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 마젠타 장면의 분류 예를 나타낸 도이다.
도 10은 종래 기술에 따른 노멀 장면에 대해서 AWB 조정에 따른 이미지 신호 처리 기능 수행 결과의 예를 나타낸 도이다.
도 11은 본 발명의 실시예에 따른 노멀 장면에 대해서 기계 학습 수행에 따라 AWB의 게인을 조정한 상태에서의 이미지 신호 처리 기능 수행 결과의 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 단색 트래킹을 위한 장치(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 단색 트래킹을 위한 장치(10)는 통신부(100), 저장부(200), 표시부(300), 음성 출력부(400) 및 제어부(500)로 구성된다. 도 1에 도시된 단색 트래킹을 위한 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 단색 트래킹을 위한 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 단색 트래킹을 위한 장치(10)가 구현될 수도 있다.
상기 단색 트래킹을 위한 장치(10)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.
상기 통신부(100)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 다른 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(100)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(100)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(100)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 다른 단말 등과 무선 신호를 송수신한다.
또한, 상기 통신부(100)는 상기 제어부(500)의 제어에 의해, 상기 서버 또는 상기 다른 단말로부터 전송되는 입력 영상 등을 수신한다.
상기 저장부(200)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(200)는 상기 단색 트래킹을 위한 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(200)는 상기 단색 트래킹을 위한 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단색 트래킹을 위한 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 단색 트래킹을 위한 장치(10)의 기본적인 기능을 위하여 출고 당시부터 단색 트래킹을 위한 장치(10) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(200)에 저장되고, 단색 트래킹을 위한 장치(10)에 설치되어, 제어부(500)에 의하여 상기 단색 트래킹을 위한 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(200)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 단색 트래킹을 위한 장치(10)는 인터넷(internet)상에서 저장부(200)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(200)는 상기 제어부(500)의 제어에 의해 상기 수신된 입력 영상 등을 저장한다.
상기 표시부(또는 디스플레이부)(300)는 상기 제어부(500)의 제어에 의해 상기 저장부(200)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(300)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(300)는 터치 스크린 일 수 있다.
또한, 상기 표시부(300)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(300)는 상기 제어부(500)의 제어에 의해 상기 수신된 입력 영상 등을 표시한다.
상기 음성 출력부(400)는 상기 제어부(500)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(400)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(400)는 상기 제어부(500)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(400)는 상기 제어부(500)의 제어에 의해 상기 수신된 입력 영상 등에 대응하는 음성 정보(또는 음향 효과)를 출력한다.
상기 제어부(controller, 또는 MCU(microcontroller unit)(500)는 상기 단색 트래킹을 위한 장치(10)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(500)는 상기 저장부(200)에 저장된 프로그램 및 데이터를 이용하여 단색 트래킹을 위한 장치(10)의 전반적인 제어 기능을 실행한다. 상기 제어부(500)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(200)에 액세스하여, 상기 저장부(200)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(200)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(500)는 상기 통신부(100)를 통해 상기 서버 또는 상기 다른 단말로부터 전송되는(또는 제공되는) 입력 영상을 수신한다. 이때, 상기 제어부(500)는 사용자 입력(또는 사용자 터치/선택/제어)에 따라 입력부(미도시)를 통해 상기 입력 영상을 입력받을 수도 있다.
또한, 상기 제어부(500)는 상기 입력 영상(또는 입력 이미지 프레임)을 미리 설정된 NХN 블록으로 분할한다. 여기서, 상기 N은 자연수일 수 있다.
또한, 상기 제어부(500)는 상기 NХN 블록으로 분할된 입력 영상에서 Gb값과 Gr값을 계산(또는 산출)한다.
즉, 상기 제어부(500)는 상기 복수의 블록으로 분할된 입력 영상에서 각 블록의 Gb값과 Gr값을 각각 계산한다. 여기서, 상기 Gb값(또는 Gb 데이터)는 각 블록에서의 RGB 값 중 Bavg/Gavg이고, 상기 Gr값(또는 Gr 데이터)는 각 블록에서의 RGB 값 중 Ravg/Gavg일 수 있다.
또한, 상기 제어부(500)는 상기 계산된 Gb값, Gr값 및 RGB 값을 근거로 기계 학습을 수행한다.
즉, 상기 제어부(500)는 상기 계산된 Gb값, Gr값 및 RGB 값을 입력값으로 신경 회로망(neural network: NN)을 통해 기계 학습을 수행하여, 미리 설정된 복수의 분류(classification) 중에서 어느 하나의 분류를 확인한다. 여기서, 상기 복수의 분류는 노멀 장면(normal scene), 레드 장면(Red scene), 그린 장면(Green scene), 블루 장면(Blue scene), 옐로우 장면(Yellow scene), 시안 장면(Cyan scene), 마젠타 장면(Magenta scene) 등을 포함한다.
또한, 상기 제어부(500)는 상기 확인된 분류를 근거로 ISP(Image Signal Processing)의 AWB(Auto White Balance) 게인을 조정한다. 여기서, 상기 AWB 게인은 디폴트 값으로 미리 설정된 상태일 수 있다.
즉, 상기 제어부(500)는 상기 확인된 분류에 대응하는 미리 설정된 AWB 게인으로 상기 ISP의 AWB 게인을 조정(또는 설정)한다.
또한, 상기 제어부(500)는 상기 조정된 AWB 게인을 근거로 해당 입력 영상에 대한 이미지 신호 처리 기능(또는 ISP 기능)을 수행한다.
또한, 상기 제어부(500)는 상기 이미지 신호 처리 기능 수행 결과를 표시부(300)에 표시한다.
이와 같이, 입력 영상에 대해 Gb/Gr 값을 계산하고, 계산된 Gb/Gr 값과 RGB 값을 입력값으로 기계 학습을 수행하고, 미리 설정된 복수의 분류 중에서 기계 학습 수행 결과에 따른 어느 하나의 분류를 확인하고, 확인된 분류에 따라 ISP의 AWB 블록의 게인을 조정하여 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행할 수 있다.
이하에서는, 본 발명에 따른 단색 트래킹을 위한 방법을 도 1 내지 도 11을 참조하여 상세히 설명한다.
도 2는 발명의 실시예에 따른 단색 트래킹을 위한 방법을 나타낸 흐름도이다.
먼저, 제어부(500)는 입력 영상(또는 입력 이미지 프레임)을 미리 설정된 NХN 블록으로 분할한다. 여기서, 상기 N은 자연수일 수 있다.
일 예로, 도 3에 도시된 바와 같이, 상기 제어부(500)는 제 1 입력 영상을 16Х16 블록으로 분할한다(S210).
이후, 상기 제어부(500)는 상기 NХN 블록으로 분할된 입력 영상에서 Gb값과 Gr값을 계산(또는 산출)한다.
즉, 상기 제어부(500)는 상기 복수의 블록으로 분할된 입력 영상에서 각 블록의 Gb값과 Gr값을 각각 계산한다. 여기서, 상기 Gb값(또는 Gb 데이터)는 각 블록에서의 RGB 값 중 Bavg/Gavg이고, 상기 Gr값(또는 Gr 데이터)는 각 블록에서의 RGB 값 중 Ravg/Gavg일 수 있다.
일 예로, 상기 제어부(500)는 상기 16Х16 블록으로 분할된 제 1 입력 영상에서 196개의 각 블록에 대한 제 1 Gb값과 제 1 Gr값을 각각 계산한다(S220).
이후, 상기 제어부(500)는 상기 계산된 Gb값, Gr값 및 RGB 값을 근거로 기계 학습을 수행한다.
즉, 상기 제어부(500)는 상기 계산된 Gb값, Gr값 및 RGB 값을 입력값으로 신경 회로망(NN)을 통해 기계 학습을 수행하여, 미리 설정된 복수의 분류 중에서 어느 하나의 분류를 확인한다. 여기서, 상기 복수의 분류는 노멀 장면, 레드 장면, 그린 장면, 블루 장면, 옐로우 장면, 시안 장면, 마젠타 장면 등을 포함한다.
일 예로, 상기 제어부(500)는 상기 196개의 블록에 대해서 각각 계산된 제 1 Gb값과 제 1 Gr값과 RGB 값을 입력값으로 신경 회로망을 통해 기계 학습을 수행하여, 도 4 내지 도 9에 도시된 바와 같이, 미리 설정된 복수의 분류 중에서 해당 기계 학습 수행 결과에 대응하는 어느 하나의 분류를 확인한다(S230).
이후, 상기 제어부(500)는 상기 확인된 분류를 근거로 ISP의 AWB 게인을 조정한다. 여기서, 상기 AWB 게인은 디폴트 값으로 미리 설정된 상태일 수 있다.
즉, 상기 제어부(500)는 상기 확인된 분류에 대응하는 미리 설정된 AWB 게인으로 상기 ISP의 AWB 게인을 조정(또는 설정)한다.
일 예로, 상기 미리 설정된 복수의 분류 중에서 레드 장면으로 확인될 때, 상기 제어부(500)는 상기 확인된 레드 장면에 대응하여 미리 설정된 제 1 AWB 게인으로 상기 ISP의 AWB 게인을 조정한다(S240).
이후, 상기 제어부(500)는 상기 조정된 AWB 게인을 근거로 해당 입력 영상에 대한 이미지 신호 처리 기능(또는 ISP 기능)을 수행한다.
또한, 상기 제어부(500)는 상기 이미지 신호 처리 기능 수행 결과를 표시부(300)에 표시한다.
일 예로, 상기 제어부(500)는 상기 제 1 AWB 게인으로 조정된 ISP의 AWB 게인을 이용해서 상기 제 1 입력 영상에 대한 이미지 신호 처리 기능을 수행하고, 이미지 신호 처리 기능 수행 결과를 상기 표시부(300)에 표시한다.
다른 일 예로, 도 10은 종래 방식에 따른 노멀 장면에 대해서 AWB 조정에 따른 이미지 신호 처리 기능 수행 결과를 나타내고, 도 11은 본 발명의 실시예에 따른 노멀 장면에 대해서 기계 학습 수행에 따라 AWB의 게인을 조정한 상태에서의 이미지 신호 처리 기능 수행 결과를 나타내며, 단색 영역의 영향에 의한 화이트 밸런스가 개선된 상태임을 확인할 수 있다(S250).
본 발명의 실시예는 앞서 설명된 바와 같이, 입력 영상에 대해 Gb/Gr 값을 계산하고, 계산된 Gb/Gr 값과 RGB 값을 입력값으로 기계 학습을 수행하고, 미리 설정된 복수의 분류 중에서 기계 학습 수행 결과에 따른 어느 하나의 분류를 확인하고, 확인된 분류에 따라 ISP의 AWB 블록의 게인을 조정하여 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하여, AWB 기능 수행에 따른 화이트 밸런스 성능을 향상시킬 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 단색 트래킹을 위한 장치 100: 통신부
200: 저장부 300: 표시부
400: 음성 출력부 500: 제어부

Claims (7)

  1. 입력 영상을 미리 설정된 NХN 블록으로 분할하고, 상기 NХN 블록으로 분할된 입력 영상에서 Gb값과 Gr값을 계산하고, 상기 계산된 Gb값, Gr값 및 RGB 값을 근거로 기계 학습을 수행하여, 미리 설정된 복수의 분류 중에서 어느 하나의 분류를 확인하고, 상기 확인된 분류를 근거로 ISP의 AWB 게인을 조정하고, 상기 조정된 AWB 게인을 근거로 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하는 제어부; 및
    상기 이미지 신호 처리 기능 수행 결과를 표시하는 표시부를 포함하고,
    상기 제어부는,
    복수의 블록으로 분할된 입력 영상에서 각 블록의 Gb값과 Gr값을 각각 계산 하고,
    상기 복수의 분류는,
    노멀 장면, 레드 장면, 그린 장면, 블루 장면, 옐로우 장면, 시안 장면 및 마젠타 장면 중 적어도 하나를 포함하고,
    상기 제어부는,
    상기 확인된 분류에 대응하는 미리 설정된 AWB 게인으로 상기 ISP의 AWB 게인을 조정하고,
    상기 기계 학습은 신경 회로망(neural network: NN)을 통해 학습하는 것을 특징으로 하는 단색 트래킹을 위한 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제어부에 의해, 입력 영상을 미리 설정된 NХN 블록으로 분할하는 단계;
    상기 제어부에 의해, 상기 NХN 블록으로 분할된 입력 영상에서 Gb값과 Gr값을 계산하는 단계;
    상기 제어부에 의해, 상기 계산된 Gb값, Gr값 및 RGB 값을 근거로 기계 학습을 수행하여, 미리 설정된 복수의 분류 중에서 어느 하나의 분류를 확인하는 단계;
    상기 제어부에 의해, 상기 확인된 분류를 근거로 ISP의 AWB 게인을 조정하는 단계;
    상기 제어부에 의해, 상기 조정된 AWB 게인을 근거로 해당 입력 영상에 대한 이미지 신호 처리 기능을 수행하는 단계; 및
    표시부에 의해, 상기 이미지 신호 처리 기능 수행 결과를 표시하는 단계를 포함하고,
    상기 Gb값과 Gr값을 계산하는 단계는,
    복수의 블록으로 분할된 입력 영상에서 각 블록의 Gb값과 Gr값을 각각 계산하는 것이고,
    상기 ISP의 AWB 게인을 조정하는 단계는,
    상기 확인된 분류에 대응하는 미리 설정된 AWB 게인으로 상기 ISP의 AWB 게인을 조정하는 것이며,
    상기 기계 학습은 신경 회로망(neural network: NN)을 통해 학습하는 것을 특징으로 하는 단색 트래킹을 위한 방법.
  6. 삭제
  7. 삭제
KR1020190153285A 2019-11-26 2019-11-26 단색 트래킹을 위한 장치 및 그 방법 KR102311317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153285A KR102311317B1 (ko) 2019-11-26 2019-11-26 단색 트래킹을 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153285A KR102311317B1 (ko) 2019-11-26 2019-11-26 단색 트래킹을 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210064734A KR20210064734A (ko) 2021-06-03
KR102311317B1 true KR102311317B1 (ko) 2021-10-14

Family

ID=76396904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153285A KR102311317B1 (ko) 2019-11-26 2019-11-26 단색 트래킹을 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102311317B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188914A (ja) * 2008-02-08 2009-08-20 Ricoh Co Ltd 撮像装置および画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101018237B1 (ko) 2009-02-03 2011-03-03 삼성전기주식회사 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188914A (ja) * 2008-02-08 2009-08-20 Ricoh Co Ltd 撮像装置および画像処理装置

Also Published As

Publication number Publication date
KR20210064734A (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
US20170255442A1 (en) Electronic device and method for displaying and transmitting images thereof
US11477383B2 (en) Method for providing preview and electronic device for displaying preview
US10841529B2 (en) Mobile terminal adjusting image quality of display, and method of operating the same
KR102259693B1 (ko) 투명 디스플레이 장치 및 그의 디스플레이 방법
US20130128074A1 (en) Display unit, image sensing unit and display system
US11595588B2 (en) Image capturing method and terminal device
EP3412031B1 (en) Method and apparatus for creating and rendering hdr images
EP3732670B1 (en) Mobile terminal adjusting image quality of display, and method of operating the same
CN107077830B (zh) 适用于无人机控制端的屏幕亮度调整方法及无人机控制端
KR20160136337A (ko) 증강현실 환경에서의 가상 오브젝트에 대한 현실적인 컬러의 생성
US11128909B2 (en) Image processing method and device therefor
EP3891997B1 (en) Electronic device and method for playing high dynamic range video and method thereof
KR102439146B1 (ko) 디스플레이 장치 및 그 제어방법
US10170079B2 (en) Display apparatus and display panel driving method thereof
CN113316711A (zh) 用于估计环境光的方法和设备
US20190230253A1 (en) Face tone color enhancement
US10319341B2 (en) Electronic device and method for displaying content thereof
US20150326839A1 (en) Electronic device having projector and color correction method thereof
KR102311317B1 (ko) 단색 트래킹을 위한 장치 및 그 방법
US9767543B2 (en) Method and apparatus for enhancing images via white pop-out
KR102457634B1 (ko) 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
EP2955712A1 (en) Image processing apparatus and method
US20230342579A1 (en) Two-dimensional code generation method and related device
US20190373167A1 (en) Spotlight detection for improved image quality
KR102309949B1 (ko) 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant