KR20230050127A - 디스플레이 장치 및 그 동작방법 - Google Patents

Abstract

개시된 실시예는 복수의 레이어들을 포함하는 뉴럴 네트워크를 이용하여, 영상 처리를 수행하는 디스플레이 장치에 관한 것으로, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성에 기초하여, 픽셀들 각각에 대응하는 모델 정보를 획득하고, 뉴럴 네트워크에 입력되는 픽셀들 각각에 대응하는 모델 정보와 픽셀들 각각이 뉴럴 네트워크에서 처리되는 시점에 대한 정보에 기초하여, 레이어 별로 레이어에 대응하는 모델 정보를 획득하고, 획득한 모델 정보에 기초하여, 복수의 레이어들 각각의 파라미터를 업데이트하고, 복수의 레이어들 각각에서, 업데이트된 파라미터에 기초하여 연산을 수행함으로써, 제2 영상을 획득하고, 제2 영상을 디스플레이하도록 디스플레이를 제어하는, 디스플레이 장치가 개시된다.

Description

디스플레이 장치 및 그 동작방법{Display device and operating method for the same}

다양한 실시예들은 디스플레이 장치 및 그 동작방법에 관한 것이다. 더욱 상세하게는 뉴럴 네트워크를 이용하여, 영상 처리를 수행하는 디스플레이 장치 및 그 동작방법에 관한 것이다.

최근 들어 다양한 형태의 학습 기반 영상 처리(예를 들어, 업스케일링) 방법들이 딥러닝 기술의 발전과 더불어 활발하게 개발되고 있다. 예를 들어, 학습 기반 업스케일링 방법은 학습을 통해 파라미터 값이 결정된 대용량 고 복잡도의 네트워크를 사용하여, 저화질 저해상도의 영상을 고화질 고해상도의 영상으로 변형 확대하는 것을 말한다. 여기서, 사용하는 네트워크는 다양한 구조로 설계될 수 있으며, 네트워크의 깊이(레이어들의 개수), 네트워크의 연산 파라미터의 개수(필터 커널의 크기)를 조절하여, 시스템에 맞게 선택될 수 있다. 학습 기반 업스케일링 방법은 기존의 신호 처리나 보간 기반 업스케일링(Bicubic, Bilinear, Lanczos)에 비해서 우수한 영상의 복원 성능을 보여준다. 그러나, 단일 입력, 단일 출력의 구조는 영상에서 다양한 특성을 가지는 각 객체에 대한 특화된 복원에는 한계를 보여 준다. 예를 들어, 영상에 포함되는 객체의 종류에는 사람, 글자, 그래픽, 인공물(빌딩, 조각, 자동차 등), 자연물(동물, 식물)등이 있을 수 있으며, 서로 다른 종류의 객체들 사이에는 구조적으로 구별되는 특징이 있다. 이러한 객체 별 특징들은 하나의 네트워크를 통해서 구별하여 학습하는 것은 어려우며, 학습 데이터를 복합적으로 구성하더라도 네트워크의 학습 과정에서 객체 별 특징이 반영되지 못하고 전체적인 에러를 최소화하도록 학습된다. 이에 따라, 학습된 네트워크는 타겟 영상의 평균적인 화질을 출력하게 되는 문제점이 있다.

개시된 실시예들은, 영상에 포함되는 객체 별 특성에 기초하여, 뉴럴 네트워크의 레이어 별로 파라미터를 변경하고, 변경된 파라미터를 이용하여, 영상 처리를 수행할 수 있는 디스플레이 장치 및 그 동작방법을 제공할 수 있다.

일 실시예에 따른 복수의 레이어들을 포함하는 뉴럴 네트워크를 이용하여, 영상 처리를 수행하는 디스플레이 장치는, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득하고, 상기 뉴럴 네트워크에 입력되는 상기 픽셀들 각각에 대응하는 모델 정보와 상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보에 기초하여, 레이어 별로 상기 레이어에 대응하는 모델 정보를 획득하고, 상기 획득한 모델 정보에 기초하여, 상기 복수의 레이어들 각각의 파라미터를 업데이트하고, 상기 복수의 레이어들 각각에서, 상기 업데이트된 파라미터에 기초하여 연산을 수행함으로써, 제2 영상을 획득하고, 상기 제2 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.

일 실시예에 따른 상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보는, 상기 픽셀들 각각이 상기 복수의 레이어들 각각에 입력되는 시점에 대한 정보, 및 상기 픽셀들 각각이 상기 복수의 레이어들 각각에서 처리되는 시점에 대한 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 상기 픽셀들 각각이 상기 복수의 레이어들 각각에 입력되는 시점 및 상기 복수의 레이어들 각각에서 처리되는 시점 중 적어도 하나는 일정한 주기를 가질 수 있다.

일 실시예에 따른 상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보는, 상기 제1 영상에서 상기 픽셀들 각각의 위치 정보에 기초하여 결정될 수 있다.

일 실시예에 따른 상기 복수의 레이어들은 직렬로 연결되고, 상기 프로세서는, 상기 제1 영상에 포함되는 픽셀들 각각이 상기 복수의 레이어들에 순차적으로 입력되고, 순차적으로 출력되도록 제어할 수 있다.

일 실시예에 따른 상기 프로세서는, 제1 픽셀이 상기 제1 레이어에 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제1 픽셀에 대응하는 제1 모델 정보에 포함되는 파라미터로 업데이트하고, 상기 제1 픽셀이 상기 제1 레이어의 다음 레이어인 제2 레이어로 입력되고, 제2 픽셀이 상기 제1 레이어로 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제2 픽셀에 대응하는 제2 모델 정보에 포함되는 파라미터로 업데이트하고, 상기 제2 레이어의 파라미터를 상기 제1 모델 정보에 포함되는 파라미터로 업데이트할 수 있다.

일 실시예에 따른 상기 프로세서는, 상기 제1 픽셀이 상기 제2 레이어의 다음 레이어인 제3 레이어로, 상기 제2 픽셀이 상기 제2 레이어로, 제3 픽셀이 상기 제1 레이어로 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제3 픽셀에 대응하는 제3 모델 정보에 포함되는 파라미터로 업데이트하고, 상기 제2 레이어의 파라미터를 상기 제2 모델 정보에 포함되는 파라미터로 업데이트하고, 상기 제3 레이어의 파라미터를 상기 제1 모델 정보에 포함되는 파라미터로 업데이트할 수 있다.

일 실시예에 따른 상기 프로세서는, 상기 제1 영상에 포함되는 객체 영역들을 검출하고, 상기 객체 영역들에 대응하는 모델 정보들에 기초하여, 상기 제1 영상에 포함되는 픽셀들 각각에 대응하는 모델 정보를 획득할 수 있다.

일 실시예에 따른 상기 프로세서는, 상기 객체 영역들에 대응하는 모델 정보들의 가중 합에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득할 수 있다.

일 실시예에 따른 상기 프로세서는, 상기 제1 영상에 포함되는 제1 픽셀과 상기 객체 영역들 각각의 중심 과의 거리에 기초하여, 상기 객체 영역들 각각에 대응하는 모델 정보의 가중치를 결정하고, 상기 객체 영역들 각각에 대응하는 모델 정보와 상기 결정된 가중치에 기초하여, 상기 제1 픽셀에 대응하는 모델 정보를 획득할 수 있다.

일 실시예에 따른 복수의 레이어들을 포함하는 뉴럴 네트워크를 이용하여, 영상 처리를 수행하는 디스플레이 장치의 동작 방법은, 제1 영상을 수신하는 단계, 상기 제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계, 상기 뉴럴 네트워크에 입력되는 상기 픽셀들 각각에 대응하는 모델 정보와 상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보에 기초하여, 레이어 별로 상기 레이어에 대응하는 상기 모델 정보를 획득하는 단계, 상기 획득된 모델 정보에 기초하여, 상기 복수의 레이어들 각각의 파라미터를 업데이트하는 단계, 상기 복수의 레이어들 각각에서, 상기 업데이트된 파라미터에 기초하여, 연산을 수행함으로써, 제2 영상을 생성하는 단계, 및 상기 제2 영상을 디스플레이하는 단계를 포함할 수 있다.

일 실시예에 따른 디스플레이 장치는 영상에 포함되는 객체들에 기초하여, 영역 별, 픽셀 별 객체 특성을 획득하고, 영역 별, 픽셀 별 객체 특성에 따라 서로 다른 모델 정보를 이용하여, 영상 처리를 수행할 수 있다. 이에 따라, 영상 처리의 정확도 또는 성능을 향상시킬 수 있다.

일 실시예에 따른 디스플레이 장치는 영상 처리 네트워크에 포함되는 파라미터 전체를 동일한 모델 정보로 업데이트하지 않고, 레이어 별로 파라미터를 업데이트할 수 있어, 영상 처리의 지연을 방지할 수 있다.

도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 영상 처리 네트워크의 구조를 나타내는 도면이다.
도 3은 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 디스플레이 장치가 제1 영상에 대응하는 모델 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 픽셀 별 모델 정보 및 픽셀이 영상 처리 네트워크에서 처리되는 시점에 대한 정보를 나타내는 도면이다.
도 6 및 7은 일 실시예에 따른 디스플레이 장치가 파라미터 업데이트 정보에 기초하여, 영상 처리 네트워크의 파라미터를 업데이트하는 방법을 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 복수의 모델 정보들을 획득하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제1 영상에 대응하는 모델 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 제1 영상에 대응하는 모델 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 12는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.

또한, 본 명세서의 실시예에서, '영상(image)' 또는 '픽처'는 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.

도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.

도 1을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 영상을 수신하여, 수신한 영상에 대한 영상 처리를 수행하는 전자 장치일 수 있다. 이때, 영상 처리는, 업스케일링, 화질 처리 등을 포함할 수 있으나, 이에 한정되지 않는다.

디스플레이 장치(100)는, TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있다.

또한, 디스플레이 장치(100)는 디스플레이를 포함하여, 영상 처리가 수행된 영상을 디스플레이에 표시할 수 있다. 또한, 디스플레이 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 영상 처리 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 따른 디스플레이 장치(100)는 외부 장치 또는 외부 서버로부터 수신되거나 입력된 영상(10)의 업스케일링 또는 화질을 향상시키는 처리를 수행하여, 업스케일링 또는 화질이 향상된 영상을 디스플레이에 표시할 수 있다. 이때, 디스플레이 장치(100)는 입력 영상(10)을 영상 처리 네트워크(30)에 입력하고, 영상 처리 네트워크(30)에 포함된 복수의 레이어들 각각에서 연산을 수행함으로써, 업스케일링 또는 화질이 향상된 출력 영상(20)을 획득할 수 있다.

일 실시예에 따른 영상 처리 네트워크(30)는 제1 내지 제 n 레이어들(31, 32, 33,..., 39)이 직렬로 연결된 구조를 포함할 수 있다. 이에 따라, 제1 레이어(31)에 입력된 데이터는 제1 레이어(31)의 파라미터와의 연산을 통해 처리되고, 처리된 결과가 제2 레이어(32)로 입력된다. 또한, 제2 레이어(32)에 입력된 데이터는 제2 레이어(32)의 파라미터와의 연산을 통해 처리되고, 처리된 결과가 제3 레이어(33)로 입력될 수 있다. 이와 같이, 제1 레이어(31)로 입력된 데이터는 제1 내지 제n 레이어들(31, 32, 33,..., 39) 각각에서 순차적으로 처리됨으로써 제n 레이어(39)에서 최종 데이터가 출력될 수 있다.

일 실시예에 따른 입력 영상(10)은 영역 단위로 영상 처리 네트워크(30)로 입력될 수 있다. 예를 들어, 입력 영상(10)에 포함되는 픽셀들 각각을 중심 픽셀로 하는 일정 영역 단위로 영상 처리 네트워크(30)로 입력될 수 있다. 일 실시예에서, 영상 처리 네트워크(30)로 입력되는 동작은 영상 처리 네트워크(30)에 포함된 레이어들 중 가장 첫번째 레이어인 제1 레이어(31)로 입력되는 동작을 의미할 수 있다.

이때, 입력되는 영역의 크기는 제1 레이어(31)의 파라미터(필터 커널)의 크기에 기초하여 결정될 수 있다. 예를 들어, 제1 레이어(31)의 파라미터의 크기가 3 x 3인 경우, 제1 레이어(31)에 입력된 영역과 파라미터와의 연산을 수행하기 위해, 제1 레이어(31)로 입력되는 영역의 크기는 3 x 3일 수 있다. 다만, 이에 한정되지 않는다.

이때, 입력 영상(10)은 하나 이상의 객체들을 포함할 수 있다. 입력 영상(10)은 입력 영상(10)에 포함되는 객체의 종류에 따라 객체 영역 별로 구별되는 특징을 가지며, 영상 처리에 최적화된 모델이 달라지게 된다. 이에 따라, 일 실시예에 따른 디스플레이 장치(100)는 입력 영상(10)에 포함되는 객체들에 기초하여, 영역 별, 픽셀 별 객체 특성을 획득하고, 영역 별, 픽셀 별 객체 특성에 따라 서로 다른 모델 정보를 이용하여, 영상 처리를 수행할 수 있다.

일 실시예에 따른 디스플레이 장치(100)가 입력 영상(10)에 포함되는 영역 별, 픽셀 별로 서로 다른 모델 정보를 이용하여, 영상 처리를 수행하는 방법에 대해서는, 도 2를 참조하여 자세히 설명하기로 한다.

도 2는 일 실시예에 따른 영상 처리 네트워크의 구조를 나타내는 도면이다.

도 2를 참조하면, 영상 처리 네트워크(30)는 복수의 레이어들이 직렬로 연결된 구조를 포함할 수 있다. 예를 들어, 복수의 레이어들은 제1 내지 제 n 레이어들(31, 32, 33,..., 39)을 포함할 수 있다.

영상 처리 네트워크(30)로 입력되는 제1 영상(210)은 영역 단위로 영상 처리 네트워크(30)로 입력될 수 있다. 예를 들어, 제1 영상(210)의 제1 영역(211), 제2 영역(212), 제3 영역(213)이 순차적으로 영상 처리 네트워크(30)로 입력될 수 있다. 이때, 제1 영역(211) 또는 제1 영역(211)의 중심 픽셀은 제1 객체 특성(예를 들어, "얼굴" 특성)을 가질 수 있으며, 제2 영역(212) 또는 제2 영역(212)의 중심 픽셀은 제2 객체 특성(예를 들어, "텍스트" 특성)을 가질 수 있다. 또한, 제3 영역(213) 또는 제3 영역(213)의 중심 픽셀은 제3 객체 특성(예를 들어, "배경" 특성)을 가질 수 있다.

이러한 경우, 디스플레이 장치(100)는 제1 영역 내지 제3 영역들(211, 212, 213)에 대하여, 동일한 모델 정보가 아닌, 객체 특성에 따라 서로 다른 모델 정보를 이용하여, 영상 처리를 수행함으로써, 영상 처리의 정확도 또는 성능을 향상시킬 수 있다.

영역 별로 객체 특성에 따라 서로 다른 모델 정보를 이용하여 영상 처리를 수행하기 위해, 디스플레이 장치(100)는 입력되는 영역의 객체 특성에 대응하는 모델 정보를 획득하고, 모델 정보에 따라, 영상 처리 네트워크(30)에 포함되는 복수의 레이어들의 파라미터를 업데이트할 수 있다.

이때, 디스플레이 장치(100)가 영상 처리 네트워크(30)에 포함되는 복수의 레이어들 전체에 대한 파라미터를 동시에 업데이트하는 경우, 입력되는 영역이 제1 내지 제n 레이어들(31, 32, 33, ..., 39)에서 순차적으로 처리되기 전까지 다음 영역에 대한 처리에 지연이 발생한다. 예를 들어, 디스플레이 장치(100)가 영상 처리 네트워크(30)에 입력되는 제1 영역(211)을 처리하기 위하여, 제1 영역(211)의 제1 객체 특성에 대응하는 제1 모델 정보에 기초하여, 제1 내지 제n 레이어들(31, 32, 33, ..., 39)의 파라미터 전체를 동시에 업데이트하면, 제1 내지 제n 레이어들(31, 32, 33, ..., 39)에서 제1 영역(211)에 대한 영상 처리가 완료되기 전까지 제2 영역(212)에 대한 처리를 수행할 수 없다.

이에 따라, 이전에 입력되는 영역의 영상 처리가 완료될 때까지 현재 입력되는 영역의 영상 처리에 지연이 발생하게 된다. 또한, 영상 처리 네트워크(30)에 포함되는 레이어들의 개수가 많아질수록(네트워크의 깊이가 깊어질수록) 지연 시간이 길어지게 된다.

따라서, 일 실시예에 따른 디스플레이 장치(100)는 영상 처리 네트워크(30)에 입력되는 영역에 대응하는 모델 정보에 기초하여, 영상 처리 네트워크(30)에 포함되는 파라미터 전체를 동일한 모델 정보로 업데이트하지 않고, 레이어 별로 파라미터를 업데이트할 수 있다. 디스플레이 장치(100)는 레이어들 각각에서, 해당 레이어에 입력되는 영역의 모델 정보를 획득하고, 획득한 모델 정보에 기초하여, 레이어 별로 파라미터를 업데이트할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 입력 영상의 영역 별(픽셀 별) 모델 정보와 영역 별(픽셀 별) 영상 처리 네트워크(30)에 처리되는 시점 정보에 기초하여, 영상 처리 네트워크(30)에 포함된 복수의 레이어들 각각의 파라미터를 업데이트할 수 있다.

이때, 영상 처리 네트워크(30)로 입력되는 영상의 영역들은 영상 처리 네트워크(30)에 입력된 순서대로 처리되어 출력된다. 예를 들어, 제1 영상(210)의 영역들은 제1 레이어(31)로 입력되고, 제1 내지 제n 레이어들(31, 32, 33,..., 39)에서 파이프라인 방식으로, 순차적으로 처리되어, 제n 레이어(39)에서 출력된다.

이에 따라, T 시점의 K번째 레이어에서 처리되던 영역은 T+1 시점에서는 K+1번째 레이어에서 처리되므로, T 시점(이전 시점)의 K번째 레이어의 모델 정보에 기초하여, T+1 시점(현재 시점)의 K+1번째 레이어의 파라미터를 업데이트할 수 있다.

예를 들어, 도 2에 도시된 바와 같이, 제1 영상의 제1 영역(211), 제2 영역(212), 제3 영역(213)이 순차적으로 영상 처리 네트워크(30)에 입력되는 경우, T 시점에서 제1 영역(211)이 제1 레이어(31)에서 처리되면, T+1 시점에서는 제1 영역(211)이 제1 레이어(31)의 다음 레이어인 제2 레이어(32)에서 처리되고, 제2 영역(212)이 제1 레이어(31)에서 처리된다. 또한, T+2 시점에서는 제1 영역(211)이 제2 레이어(32)의 다음 레이어인 제3 레이어(33)에서 처리되고, 제2 영역(212)은 제2 레이어(32)에서 처리되며, 제3 영역(213)은 제1 레이어(31)에서 처리된다.

이에 따라, T 시점에서 제1 레이어(31)의 파라미터는 제1 영역(211)에 대응하는 제1 모델 정보에 기초하여, 업데이트될 수 있다. 또한, T+1 시점에서 제1 레이어(211)의 파라미터는 제2 영역(212)에 대응하는 제2 모델 정보에 기초하여 업데이트되고, 제2 레이어(212)의 파라미터는 제1 모델 정보에 기초하여 업데이트될 수 있다. 또한 T+2 시점에서는 제1 레이어(31)의 파라미터는 제3 영역(213)에 대응하는 제3 모델 정보에 기초하여, 업데이트되고, 제2 레이어(212)의 파라미터는 제2 모델 정보에 기초하여, 업데이트되며, 제3 레이어(213)의 파라미터는 제1 모델 정보에 기초하여 업데이트될 수 있다.

또한, 일 실시예에 따른 디스플레이 장치(100)는 레이어들 각각에서 업데이트된 파라미터에 기초하여 연산을 수행하고, 레이어들 각각에서 연산된 결과 값들을 다음 레이어로 입력할 수 있다. 디스플레이 장치(100)는 레이어들 각각에서 파라미터 업데이트 동작과 연산 동작을 기 설정된 주기마다 반복함으로써, 제1 영상(210)을 처리하여, 제2 영상(220)을 획득할 수 있다.

이하, 도면들을 참조하여, 일 실시예에 따른 디스플레이 장치가 복수의 레이어들 각각의 파라미터를 업데이트하는 방법에 대하여 자세히 설명하기로 한다.

도 3은 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.

도 3을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 제1 영상을 수신할 수 있다(S310). 예를 들어, 디스플레이 장치(100)는 외부 장치 또는 외부 서버로부터 제1 영상을 수신하거나 입력 받을 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 수신한 제1 영상에 대응하는 모델 정보를 획득할 수 있다(S320).

디스플레이 장치(100)는 제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성을 추출하고, 객체 특성에 기초하여, 픽셀들 각각에 대응하는 모델 정보를 획득할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 영상에 포함되는 하나 이상의 객체들을 검출하고, 검출된 객체들에 기초하여, 하나 이상의 객체 영역들을 결정할 수 있다. 이때, 디스플레이 장치(100)는 제1 영상에 포함되는 검출된 객체 영역을 바운딩 박스(사각형)로 표현하는 방법과 픽셀 단위로 표현하는 세그멘테이션 방법을 이용할 수 있다. 다만, 이에 한정되지 않는다.

디스플레이 장치(100)는 하나 이상의 객체 영역들이 결정되면, 객체 영역의 객체 특성에 대응하는 모델 정보를, 객체 영역에 포함되는 픽셀들에 대응하는 모델 정보로 결정할 수 있다. 예를 들어, 디스플레이 장치(100)는, 제1 영상에서 검출된 "얼굴" 영역에 포함되는 픽셀들에, 얼굴 특성에 대응하는 모델 정보를 할당할 수 있다. 또한, "텍스트" 영역에 포함되는 픽셀들에는 텍스트 특성에 대응하는 모델 정보를 할당할 수 있다.

디스플레이 장치(100)는 상기와 같은 방식으로 제1 영상에 포함되는 픽셀들 각각에 대응하는 모델 정보를 획득할 수 있다.

한편, 상기에서는 픽셀 별로 모델 정보를 획득하는 것으로 설명하였지만, 이에 한정되지 않으며, 제1 영상에 포함되는 영역 별로 모델 정보를 획득할 수도 있다.

또한, 디스플레이 장치(100)는 제1 영상에서 검출된 객체 영역들에 대응하는 모델 정보들의 가중 합에 기초하여, 제1 영상에 포함되는 픽셀들 각각의 모델 정보를 획득할 수 있다. 예를 들어, 제1 영상에 포함된 제1 픽셀과 제1 영상에서 검출된 객체 영역의 중심 사이의 거리에 기초하여, 객체 영역에 대응하는 모델 정보에 대한 가중치를 결정하고, 결정된 가중치에 기초하여, 제1 픽셀의 모델 정보를 획득할 수 있다. 이에 대해서는 도 9 및 도 10을 참조하여, 자세히 후술하기로 한다.

일 실시예에 따른 디스플레이 장치(100)는 픽셀들 각각에 대응하는 모델 정보 및 픽셀들 각각이 영상 처리 네트워크에서 처리되는 시점에 대한 정보에 기초하여, 레이어 별로 레이어에 대응하는 모델 정보를 획득할 수 있다(S330).

디스플레이 장치(100)는 제1 영상에 포함되는 픽셀 정보, 픽셀에 대응하는 모델 정보, 픽셀에 대응하는 시점 정보가 매핑된 파라미터 업데이트 정보에 기초하여, 레이어 별로 레이어에 대응하는 모델 정보를 획득할 수 있다. 이때, 픽셀에 대응하는 시점 정보는, 해당 픽셀을 중심 픽셀로 하는 영역이 영상 처리 네트워크의 제1 레이어에 입력되는 시점 또는 제1 레이어로 입력된 영역이 제1 레이어에서 처리되는 시점일 수 있다.

디스플레이 장치(100)는 픽셀들 각각을 중심 픽셀로 하는 영역이 영상 처리 네트워크의 제1 레이어로 입력되는 시점 및 픽셀들 각각의 모델 정보에 기초하여, 제1 레이어에 대응하는 모델 정보를 획득할 수 있다.

또한, 디스플레이 장치(100)는 영상 처리 네트워크의 제1 레이어를 제외한 나머지 레이어들에 대해서, 이전 시점에 이전 레이어의 파라미터 설정에 이용한 모델 정보에 기초하여, 나머지 레이어들에 대응하는 모델 정보를 획득할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 레이어 별로 획득된 모델 정보에 기초하여, 레이어들 각각의 파라미터를 업데이트할 수 있다(S340).

디스플레이 장치(100)는 제1 영상의 제1 영역이 제1 레이어에 입력되는 것에 기초하여, 제1 레이어의 파라미터를 제1 영역에 대응하는 제1 모델 정보에 포함되는 파라미터로 업데이트하고, 제1 영역이 제1 레이어의 다음 레이어인 제2 레이어로 입력되고, 제2 영역이 제1 레이어로 입력되는 것에 기초하여, 제1 레이어의 파라미터를 제2 영역에 대응하는 제2 모델 정보에 포함되는 파라미터로 업데이트하고, 제2 레이어의 파라미터를 제1 모델 정보에 포함되는 파라미터로 업데이트할 수 있다.

또한, 제1 영역이 제2 레이어의 다음 레이어인 제3 레이어로, 제2 영역이 제2 레이어로, 제3 영역이 제1 레이어로 입력되는 것에 기초하여, 제1 레이어의 파라미터를 제3 영역에 대응하는 제3 모델 정보에 포함되는 파라미터로 업데이트하고, 제2 레이어의 파라미터를 제2 모델 정보에 포함되는 파라미터로 업데이트하며, 제3 레이어의 파라미터를 제1 모델 정보에 포함되는 파라미터로 업데이트할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 업데이트된 파라미터에 기초하여, 복수의 레이어들 각각에서 연산을 수행함으로써, 제2 영상을 획득할 수 있다(S350).

예를 들어, 디스플레이 장치(100)는 업데이트된 파라미터에 기초하여, 복수의 레이어들 각각에서 연산을 수행하고, 연산이 수행된 결과를 다음 레이어로 입력할 수 있다. 디스플레이 장치(100)는 복수의 레이어들 각각에서 파라미터 업데이트 동작과 연산 동작을 기 설정된 주기마다 반복함으로써, 제2 영상을 획득할 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 획득한 제2 영상을 디스플레이할 수 있다(S360).

도 4는 일 실시예에 따른 디스플레이 장치가 제1 영상에 대응하는 모델 정보를 획득하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 일 실시예에 따라 디스플레이 장치(100)는 객체 검출 모듈을 포함할 수 있다. 일 실시예에 따른 객체 검출 모듈은, 제1 영상(410)에서 객체를 검출할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.

일 실시예에 따른 객체 검출 모듈은 도 4에 도시된 바와 같이, 객체 검출 네트워크(420)를 이용하여, 영상에 포함된 객체들을 식별하고, 식별된 객체의 종류, 크기, 위치 정보 등을 획득할 수 있다.

일 실시예에 따른 객체 검출 네트워크(420)는 영상을 입력 받아, 입력된 영상에 포함되는 적어도 하나의 객체를 검출하는 뉴럴 네트워크일 수 있다. 객체 검출 네트워크(420)는 하나 이상의 뉴럴 네트워크를 이용하여, 제1 영상(410)으로부터 하나 이상의 객체들을 검출하고, 검출된 하나 이상의 객체들에 대응하는 객체 종류(class) 및 객체의 위치를 포함하는 객체 정보를 출력할 수 있다.

여기서, 객체 검출(object detection)은 주어진 영상에서 객체들이 어디에 위치하는지 결정하고(object localization), 각 객체가 어느 카테고리에 속하는지를 결정(object classification)하는 것을 포함한다. 따라서, 일반적으로 객체 검출 네트워크(420)는 세가지 단계, 즉, 객체 후보 영역을 선택하고, 각 후보 영역으로부터 특징을 추출하며, 추출한 특징에 분류기를 적용하여, 객체 후보 영역의 종류를 분류하는 것을 포함할 수 있다. 검출 방법에 따라 이후 바운딩 박스 리그레션과 같은 후 처리를 통해, localization 성능을 높일 수 있다.

일 실시예에 따른 객체 검출 네트워크(420)는 연산을 수행하는 내부의 레이어가 복수인 딥 뉴럴 네트워크(DNN: Deep Neural Network)일 수 있으며, 내부의 레이어가 컨볼루션 연산을 수행하는 컨볼루션 레이어로 이루어진 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network)일 수 있으나, 이에 한정되는 것은 아니다.

도 4를 참조하면, 일 실시예에 따른 객체 검출 네트워크(420)는 영역 제안 모듈(421), CNN(422), 분류기 모듈(423)을 포함할 수 있다.

영역 제안 모듈(421)은 제1 영상(10)에서 후보 영역을 추출할 수 있다. 후보 영역은 기 설정된 개수로 제한할 수 있으나, 이에 한정되지 않는다.

CNN(422)은 영역 제안 모듈(421)에서 생성한 영역에서 특징 정보를 추출할 수 있다.

분류기 모듈(423)은 CNN(422)에서 추출된 특징 정보를 입력으로 받아 분류(classification)을 수행할 수 있다.

뉴럴 네트워크가 입력 데이터에 대응하는 결과 데이터를 정확하게 출력하기 위해서는, 목적에 따라 뉴럴 네트워크를 학습(training)시켜야 한다. 여기서, '학습(training)'은 뉴럴 네트워크로 다양한 데이터들을 입력시키고, 입력된 데이터들을 분석하는 방법, 입력된 데이터들을 분류하는 방법, 및/또는 입력된 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 뉴럴 네트워크가 스스로 발견 또는 터득할 수 있도록 뉴럴 네트워크를 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통하여, 뉴럴 네트워크는 학습 데이터(예를 들어, 서로 다른 복수의 이미지들)를 학습(training)하여 뉴럴 네트워크 내부의 가중치 값들을 최적화하여 설정할 수 있다. 그리고, 최적화된 가중치 값을 가지는 뉴럴 네트워크를 통하여, 입력된 데이터를 스스로 학습(learning)함으로써, 목적하는 결과를 출력한다.

예를 들어, 학습(training)을 통하여, 객체 검출 네트워크(420)가 객체 검출 네트워크(420)에 입력된 영상에 포함되는 적어도 하나의 객체를 검출하도록, 객체 검출 네트워크(420) 내부의 가중치 값들이 최적화될 수 있다. 이때, 객체 검출 네트워크(420)는 영상에서, 얼굴(인물), 텍스트, 인공물, 자연물(배경) 등의 다양한 종류의 객체 정보를 검출하도록 학습(training)될 수 있다.

이에 따라, 학습(training)이 완료된 객체 검출 네트워크(420)는 영상을 입력 받고, 영상에 포함되는 적어도 하나의 객체를 검출하며, 검출된 결과를 출력할 수 있다. 예를 들어, 객체 검출 네트워크(420)는, 제1 영상(410) 내에 포함된 얼굴(인물), 텍스트, 인공물, 자연물(배경) 등의 다양한 종류의 객체 영역들을 검출할 수 있다.

도 4에 도시된 바와 같이, 객체 검출 네트워크(420)에서 출력되는 영상(430)은 입력된 제1 영상(410)에서 검출된 객체에 대한 정보를 포함할 수 있다. 객체에 대한 정보는 검출된 객체의 종류(class)에 대한 정보와 검출된 객체의 위치를 나타내는 바운딩 박스(435)를 포함할 수 있다. 다만, 이에 한정되지 않으며, 다양한 형식으로 입력된 제1 영상(410)에서 검출된 객체들이 출력 영상(430)에 표시될 수 있다.

한편, 도 4에서는 검출된 객체 영역이 사각형의 바운딩 박스 형태를 가지는 것으로 도시하였지만, 이에 한정되지 않는다.

일 실시예에 따른 객체 검출 모듈은, 제1 영상을 픽셀 단위로 세그멘테이션하고, 세그멘테이션된 영역에 기초하여, 객체 영역을 검출할 수 있다. 이러한 경우, 다양한 형태의 객체 영역이 검출될 수 있다.

일 실시예에 따른 디스플레이 장치(100)는 검출된 객체 영역들의 객체 특성에 기초하여, 제1 영상(410)에 대응하는 모델 정보를 획득할 수 있다. 예를 들어, 제1 객체 영역(441) 및 제2 객체 영역(442)에 포함되는 픽셀들에는, 얼굴 특성에 대응하는 모델 A가 할당될 수 있다. 또한, 제3 객체 영역(443)에 포함되는 픽셀들에는 텍스트 특성에 대응하는 모델 B가 할당될 수 있으며, 나머지 영역인 제4 객체 영역(444)에 포함되는 픽셀들에는 배경 특성에 대응하는 모델 C가 할당될 수 있다.

도 5는 일 실시예에 따른 픽셀 별 모델 정보 및 픽셀이 영상 처리 네트워크에서 처리되는 시점에 대한 정보를 나타내는 도면이다.

도 5를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 제1 영상(510)에 포함되는 픽셀들 각각에 대응하는 모델 정보(520)를 획득할 수 있다. 모델 정보(520)를 획득하는 방법에 대해서는, 도 4에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.

또한, 일 실시예에 따른 디스플레이 장치(100)는 제1 영상(510)에 포함되는 픽셀들 각각이 일 실시예에 따른 영상 처리 네트워크(30)에서 처리되는 시점에 대한 정보(시점 정보)를 획득할 수 있다. 이때, 시점 정보는 제1 영상에 포함되는 픽셀들 각각을 중심 픽셀로 하는 영역이 영상 처리 네트워크(30)에 입력되는 시점에 대한 정보를 포함할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 제1 픽셀(P1)을 중심 픽셀로 하는 제1 영역이 영상 처리 네트워크(30)에 입력되는 시점은 T1이고, 제2 픽셀(P2)을 중심 픽셀로 하는 제2 영역이 영상 처리 네트워크(30)에 입력되는 시점은 T2일 수 있다.

또는, 일 실시예에 따른 시점 정보는 제1 영상에 포함되는 픽셀들 각각을 중심 픽셀로 하는 영역이 제1 레이어에 입력되는 시점에 대한 정보, 또는 제1 영상에 포함되는 픽셀들 각각을 중심 픽셀로 하는 영역이 제1 레이어에서 파라미터와의 연산이 수행되는 시점에 대한 정보 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.

또한, 시점 정보는 제1 영상(510)에 포함되는 영역들 각각이 영상 처리 네트워크(30)에 입력되는 순서, 입력되는 주기, 레이어들 각각에서 처리되는 주기 등에 기초하여 결정될 수 있다.

예를 들어, 시점 정보가, 영역들이 영상 처리 네트워크(30)에 입력되는 시점에 대한 정보이고, 제1 영역, 제2 영역 순서로 영상 처리 네트워크에 입력되며, 영역들이 주기 P0로 영상 처리 네트워크에 입력되는 경우, 제2 영역의 시점 정보 T2는 T1(제1 영역의 시점 정보)+P0으로 결정될 수 있다.

또한, 시점 정보가 영역들이 제1 레이어(31)에서 처리되는 시점에 대한 정보이고, 제1 영역, 제2 영역 순서로 영상 처리 네트워크에 입력되며, 제1 레이어에서 입력 영역과 파라미터와의 연산이 주기 P1으로 수행되는 경우, 제2 영역의 시점 정보 T2는 T1(제1 영역의 시점 정보)+P1으로 결정될 수 있다.

한편, 일 실시예에 따른 디스플레이 장치(100)는 픽셀들 각각에 대응하는 모델 정보(520)와 픽셀들 각각에 대응하는 시점 정보가 매핑된 파라미터 업데이트 정보(530)를 획득할 수 있다. 일 실시예에 따른 파라미터 업데이트 정보(530)는 다양한 형태로 나타날 수 있다.

도 6 및 7은 일 실시예에 따른 디스플레이 장치가 파라미터 업데이트 정보에 기초하여, 영상 처리 네트워크의 파라미터를 업데이트하는 방법을 설명하기 위한 도면들이다.

도 6을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 파라미터 업데이트부(610) 및 모델 정보 저장부(620)를 포함할 수 있다.

일 실시예에 따른 파라미터 업데이트부(610)는 파라미터 업데이트 정보에 기초하여, 영상 처리 네트워크(30)에 포함된 복수의 레이어들 각각의 파라미터를 업데이트할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.

일 실시예에 따른, 파라미터 업데이트부(610)는 파라미터 업데이트 정보에 포함된 픽셀 별 모델 정보에 기초하여, 레이어 별로 레이어에 대응하는 모델 정보를 결정할 수 있다. 파라미터 업데이트부(610)는 결정된 모델 정보를 모델 정보 저장부(620)로부터 획득하여, 레이어의 파라미터를 업데이트할 수 있다.

이때, 모델 정보 저장부(620)는 외부 장치 또는 외부 서버로부터 수신된 복수의 모델 정보들을 저장할 수 있다. 복수의 모델 정보들은 서로 다른 객체 특성을 가지는 훈련 영상 셋을 이용하여, 영상 처리 네트워크를 훈련시키고, 훈련이 완료된 영상 처리 네트워크의 파라미터 정보들일 수 있다. 복수의 모델 정보들을 획득하는 방법에 대해서는, 도 8을 참조하여, 자세히 후술하기로 한다.

일 실시예에 따른 영상 처리 네트워크(30)로 영역 또는 픽셀을 입력시키는 클락 신호, 영상 처리 네트워크(30)로 인가되는 클락 신호와 파라미터 업데이트부(610)로 인가되는 클락 신호는 동기화될 수 있다.

파라미터 업데이트부(610)는 파라미터 업데이트 정보를 수신하고, 파라미터 업데이트 정보에 기초하여, 복수의 레이어들의 파라미터를 업데이트할 수 있다. 이에 대해서는 도 7을 참조하여 자세히 설명하기로 한다.

일 실시예에 따른 파라미터 업데이트 정보는, 도 5에서 설명한 바와 같이, 픽셀 정보, 픽셀에 대응하는 모델 정보, 픽셀에 대응하는 시점 정보가 매핑된 정보일 수 있다. 이때, 픽셀에 대응하는 시점 정보는, 해당 픽셀을 중심 픽셀로 하는 영역이 제1 레이어(31)에 입력되는 시점 또는 제1 레이어(31)로 입력된 영역이 제1 레이어(31)에서 처리되는 시점일 수 있다. 다만, 이에 한정되지 않는다.

일 실시예에 따른 파라미터 업데이트부(610)는 파라미터 업데이트 정보에 포함된 픽셀들 각각의 모델 정보 및 픽셀들 각각을 중심 픽셀로 하는 영역이 제1 레이어(31)로 입력되는 시점에 기초하여, 제1 레이어(31)의 파라미터를 업데이트할 수 있다.

예를 들어, 일 실시예에 따른 파라미터 업데이트 정보가, 픽셀 P1에 대응하는 모델 정보가 모델 A이며, 픽셀 P1을 중심으로 하는 영역이 시점 T1에 제1 레이어로 입력된다는 정보를 포함하면, 파라미터 업데이트부(610)는 도 7에 도시된 바와 같이, 시점 T1에 기초하여, 제1 레이어(31)의 파라미터를 모델 A에 포함된 제1 파라미터로 설정할 수 있다.

또한, 파라미터 업데이트 정보가, 픽셀 P2에 대응하는 모델 정보가 모델 A이며, 픽셀 P2를 중심으로 하는 영역이 시점 T2에 제1 레이어로 입력된다는 정보를 포함하면, 파라미터 업데이트부(610)는 제1 레이어의 파라미터를 업데이트하지 않고, 제1 파라미터로 유지할 수 있다.

또한, 파라미터 업데이트 정보가, 픽셀 P3에 대응하는 모델 정보가 모델 B이며, 픽셀 P3을 중심으로 하는 영역이 시점 T3에 제1 레이어로 입력된다는 정보를 포함하면, 파라미터 업데이트부(610)는 시점 T3에 기초하여, 제1 레이어의 파라미터를 모델 B에 포함된 제2 파라미터로 업데이트할 수 있다.

또한, 파라미터 업데이트부(610)는 제1 레이어(31)를 제외한 나머지 레이어들의 파라미터를, 이전 시점에 이전 레이어의 파라미터 설정에 이용한 모델 정보에 기초하여, 업데이트할 수 있다.

예를 들어, 파라미터 업데이트부(610)는 시점 T2에 제2 레이어(32)의 파라미터를, 이전 시점인 T1에 이전 레이어인 제1 레이어(31)의 파라미터 설정에 이용한 모델 A에 포함된 제3 파라미터로 설정할 수 있다.

또한, 시점 T4에 제2 레이어(32)의 파라미터를 이전 시점인 T3에 제1 레이어(31)의 파라미터 설정에 이용한 모델 B에 포함된 제4 파라미터로 업데이트할 수 있다.

또한, 파라미터 업데이트부(610)는 제3 레이어(31) 내지 제n 레이어(39)에 대해서도, 제2 레이어(32)와 동일한 방식으로 파라미터를 업데이트할 수 있다.

또한, 레이어들 각각에서는 업데이트된 파라미터와 입력된 영역의 연산이 수행될 수 있다.

일 실시예에 따른 시점들은 기 설정된 주기를 가질 수 있으며, 이때, 주기는 영상 처리 네트워크(30)에 영역들(픽셀들)이 입력되는 주기, 레이어들 각각에 영역이 입력되고, 출력되는 주기, 레이어들 각각에서 수행되는 연산에 소요되는 시간 등에 기초하여, 결정될 수 있으나, 이에 한정되지 않는다.

한편, 도 7에서는 파라미터 업데이트 정보에 포함되는 시점 정보가 영역들 각각이 제1 레이어(31)에 입력되는 시점인 것으로 설명하였으나, 영역들 각각이 제1 레이어(31)에서 처리되는 시점인 경우에도 동일한 방식으로 복수의 레이어들에 대한 파라미터를 업데이트할 수 있다.

상기에서와 같이, 영상 처리 네트워크(30)에 포함되는 복수의 레이어들에 대해서, 레이어 별로 해당 레이어에서 처리되는 영역의 객체 특성에 따라 파라미터를 업데이트하면, 영상 처리의 성능을 향상시키면서, 영상 처리가 지연되는 것을 방지할 수 있다.

도 8은 일 실시예에 따른 복수의 모델 정보들을 획득하는 방법을 설명하기 위한 도면이다.

도 8을 참조하면, 일 실시예에 따른 복수의 모델 정보들은 외부 장치에 의해 결정될 수 있으며, 이때, 외부 장치는 일 실시예에 따른 디스플레이 장치(100)와 다른 별도의 장치일 수 있다. 예를 들어, 외부 장치는 훈련 데이터 셋에 기초하여, 영상 처리 네트워크(810)를 훈련시킴으로써, 영상 처리 네트워크(810)에 포함되는 파라미터들을 결정할 수 있다. 도 8의 영상 처리 네트워크(810)는 도 1 내지 도 7에서 설명한 영상 처리 네트워크(30)와 동일한 구조를 포함하는 네트워크일 수 있다.

영상 처리 네트워크(810)는 복수의 레이어들을 포함하는 딥 뉴럴 네트워크(DNN: Deep Neural Network)일 수 있으며, 뉴럴 네트워크가 입력 데이터에 대응하는 결과 데이터를 정확하게 출력하기 위해서는 목적에 따라 뉴럴 네트워크를 훈련(training)시켜야 한다. 이때, '훈련(training)'은 뉴럴 네트워크로 다양한 데이터들을 입력시키고, 입력된 데이터들을 분석하는 방법, 입력된 데이터들을 분류하는 방법, 및/또는 입력된 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 뉴럴 네트워크가 스스로 발견 또는 터득할 수 있도록 뉴럴 네트워크를 훈련시키는 것을 의미할 수 있다. 구체적으로 훈련 과정을 통하여, 뉴럴 네트워크는 훈련 데이터를 학습(learning)하여, 뉴럴 네트워크 내부의 파라미터들(가중치들, 계수들)을 최적화하여 설정할 수 있다. 최적화된 파라미터들로 설정된 뉴럴 네트워크는, 입력된 데이터를 스스로 학습(learning)함으로써, 목적하는 결과를 출력할 수 있다.

일 실시예에 따른 영상 처리 네트워크(810)는 영상을 입력 받고, 업스케일링 또는, 화질 처리 등의 영상 처리를 수행하여, 영상 처리된 영상을 출력하는 뉴럴 네트워크일 수 있다.

외부 장치는 복수의 훈련 데이터 셋들에 기초하여, 영상 처리 네트워크(810)를 훈련시킴으로써, 복수의 모델 정보들을 획득할 수 있다. 이때, 복수의 훈련 데이터 셋들은, 서로 다른 객체 특성을 가지는 복수의 훈련 영상들에 기초하여 생성될 수 있다.

예를 들어, 일 실시예에 따른 영상 처리가 해상도를 향상시키는 업스케일링인 경우, 제1 훈련 데이터 셋은, 저해상도의 얼굴 영상들과 고해상도의 얼굴 영상들을 포함할 수 있다. 또한, 제2 훈련 데이터 셋은, 저해상도의 텍스트 영상들과 고해상도의 텍스트 영상들을 포함할 수 있다. 또한, 제3 훈련 데이터 셋은 저해상도의 동물 영상들과 고해상도의 동물 영상들을 포함할 수 있고, 제4 훈련 데이터 셋은 저해상도의 배경 영상들과 고해상도의 배경 영상들을 포함할 수 있다.

외부 장치는 제1 훈련 데이터 셋에 기초하여, 영상 처리 네트워크(810)를 훈련시킴으로써, 제1 모델 정보(모델 A의 파라미터 정보)를 결정할 수 있다.

예를 들어, 외부 장치는 제1 훈련 데이터 셋에 포함되는 저해상도의 얼굴 영상을 영상 처리 네트워크(810)에 입력하여, 출력되는 영상(출력 데이터)과 고해상도의 얼굴 영상의 차이가 최소화하는 방향으로 영상 처리 네트워크(810)에 포함되는 파라미터들을 업데이트함으로써, 제1 모델 정보(모델 A의 파라미터 정보)를 결정할 수 있다. 이에 따라, 제1 훈련 데이터 셋에 기초하여, 훈련이 완료된 영상 처리 네트워크(810)는 얼굴 영상에 최적화된 업스케일링 모델(모델 A)일 수 있다.

동일한 방식으로, 외부 장치는 제2 훈련 데이터 셋에 기초하여, 영상 처리 네트워크(810)를 훈련시킴으로써, 제2 모델 정보(모델 B의 파라미터 정보)를 결정할 수 있다. 이에 따라, 제2 훈련 데이터 셋에 기초하여, 훈련이 완료된 영상 처리 네트워크(810)는 텍스트 영상에 최적화된 업스케일링 모델(모델 B)일 수 있다.

또한, 외부 장치는 제3 훈련 데이터 셋에 기초하여, 영상 처리 네트워크(810)를 훈련시킴으로써, 제3 모델 정보(모델 C의 파라미터 정보)를 결정할 수 있다. 이에 따라, 제3 훈련 데이터 셋에 기초하여, 훈련이 완료된 영상 처리 네트워크(810)는 동물 영상에 최적화된 업스케일링 모델(모델 C)일 수 있다.

또한, 외부 장치는 제4 훈련 데이터 셋에 기초하여, 영상 처리 네트워크(810)를 훈련시킴으로써, 제4 모델 정보(모델 D의 파라미터 정보)를 결정할 수 있다. 이에 따라, 제4 훈련 데이터 셋에 기초하여, 훈련이 완료된 영상 처리 네트워크(810)는 배경 영상에 최적화된 업스케일링 모델(모델 D)일 수 있다.

도 9는 일 실시예에 따른 제1 영상에 대응하는 모델 정보를 획득하는 방법을 설명하기 위한 도면이다.

일 실시예에 따른 디스플레이 장치(100)는 제1 영상(910)에 포함되는 하나 이상의 객체들을 검출하여, 객체 영역을 결정할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 영상(910)을 사람의 얼굴이 검출되는 제1 객체 영역(921)과 사람의 얼굴이 검출되지 않는 제2 객체 영역(922)으로 구분할 수 있다. 이때, 일 실시예에 따른 디스플레이 장치(100)는 제1 객체 영역(921)에 포함되는 픽셀들에는 얼굴 특성에 대응하는 제1 모델(모델 A)을 할당하고, 제2 객체 영역(922)에 포함되는 픽셀들에는 배경 특성에 대응하는 제2 모델(모델 B)을 할당할 수 있다.

디스플레이 장치(100)는 도 1 내지 도 7에서 설명한 바와 같이, 제1 영상(910)에 포함되는 픽셀들 각각에 대응하는 모델 정보에 기초하여, 영상 처리 네트워크에 포함되는 파라미터를 업데이트하고, 업데이트된 파라미터에 기초하여, 픽셀들 각각을 중심으로 하는 영역에 대한 영상 처리를 수행할 수 있다.

디스플레이 장치(100)가 제1 영상(910)을 처리할 때, 제1 객체 영역(921)에서 제2 객체 영역(922)의 경계에서, 모델 정보는 제1 모델 정보에서 제2 모델 정보로 또는, 제2 모델 정보에서 제1 모델 정보로 변경된다. 이때, 제1 모델 정보와 제2 모델 정보의 차이가 큰 경우, 급격한 파라미터의 변화로 영상 처리 네트워크에서 출력되는 제2 영상의 제1 객체 영역(921)과 제2 객체 영역(922)의 경계에서 불연속성이 발생할 수 있다.

이에 따라, 일 실시예에 따른 디스플레이 장치(100)는 제1 객체 영역(921)과 제2 객체 영역(922) 사이의 모델 정보가 점진적으로 변경되도록, 제1 영상(910)에 포함되는 픽셀들 각각에 대응하는 모델 정보를 제1 객체 영역(921)에 대응하는 제1 모델 정보와 제2 객체 영역(922)에 대응하는 제2 모델 정보의 가중합에 기초하여, 획득할 수 있다.

예를 들어, 제1 영상에 포함되는 객체 영역이 제1 객체 영역과 제2 객체 영역 2개인 경우, 제1 영상에 포함되는 픽셀들 각각에 대응하는 모델 정보는 다음과 같은 수학식 1로 표현될 수 있다.

[수학식 1]

모델 정보 = 제1 가중치 X 제1 모델 정보 + (1-제1 가중치) X 제2 모델 정보

또한, 수학식 1은 다음과 같은 수학식 2로 표현될 수 있다.

[수학식 2]

모델 정보 = 제2 모델 정보 + 제1 가중치 X (제1 모델 정보 - 제2 모델 정보)

수학식 2에서, 제1 모델 정보와 제2 모델 정보의 차이를 델타 모델로 정의하면, 수학식 2는 다음과 같은 수학식 3으로 간단히 표현될 수 있다.

[수학식 3]

모델 정보 = 제2 모델 정보 + 제1 가중치 X 델타 모델

수학식 3의 델타 모델은 제1 모델 정보와 제2 모델 정보의 차이를 미리 연산해 놓음으로써, 추가적인 연산없이 모델 정보를 획득하는 데 이용할 수 있다.

델타 모델을 이용하지 않고 모델 정보를 획득하는 방법(예를 들어, 수학식 1)은 모델에 포함되는 파라미터의 수의 2배 만큼의 곱셈 연산이 필요하며, 파라미터의 수가 100만 개인 경우, 200만 번의 곱셈 연산이 필요하다.

그러나, 수학식 3과 같이 델타 모델을 이용하여 모델 정보를 획득하는 방법은, 수학식 1과 같은 방법에 비하여, 곱셈 연산이 반으로 감소하게 된다. 이에 따라, 네트워크의 구현 시에, 추가적인 파워 소모를 최소화할 수 있다. 또한, 델타 모델은 모델 간의 차이를 나타내며, 델타 모델에 포함되는 파라미터들의 통계 분포는 주로 작은 범위에 집중되게 된다. 따라서, 델타 모델의 양자화나 압축에 유리하다.

일 실시예에 따른, 델타 모델을 이용하여 모델 정보를 획득하면, 양자화 정밀도를 줄일 수 있으며, 파워 소모를 최소화할 수 있다.

또한, 영상이 3개 이상의 객체들을 포함하는 경우에도, 영상의 일부 영역은 배경 영역과 하나의 객체 영역으로 표현될 수 있으므로, 일 실시예에 따른 델타 모델을 이용하여 모델 정보를 획득하는 방법은 3개 이상의 객체 영역을 포함하는 경우에도 적용 가능하다.

도 9를 참조하면, 디스플레이 장치(100)는 제1 영상(910)에 포함되는 제1 픽셀(930)과 제1 객체 영역(921)의 중심(940) 사이의 거리에 기초하여, 제1 가중치를 결정할 수 있다. 이때, 제1 객체 영역(921)이 바운딩 박스의 형태인 경우, 제1 객체 영역(921)의 중심(940)은 다음과 같은 수학식 4를 통해 계산될 수 있다.

[수학식 4]

객체 영역의 중심 좌표=(객체 영역의 좌측 위 좌표 + 객체 영역의 우측 아래 좌표)/2

일 실시예에 따른 제1 가중치는 0 이상 1 이하의 값을 가지며, 제1 픽셀(930)과 제1 객체 영역(921)의 중심(940) 사이의 거리에 반비례한다. 예를 들어, 제1 객체 영역(921)의 중심(940)까지의 거리가 멀어질수록 값이 감소하고, 거리가 가까워질수록 값이 증가한다.

제1 영상(910)에 포함되는 픽셀들 각각에 대응하는 모델 정보가 제1 모델 정보와 제2 모델 정보의 가중합으로 나타나는 경우, 일 실시예에 따른 파라미터 업데이트부(610)는 제1 가중치에 기초하여, 제1 모델 정보와 제2 모델 정보의 가중합을 연산하고, 연산된 모델 정보에 기초하여, 레이어의 파라미터를 업데이트할 수 있다.

도 10은 일 실시예에 따른 제1 영상에 대응하는 모델 정보를 획득하는 방법을 설명하기 위한 도면이다.

도 10을 참조하면, 일 실시예에 따른 제1 영상(1010)은 3개 이상의 객체 영역들로 구분될 수 있다. 예를 들어, 제1 영상(1010)은 제1 내지 제4 객체 영역들로 구분될 수 있다. 제1 객체 영역(1021)은 얼굴이 검출된 영역으로 얼굴 특성을 포함할 수 있다. 제2 객체 영역(1022)은 텍스트가 검출된 영역으로 텍스트 특성을 포함할 수 있으며, 제3 객체 영역(1023)은 동물이 검출된 영역으로 동물 특성을 포함할 수 있고, 제4 객체 영역(1024)은 제1 내지 제3 객체 영역들(1021, 1022, 1023)을 제외한 나머지 영역으로, 배경 특성을 포함할 수 있다. 다만, 이에 한정되지 않는다.

일 실시예에 따른 디스플레이 장치(100)는 제1 영상(1010)에 포함되는 픽셀들 각각에 대응하는 모델 정보를, 얼굴 특성에 대응하는 제1 모델 정보(A), 텍스트 특성에 대응하는 제2 모델 정보(B), 동물 특성에 대응하는 제3 모델 정보(C), 배경 특성에 대응하는 제4 모델 정보(D)의 가중합에 기초하여, 획득할 수 있다.

예를 들어, 제1 영상(1010)에 포함되는 제1 픽셀(1030)에 대한 모델 정보는, 제1 모델 정보에 제1 가중치를 적용한 값, 제2 모델 정보에 제2 가중치를 적용한 값, 제3 모델 정보에 제3 가중치를 적용한 값, 및 제4 모델 정보에 제4 가중치를 적용한 값을 합함으로써 획득할 수 있다.

이때, 제1 가중치는 제1 픽셀(1030)과 제1 객체 영역(1021)의 중심(1040) 사이의 거리에 반비례하는 값이고, 제2 가중치는 제1 픽셀(1030)과 제2 객체 영역(1022)의 중심(1050) 사이의 거리에 반비례한 값이며, 제3 가중치는 제1 픽셀(1030)과 제3 객체 영역(1023)의 중심(1060) 사이의 거리에 반비례하는 값이다. 제1 내지 제3 가중치들은 정규화된 값일 수 있으며, 제4 가중치는 1에서 제1 내지 제3 가중치를 뺀 값으로 결정될 수 있다.

도 9 및 도 10에서는 객체 영역이 바운딩 박스로 표현되는 경우를 도시하고 설명하였지만, 픽셀 단위의 세그멘테이션 영역으로 표현되는 경우, 객체 영역의 중심은, 객체 영역에 포함되는 전체 픽셀 좌표들의 평균을 계산함으로써 획득될 수 있다.

또한, 도 9 및 도 10에서는 디스플레이 장치(100)가 픽셀에 대응되는 모델 정보를 계산하기 위해 픽셀과 객체 영역 중심 사이의 거리에 따라 결정되는 가중치만 이용하는 것으로 설명하였지만, 이에 한정되지 않고, 객체 영역까지의 거리뿐만 아니라, 객체 영역의 넓이, 제1 영상에서의 객체 영역의 비율, 객체 영역의 밝기 등을 더 고려하여 결정할 수 있다.

도 11은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

도 11을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 영상 수신부(110), 프로세서(120), 메모리(130), 및 디스플레이(140)를 포함할 수 있다.

일 실시예에 따른 영상 수신부(110)는 통신 인터페이스, 입출력 인터페이스 등을 포함할 수 있다. 예를 들어, 통신 인터페이스는 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신 인터페이스는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.

와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3^rd Generation), 3GPP(3^rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4^th Generation), 5G(5^th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.

또는, 입출력 인터페이스는, 디스플레이 장치(100)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.

일 실시예에 따른 영상 수신부(110)는 하나 이상의 영상들을 수신할 수 있다.

일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)의 전반적인 동작 및 디스플레이 장치(100)의 내구 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.

프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.

또한, 프로세서(120)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다.

일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.

또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.

일 실시예에 따른 프로세서(120)는 도 4에서 설명한 객체 검출 모듈, 도 6에서 설명한 파라미터 업데이트부 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 프로세서(120)는 수신한 제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성을 추출하고, 객체 특성에 기초하여, 픽셀들 각각에 대응하는 모델 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 제1 영상에 포함되는 하나 이상의 객체들을 검출하고, 검출된 객체들에 기초하여, 하나 이상의 객체 영역들을 결정할 수 있다. 이때, 프로세서(120)는 제1 영상에 포함되는 검출된 객체 영역을 바운딩 박스(사각형)로 표현하는 방법과 픽셀 단위로 표현하는 세그멘테이션 방법을 이용할 수 있다. 다만, 이에 한정되지 않는다.

프로세서(120)는 하나 이상의 객체 영역들이 결정되면, 객체 영역의 객체 특성에 대응하는 모델 정보를, 객체 영역에 포함되는 픽셀들에 대응하는 모델 정보로 결정할 수 있다. 예를 들어, 프로세서(120)는, 제1 영상에서 검출된 "얼굴" 영역에 포함되는 픽셀들에, 얼굴 특성에 대응하는 모델 정보를 할당할 수 있다. 또한, "텍스트" 영역에 포함되는 픽셀들에는 텍스트 특성에 대응하는 모델 정보를 할당할 수 있다. 프로세서(120)는 상기와 같은 방식으로 제1 영상에 포함되는 픽셀들 각각에 대응하는 모델 정보를 획득할 수 있다. 또한, 프로세서(120)는 제1 영상에 포함되는 영역 별로 모델 정보를 획득할 수도 있다.

또한, 프로세서(120)는 제1 영상에서 검출된 객체 영역들에 대응하는 모델 정보들의 가중 합에 기초하여, 제1 영상에 포함되는 픽셀들 각각의 모델 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 제1 영상에 포함된 제1 픽셀과 제1 영상에서 검출된 객체 영역의 중심 사이의 거리에 기초하여, 객체 영역에 대응하는 모델 정보에 대한 가중치를 결정하고, 결정된 가중치에 기초하여, 제1 픽셀의 모델 정보를 획득할 수 있다.

프로세서(120)는 제1 영상에 포함되는 픽셀 정보, 픽셀에 대응하는 모델 정보, 픽셀에 대응하는 시점 정보가 매핑된 파라미터 업데이트 정보를 수신할 수 있다. 이때, 픽셀에 대응하는 시점 정보는, 해당 픽셀을 중심 픽셀로 하는 영역이 영상 처리 네트워크의 제1 레이어에 입력되는 시점 또는 제1 레이어로 입력된 영역이 제1 레이어에서 처리되는 시점일 수 있다. 프로세서(120)는 픽셀들 각각을 중심 픽셀로 하는 영역이 영상 처리 네트워크의 제1 레이어(31)로 입력되는 시점 및 픽셀들 각각의 모델 정보에 기초하여, 제1 레이어에 대응하는 모델 정보를 획득할 수 있다.

또한, 프로세서(120)는 영상 처리 네트워크의 제1 레이어를 제외한 나머지 레이어들에 대해서, 이전 시점에 이전 레이어의 파라미터 설정에 이용한 모델 정보에 기초하여, 나머지 레이어들에 대응하는 모델 정보를 획득할 수 있다.

프로세서(120)는 레이어 별로 획득된 모델 정보에 기초하여, 레이어들 각각의 파라미터를 업데이트할 수 있다. 예를 들어, 프로세서(120)는 제1 영상의 제1 영역이 제1 레이어에 입력되는 것에 기초하여, 제1 레이어의 파라미터를 제1 영역에 대응하는 제1 모델 정보에 포함되는 파라미터로 업데이트하고, 제1 영역이 제1 레이어의 다음 레이어인 제2 레이어로 입력되고, 제2 영역이 제1 레이어로 입력되는 것에 기초하여, 제1 레이어의 파라미터를 제2 영역에 대응하는 제2 모델 정보에 포함되는 파라미터로 업데이트하고, 제2 레이어의 파라미터를 제1 모델 정보에 포함되는 파라미터로 업데이트할 수 있다. 또한, 프로세서(120)는, 제1 영역이 제2 레이어의 다음 레이어인 제3 레이어로, 제2 영역이 제2 레이어로, 제3 영역이 제1 레이어로 입력되는 것에 기초하여, 제1 레이어의 파라미터를 제3 영역에 대응하는 제3 모델 정보에 포함되는 파라미터로 업데이트하고, 제2 레이어의 파라미터를 제2 모델 정보에 포함되는 파라미터로 업데이트하며, 제3 레이어의 파라미터를 제1 모델 정보에 포함되는 파라미터로 업데이트할 수 있다.

프로세서(120)는 업데이트된 파라미터에 기초하여, 복수의 레이어들 각각에서 연산을 수행하고, 연산이 수행된 결과를 다음 레이어로 입력할 수 있다. 프로세서(120)는 복수의 레이어들 각각에서 파라미터 업데이트 동작과 연산 동작을 기 설정된 주기마다 반복함으로써, 제2 영상을 획득할 수 있다.

프로세서(120)는 제2 영상을 디스플레이(140)에 표시되도록 제어할 수 있다.

일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

일 실시예에 따른 디스플레이(140)는 업스케일링 또는 화질 처리가 수행된 제2 영상을 표시할 수 있다.

도 12는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

도 12를 참조하면, 도 12의 디스플레이 장치(1200)는 도 1 내지 도 11을 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.

도 12를 참조하면, 일 실시예에 따른 디스플레이 장치(1200)는, 튜너부(1240), 프로세서(1210), 디스플레이부(1220), 통신부(1250), 감지부(1230), 입/출력부(1270), 비디오 처리부(1280), 오디오 처리부(1285), 오디오 출력부(1260), 메모리(1290), 전원부(1295)를 포함할 수 있다.

도 12의 통신부(1250)는 도 11의 영상 수신부(110)에 포함되는 통신 인터페이스에 대응하는 구성이고, 도 12의 입/출력부(1270)는 도 11의 영상 수신부(110)에 포함되는 입출력 인터페이스에 대응하는 구성이며, 도 12의 프로세서(1210)는, 도 11의 프로세서(120)에 도 12의 메모리(1290)는 도 11의 메모리(130)에, 도 12의 디스플레이부(1220)는 도 11의 디스플레이(140)에, 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.

일 실시예에 따른 튜너부(1240)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 방송 수신 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.

튜너부(1240)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1240)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.

감지부(1230)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1231), 카메라부(1232) 및 광 수신부(1233)를 포함할 수 있다.

마이크(1231)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1231)는 수신된 음성을 전기 신호로 변환하여 프로세서(1210)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1200)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.

카메라부(1232)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1210)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1200)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.

광 수신부(1233)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1220)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1233)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1210)의 제어에 의해 제어 신호가 추출될 수 있다.

프로세서(1210)는 디스플레이 장치(1400)의 전반적인 동작 및 디스플레이 장치(1200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1210)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1290)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.

프로세서(1210)는 디스플레이 장치(1200)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1200)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.

비디오 처리부(1280)는, 디스플레이 장치(1200)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1280)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

오디오 처리부(1285)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1285)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1285)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.

오디오 출력부(1260)는 프로세서(1210)의 제어에 의해 튜너부(1240)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1260)는 통신부(1250) 또는 입/출력부(1270)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1260)는 프로세서(1210)의 제어에 의해 메모리(1290)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1260)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.

전원부(1295)는 프로세서(1210)의 제어에 의해 디스플레이 장치(1200) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1295)는 프로세서(1210)의 제어에 의해 디스플레이 장치(1200) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.

메모리(1290)는 프로세서(1210)의 제어에 의해 디스플레이 장치(1200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1290)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1290)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1200)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1210)는 메모리(1290)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.

한편, 도 11 및 도 12에 도시된 디스플레이 장치(100, 1200)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(100, 1200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

일 실시예에 따른 디스플레이 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

또한, 개시된 실시예들에 따른 디스플레이 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (21)

1. 복수의 레이어들을 포함하는 뉴럴 네트워크를 이용하여, 영상 처리를 수행하는 디스플레이 장치에 있어서,
   디스플레이;
   하나 이상의 인스트럭션들을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
   상기 프로세서는,
   제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득하고,
   상기 뉴럴 네트워크에 입력되는 상기 픽셀들 각각에 대응하는 모델 정보와 상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보에 기초하여, 레이어 별로 상기 레이어에 대응하는 모델 정보를 획득하고,
   상기 획득한 모델 정보에 기초하여, 상기 복수의 레이어들 각각의 파라미터를 업데이트하고,
   상기 복수의 레이어들 각각에서, 상기 업데이트된 파라미터에 기초하여 연산을 수행함으로써, 제2 영상을 획득하고,
   상기 제2 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
2. 제1항에 있어서,
   상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보는,
   상기 픽셀들 각각이 상기 복수의 레이어들 각각에 입력되는 시점에 대한 정보, 및 상기 픽셀들 각각이 상기 복수의 레이어들 각각에서 처리되는 시점에 대한 정보 중 적어도 하나를 포함하는, 디스플레이 장치.
3. 제2항에 있어서,
   상기 픽셀들 각각이 상기 복수의 레이어들 각각에 입력되는 시점 및 상기 복수의 레이어들 각각에서 처리되는 시점 중 적어도 하나는 일정한 주기를 가지는, 디스플레이 장치.
4. 제1항에 있어서,
   상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보는, 상기 제1 영상에서 상기 픽셀들 각각의 위치 정보에 기초하여 결정되는, 디스플레이 장치.
5. 제1항에 있어서,
   상기 복수의 레이어들은 직렬로 연결되고,
   상기 프로세서는,
   상기 제1 영상에 포함되는 픽셀들 각각이 상기 복수의 레이어들에 순차적으로 입력되고, 순차적으로 출력되도록 제어하는, 디스플레이 장치.
6. 제1항에 있어서,
   상기 프로세서는,
   제1 픽셀이 상기 제1 레이어에 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제1 픽셀에 대응하는 제1 모델 정보에 포함되는 파라미터로 업데이트하고,
   상기 제1 픽셀이 상기 제1 레이어의 다음 레이어인 제2 레이어로 입력되고, 제2 픽셀이 상기 제1 레이어로 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제2 픽셀에 대응하는 제2 모델 정보에 포함되는 파라미터로 업데이트하고, 상기 제2 레이어의 파라미터를 상기 제1 모델 정보에 포함되는 파라미터로 업데이트하는, 디스플레이 장치.
7. 제6항에 있어서,
   상기 프로세서는,
   상기 제1 픽셀이 상기 제2 레이어의 다음 레이어인 제3 레이어로, 상기 제2 픽셀이 상기 제2 레이어로, 제3 픽셀이 상기 제1 레이어로 입력되는 것에 기초하여,
   상기 제1 레이어의 파라미터를 상기 제3 픽셀에 대응하는 제3 모델 정보에 포함되는 파라미터로 업데이트하고,
   상기 제2 레이어의 파라미터를 상기 제2 모델 정보에 포함되는 파라미터로 업데이트하고,
   상기 제3 레이어의 파라미터를 상기 제1 모델 정보에 포함되는 파라미터로 업데이트하는, 디스플레이 장치.
8. 제1항에 있어서,
   상기 프로세서는,
   상기 제1 영상에 포함되는 객체 영역들을 검출하고,
   상기 객체 영역들에 대응하는 모델 정보들에 기초하여, 상기 제1 영상에 포함되는 픽셀들 각각에 대응하는 모델 정보를 획득하는, 디스플레이 장치.
9. 제8항에 있어서,
   상기 프로세서는,
   상기 객체 영역들에 대응하는 모델 정보들의 가중 합에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득하는, 디스플레이 장치.
10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 영상에 포함되는 제1 픽셀과 상기 객체 영역들 각각의 중심 과의 거리에 기초하여, 상기 객체 영역들 각각에 대응하는 모델 정보의 가중치를 결정하고,
    상기 객체 영역들 각각에 대응하는 모델 정보와 상기 결정된 가중치에 기초하여, 상기 제1 픽셀에 대응하는 모델 정보를 획득하는, 디스플레이 장치.
11. 복수의 레이어들을 포함하는 뉴럴 네트워크를 이용하여, 영상 처리를 수행하는 디스플레이 장치의 동작 방법에 있어서,
    제1 영상을 수신하는 단계;
    상기 제1 영상에 포함되는 픽셀들 각각에 대응하는 객체 특성에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계;
    상기 뉴럴 네트워크에 입력되는 상기 픽셀들 각각에 대응하는 모델 정보와 상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보에 기초하여, 레이어 별로 상기 레이어에 대응하는 상기 모델 정보를 획득하는 단계;
    상기 획득된 모델 정보에 기초하여, 상기 복수의 레이어들 각각의 파라미터를 업데이트하는 단계;
    상기 복수의 레이어들 각각에서, 상기 업데이트된 파라미터에 기초하여, 연산을 수행함으로써, 제2 영상을 생성하는 단계; 및
    상기 제2 영상을 디스플레이하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
12. 제11항에 있어서,
    상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보는,
    상기 픽셀들 각각이 상기 복수의 레이어들 각각에 입력되는 시점에 대한 정보, 및 상기 픽셀들 각각이 상기 복수의 레이어들 각각에서 처리되는 시점에 대한 정보 중 적어도 하나를 포함하는, 디스플레이 장치의 동작방법.
13. 제12항에 있어서,
    상기 픽셀들 각각이 상기 복수의 레이어들 각각에 입력되는 시점 및 상기 복수의 레이어들 각각에서 처리되는 시점 중 적어도 하나는 일정한 주기를 가지는, 디스플레이 장치의 동작방법.
14. 제11항에 있어서,
    상기 픽셀들 각각이 상기 뉴럴 네트워크에서 처리되는 시점에 대한 정보는, 상기 제1 영상에서 상기 픽셀들 각각의 위치 정보에 기초하여 결정되는, 디스플레이 장치의 동작방법.
15. 제11항에 있어서,
    상기 복수의 레이어들은 직렬로 연결되고,
    상기 제1 영상에 포함되는 픽셀들 각각은 상기 복수의 레이어들에 순차적으로 입력되고, 순차적으로 출력되는, 디스플레이 장치의 동작방법.
16. 제11항에 있어서,
    상기 복수의 레이어들 각각의 파라미터를 업데이트하는 단계는,
    제1 픽셀이 상기 제1 레이어에 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제1 픽셀에 대응하는 제1 모델 정보에 포함되는 파라미터로 업데이트하는 단계; 및
    상기 제1 픽셀이 상기 제1 레이어의 다음 레이어인 제2 레이어로 입력되고, 제2 픽셀이 상기 제1 레이어로 입력되는 것에 기초하여, 상기 제1 레이어의 파라미터를 상기 제2 픽셀에 대응하는 제2 모델 정보에 포함되는 파라미터로 업데이트하고, 상기 제2 레이어의 파라미터를 상기 제1 모델 정보에 포함되는 파라미터로 업데이트하는 단계를 포함하는 디스플레이 장치의 동작방법.
17. 제16항에 있어서,
    상기 복수의 레이어들 각각의 파라미터를 업데이트하는 단계는,
    상기 제1 픽셀이 상기 제2 레이어의 다음 레이어인 제3 레이어로, 상기 제2 픽셀이 상기 제2 레이어로, 제3 픽셀이 상기 제1 레이어로 입력되는 것에 기초하여,
    상기 제1 레이어의 파라미터를 상기 제3 픽셀에 대응하는 제3 모델 정보에 포함되는 파라미터로 업데이트하고,
    상기 제2 레이어의 파라미터를 상기 제2 모델 정보에 포함되는 파라미터로 업데이트하고,
    상기 제3 레이어의 파라미터를 상기 제1 모델 정보에 포함되는 파라미터로 업데이트하는 단계를 포함하는, 디스플레이 장치의 동작방법.
18. 제11항에 있어서,
    상기 동작방법은,
    상기 제1 영상에 포함되는 객체 영역들을 검출하는 단계를 더 포함하고,
    상기 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계는,
    상기 객체 영역들에 대응하는 모델 정보들에 기초하여, 상기 제1 영상에 포함되는 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계를 포함하는, 디스플레이 장치의 동작방법.
19. 제18항에 있어서,
    상기 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계는,
    상기 객체 영역들에 대응하는 모델 정보들의 가중 합에 기초하여, 상기 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계를 포함하는, 디스플레이 장치의 동작방법.
20. 제19항에 있어서,
    상기 픽셀들 각각에 대응하는 모델 정보를 획득하는 단계는,
    상기 제1 영상에 포함되는 제1 픽셀과 상기 객체 영역들 각각의 중심 과의 거리에 기초하여, 상기 객체 영역들 각각에 대응하는 모델 정보의 가중치를 결정하는 단계; 및
    상기 객체 영역들 각각에 대응하는 모델 정보와 상기 결정된 가중치에 기초하여, 상기 제1 픽셀에 대응하는 모델 정보를 획득하는 단계를 포함하는, 디스플레이 장치의 동작방법.
21. 제11항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.

Images