KR20210010092A - 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템 - Google Patents

Abstract

실시예들은 촬영기기에 의해 촬영된 영상을 수신하는 단계; 상기 수신된 영상에서 관심객체를 검출하는 단계; 상기 관심객체가 검출된 영상의 복잡도 및 상기 관심객체의 영상 품질 중 적어도 하나에 기초하여 관심영상을 선별하는 단계; 및 상기 관심영상과 관련된 정보를 검색 데이터베이스에 저장하는 단계를 포함하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템에 관련된다.

Description

검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템 {METHOD FOR SELECTING IMAGE OF INTEREST TO CONSTRUCT RETRIEVAL DATABASE AND IMAGE CONTROL SYSTEM PERFORMING THE SAME}

본 발명의 실시예들은 영상 검색을 위한 검색 데이터베이스를 구축하는 기술에 관한 것으로서, 보다 상세하게는 영상의 복잡도 및 영상에 포함된 관심객체(Object of interest)의 품질 중 적어도 하나에 기초하여 관심객체의 적어도 일부를 포함한 관심영상을 선별하여 검색 데이터베이스를 구축하는 방법 및 이를 수행하는 영상 관제 시스템에 관련된다.

최근 치안/보안에 대한 사회적 관심이 높아짐에 따라, 거리, 골목, 건물 내부 등에 설치되는 CCTV의 개수가 급격히 증가하고 있다. 이로 인해 CCTV의 영상을 수신하는 영상 관제 시스템에서 입력 데이터의 규모가 기하급수적으로 증가하는 추세이다. 따라서, 대규모 영상을 효율적으로 관리(예컨대, 저장 또는 검색 등)하는 방법이 요구된다.

종래의 일 실시예(특허공개공보 제10-2015-0024009호, “실시간으로 카메라 영상을 분석하는 저장/분배 서버, 이를 포함하는 영상 관제 시스템 및 그 동작방법”, (2015.02.17.공개))는 다수의 카메라로부터 촬영된 영상을 분석하여 메타 데이터를 생성 및 저장하고, 사용자로부터 영상 검색 요청을 수신할 경우, 영상 검색 요청에 포함된 메타 데이터 및 미리 저장된 메타 데이터에 기초하여 검색을 수행한다.

그러나, 종래의 일 실시예에서 메타 데이터를 저장하는 데이터베이스는 모든 영상에 대한 메타 데이터를 저장하도록 구축되므로, 입력 영상의 규모가 대규모로 증가할 경우, 검색 속도가 저하되는 한계가 있다.

특허공개공보 제10-2015-0024009호

본 발명의 일 측면에 따르면 영상의 복잡도 및 영상에 포함된 관심객체의 영상 품질 중 적어도 하나에 기초하여 관심객체의 적어도 일부를 포함한 관심영상을 선별하여 검색 데이터베이스를 구축하는 영상 관제 시스템이 제공된다.

이 외에도, 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 기록한 컴퓨터 판독가능 기록 매체를 제공할 수 있다.

본 발명의 일 측면에 따른 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 검색 데이터베이스 구축을 위한 관심영상 선별 방법은: 촬영기기에 의해 촬영된 영상을 수신하는 단계; 상기 수신된 영상에서 관심객체를 검출하는 단계; 상기 관심객체가 검출된 영상의 복잡도 및 상기 관심객체의 영상 품질 중 적어도 하나에 기초하여 관심영상을 선별하는 단계; 및 상기 관심영상과 관련된 정보를 검색 데이터베이스에 저장하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 관심영상을 선별하는 단계는, 상기 관심객체가 검출된 영상의 전체를 분석하여 영상의 복잡도 점수를 산출하는 단계; 및 상기 영상의 복잡도 점수와 제1 임계치를 비교하여 상기 제1 임계치 이상의 복잡도 점수를 갖는 영상을 관심영상으로 선별하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 관심영상을 선별하는 단계는, 상기 관심객체가 검출된 영상에서 상기 관심객체의 적어도 일부가 포함된 관심영역의 영상품질 점수를 산출하는 단계; 및 상기 영상의 관심영역의 영상품질 점수와 제2 임계치를 비교하여 상기 제2 임계치 이상의 복잡도 점수를 갖는 영상을 관심영상으로 선별하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 관심영상을 선별하는 단계는, 상기 관심객체가 검출된 영상의 전체를 분석하여 영상의 복잡도 점수를 산출하는 단계; 상기 영상의 복잡도 점수와 제1 임계치를 비교하는 단계; 상기 관심객체가 검출된 영상에서 상기 관심객체의 적어도 일부가 포함된 관심영역의 영상품질 점수를 산출하는 단계; 상기 영상의 관심영역의 영상품질 점수와 제2 임계치를 비교하는 단계; 및 상기 제1 임계치 이상의 복잡도 점수를 갖거나, 상기 제2 임계치 이상의 복잡도 점수를 갖는 영상을 관심영상으로 선별하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 영상의 복잡도 점수는, 상기 영상의 공간정보 및 움직임정보 중 하나 이상을 이용한 바텀-업 접근(bottom-up approach) 방식 및 검출된 관심객체와 관련된 정보를 이용한 탑-다운 접근(top-down approach) 방식 중 하나 이상을 통해 산출될 수도 있다.

일 실시예에서, 상기 관심객체의 영상품질 점수는, 상기 관심객체의 검출 정확성, 관심객체의 가림도, 및 촬영기기와 관심객체 간의 거리 중 하나 이상에 기초하여 산출될 수도 있다.

일 실시예에서, 상기 관심객체의 검출 정확성은, 관심영역에 포함된 관심객체의 비중, 관심영역 내 배경과 전경 간의 비율, 및 관심영역의 흐릿함(blur) 중 하나 이상에 기초하여 산출될 수도 있다.

일 실시예에서, 상기 영상을 수신하는 단계는, 복수의 촬영기기에 의해 각각 촬영된 복수의 영상을 수신하는 단계를 포함할 수도 있다. 여기서, 상기 제1 촬영기기에 의해 촬영된 제1 영상 및 제2 촬영기기에 의해 촬영된 제2 영상을 수신할 수도 있다.

일 실시예에서, 상기 관심영상을 선별하는 단계는, 상기 제1 영상 및 제2 영상에서 관심객체가 검출된 경우, 상기 제1 영상의 복잡도 및 상기 제2 영상의 관심객체의 영상품질에 기초하여 관심영상을 선별하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 관심영상을 선별하는 단계는, 상기 제1 영상 및 제2 영상에서 관심객체가 검출된 경우, 상기 제1 영상의 복잡도, 상기 제1 영상의 관심객체의 영상품질, 상기 제2 영상의 복잡도 및 상기 제2 영상의 관심객체의 영상품질에 기초하여 관심영상을 선별하는 단계를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장한다. 여기서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 검색 데이터베이스 구축을 위한 관심영상 선별 방법을 수행하게 할 수도 있다.

본 발명의 또 다른 일 측면에 따른 영상 관제 시스템은, 객체 및 배경을 촬영하는 하나 이상의 촬영장치; 상기 촬영장치로부터 수신된 영상에서 향후 사용자가 검색할 가능성이 있는 영상을 관심영상으로 선별하는 서버; 및 상기 관심영상으로 구축된 제1 데이터베이스를 포함할 수도 있다.

일 실시예에서, 상기 영상 관제 시스템은 상기 수신된 영상에서 관심영상으로 선별되지 않는 영상으로 구축된 제2 데이터베이스를 더 포함할 수도 있다.

본 발명의 일 측면에 따른 영상 관제 시스템은 대규모 영상을 수신하고, 상기 수신한 영상에서 관심객체의 적어도 일부를 표시하는 영상을 관심영상으로 선별하여 검색 데이터베이스를 구축한다.

특히, 상기 시스템은, 대규모의 CCTV를 통해 1초에 수백, 수천 또는 수만장의 입력 영상 중에서, (예컨대, 영상 전체에 대한 복잡도 산출과 같은) 거시적 관점에서 분석 및/또는 (예컨대, 영상에 포함된 관심객체를 포함하는 관심 영역의 영상 품질 산출과 같은) 미시적 관점에서 분석하여, 실질적으로 검색할 가치가 있는 영상을 관심영상으로 선별할 수 있다.

이러한 선별과정을 통해 검색 데이터베이스를 구축할 경우, 향후 사용자가 원하는 탐색대상이 나타난 영상을 검색하는데 있어 탐색 공간(search space)이 줄어들게 되어, 보다 빠르게 사용자가 원하는 영상을 검색할 수 있다. 나아가, 실질적으로 검색될 가능성이 높은 영상으로 검색 데이터베이스를 구축함으로써, 저장공간을 효율적으로 이용할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 대규모 영상을 저장하는 시스템의 개념도이다.
도 2는, 본 발명의 실시예에 따른, 도 1의 시스템에 수행되는 대규모 영상을 저장하는 방법의 개념도이다.
도 3은, 본 발명의 일 실시예에 따른, 바텀-업 접근에서 공간정보에 대한 복잡도를 산출하는 과정을 설명하기 위한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 바텀-업 접근에서 시간정보에 대한 복잡도를 산출하는 과정을 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 탑-다운 접근에서 복잡도를 산출하는 과정을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 단일 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.
도 7은, 본 발명의 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 복수의 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.
도 8 내지 도 10은, 본 발명의 다른 실시예들에 따른, 검색 데이터베이스를 구축하기 위해 복수의 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 부품을 구체화하려는 것이며, 다른 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 부품의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, 영상 관제 시스템의 동작을 개략적으로 도시한 도면이다.

본 발명의 실시예들에 따른 영상 관제 시스템은 하나 이상의 촬영기기에 의해 촬영된 영상을 서버에서 수신한다. 서버는 수신한 영상에서 사용자의 탐색대상 후보에 해당하는 관심객체를 검출한다. 탐색대상은 사용자가 향후에 보기를 원하는 대상을 지칭한다. 사용자는 탐색대상이 나타난 영상을 검색할 것이다.

이어서, 수신한 영상 중에서 관심객체의 적어도 일부를 갖는 영상에 기초하여 검색 데이터베이스를 구축한다. 특히, 보다 고품질의 영상 검색 서비스를 제공하기 위해, 영상의 전체 영역을 분석한 결과 (예컨대, 영상의 전체 영역의 복잡도 분석) 및/또는 영상의 일부 영역을 분석한 결과 (예컨대, 관심객체가 나타난 관심영역 영상의 품질 분석)에 기초하여 관심영상을 선별하고, 관심영상의 영상 데이터 및/또는 상세 정보로 검색 데이터베이스를 구축한다. 일부 실시예에서, 선별되지 않은 영상의 영상 데이터 및/또는 상세 정보는 검색 서비스를 지원하는 보조 데이터베이스(secondary database)에 저장된다.

도 2는, 본 발명의 일 실시예에 따른, 영상 관제 시스템의 구성도이다.

도 2를 참조하면, 영상 관제 시스템(1)은 하나 이상의 촬영기기(10), 서버(20), 및 검색 데이터베이스(31)를 포함한다. 일부 실시예에서, 상기 영상 관제 시스템(1)은 검색 데이터베이스(31)에 저장되지 않는 영상 또는 관련 정보를 더 저장하는 전체 데이터베이스(32)를 더 포함할 수도 있다.

실시예들에 따른 영상 관제 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대 영상 관제 시스템(1)은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

상기 하나 이상의 촬영기기(10)는 영상 관제 시스템(1)에 의한 관제 서비스가 제공되는 지점에 설치되며, 서버(20)와 유/무선의 네트워크를 통해 연결된다. 상기 촬영기기(10)는 촬영 범위 내의 상황을 촬영하여 영상 데이터 또는 동영상 데이터를 생성하도록 구성된, 다양한 종류의 기기를 포함한다. 예를 들어, 디지털 CCTV, 아날로그 CCTV, 스마트폰, 블랙박스 등을 포함하나, 이에 제한되진 않는다.

일부 실시예에서, 각 촬영기기(10)는 촬영기기(10)의 식별정보(예컨대, 식별자(identifier)), 촬영 시간, 해당 영상의 식별정보 등을 더 포함하여 영상을 생성한다. 예를 들어, CCTV(10)가 촬영범위 내의 상황을 촬영하여 동영상을 생성한 경우, 상기 동영상은 해당 CCTV(10)의 식별자, 프레임 식별자, 촬영시간 등을 포함할 수 있다.

서버(20)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어로서, 다수 개의 촬영기기(10)에 의해 생성된 영상을 유/무선의 네트워크를 통해 수신하도록 구성된다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.

서버(20)는 수신된 영상에서 향후 사용자가 검색할 가능성이 있는 (즉, 검색을 위해 탐색될 가치가 있는) 영상을 관심영상으로 선별하고, 관심영상으로 검색 데이터베이스(31)를 구축한다.

일 실시예에서, 서버(20)는 수신한 영상 중에서 관심객체를 포함한 영상을 선별한다. 관심객체(Object of interest)는 영상에 나타난 객체 중에서 사용자의 영상 검색 목적인 탐색대상이 될 가능성이 있는, 탐색대상의 후보이다.

영상 관제 시스템(1)에서 관심객체는 영상 관제 시스템(1)의 성격에 따라 자유롭게 설정될 수 있다.

일 실시예에서, 관심객체는 사용자가 영상을 통해 식별하고자 하는 대상으로서, 영상 내 전경의 적어도 일부를 포함할 수 있다. 상기 관심객체는, 예를 들어 운송 수단(vehicle), 사람 등 움직이는 객체를 포함하나, 이에 제한되진 않는다. 상기 운송 수단은 승용차(car), 오토바이, 리어카, 자전거 등을 포함하나, 이에 제한되진 않는다.

관심객체 이외의 다른 객체는 배경에 포함될 수 있다. 예를 들어, 사람이 관심객체인 경우, 자동차는 배경으로 간주될 수 있다.

또한, 일부 실시예에서, 관심객체는 영상 관제 시스템(1) 또는 사용자의 목적에 따라 상이한 기준이 더 적용된 객체를 나타낼 수 있다. 예를 들어, 특정 객체 유형에 대한 기준이 더 적용됨으로써, 승용차만이 관심객체에 해당할 수 있다. 또는 특정 객체 특징에 대한 기준이 더 적용됨으로써, 특정 가시광선 영역을 나타내는 색상을 갖는 객체만이 관심객체에 해당할 수 있다.

또는, 관심객체는 사용자 입력에 따라 특정 객체로 식별된 객체일 수 있다. 이를 위해, 사용자 입력은 객체 식별을 위한 특징 성분, 또는 특정 객체의 특징 성분이 형상화된 특정 영상을 포함할 수도 있다.

향후에 사용자가 (예컨대, 용의자 경로 탐색, 미아 탐색 등) 필요에 의해 특정 탐색대상이 나타난 영상을 검색 데이터베이스에서 검색함에 있어서, 관심객체를 포함한 영상은 검색을 위해 탐색할 가치가 있는 영상이다. 반면, 관심객체를 포함하지 않는 영상(예컨대, 배경만이 나타난 영상)은 상기 특정 탐색대상이 나타나지 않을 가능성이 매우 높다. 따라서, 관심객체를 포함한 영상에 기초하여 검색 데이터베이스(31)를 구축하면 탐색 거리가 감소하여 영상 검색의 시간이 빨라진다.

일 실시예에서, 서버(20)는 관심객체 검출부(21), 영상 분석부(22) 및 영상 선별부(23)를 포함한다.

관심객체 검출부(21)는 영상의 선별을 위해, 관심객체를 검출한다.

일 실시예에서, 관심객체 검출부(21)는 관심객체의 적어도 일부를 포함한 관심영역(ROI, Region of Interest)을 검출하여 관심객체를 검출한다. 즉, 관심객체의 검출은 관심영역의 검출에 대응한다.

관심객체 검출부(21)는 다양한 영역 검출 기법을 통해 관심영역을 검출한다. 상기 영역 검출 기법은, 예를 들어, Haar, Convolution Neural Network (CNN), Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Neural Network (NN), Support Vector Machine (SVM), Gabor 기법 등을 포함하나, 이에 제한되지 않으며, 영상 관제 시스템(1)의 운영 목적을 달성하기 위한 영역 검출 기법을 포함할 수 있다.

일 예에서, 관심객체 검출부(21)는 슬라이딩 윈도우(sliding window), 또는 Region proposal 기법 등을 통해 관심영역의 후보 박스를 구분하고, 각 후보 박스를 미리 학습된 관심객체 검출 모델에 적용하여 관심객체를 검출할 수 있다.

여기서, 관심객체 검출 모델은 CNN 구조를 가지며 딥러닝 학습 알고리즘에 의해 학습된 관심객체 검출 모델로서, 입력 영상에서 관심객체 또는 비-관심객체를 검출하도록 학습된다.

상기 관심객체 검출 모델은 복수의 훈련 샘플에 의해 미리 기계 학습되며, 각 훈련 샘플은 관심객체가 나타난 훈련 영상을 포함한다.

상기 관심객체 검출 모델은 입력 영상에서 특징을 추출하고 추출된 특징에 기초한 특징 벡터를 출력한다. 관심객체 검출 모델은 관심객체의 클래스를 분류하는데 사용하기 위해 출력된 특징 벡터를 점수화하도록 더 구성될 수 있다.

또한, 상기 관심객체 검출 모델은 입력 영상에 포함된 관심객체에 대한 보다 상세한 정보를 도출하도록 더 학습될 수 있다. 예를 들어, 상기 관심객체 검출 모델은 사람, 자동차 등 미리 결정된 관심객체의 유형을 분류하도록 학습될 수도 있다. 이 경우, 예를 들어, 관심객체를 검출하고, 검출된 관심객체의 유형을 더 생성할 수 있다. 이를 위해, 각 훈련 샘플은 관심객체의 유형 정보를 더 포함할 수 있다.

일부 실시예에서, 관심객체 검출 모델이 관심영역에 대하여 더 학습된 경우, 각 훈련 샘플은 훈련 영상 내 관심영역에 대한 정보를 더 포함할 수도 있다.

관심객체 검출부(21)는 관심객체를 검출한 경우, 검출된 관심객체에 대한 상세 정보를 더 생성할 수 있다. 일 실시예에서, 관심객체 검출부(21)는 객체 검출을 위해 추출된 특징에 기초하여 관심객체의 색상, 외형, 유형 등을 상세 정보로 더 생성할 수도 있다. 또한, 상기 상세 정보는, 관심영역을 검출하는데 이용된 검출기(detector), 관심영역의 마스크 등을 더 포함할 수도 있다.

일 실시예에서, 관심객체 검출부(21)는 검출된 관심객체의 적어도 일부가 나타난 부분을 추출하여 영상 데이터를 생성할 수 있다. 예를 들어, 관심객체 검출부(21)는 관심영역의 영상 데이터를 생성할 수 있다.

또한, 관심객체 검출부(21)는 동영상을 수신한 경우, 동영상 내에서 관심객체를 추적하여 추적 데이터 및 상세 정보를 더 생성할 수도 있다. 이 경우, 관심객체 검출부(21)는 상기 동영상을 이루는 각 프레임에 나타난 관심객체가 동일한 관심객체인지 식별하여 식별하여 관심객체를 추적한다. 관심객체 검출부(21)는 객체 검출을 위해 추출된 특징에 기초하여 관심객체를 추적할 수 있다.

이 경우, 관심객체 검출부(21)는 추적된 관심객체의 영상을 추출할 수 있다. 예를 들어, 관심객체 검출부(21)는 관심영역의 영상으로 이루어진 튜브 데이터를 생성할 수 있다. 또한, 상기 튜브 데이터에 대한 식별자를 더 생성할 수 있다.

이와 같이, 관심객체 검출부(21)는 관심객체를 검출할 뿐만 아니라, 검색 데이터베이스(31)에 영상 데이터와 함께 저장할 상세 정보를 더 생성할 수 있다.

서버(20)는 관심객체가 검출된 영상을 거시적 관점에서 영상의 전체 영역(예컨대, 프레임 전체)를 분석하거나, 또는 미시적 관점에서 영상의 일부 영역(예컨대, 관심영역)를 분석하여 관심영상을 선별한다.

일 실시예에서, 영상 분석부(22)는 관심객체가 검출된 영상의 전체 영역을 분석하여 영상의 복잡도를 결정한다. 상기 영상의 복잡도는 객체의 수 등에 의존한다. 예를 들어, 영상 내에 사람이 많은 경우, 해당 영상은 높은 복잡도를 갖는 것으로 결정될 수 있다. 여기서, 객체는 관심객체에 제한되지 않는다.

상기 영상 분석부(22)는 영상을 이루는 성분을 분석하는 다양한 영상분석 기법을 이용하여 영상의 복잡도를 산출하도록 구성된다.

일 실시예에서, 영상 분석부(22)는 바텀-업 접근(Bottom-up approach) 방식을 통해 영상의 복잡도를 산출한다.

바텀-업 접근은 영상 전체의 기초 성분(Low-level feature)에 대한 복잡도를 산출하는 방식으로서, 바텀-업 접근 방식은 영상의 공간 정보(Spatial information) 및/또는 움직임 정보(Temporal information)에 대한 복잡도를 산출하도록 진행된다.

바텀-업 접근 방식에서 공간정보에 대한 복잡도는 영상 내의 밝기, 색상, 깊이(depth), 및 공간주파수(Spatial Frequency) 등의 기초 성분에 대한 분석을 통해 산출된다. 영상 분석부(22)는 다양한 바텀-업 접근 방식과 관련된 영상성분 분석기법을 통해, 공간정보에 대한 복잡도를 산출하도록 구성된다.

도 3은, 본 발명의 일 실시예에 따른, 바텀-업 접근 방식에서 공간정보에 대한 복잡도를 산출하는 과정을 설명하기 위한 도면이다.

도 3을 참조하면, 공간정보에 대한 복잡도를 산출하기 위한 바텀-업 접근 방식은 입력 영상으로부터 공간정보에 대한 복잡도를 산출한다.

공간정보에 대한 복잡도 분석을 위한 입력은, 컬러 영상, 깊이 영상, 3D 모델링 또는 컴퓨터 그래픽 등으로 생성한 가상 영상(Virtual image)을 포함할 수 있다. 이를 위해, 영상 관제 시스템(1)은 각 영상 정보를 획득하기 위한 기기를 더 포함할 수 있다. 예를 들어, 깊이 영상은 깊이 정보를 획득하도록 구성된 기기(예컨대, 깊이 센서, 또는 3차원 RGB-D 센서 등)를 통해 획득하는 영상이거나, 또는 미리 저장된 깊이맵 예측(Depth Estimation)을 통해 더 획득된 깊이 정보에 기초한 영상일 수 있다.

일부 실시예에서, 입력 영상에 대하여 색공간 전환 및/또는 주파수 변환의 데이터 처리가 더 수행될 수 있다. 상기 색공간 전환 또는 주파수 변환은 입력영상의 형태 및 목적에 따라 수행되지 않을 수 있다.

색공간 전환은, 예를 들어 RGB, HUE, YCbCr, HIS 등에 따라 전환하기 위해 입력 영상을 데이터 처리한다. 색공간 전환 결과는 영상의 밝기, 색상 등을 복잡도 산출에 이용할 수 있게 한다.

주파수 변환은, 예를 들어 DCT(Discrete Cosine Transform), DFT(Discrete ourier ransform), DWT (Discrete Wavelet Transform), DLT(Discrete Laplacian Transform) 등에 따라 입력 데이터를 주파수 변환한다. 주파수 변환에 의해 다양한 공간 주파수 성분이 산출되며, 이러한 주파수 변환 결과는 공간 주파수 성분을 복잡도 산출에 이용할 수 있게 한다. 일부 실시예에서, 주파수 변환은 색공간 전환 이후에 수행된다.

영상의 공간정보에 대한 복잡도는 데이터 처리된 영상 또는 입력 영상을, 예를 들어 자연영상통계 분석(Natural Scene Statistics), 첨도 분석(Kurtosis), 감마함수 분석(Gamma Function), 가우시안 분석 (Gaussian Function) 등을 통해 분석하여 산출된다.

예를 들어, 영상을 주파수 변환 처리하여 공간 주파수 성분을 획득한 뒤, DWT, Gaussian 및 Gamma Function을 통해 해당 영상의 공간정보에 대한 복잡도를 산출할 수 있다.

영상 분석부(22)가 바텀-업 접근을 통해 복잡도를 산출하는 기법은 전술한 예시들에 제한되지 않으며, 이외에 다양한 기법이 이용될 수 있다는 것이 통상의 기술자에게 명백할 것이다.

바텀-업 접근 방식에서 시간정보에 대한 복잡도는 영상 내 움직임의 양, 속도, 방향, 시간주파수(Temporal Frequency) 등과 같은 움직임에 관련된 성분에 대한 분석을 통해 산출된다. 영상 분석부(22)는 다양한 바텀-업 접근 방식과 관련된 영상성분 변환 기법을 통해, 시간정보에 대한 복잡도를 산출하도록 구성된다.

도 4는, 본 발명의 일 실시예에 따른, 바텀-업 접근 방식에서 시간정보에 대한 복잡도를 산출하는 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 시간정보에 대한 복잡도를 산출하기 위한 바텀-업 접근 방식은 입력 영상에 대하여 움직임 예측을 통해 영상에 대한 움직임 정보를 획득하고, 해당 영상의 시간정보에 대한 복잡도를 산출한다.

시간정보에 대한 복잡도를 분석하기 위한 입력은, 컬러 동영상, 깊이 동영상, 3D 모델링 또는 컴퓨터 그래픽 등으로 생성한 가상 동영상 등을 포함하나, 이에 제한되지 않는다. 다양한 형태의 동영상이 입력 동영상으로 이용될 수 있다.

움직임 예측(Motion estimation)은 연속되는 동영상 프레임 간의 차이, optical flow, inter frame motion estimation 등에 기초하여 입력 동영상 내 움직임 정보가 분석되나, 이에 제한되진 않는다. 다양한 형태의 움직임 예측 기법에 의해 해당 영상에 대한 움직임 정보가 획득될 수 있다.

일부 실시예에서, 획득된 움직임 정보에 대하여 주파수 변환을 더 수행할 수 있다. 주파수 변환은 입력동영상의 형태 및 목적에 따라 수행되지 않을 수 있다.

주파수 변환은, 예를 들어 DCT(Discrete Cosine Transform), DFT(Discrete ourier ransform), DWT (Discrete Wavelet Transform), DLT(Discrete Laplacian Transform) 등에 따라 입력 데이터를 주파수 변환한다. 주파수 변환에 의해 다양한 공간 주파수 성분이 산출되며, 이러한 주파수 변환 결과는 공간 주파수 성분을 복잡도 산출에 이용할 수 있게 한다.

영상의 시간정보에 대한 복잡도는 데이터 처리된 움직임 정보, 획득된 움직임 정보, 또는 입력 동영상에서 동영상 내 움직임의 속도, 분산(Variance), 시간적 일관성(Temporal Consistency), 움직임 분류(Motion Classification) 등을 산출함으로써 결정된다. 또는, 데이터 처리된 움직임 정보, 획득된 움직임 정보, 또는 입력 동영상에서 다양한 움직임정보 분포(Distribution Analysis) 분석 등을 통해 분석하여 산출된다. 여기서, 움직임정보 분포 분석은 자연영상통계 분석(Natural Scene Statistics), 첨도 분석(Kurtosis), 감마함수 분석(Gamma Function), 가우시안 분석 (Gaussian Function) 등을 포함하나, 이에 제한되진 않는다.

예를 들어, 동영상 내의 움직임 정보를 주파수 변환하고, 움직임 주파수 성분에 대하여 DFT를 기반으로 움직임 주파수의 방향 세기(Directional Energy)와 분산(Directional Valaiance)을 통해 해당 동영상의 시간정보에 대한 복잡도를 산출할 수 있다.

다른 일 실시예에서, 영상 분석부(22)는 탑-다운 접근(Top-down approach) 방식을 통해 영상을 분석하여 영상의 복잡도를 산출한다.

탑-다운 접근은 관심객체를 검출 및 추적한 후, 객체의 움직임 정보, 객체의 수, 객체 유형의 수에 대한 복잡도를 산출하는 방식이다. 산출된 다양한 측면의 복잡도는 혼합되어 영상의 복잡도로 산출된다.

도 5는, 본 발명의 일 실시예에 따른, 탑-다운 접근 방식에서 복잡도를 산출하는 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 탑-다운 접근은 객체 검출 및 추적 기법을 통해 객체를 분석하고, 객체 분석 결과에 기초하여 복잡도를 산출한다.

탑-다운 접근 방식에서 복잡도를 분석하기 위한 입력은, 컬러 영상, 깊이 영상, 3D 모델링 또는 컴퓨터 그래픽 등으로 생성한 가상 영상(Virtual image)을 포함할 수 있으나, 이에 제한되진 않는다.

입력 영상에서 객체 검출 및 추적은, 객체 검출(objection detection), 추적(tracking), 재식별(Re-identification), 세일런시 검출(Saliency detection) 등을 포함하나, 이에 제한되지 않으며 다양한 검출/추적 기법을 포함할 수 있다.

객체가 검출 및 추적된 이후, 객체의 성분이 분석된다. 상기 객체의 성분은, 예를 들어, 크기, 종류, 개수, 움직임 등을 포함하나, 이에 제한되지 않는다.

탑-다운 접근에서 입력영상의 복잡도는, 분석된 객체정보(예컨대, 검출 및 추적된 객체의 성분 정보)에 기초하여 산출된다. 탑-다운 접근에서 복잡도는, 예를 들어, 상대적인 정보량 비교(Relative Entropy), 영상 내의 세일런시 에너지 (Saliency Energy) 또는 분포 분석(Distribution Analysis)을 통해 산출된다. 여기서, 분포 분석은 자연영상통계 분석, 첨도 분석, 감마함수 분석, 가우시안 분석 등을 포함하나, 이에 제한되지 않는다.

예를 들어, 세일런시 에너지 기반 검출을 통해 입력 영상에서 객체를 검출 및 추적한 뒤, 객체의 크기, 색상, 움직임 정보에 기초하여 복잡도를 산출할 수 있다.

또 다른 일부 실시예에서, 영상 분석부(22)는 바텀-업 접근 및 탑-다운 접근을 통해 영상을 분석하여 영상의 복잡도를 산출하도록 구성될 수 있다.

이와 같이, 영상 분석부(22)는 바텀-업 접근 및 탑-다운 접근을 모두 활용하거나, 관심객체의 종류 및 활용 목적에 따라 특정 접근법을 선택적으로 활용하도록 구성된다.

상기 영상 분석부(22)는 상기 바텀-업 접근 방식 및/또는 탑-다운 접근 방식에 따른 복잡도 분석 결과를 점수화할 수 있다. 상기 분석 결과의 점수화는 입력 영상의 복잡도 점수로 지칭된다.

상기 복잡도 점수는 다양하게 계산될 수 있다. 일 예에서, 상기 영상의 복잡도 점수는 분석 결과 값(예컨대, Gamma Function 값) 자체일 수 있다. 다른 일 예에서, 상기 영상의 복잡도 값은 분석 결과를 스케일 범위로 변환한 (예컨대, Gmma Function 값을 특정 범위로 정규화한) 값일 수 있다. 이 경우, 다양한 범위를 갖는 하나 이상의 분석 결과 값을 특정 범위로 정규화하는 다양한 정규화 방식(예컨대, z-정규화 등)이 이용될 수 있다.

일 실시예에서, 영상 분석부(22)는 관심객체 검출부(21)에서 검출된 관심객체의 적어도 일부가 나타난 영역(예컨대 관심영역)의 영상품질을 분석하여 해당 영역의 영상품질에 대한 분석 결과를 산출하도록 구성된다.

일부 실시예에서, 관심객체의 검출을 위해 관심영역이 검출된 경우, 관심영역의 영상품질이 관심객체의 영상품질로서 분석된다. 이를 위해 영상 분석부(22)는 관심영역의 영상(예컨대, 관심영역의 패치(patch))를 이용하여 영상품질을 분석한다. 이하, 설명의 명료성을 위해, 관심영역의 영상품질이 관심객체의 영상품질로서 분석되는 경우에 기초하여 영상품질 분석 동작을 상세하게 서술한다.

영상 분석부(22)는 검출 정확성, 관심객체의 가림(occlusion), 관심객체와 촬영기기 사이의 거리 등에 기초하여 관심영역의 영상품질을 분석한다.

관심영역 영상에 포함되지 않는 관심객체의 부분이 감소할수록 높은 검출 정확성을 가진다. 또한, 관심객체의 영상에 포함된 배경이 적을수록 높은 검출 정확성을 가진다. 즉, 영상 분석부(22)는 관심객체의 영상(또는 관심영역의 영상)이 많은 배경을 포함하거나, 관심객체의 일부를 포함하지 않는 것과 같이 정확하지 않은 경우 낮은 검출 정확성을 갖도록 구성된다.

이를 위해, 영상 분석부(22)는 관심영역 영상에서의 전경 정보, 배경 정보 등에 기초한 다양한 영상처리 기법을 통해 관심객체의 검출 정확성을 분석한다.

일 실시예에서, 영상 분석부(22)는 관심영역에 포함된 관심객체의 비중, 관심영역 내 배경과 전경 간의 비율, 관심영역의 흐릿함(blurr) 등에 기초하여 관심객체의 검출 정확성을 산출한다.

영상 분석부(22)는 검출 정확성 모델을 이용하여 관심영역에 포함된 관심객체의 비중을 산출한다. 상기 검출 정확성 모델은 CNN 구조를 갖는 딥러닝 기반 모델일 수 있다.

예를 들어, 영상 분석부(22)는 관심영역의 영상을 입력영상으로 하여, 미리 딥러닝 학습된 상기 객체 비중 모델에 적용한다. 상기 객체 비중 모델은 관심객체의 영상에서 특징을 추출하여 특징 벡터를 출력하고, 관심영역의 영상 내 관심객체의 클래스를 분류하는데 사용하기 위해 출력된 특징 벡터를 점수화한다. 상기 특징 벡터 점수는 관심영역에 포함된 관심객체의 비중에 대응한다. 이러한 점수 산출은 픽셀 단위, 또는 복수의 픽셀로 이루어진 특정 영역으로 수행될 수 있다.

상기 객체 비중 모델은 전술한 관심객체 검출 모델과 유사한 방식으로 구성 및 학습되나, 서로 상이할 수 있다. 일 실시예에서, 관심객체 검출 모델은 복수의 객체를 포함한 영상으로 학습되나, 객체 비중 모델은 단일 객체를 포함한 영상으로 학습될 수 있다.

상기 객체 비중 모델은 관심영역 영상에 관심객체가 모두 포함되어 있을 경우, 높은 분류 성능에 대응하는 특징 벡터 점수를 갖게 된다. 반면, 관심영역 영상에 포함된 관심객체가 일부분인 경우 낮은 분류 성능에 대응하는 특징 벡터 점수를 갖게 된다.

관심영역에 포함된 관심객체의 비중은 객체 비중 모델의 특징 벡터 점수에 기초하여 산출된다.

다른 일 실시예에서, 영상 분석부(22)는 관심객체가 검출된 영상에서 배경 및 전경을 분리하고, 분리된 전경 영역의 비율을 아래의 수학식을 이용하여 산출한다.

[수학식 1]

여기서, W, H는 관심객체가 검출된 영상 전체 영역의 가로/세로를 나타내고, W_fg, H_fg는 전경 영역의 가로/세로를 나타낸다.

관심객체가 검출된 영상 전체 영역에 복수의 객체가 전경으로 포함된 경우, 각 객체에 대한 비율이 각각 산출된다. 한편, 전경과 배경의 분리를 위해 다양한 객체 검출 기법이 이용될 수 있다. 한편, 전경에 해당하는 객체는 사람, 자동차 등 사용자가 관심을 갖는 객체 모두를 포함하며, 특정 객체에 제한되지 않는다.

또한, 영상 분석부(22)는 검출 정확성을 분석하기 위해, 관심영역 영상이 선명한지, 흐릿한지를 분석할 수 있다.

일 실시예에서, 관심영역 영상의 선명 여부, 또는 정도는 웨이블릿 또는 라플라시안 기법을 통해 분석될 수 있다. 다른 일 실시예에서, 영상 분석부(22)는 미리 학습된 영상 블러 모델에 관심영역 영상을 입력하여 선명 여부, 또는 정도를 분석할 수 있다.

상기 영상 블러 모델은 딥러닝 기반 CNN 모델로서, 선명한 훈련 영상(training image), 또는 흐릿한 훈련 영상을 이용하여 학습된다.

이 경우, 관심객체의 영상의 선명 또는 흐림 정도는 상기 CNN 모델에서 출력되는 특징 벡터에 기초한 값에 기초하여 산출될 수 있다.

이와 같이, 영상 분석부(22)는 관심객체의 적어도 일부가 나타난 영상을 다양한 측면에서 분석하여 관심객체의 검출 정확성을 산출할 수 있다.

일 실시예에서, 검출 정확도는 복수의 다른 스케일 값을 갖는 성분(예컨대, 커버 점수, 비율 점수 및 선명 점수)을 정규화한 뒤, 정규화된 각 성분 값에 기초하여 검출 정확도를 점수화할 수 있다. 예를 들어, z-nomalization을 통해 정규화한 뒤, 정규화된 각 성분 값의 평균, 가중치 평균의 값으로 점수화할 수 있다.

여기서, 각 성분의 가중치는 영상을 검색하여 사용자에게 제공하는데 있어서, 사용자 편의성과 관련될 수 있다. 예를 들어, 배경이 많이 포함되어 있더라도 사용자는 검색된 영상을 보는데 불편함이 없으나, 선명하지 않으면 불편할 수 있다. 이 경우, 선명 점수의 가중치가 배경 점수의 가중치에 비해 높을 수 있다.

영상 분석부(22)는 관심객체의 영상에서의 지역 특징(local feature)에 기초하여 관심영역 영상 내 관심객체의 가림도를 분석한다.

관심영역 영상에서 가림(occlusion)이 없어 관심객체가 온전히 검출되는 경우, 해당 영상은 낮은 가림도를 가진다. 반면, 가림(occlusion)으로 인해 관심객체가 검출되지 않는 부분이 증가할수록 해당 영상은 높은 가림도를 가진다. 여기서, 높은/낮은 가림도의 정의는 특정되는 것이 아닌, 상반되는 값을 의미한다.

일 예에서, 영상 분석부(22)는 관심객체가 사람인 경우, 스켈레톤 정보를 이용하여 가림현상을 분석한다.

영상 분석부(22)는 관심객체의 영상의 깊이 정보에 기초하여 해당 영상 내 관심객체와 촬영기기(10) 사이의 거리를 산출한다. 영상 분석부(22)는 관심객체가 촬영기기(10)로부터 원거리에 있을 경우 낮은 가중치를 부여한다. 일부 실시예에서, 원거리는 촬영기기의 해상도에 의존할 수 있다.

일 예에서, (예컨대, 깊이 센서가 장착된 카메라와 같이) 촬영기기(10)가 깊이 정보를 생성하도록 구성된 경우, 영상 분석부(22)는 촬영기기(10)로부터 제공되는 깊이 정보에 기초하여 거리를 산출한다. 다른 일 예에서, 촬영기기(10)가 깊이 정보를 생성하지 않는 경우, 영상 분석부(22)는 다양한 깊이 추정 알고리즘 또는 미리 저장된 깊이 테이블을 통해 거리를 산출한다. 여기서, 깊이 테이블은 영상 내 객체의 픽셀 크기에 따른 거리 정보를 기록한 테이블이다. 깊이 테이블은 사용자 입력 혹은, 정규화되어 기록될 수 있다.

영상 분석부(22)는 관심객체의 영상(즉, 관심영역 영상)의 품질분석 결과에 기초하여 관심객체의 영상품질 점수를 산출한다.

일 실시예에서, 상기 관심객체의 영상품질 점수는, 상기 관심객체의 검출 정확성, 관심객체의 가림도, 및 촬영기기와 관심객체 간의 거리 중 하나 이상에 기초하여 산출된다. 여기서, 관심객체의 검출 정확성은 관심영역에 포함된 관심객체의 비중, 관심영역 내 배경과 전경 간의 비율, 관심영역의 흐릿함(blur) 등에 기초하여 산출된다.

영상 분석부(22)에서 산출된 정보 또한 검색 데이터베이스(31)에 선별영상과 함께 저장될 수도 있다. 예를 들어, 전술한 상세 정보는 관심영역의 영상품질 관련 정보(예컨대, 영상품질 점수, 검출 정확성, 배경과 전경간 비율 등)를 더 포함할 수 있다.

영상 선별부(23)는 수신한 영상 중에서 향후 사용자의 영상 검색 동작에서 실질적으로 탐색할 가치가 있는 관심영상을 선별한다.

일 실시예에서, 영상 선별부(23)는 영상의 복잡도 점수 및 관심객체의 영상품질 점수 중 적어도 하나에 기초하여 검색 과정에서 탐색할 가치가 있는 관심영상을 선별한다.

상기 실시예에서, 서버(20)가 영상의 복잡도 점수를 산출한 경우, 영상 선별부(23)는 산출된 복잡도 점수와 제1 임계치(α)를 비교한다. 제1 임계치(α) 이상의 복잡도 점수를 갖는 영상은 관심영상으로 선별 가능하다.

통상적으로 복잡도가 높을수록 가림 현상 및 검출된 객체(또는 영역)의 오차가 클 가능성이 높다.

예를 들어, 영상이 사람을 매우 많이 포함하는 경우, 해당 영상의 복잡도 점수는 높게 산출된다. 이러한 영상 내에서 적어도 하나의 사람의 형상은 다른 사람의 형상에 의한 가림으로 인해 부분적으로 나타난다. 또한, 이러한 상황에서 사람들은 통상적으로 이동한다. 이로 인해, 블러 등이 발생할 수 있고, 또한 (포즈(pose) 등으로 인한) 관심객체의 검출 오차가 발생할 가능성이 있다. 상기 영상에서 관심객체의 영상품질을 분석할 경우 상대적으로 낮은 영상품질 점수가 산출된다.

그러나, 필요에 따라서 복잡도가 높은 영상이 사용자가 원하는 이벤트를 포함하고 있을 가능성이 있다. 예를 들어, 특정 용의자가 대규모 인파 속에서 걸어가는 상황이 사용자가 원하는 이벤트일 수 있다. 이와 같이, 복잡도가 높은 영상 중에서는 관심객체의 영상품질은 낮을 수 있지만, 검색에 사용될 가능성이 있는 영상이 있을 수 있다.

상기 시스템(1)은 검색 데이터베이스(31)를 구축함에 있어서, 이러한 영상이 누락되는 것을 방지하기 위해 제1 임계치(α)를 사용하여 관심영상을 선별한다.

이러한 제1 임계치(α)는 이전의 복수의 샘플 영상에 대한 복잡도 분석 결과를 통해 획득되는 통계적 수치에 의존할 수 있다. 상기 통계적 수치는 이전의 복수의 샘플 영상에 대한 복잡도 분석 결과에 기초하여 설정된다. 일부 실시예에서, 상기 제1 임계치(α)는 관심객체의 유형, 등에 더 의존할 수 있다.

또한, 상기 실시예에서, 서버(20)가 관심객체의 영상품질 점수를 산출한 경우, 영상 선별부(23)는 산출된 영상품질 점수를 제2 임계치(β)와 비교한다. 제2 임계치(β) 이상의 영상품질 점수를 갖는 영상은 관심영상으로 선별 가능하다.

상기 제2 임계치(β) 이상의 영상품질 점수를 갖는 영상은 관심객체가 검출된 영상이 가림 또는 블려 현상이 상대적으로 적은, 온전하게 검출된 관심객체를 포함하는 영상을 나타내므로, 검색 과정에서 실질적으로 탐색될 가치가 있는 영상이다.

상기 제2 임계치(β) 미만의 영상품질 점수를 갖는 영상은 검색되어 제공되더라도 사용자가 탐색대상에서 제외되는 영상에 해당한다. 따라서, 상기 제2 임계치(β) 미만의 영상품질 점수를 갖는 영상은 검색 과정에서 실질적으로 낮은 확률로 탐색되는 영상이라 판단 할 수 있다. 이러한 제2 임계치(β)는 검색 서비스가 제공되는 사용자 클라이언트의 출력장치(예컨대, 디스플레이 등)의 출력 사양 또는 촬영기기(10)의 촬영 사양에 의존하는 통계적 수치이다.

영상 분석부(22) 및 영상 선별부(23)의 다양한 선별 동작에 대해서는 아래의 도 6 내지 도 10을 참조하여 보다 상세하게 서술한다.

영상 분석부(22) 및 영상 선별부(23)의 동작들(예컨대, 복잡도 점수 산출 및 제1 임계치와 비교, 영상품질 점수 산출 및 제2 임계치와 비교)은 전술한 실시예들에 제한되지 않는다.

예를 들어, 상기 복잡도 점수는 가림 현상이 발생할 가능성 또는 검출된 관심객체(또는 관심영역)의 오차가 클 가능성이 높은 경우, 보다 낮은 값을 갖도록 수치화될 수 있다. 이 경우, 제1 임계치 미만의 복잡도 점수를 갖는 영상이 선별될 수 있다. 또는, 상기 영상품질 점수는 영상 품질이 높은 경우 보다 낮은 값을 갖도록 수치화될 수 있다. 이 경우, 제2 임계치 미만의 복잡도 점수를 갖는 영상이 선별될 수 있다.

상기 영상 관제 시스템(1)은 사용자가 원하는 특정 영상을 검색하기 위해 탐색할 가치가 있는 영상을 관심영상으로 선별한다. 선별된 관심영상 또는 관심영상과 관련된 정보는 검색 데이터베이스(31)에 저장된다.

검색 데이터베이스(31)는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 장치일 수도 있다. 이 경우, 상기 서버(20)는 사용자의 명령에 따라 외부의 검색 데이터베이스(31)에 접속하여 데이터 통신하도록 더 구성될 수 있다.

상기 검색 데이터베이스(31)는, 사용자 클라이언트(미도시)로부터 특정 영상에 대한 검색 요청을 수신할 경우, 특정 영상을 검색하는 동작이 우선적으로 수행된다. 상기 검색 데이터베이스(31)에 구축된 정보(또는 데이터)는 대량의 정형, 비정형 또는 반정형 데이터의 집합을 의미하며, 정형 데이터는 고정된 필드에 저장된 데이터로서, 예컨대, 관계형 데이터베이스, 스프레드쉬트 등이 있다. 또한, 비정형 데이터는 고정된 필드에 저장되어 있지 않는 데이터로서, 예컨대, 텍스트 문서, 이미지, 동영상, 음성 데이터 등이 있다. 또한, 반정형 데이터는 고정된 필드에 저장되어 있지 않지만 메타데이터나 스키마를 포함하는 데이터로서, 예컨대, XML, HTML, 텍스트 등이 있다.

일 실시예에서, 검색 데이터베이스(31)는 선별된 관심영상의 영상 데이터, 선별된 영상의 식별정보, 선별된 관심영상을 촬영한 촬영기기의 식별정보, 촬영기기의 위치정보, 촬영 시간정보, 상기 관심객체의 영상 데이터, 및 관심객체 식별정보 등을 포함한다.

상기 촬영기기(10)의 식별정보는 촬영기기(10)의 ID 등을 포함한다. 촬영기기(10)의 위치정보는 설치 지점을 포함한다. 또한, 촬영기기(10)의 위치정보는 촬영 범위를 더 포함할 수 있다.

관심객체의 영상 데이터 및 관심객체 식별정보는 관심객체 검출 결과에 기초하여 생성된다. 예를 들어, 관심객체의 영상 데이터는 관심영역의 영상 데이터 등을 포함하며, 관심객체 식별정보는 관심객체 검출 결과에 의한 튜브 ID 등을 포함한다.

또한, 상기 영상 관제 시스템(1)은 관심영상으로 선별되지 않은 촬영영상을 보조 데이터베이스(secondary database)인 전체 데이터베이스(32)에 저장할 수도 있다. 전체 데이터베이스(32)는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 장치일 수도 있다.

상기 전체 데이터베이스(32)을 구축하기 위해 이용되는 촬영영상은 관심객체가 검출되지 않은 영상, 관심객체는 검출되었으나 거시적 측면 및/또는 미시적 측면에서 향후 탐색될 가치가 없는 영상으로 분석된 촬영영상을 포함한다.

관심객체가 검출되지 않은 영상 또는 관련 정보는, 예를 들어, 영상 데이터, 해당 영상의 식별정보, 해당 영상을 촬영한 촬영기기의 식별정보, 촬영기기의 위치정보, 촬영 시간정보 등을 포함하나, 이에 제한되지 않는다.

탐색될 가치가 없는 영상으로 분석된 촬영영상 또는 관련 정보는, 예를 들어, 관심영역을 검출하는 과정에서 생성된 관련 정보(예컨대, 검출기(detector), 관심영역의 마스크, 관심영역의 영상품질 점수, 등)를 더 포함하나, 이에 제한되진 않는다.

도 2에서 각 시스템(1)의 구성요소(20, 31, 32)는 물리적으로 분리되어 도시되었으나, 이에 제한되지 않는다. 예를 들어, 검색 데이터베이스(31)와 전체 데이터베이스(32)는 단일 데이터베이스로 구성되어 있으며, 각 데이터베이스(31, 32)는 논리적으로 분리된, 단일 데이터베이스 서버로 구축될 수 있다.

상기 영상 관제 시스템(1) 또는 구성요소(10, 20)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 데이터 입력 장치, 디스플레이, 인쇄와 같은 출력 장치, 메모리와 같은 저장장치, 네트워크, 네트워크 인터페이스 및 프로토콜 등을 더 포함할 수 있다.

상기 영상 관제 시스템(1)은 하나 이상의 촬영기기(10)로부터 촬영영상을 수신하여 관심영상을 선별함으로써 검색 데이터베이스(31)를 구축하는 일련의 단계들을 포함한 검색 데이터베이스 구축을 위한 관심영상 선별 방법을 수행한다.

도 6은, 본 발명의 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 단일 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.

도 6을 참조하면, 서버(20)는 촬영기기(10A)로부터 촬영영상을 수신하여 관심객체를 갖는 영상을 필터링한다(S100).

서버(20)는 수신한 촬영영상에서 관심객체를 검출한다(S110). 일 실시예에서, 서버(20)는 관심객체의 적어도 일부가 나타난 관심영역을 검출함으로써 관심객체를 검출할 수 있다(S110).

일부 실시예에서, 서버(20)는 검출된 관심객체를 추적하여 추적 정보를 더 생성할 수 있다(S130). 예를 들어, 서버(20)가 촬영기기(10A)로부터 촬영 동영상을 수신한 경우, 촬영 동영상에 포함된 관심객체를 추적하여 각 프레임 내 관심영역으로 이루어진 튜브 동영상을 더 생성할 수 있다.

단계(S110 및 S130)에서, 검출된 관심객체(또는 관심영역)은 전체 영상과 구별되는 서브 영상 데이터로 추출될 수 있다.

또한, 서버(20)는 단계(S110 및 S130)에서 검출된 관심객체 및 관련 데이터에 연관된 상세 정보를 더 생성한다. 상기 상세 정보는, 예를 들어, 관심객체의 식별자(예컨대, 튜브 ID), 관심영역의 크기, 검출하는데 사용된 검출기(detector) 등을 포함한다.

서버(20)는 (예컨대, 영상 분석부21에 의해) 관심객체가 검출된 영상의 복잡도를 분석한다(S210).

일 실시예에서, 영상의 복잡도는, 해당 영상의 공간정보 및/또는 움직임정보를 이용한 바텀-업 접근(bottom-up approach) 방식 및 검출된 관심객체와 관련된 정보를 이용한 탑-다운 접근(top-down approach) 방식 중 하나 이상을 통해 분석된다(S210).

상기 관심객체가 검출된 영상에 대한 복잡도의 분석 결과는 복잡도 점수로 점수화되어 출력될 수 있다.

서버(20)는 복잡도 점수를 제1 임계치를 비교한다(S230). 비교 결과, 상기 제1 임계치 이상의 복잡도 점수를 갖는 영상은 관심영상으로 선별한다(S230). 제1 임계치 이상의 복잡도 점수를 가지는 영상은 검출 등의 오차를 최소화하기 위해, 해당 프레임에서 검출된 관심객체(예컨대, 모든 관심객체)가 검색 데이터베이스(31)에 저장된다. 일 실시예에서, 상기 제1 임계치 이상의 복잡도 점수를 갖는 관심영상 및/또는 관련 정보는 검색 데이터베이스(31)에 저장된다.

일 실시예에서, 검색 데이터베이스(31)는 관심영상의 영상 데이터, 촬영기기의 식별정보, 상기 영상의 식별정보, 촬영 시간정보, 상기 관심객체의 영상 데이터, 관심객체 등에 기초하여 구축된다.

한편, 서버(20)는 상기 제1 임계치 미만의 복잡도 점수를 갖는 영상에 대하여 추가 선별 동작을 더 수행할 수도 있다. 서버(20)는 관심영역의 영상품질을 분석한다(S250).

일 실시예에서, 관심영역의 영상품질은 상기 관심객체의 검출 정확성, 관심영역 내 관심객체의 가림(occlusion), 및 촬영기기와 관심객체 간의 거리 중 하나 이상에 기초하여 분석된다(S250).

상기 관심객체가 검출된 영상의 일부인 관심영역의 영상에 대한 영상품질의 분석 결과는 영상품질 점수로 점수화되어 출력될 수 있다.

서버(20)는 영상품질 점수를 제2 임계치와 비교한다(S270). 제1 임계치 보다 낮은 복잡도를 가지는 영상은 검출된 관심 객체의 영상품질을 확인하기 위해, 제 2 임계치와의 비교를 수행하게 된다. 비교 결과, 상기 제2 임계치 이상의 영상품질 점수를 갖는, 관심객체가 검출된 영상은 관심영상으로 선별한다(S270). 검출된 패치의 영상품질 점수가 제2 임계치 이상인 경우 검출된 패치가 검색 데이터베이스(31)에 저장된다. 일 실시예에서, 상기 제2 임계치 이상의 영상품질 점수를 갖는 관심영상 및/또는 관련 정보는 검색 데이터베이스(31)에 저장된다.

이로 인해, 촬영기기(110)로부터 수신한 모든 영상을 검색하지 않고, 객체의 영상품질에 기초하여 선별된 영상만을 가지고 빠른 검색이 가능하다.

서버(20)는 선별되지 않은 나머지 영상 및/또는 관련 정보는 보조 데이터베이스인 전체 데이터베이스(32)에 저장한다. 검출된 패치의 영상품질 점수가 제2 임계치 보다 낮을 경우, 전체 데이터베이스(32)에 저장된다. 일부 실시예에서, 검색 데이터베이스(31)의 검색 결과에 따라 사용자에게 제공 된다.

일 실시예에서, 전체 데이터베이스(32)는 선별되지 않는 나머지 영상의 영상 데이터, 촬영기기의 식별정보, 상기 영상의 식별정보, 촬영 시간정보 등에 기초하여 구축된다. 또한, 전체 데이터베이스(32)는 단계(S100)에서 관심객체가 검출된 경우, 관심영역을 검출하는 과정에서 생성된 관련 정보(예컨대, 검출기(detector), 관심영역의 마스크, 관심영역의 영상품질 점수, 등) 등에 더 기초하여 구축될 수도 있다.

이러한 2단계의 선별은 사용자가 정의한 특정 객체를 찾는 추적 프로그램에서 의미가 있다.

특정 객체과 동일한 유형을 갖는 다수의 객체를 포함한 영상 A는 특정 객체를 추적하는데 검색할 가치가 있다. 상기 영상 A는 상대적으로 높은 복잡도를 가진다. 상기 시스템(1)은 상기 영상 A가 제1 임계치 이상의 복잡도 점수를 갖는 경우, 상기 영상 A는 검색 데이터베이스(31)에 저장된다. 이를 위해, 제1 임계치는 이러한 다수의 객체를 포함하는 영상이 검색 데이터베이스(31)에 저장되도록 미리 설정된다.

한편, 특정 객체와 동일한 유형을 갖는 단일 객체를 포함한 영상 B는 상기 영상 A에 비해 상대적으로 낮은 복잡도를 갖는 영상이다. 상기 영상 B가 특정 객체를 추적하는데 검색할 가치가 있는지 더 판단되어야 한다. 상기 시스템(1)에서는 영상품질에 의존하여 (예컨대, 영상품질 점수를 통해) 상기 영상 B가 검색할 가치가 있는지 판단한다. 영상품질이 낮아서 사람의 얼굴이 제대로 나타나지 않는 영상은 검색할 확률이 낮은 영상이다. 상기 시스템(1)은 상기 영상 B가 제2 임계치 이상의 영상품질 점수를 갖는 경우, 상기 영상 B를 검색 데이터베이스(31)에 저장한다.

또는, 이러한 2단계의 선별은 얼굴 인식 등의 응용 프로그램에서도 의미가 있다.

도 6의 시스템(1)의 촬영기기(10A)가 사용자가 정의한 특정 사람을 찾아 추적한다고 가정해보자. 상기 가정에서 특정 사람은 관심객체로 이미 검출되어 있다.

특정 사람이 최초 등장한 프레임은 복잡도가 상대적으로 높은 영상이다. 상기 영상은 제1 임계치 이상의 복잡도 점수를 가질 수 있으며, 이러한 영상은 향후 사용자가 검색할 가능성이 있는 영상이다. 따라서, 상기 프레임으로 이루어진 제1 동영상이 검색 데이터베이스(31)에 저장된다.

일부 실시예에서, 상기 특정 사람이 등장한 이후 추적 상황을 표현한 프레임으로 이루어진 제2 동영상이 검색 데이터베이스(31)에 더 저장될 수 있다. 제2 동영상은 관심객체 검출부(21)의 추적 결과에 기초하여 결정된다.

상기 가정들에서 특정 객체는 사람에 대해서 서술되었으나, 이에 제한되지 않는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 특정 객체는 자동차일 수 있다.

이러한 2단계의 선별은 이상행동 감지 측면에서 의미가 있다. 도 6의 시스템(1)의 촬영기기(10A)가 도로를 주행하다가 벽에 부딪쳐 멈추는 자동차를 촬영하는 상황을 가정해보자. 사고 동영상은 향후 사용자가 검색할 가능성이 높은 검색에 해당하므로, 검색 데이터베이스(31)에 저장될 것이다.

서버(20)는 충돌 이전의 주행 상황을 표현한 프레임으로 이루어진 제1 동영상과 충돌 이후 멈춤 상황을 표현한 프레임으로 이루어진 제2 동영상을 촬영기기(10A)로부터 수신한다.

제1 동영상 부분에서 자동차는 주행하므로, 상기 제1 동영상을 이루는 각 프레임은 제1 임계치 보다 높은 복잡도를 가진다(S200). 결국, 제1 동영상의 프레임 데이터, 각 프레임 식별정보, 촬영시간, 관심객체인 자동차에 관한 정보 등이 검색 데이터베이스(31)에 저장된다. 통상적으로 사고 동영상에서 사고 발생 과정이 가장 중요하기 때문이다.

한편, 충돌 이후 자동차가 멈춘 장면을 촬영한 제2 동영상의 프레임들은, 관심객체인 자동차는 검출될 수 있지만 정지 상태이므로 제1 임계치 미만의 복잡도를 가질 수도 있다.

그러나, 상기 제2 동영상의 일부 프레임은 복잡도가 낮더라도, 향후 사용자가 사고 동영상을 검색함에 있어서 더 제공될 가치가 충분히 있는 영상에 해당할 수 있다. 사고 상황에 대한 다양하고 정확한 정보를 사용자가 더 원할 수 있기 때문이다. 따라서, 상기 제2 동영상은 상대적으로 낮은 복잡도를 갖더라도, 사용자에게 제공 시 높은 영상품질로 제공되면 충분하다.

결국, 상기 시스템(1)에서 영상 전체의 복잡도 및/또는관심객체의 영상품질에 기초하여 관심영상을 선별하고 검색 데이터베이스를 구축하면, 보다 풍부한 영상 검색 서비스를 제공할 수 있다.

또한, 상기 검색 데이터베이스(31)는 복수의 촬영기기(10A, 10B, …, 10N)에서 촬영된 촬영영상에서 관심영상을 선별하여 구축될 수 있다.

도 7은, 본 발명의 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 복수의 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.

도 7을 참조하면, 서버(20)는 촬영기기(10A, 10B, … 10N) 각각이 촬영한 제1 내지 제N 촬영영상을 수신한다.

서버(20)는 제1 촬영영상에 대하여 관심객체를 검출한다(S1100). 관심객체가 검출된 경우, 관심객체가 검출된 제1 촬영영상의 복잡도를 분석하여(S1210), 거시적 측면에서 제1 촬영영상이 선별할 가치가 있는 영상에 해당하는지 결정한다(S1230).

서버(20)는 복잡도에 기초한 결정 결과 선별되지 않은 영상에 대하여 관심영역의 영상품질을 분석하여(S1250), 미시적 측면에서 제1 촬영영상이 선별할 가치가 있는 영상에 해당하는지 결정한다(S1270).

서버(20)는 제2 촬영영상에 대한 선별 동작(S2100 및 S2200), 내지 제N 촬영영상에 대한 선별 동작(S9100 및 S9200)을 수행한다.

도 6 및 도 7의 관심영상 선별 과정은 다양하게 변형될 수 있다. 각 촬영기기(10)로부터 수신한 영상 모두에 대해서 동일한 분석 및 선별 과정을 적용하지 않을 수 있다. 또한, 일부 단계들의 순서가 서로 상이하게 변경되거나, 또는 일부 단계들이 동시에 수행되도록 변경될 수 있다.

도 8은, 본 발명의 다른 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 복수의 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.

도 8을 참조하면, 서버(20)는 각 촬영기기(10A, 및 10B)로부터 수신한 각각의 촬영영상에 대하여 상이한 선별 동작을 수행할 수 있다.

도 8에 도시된 바와 같이, 서버(20)는 상기 촬영기기(10A)의 촬영영상에서 복잡도 분석에 기초하여 관심영상을 선별하도록 구성되고(S1100 내지 S1200), 상기 촬영기기(10B)의 촬영영상에서 관심객체의 영상품질 분석에 기초하여 관심영상을 선별하도록 구성될 수도 있다(S2100 내지 S2200).

일 실시예에서, 촬영기기(10A 또는 10B) 별 선별 동작은 촬영기기(10A 또는 10B)의 위치 또는 사양에 기초하여 설정될 수 있다.

일 예에서, 촬영기기(10A)가 촬영하는 범위의 영상을 분석함에 있어서 복잡도가 더 중요한 경우, 서버(20)는 상기 촬영기기(10A)의 촬영영상에서 복잡도 분석만을 수행하도록 구성될 수도 있다(S1100 내지 S1200).

다른 일 예에서, 촬영기기(10B)가 보다 높은 사양을 가져서 고품질의 영상을 얻을 수 있는 경우, 서버(20)는 상기 촬영기기(10B)의 촬영영상에서 관심객체의 영상품질 분석만을 수행하도록 구성될 수도 있다(S2100 내지 S2200).

도 9는, 본 발명의 또 다른 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 복수의 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.

도 9를 참조하면, 서버(20)는 적어도 하나의 촬영기기(예컨대, 10B)로부터 수신한 영상에 있어서 관심객체의 영상품질에 대한 분석에 기초하여 선별 동작(S2250 및 S2270)이 수행된 이후에, 영상의 복잡도에 대한 분석에 기초하여 선별 동작(S2210 및 S2230)을 수행하도록 구성될 수 있다.

도 10은, 본 발명의 또 다른 일 실시예에 따른, 검색 데이터베이스를 구축하기 위해 복수의 촬영기기에서 촬영된 영상에서 관심영상을 선별하는 방법의 흐름도이다.

도 10을 참조하면, 서버(20)는 영상 복잡도 분석 동작(S1210 및 S2210) 및 관심객체의 영상품질 분석 동작(S1250 및 S2250)을 동시에 수행할 수 있다. 일부 실시예에서, 영상 복잡도 분석 결과에 기초한 선별 동작(S1230 및 S2230)과 관심객체 영상품질 분석 결과에 기초한 선별 동작(S1270 및 S2270)도 동시에 수행될 수도 있다.

도 8 내지 도 10의 분석 및 선별 동작은 위에서 이미 서술하였는바, 자세한 내용은 생략한다.

도 8 내지 도 10의 시스템(1)은 두 개의 촬영기기(10A, 10B)만이 도시되어 있으나, 이는 단지 설명을 위해 예시적으로 도시한 것이다. 도 8 내지 도10의 시스템(1)은 두 개 이상의 촬영기기(10)를 포함할 수 있다는 것이 통상의 기술자에게 명백할 것이다.

이와 같이, 영상 관제 시스템(1) 또는 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법은 단순히 탐색대상 후보인 관심객체가 검출되는 것에 제한되지 않고, 관심객체가 나타난 영상을 거시적 측면 및/또는 미시적 측면에서 더 분석하여 선별함으로써 검색 데이터베이스를 구축한다.

이로 인해, 영상 관제 시스템(1)은 사용자에게 데이터베이스에 저장된 영상을 검색할 수 있는 검색 서비스를 제공할 경우, 상기 검색 서비스를 이용하는 사용자는 보다 신속하게 검색할 수 있다. 나아가, 보다 고품질의 영상 검색 서비스를 제공할 수 있다.

이상에서 설명한 실시예들에 따른 영상 관제 시스템(1) 및 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

본 발명의 일 측면에 따른 영상 관제 시스템은 거시적 분석 결과 및/또는 미시적 분석 결과에 기초하여 대규모 입력 영상에서 관심영상을 선별하고, 선별된 관심영상으로 우선적으로 영상 검색을 수행하는 검색 데이터베이스를 구축한다.

현재 CCTV 카메라 사양의 고도화로 인해 대용량의 고화질 영상을 취득하기 용이하고, 또한 1초에 수백, 수천 내지 수만장의 영상을 획득할 수 있다. 이로 인해 영상 관제 시스템은 필연적으로 대규모 영상을 수신하고 이를 처리하게 된다. 본 발명의 영상 관제 시스템은 관심객체 검출 과정, 영상 전체의 거시적 분석 과정 또는 관심객체의 영상품질의 미시적 분석 과정을 4차원 산업 기술 중 하나인 머신 러닝(machine learning)을 통해 미리 학습된 다양한 CNN 모델을 이용하여 수행함으로써, 특정 인물을 찾기 위해 수십만 장의 영상을 확인할 수 있다. 나아가 실질적으로 영상 검색에 요구되는 영상을 선별함으로써 대규모 영상 시스템에서 높은 이용가능성을 가진다.

Claims (13)

1. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 검색 데이터베이스 구축을 위한 관심영상 선별 방법에 있어서,
   촬영기기에 의해 촬영된 영상을 수신하는 단계;
   상기 수신된 영상에서 관심객체를 검출하는 단계;
   상기 관심객체가 검출된 영상의 복잡도 및 상기 관심객체의 영상 품질 중 적어도 하나에 기초하여 관심영상을 선별하는 단계; 및
   상기 관심영상과 관련된 정보를 검색 데이터베이스에 저장하는 단계를 포함하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
2. 제1항에 있어서, 상기 관심영상을 선별하는 단계는,
   상기 관심객체가 검출된 영상의 전체를 분석하여 영상의 복잡도 점수를 산출하는 단계; 및
   상기 영상의 복잡도 점수와 제1 임계치를 비교하여 상기 제1 임계치 이상의 복잡도 점수를 갖는 영상을 관심영상으로 선별하는 단계를 포함하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
3. 제1항에 있어서, 상기 관심영상을 선별하는 단계는,
   상기 관심객체가 검출된 영상에서 상기 관심객체의 적어도 일부가 포함된 관심영역의 영상품질 점수를 산출하는 단계; 및
   상기 영상의 관심영역의 영상품질 점수와 제2 임계치를 비교하여 상기 제2 임계치 이상의 복잡도 점수를 갖는 영상을 관심영상으로 선별하는 단계를 포함하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
4. 제1항에 있어서, 상기 관심영상을 선별하는 단계는,
   상기 관심객체가 검출된 영상의 전체를 분석하여 영상의 복잡도 점수를 산출하는 단계;
   상기 영상의 복잡도 점수와 제1 임계치를 비교하는 단계;
   상기 관심객체가 검출된 영상에서 상기 관심객체의 적어도 일부가 포함된 관심영역의 영상품질 점수를 산출하는 단계;
   상기 영상의 관심영역의 영상품질 점수와 제2 임계치를 비교하는 단계; 및
   상기 제1 임계치 이상의 복잡도 점수를 갖거나, 상기 제2 임계치 이상의 복잡도 점수를 갖는 영상을 관심영상으로 선별하는 단계를 포함하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
5. 제1항에 있어서, 상기 영상의 복잡도 점수는,
   상기 영상의 공간정보 및 움직임정보 중 하나 이상을 이용한 바텀-업 접근(bottom-up approach) 방식 및 검출된 관심객체와 관련된 정보를 이용한 탑-다운 접근(top-down approach) 방식 중 하나 이상을 통해 산출되는 것을 특징으로 하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
6. 제1항에 있어서, 상기 관심객체의 영상품질 점수는,
   상기 관심객체의 검출 정확성, 관심객체의 가림도, 및 촬영기기와 관심객체 간의 거리 중 하나 이상에 기초하여 산출되는 것을 특징으로 하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
7. 제6항에 있어서, 상기 관심객체의 검출 정확성은,
   관심영역에 포함된 관심객체의 비중, 관심영역 내 배경과 전경 간의 비율, 및 관심영역의 흐릿함(blur) 중 하나 이상에 기초하여 산출된 것을 특징으로 하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
8. 제1항에 있어서, 상기 영상을 수신하는 단계는,
   상기 제1 촬영기기에 의해 촬영된 제1 영상 및 제2 촬영기기에 의해 촬영된 제2 영상을 수신하는 단계를 포함하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
9. 제8항에 있어서, 상기 관심영상을 선별하는 단계는,
   상기 제1 영상 및 제2 영상에서 관심객체가 검출된 경우, 상기 제1 영상의 복잡도 및 상기 제2 영상의 관심객체의 영상품질에 기초하여 관심영상을 선별하는 단계를 포함하는 것을 특징으로 하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
   
10. 제8항에 있어서, 상기 관심영상을 선별하는 단계는,
    상기 제1 영상 및 제2 영상에서 관심객체가 검출된 경우, 상기 제1 영상의 복잡도, 상기 제1 영상의 관심객체의 영상품질, 상기 제2 영상의 복잡도 및 상기 제2 영상의 관심객체의 영상품질에 기초하여 관심영상을 선별하는 단계를 포함하는 것을 특징으로 하는 검색 데이터베이스 구축을 위한 관심영상 선별 방법.
    
11. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제10항 중 어느 하나의 항에 따른 검색 데이터베이스 구축을 위한 관심영상 선별 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
    
12. 객체 및 배경을 촬영하는 하나 이상의 촬영장치;
    상기 촬영장치로부터 수신된 영상에서 향후 사용자가 검색할 가능성이 있는 영상을 관심영상으로 선별하는 서버; 및
    상기 관심영상으로 구축된 제1 데이터베이스를 포함하는 영상 관제 시스템.
    
13. 제12항에 있어서,
    상기 수신된 영상에서 관심영상으로 선별되지 않는 영상으로 구축된 제2 데이터베이스를 포함하는 영상 관제 시스템.

Images