KR20160031226A - 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치 - Google Patents

Abstract

검색용 보조 정보가 구축 되지 않은 동영상에 대하여, 동영상 재생 도중 자세한 정보를 얻고자 하는 객체가 등장한 시점에 검색 요청을 입력하는 것만으로 상기 객체에 대한 검색 결과가 표시되는 동영상 내 객체 관련 정보 검색 방법 및 그 방법이 적용 된 동영상 재생 장치가 제공 된다. 본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법은, 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호가 수신되는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 단계와, 상기 추출된 정지 영상에 포함된 객체를 인식하는 단계와, 상기 인식된 객체에 대한 정보를 검색하기 위하여 상기 인식된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계와, 상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함한다.

Description

동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치{Method for searching information of object in video and video playback apparatus thereof}

본 발명은 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치에 관한 것이다. 보다 자세하게는, 동영상 재생 중에 동영상에 등장하는 예를 들어 상품과 같은 특정 객체에 대한 정보를 간편하게 조회할 수 있도록 지원하는 정보 검색 방법 및 그 방법이 적용된 동영상 재생 장치에 관한 것이다.

인터넷 기술을 활용한 검색 엔진은 학술, 기술 분야의 전문적인 문헌에 대한 접근뿐만 아니라, 일상 생활에서 필요한 소소한 정보들에 대한 접근도 용이하게 해 주었다. 예를 들어, 다른 사람이 업로드 한 여행 후기, 맛집에 대한 평가 같은 생활 밀착형 정보가 빈번하게 억세스 되고 있다.

상기 검색 엔진을 통해 TV 프로그램과 같은 동영상 컨텐츠에 대한 정보도 접근할 수 있다. 특히, 최신 트렌드에 민감한 소비자들은, TV 프로그램에 등장하는 연기자, 가수 등이 착용하는 패션, 악세서리 등에 많은 관심을 가지고, 이러한 관심이 반영된 많은 정보가 상기 검색 엔진을 통해 억세스 되고 있다.

그런데, 동영상 컨텐츠에 등장하는 특정 객체에 대한 정보를 얻고자 할 때, 검색 엔진에 입력할 쿼리를 작성해야 하는 불편함이 있다. 어떻게 쿼리를 작성해야 자신이 원하는 정보를 얻을 수 있을 지에 대하여 고민이 필요한 것이다. 따라서, 동영상 재생 중에 추가적인 정보를 알고 싶은 객체가 등장할 때, 상기 추가적인 정보에 대한 검색을 간편하게 수행할 수 있도록 지원하는 검색 방법 및 그러한 검색 방법이 적용 된 동영상 재생 장치의 제공이 요청된다.

한국 공개 특허 제2010-0118882호

본 발명이 해결하고자 하는 기술적 과제는 검색용 보조 정보가 구축 되지 않은 동영상에 대하여, 동영상 재생 도중 자세한 정보를 얻고자 하는 객체가 등장한 시점에 검색 요청을 입력하는 것만으로 상기 객체에 대한 검색 결과가 표시되는 동영상 내 객체 관련 정보 검색 방법 및 그 방법이 적용 된 동영상 재생 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.

본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법은, 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 단계와, 상기 추출된 정지 영상에 포함된 객체를 인식하는 단계와, 상기 인식된 객체에 대한 정보를 검색하기 위하여 상기 인식된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계와, 상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함한다. 이 때, 상기 동영상은 상기 검색 서버에 송신되는 쿼리를 도출하기 위한 검색 보조 정보를 가지지 않은 것일 수 있다.

일 실시예에 따르면, 상기 정지 영상을 추출하는 단계는 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계 및 상기 평가 결과 가장 높은 평가치를 가지는 프레임을 상기 정지 영상으로 추출하는 단계를 포함할 수 있다. 상기 소정 기준은, 각 프레임 안에서 인식된 객체의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것이거나, 각 프레임 안에서 인식된 로고(logo) 또는 상표의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것일 수 있다.

일 실시예에 따르면, 상기 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계는, 상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 소정 기준에 따라 평가하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 정지 영상을 추출하는 단계는 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함하고, 상기 객체를 인식하는 단계는 상기 추출된 모든 정지 영상에 대하여, 정지 영상 내 객체를 인식하는 단계, 및 각 정지 영상에 대하여 인식된 객체를 취합하는 단계를 포함하고, 상기 검색 서버에 송신하는 단계는 상기 취합된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계는, 상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 정지 영상을 추출하는 단계는, 상기 검색 요청 신호의 수신 시점이 장면 전환(scene change) 이후 기 지정된 프레임 이내의 프레임인 경우, 상기 장면 전환 전의 장면에 속한 프레임 중 적어도 일부 프레임의 정지 영상을 추출하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 검색 서버에 송신하는 단계는, 상기 추출된 정지 영상 중, 상기 인식된 객체의 영역을 크로핑(cropping) 하는 단계와, 상기 크로핑된 객체 이미지를 상기 검색 서버에 송신하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 검색 결과를 표시하는 단계는, 상기 인식된 각각의 객체를 가리키는 체크 리스트를 상기 동영상에 오버레이 하는 단계와, 상기 체크 리스트에 체크된 객체에 대한 검색 결과를 선별하여 표시하는 검색 결과 표시 영역을 상기 동영상에 오버레이 하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 방법은 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 제공받는 것에 응답하여 상기 동영상의 정지 영상을 추출하는 단계와, 상기 추출된 정지 영상에 포함된 문자열 및 로고 중 적어도 하나의 객체를 인식하는 단계와, 상기 인식된 객체를 이용하여 텍스트 쿼리를 생성하는 단계와, 상기 텍스트 쿼리를, 검색 서버에 송신하는 단계와, 상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 동영상 재생 장치는, 동영상을 재생하는 디스플레이, 검색 요청 신호를 수신하는 사용자 입력 수신부, 동영상 재생 중 검색 대상이 지정되지 않은 상기 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 정지 영상 추출부, 상기 추출된 정지 영상을 서버에 송신하는 검색 대상 영상 송신부, 및 상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하여, 상기 검색 결과가 상기 디스플레이에 표시되도록 제어하는 검색 결과 표시부를 포함한다.

상기 사용자 입력 수신부는, 상기 검색 요청 신호의 입력으로부터 상기 검색 결과 표시부에 의한 검색 결과 표시까지 사용자로부터 추가 입력을 받지 않는다. 즉, 상기 동영상 재생 장치의 사용자는 동영상 재생 중에 상기 검색 요청 신호를 입력하는 것 만으로, 상기 검색 요청 신호에 대한 응답으로 검색 결과를 제공 받을 수 있다.

본 발명의 몇몇 실시예들에 따르면, 동영상에 연결된 검색용 보조 정보가 전혀 구비 되어 있지 않은 경우에도, 동영상에 등장하는 객체에 대한 검색을 지원하는 효과가 있다. 따라서, 모든 동영상에 대하여 본 발명 실시예들에 따른 검색 방법을 적용할 수 있다.

또한, 사용자가 입력하는 검색 요청에는 검색 대상에 대한 어떠한 정보도 포함되지 않으므로, 사용자의 검색 편의성을 증대할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법의 순서도이다.
도 2는 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다.
도 3은 도 2에 도시된 시스템에서 수행 될 수 있는 동영상 내 객체 관련 정보 검색 방법의 신호 흐름도이다.
도 4는 본 발명의 또 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다.
도 5는 도 4에 도시된 시스템에서 수행 될 수 있는 동영상 내 객체 관련 정보 검색 방법의 신호 흐름도이다.
도 6은 본 발명의 몇몇 실시예에서 수행 되는 검색 대상 객체를 얻는 방법의 다양한 실시예를 설명하기 위한 개념도이다.
도 7은 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 방법의 순서도이다.
도 8은 본 발명의 몇몇 실시예들에 따른 검색 결과 표시 방법을 설명하기 위한 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제1 블록 구성도이다.
도 10은 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제2 블록 구성도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 동영상 내 객체 관련 정보 검색 방법을 설명한다.

동영상이 재생되는 도중, 상기 동영상을 재생하는 장치가 검색 요청 신호를 제공 받는 것에 의하여, 본 실시예에 따른 동영상 내 객체 관련 정보 검색 방법이 시작된다. 상기 검색 요청 신호는 검색 대상을 가리키는 정보가 포함되지 않은 것일 수 있다.

상기 동영상은 상기 검색 서버에 송신되는 쿼리를 도출하기 위한 검색 보조 정보를 가지지 않은 것이다. 즉, 상기 동영상은 동영상 자체의 audiovisual 데이터 만을 포함한 것이다. 즉, 동영상에 연결된 검색용 보조 정보가 전혀 구비 되어 있지 않은 경우에도, 동영상에 등장하는 객체에 대한 검색을 지원할 수 있다.

이 때, 상기 검색 요청 신호는 동영상 재생 장치의 리모컨 등, 기 지정된 신호 만을 생성할 수 있는 장치로부터 수신된 것일 수 있다.

다른 실시예에 따르면, 동영상이 스마트 폰, 태블릿 피씨 등 터치 디스플레이를 구비한 장치를 통해 재생 될 때, 사용자가 동영상 재생 중에 상기 터치 디스플레이의 특정 지점을 터치하는 것에 의하여 상기 검색 요청 신호가 제공될 수도 있다.

동영상을 시청하고 있는 사용자의 입장에서 설명하면, 동영상 재생 중에 관심 있는 객체가 등장하는 시점에서 상기 검색 요청 신호를 생성하는 사용자 입력을 상기 동영상을 재생하고 있는 장치에 제공하는 것만으로, 검색을 위한 모든 입력이 끝난다. 상기 검색 요청 신호는 어떠한 정보를 검색해야 하는지 가리키는 정보를 포함하지 않으므로, 사용자는 1회의 조작, 예를 들어 1회의 리모컨 버튼 누름, 1회의 터치 디스플레이 터치, 1회의 키보드 입력 또는 1회의 마우스 조작 만으로 검색을 위한 모든 입력을 끝낼 수 있다.

동영상 재생 장치가 상기 검색 요청 신호를 제공 받으면, 재생 중인 동영상에서 검색 대상 정지 영상이 추출된다(S200). 상기 추출 된 검색 대상 정지 영상은, 사용자가 추가 정보를 알고자 하는 객체를 포함하고 있는 이미지이다. 이 때, 상기 동영상 재생 장치가 상기 검색 요청 신호를 제공 받는 것에 응답하여 상기 검색 대상 정지 영상을 추출할 수도 있고, 상기 동영상 재생 장치는 상기 검색 요청 신호를 제공 받는 것에 응답하여 외부 장치에 상기 검색 대상 정지 영상의 추출을 요청할 수도 있다. 상기 외부 장치는, 예를 들어 동영상 스트리밍 서버일 수 있다.

일 실시예에 따르면, 상기 검색 요청 신호를 제공 받는 시점의 프레임이 상기 검색 대상 정지 영상이 될 수도 있고, 다른 실시예에 따르면, 상기 검색 요청 신호를 제공 받는 시점을 기존으로 기 지정된 범위 내의 프레임들 중 적어도 일부가 상기 검색 대상 정지 영상이 될 수도 있다. 상기 정지 영상을 추출하는 다양한 실시예에 대하여는, 도 6을 참조하여 후술한다.

상기 검색 대상 정지 영상이 추출 된 후, 검색 대상 정지 영상에서 객체(object)가 인식된다. 객체의 인식에는 널리 알려진 비디오 분석(video analytics) 분야의 기술이 활용될 수 있다. 필요하다면, 객체의 인식에 상기 검색 대상 정지 영상의 전후 프레임들이 더 참조될 수 있다. 인식 대상인 객체의 타입, 형상 등은 미리 지정될 수 있다. 예를 들어, 사람, 자동차, 물품 등이 인식 대상 객체 타입으로 지정될 수 있다.

객체의 인식을 위하여, 아래의 특허 문헌들에 기재된 객체 인식 기술이 활용 될 수 있다. US20140140583A1, US20140140574A1, US20140133698A1, US20140093176A1, US20140089365A1, US20140064625A1, US20140056473A1, US20140023232A1, US20140010433A1, US20130329988A1, US20140140572A1, US20140139660A1, US20130301911A1, US20130251203A1, US20130250050A1.

객체의 인식은 동영상 재생 장치 또는 동영상 재생 장치로부터 상기 검색 대상 정지 영상을 수신한 서비스 서버에 의하여 수행 될 수 있다. 이점에 대하여는, 추후 도 2 내지 도 5를 참조하여 후술한다.

객체의 인식이 성공하면, 인식 된 객체에 대한 정보가 정확히 검색 될 수 있도록, 상기 검색 대상 정지 영상 중 객체 부분을 크로핑(cropping) 한다(S400). 상기 크로핑은, 상기 검색 대상 정지 영상 중 상기 객체 부분을 제외한 부분을 삭제하는 것을 의미한다. 예를 들어, 상기 크로핑은 상기 객체의 외곽선을 기준으로 상기 외곽선의 바깥에 있는 영역을 삭제하는 것을 의미할 수 있다. 상기 크로핑은 상기 객체가 포함되는 최소한의 사각형을 기준으로 상기 사각형의 바깥에 있는 영역을 삭제하는 것을 의미할 수도 있다.

다음으로, 크로핑 된 이미지를 입력 쿼리로서 제공하는 것에 의해, 이미지 검색 기능을 제공하는 서버에 인식된 객체에 대한 정보의 검색을 요청한다(S500). 상기 이미지 검색은 google image 검색 등 범용 이미지 검색 엔진을 이용할 수 있다.

상기 검색 대상 정지 영상에서 인식 되는 객체의 개수가 2개 이상일 수 있다. 이 경우, 각 객체 별로 객체를 포함하는 크로핑 이미지를 상기 이미지 검색 기능을 제공하는 서버에 제공할 수 있다. 즉, n개의 객체가 인식 된 경우, 상기 검색 기능을 제공하는 서버에 n번 검색이 요청 될 것이다.

상기 이미지 검색 기능을 제공하는 서버로부터 검색 결과가 제공되면, 상기 검색 결과가 상기 동영상 재생 장치에 표시된다(S600). 예를 들어, 상기 검색 결과가 상기 동영상에 오버레이 될 수 있다. 상기 검색 결과를 표시하는 방법에 대하여는 도 8을 참조하여 후술한다.

본 실시예에 따른 검색 방법은, 이미 설명한 바와 같이 동영상 재생 중 검색 대상을 구체적으로 지정할 필요가 없는 한번의 검색 명령 입력 만으로, 상기 검색 명령 입력 시점의 동영상에 등장하는 객체에 대한 정보가 표시되는 효과를 가진다. 또한, 동영상과 관련된 정보에 대한 검색 기능 제공을 위해 상기 동영상 이외의 별도 정보가 제공 되지 않아도 되기 때문에, 본 실시예의 제공을 위해 특별히 가공된 형태의 동영상이 아니더라도, 본 실시예에 따른 검색 방법을 제공할 수 있는 효과가 있다.

상기 설명한 바와 같이, 상기 검색 대상 정지 영상에서 객체를 인식하는 것은, 검색 요청 신호를 제공 받은 동영상 재생 장치에 의하여 수행 될 수도 있고, 상기 동영상 재생 장치로부터 상기 검색 대상 정지 영상을 제공 받은 서비스 서버에 의하여 수행 될 수도 있다. 이하, 도 2 내지 도 3을 참조하여 상기 동영상 재생 장치가 객체 인식 기능을 수행하는 경우의 실시예를 설명하고, 도 4 내지 도 5를 참조하여 상기 서비스 서버가 객체 인식 기능을 수행하는 경우의 실시예를 설명한다.

도 2는 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다. 도 2에 도시된 바와 같이, 네트워크를 통해 검색 서버(20)와 연결된 동영상 재생 장치(10)가 제공 될 수 있다. 동영상 재생 장치(10)는 네트워크와의 연결 기능 및 동영상 재생 기능을 구비한 모든 장치를 의미한다. 예를 들어, 동영상 재생 장치(10)는 TV, 스마트 폰, 데스크톱 컴퓨터, 노트북 컴퓨터 등 네트워크 연결 기능을 구비한 장치일 수 있다.

동영상 재생 장치(10)의 기능을 제어하기 위한 리모컨(30)이 더 제공될 수 있다. 리모컨(30)에는 본 실시예에 따른 동영상 내 객체 관련 정보 검색 기능을 실행하기 위한 검색 버튼(31)이 구비될 수 있다. 사용자는 동영상 재생 장치(10)에서 재생 되는 동영상을 시청하다가, 예를 들어 맘에 드는 제품이 등장하는 등, 추가 정보를 얻고 싶은 객체가 등장하는 시점에서 검색 버튼(31)을 누를 수 있다. 동영상 재생 장치(10)에는, 검색 버튼(31)을 누른 것에 대한 응답으로, 검색 버튼(31)을 누른 시점에 등장하는 객체에 대한 검색 결과가 표시될 것이다. 동영상 재생 장치(10)는 상기 검색 결과를 검색 서버(20)로부터 제공 받는다.

이하, 도 2에 도시된 동영상 내 객체 관련 정보 검색 시스템의 동작을, 도 3을 참조하여 설명한다.

동영상 재생 장치(10)가 검색 요청 신호를 수신하고(S100), 재생 중인 동영상에서 검색 대상 정지 영상을 추출한다(S200). 그 다음으로 검색 대상 정지 영상에서 객체를 인식한다(S300). 그 다음으로 검색 대상 정지 영상(S200) 중, 인식된 객체 부분만을 크로핑(cropping)하고(S400), cropping 된 부분의 이미지를 검색 서버(20)에 제공한다.

검색 서버(20)는 텍스트 형식의 쿼리가 아닌, 이미지 형식의 쿼리를 입력 받아 상기 이미지에 대한 정보를 제공하는 서버이다. 검색 서버(20)는, 예를 들어, google image 검색 등 범용 이미지 검색 서버일 수 있다. 검색 서버(20)는 상기 cropping 된 부분의 이미지를 입력 받아, 상기 이미지와 관련 있는 정보를 수집한다(S502). 그 후, 검색 서버(20)는 동영상 재생 장치(10)에 검색 결과를 제공한다(S504). 동영상 재생 장치(10)는 상기 검색 결과를 표시한다(S600).

다음으로, 도 4 내지 도 5를 참조하여, 객체의 인식(object detection)을 동영상 재생 장치(10)가 아닌 서비스 서버(40)에서 수행하는 실시예를 설명한다. 본 실시예는, 동영상 또는 정지 영상을 분석하여 객체를 인식하는 알고리즘은 많은 연산량을 요구하기 때문에, 동영상 재생 장치(10)의 연산 능력이 상기 알고리즘을 수행하기에 충분하지 않은 경우에 적합하다.

도 4는 본 발명의 또 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 시스템의 구성도이다. 도 4에 도시된 바와 같이, 네트워크를 통해 검색 서버(20) 및 서비스 서버(40)와 연결된 동영상 재생 장치(10)가 제공 될 수 있다.

도 4에 도시된 시스템은, 도 2에 도시된 시스템과 비교하여 서비스 서버(40)를 더 포함한다. 서비스 서버(40)는 동영상 재생 장치(10)로부터 검색 대상 정지 영상을 제공 받고, 상기 검색 대상 정지 영상에서 객체를 인식하며, 인식 된 객체 마다 그 객체를 포함하는 크로핑 이미지를 생성하여, 상기 크로핑 이미지를 검색 서버(20)에 제공한다. 검색 서버(20)에 의하여 생성 된 검색 결과는 동영상 재생 장치(10)에 직접 제공되거나, 서비스 서버(40)를 통해 동영상 재생 장치(10)에 제공 될 수 있다.

이하, 도 4에 도시된 동영상 내 객체 관련 정보 검색 시스템의 동작을, 도 5를 참조하여 설명한다.

동영상 재생 장치(10)가 검색 요청 신호를 수신하고(S100), 재생 중인 동영상에서 검색 대상 정지 영상을 추출한다(S200). 동영상 재생 장치(10)는 추출된 상기 검색 대상 정지 영상을 서비스 서버(40)에 송신한다(S202).

서비스 서버(40)는 상기 검색 대상 정지 영상을 수신하여, 상기 검색 대상 정지 영상에서 객체를 인식한다(S300). 그 다음으로 서비스 서버(40)는 검색 대상 정지 영상(S200) 중 인식된 객체 부분만을 크로핑(cropping) 하고(S400), cropping 된 부분의 이미지를 검색 서버(20)에 제공한다(S500).

검색 서버(20)는 상기 cropping 된 부분의 이미지를 입력 받아, 상기 이미지와 관련 있는 정보를 수집한다(S502). 그 후, 검색 서버(20)는 도 5에 도시된 것과 같이 서비스 서버(40)를 통하여 동영상 재생 장치(10)에 검색 결과를 제공하거나(S504), 서비스 서버(40)를 경유하지 않고 바로 동영상 재생 장치(10)에 검색 결과를 제공할 수 있다.

검색 서버(20)로부터 송신 된 검색 결과가 서비스 서버(40)를 경유하여 동영상 재생 장치(10)에 송신 되는 경우, 서비스 서버(40)는 상기 검색 결과에 포함된 광고 등 불필요 정보를 필터링 한 후, 동영상 재생 장치(10)에 송신할 수 있다.

이하, 도 6을 참조하여, 본 발명의 몇몇 실시예에서 수행 되는 검색 대상 객체를 얻는 방법의 다양한 실시예를 설명한다. 도 6을 참조한 설명은, 도 1, 도 3, 도 5의 동영상에서 검색 대상 정지 영상을 추출하는 방법(S200) 등에 적용 될 수 있다.

도 6에 도시된 바와 같이, 동영상은 일련의 프레임이 결합 된 것이다. 프레임 F가 표시되는 시점에 검색 요청 신호가 입력 되었다고 가정할 때, 일 실시예에 따르면, 프레임 F가 그대로 검색 대상 정지 영상으로 선택 될 수 있을 것이다. 그러나, 사용자가 원하는 객체가 프레임 F에 포함 되지 않을 수 있다. 사용자의 조작 속도와 비교하면, 프레임이 바뀌는 속도가 훨씬 빠르기 때문이다. 이하, 이러한 한계점을 보완하기 위한 다양한 방법을 설명한다.

일 실시예에 따르면, 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하고, 상기 평가 결과 가장 높은 평가치를 가지는 프레임을 상기 검색 대상 정지 영상으로 추출할 수 있다. 예를 들어, 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 개수의 프레임들을 소정 기준에 따라 평가할 수 있다. 예를 들어, 상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 개수의 후진 방향 프레임들을 소정 기준에 따라 평가할 수도 있다. 상기 후진 방향 프레임은, 상기 검색 요청 신호의 수신 시점에 표시 된 프레임보다 먼저 표시된 프레임이다.

또한, 예를 들어, 상기 검색 요청 신호의 수신 시점의 프레임이 속한 장면(scene)과 동일한 장면에 속하는 프레임들을 소정 기준에 따라 평가할 수도 있다. 도 6에 도시된 것과 같이 프레임 C에서 프레임 D로 넘어 가는 시점에 장면 전환이 되었다면, 프레임 D, E, F가 평가 대상이 될 것이다.

동영상에서 장면을 인식하거나, 장면 전환을 인식하는 것은 동영상 분석(video analytics) 분야에서 널리 알려진 기술이므로, 본 명세서에서 이 기술에 대한 자세한 설명은 생략한다. 다만, 특허 문헌 US20140093164A1, US20140064552A1, US20140037216A1, US20140037215A1, US20130322690A1, US20130265434A1, US20120243740A1, US20120218434A1, US20120169937A1, US20120162416A1, US20090022400A1, US20080310727A1 중의 적어도 하나를 참조할 수 있다.

상기 프레임을 평가하는 소정의 기준은, 각 프레임 안에서 인식된 객체의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것일 수 있다. 예를 들어, 도 6에서 프레임 A 내지 프레임 F가 평가 대상이고, 순서대로 각 프레임 내에서 인식 된 객체의 수가 1, 0, 3, 5, 3, 3이라면, 프레임 D가 상기 검색 대상 정지 영상으로 추출 될 수 있다.

상기 프레임을 평가하는 소정의 기준은, 각 프레임 안에서 인식된 로고(logo) 또는 상표의 수일 수도 있다. 즉, 평가 대상 프레임 중, 가장 많은 로고 또는 상표가 인식 된 프레임이 상기 검색 대상 정지 영상으로 추출 될 수 있다. 이 경우, 동영상 내에서 노출 되는 상표 또는 로고에 대한 검색 정확도를 높일 수 있는 효과가 있다.

다른 실시예에 따르면, 둘 이상의 프레임들이 각각 검색 대상 정지 영상으로 추출 될 수 있다. 예를 들어, 바로 인접한 제1 프레임 및 제2 프레임에 대하여 각각 객체 인식을 수행하여 제1 프레임에서 객체 A, B, C가 인식되고, 제2 프레임에서 객체 B, C, D가 인식된 경우, 검색 대상 객체로 A, B, C, D가 모두 선정 될 수 있다. 이 때, 검색 대상 정지 영상으로 추출 되는 대상은, 상기 검색 요청 신호의 수신 시점의 프레임이 속한 장면(scene)과 동일한 장면에 속하는 프레임들으로 결정될 수 있다. 도 6에 도시된 것과 같이 프레임 C에서 프레임 D로 넘어 가는 시점에 장면 전환이 되었다면, 프레임 D, E, F가 모두 검색 대상 정지 영상으로서 추출 될 것이고, 프레임 D, E, F에서 인식된 모든 객체가 검색 대상이 될 것이다.

또 일 실시예에 따르면, 상기 검색 요청 신호의 수신 시점이 장면 전환(scene change) 이후 기 지정된 프레임 이내의 프레임인 경우, 상기 장면 전환 전의 장면에 속한 프레임 중 적어도 일부 프레임의 정지 영상을 추출할 수 있다. 예를 들어, 프레임 D 표시 시점에 검색 요청 신호가 입력 되었다면, 장면 Y가 아닌 장면 X에 포함되는 프레임 중 적어도 일부가 검색 대상 정지 영상으로 선정 될 수 있다. 사용자의 조작이 다소 느릴 수 있음을 전제할 때, 장면이 전환되자 마자 전환 된 후의 장면에서 관심이 있는 객체를 발견하기는 쉽지 않기 때문이다. 따라서, 장면 전환으로부터 기 지정된 프레임 수 이내에 검색 요청 신호가 수신되는 경우, 장면 전환 전의 장면에 관심이 있는 객체가 있었다고 보고 본 실시예와 같이 장면 전환 전의 장면에 속한 프레임 중 적어도 일부에서 검색 대상 객체를 인식할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 동영상 내 객체 관련 정보 검색 방법의 순서도이다. 본 실시예는, 도 1 내지 도 6을 참조하여 설명한 것과는 달리 이미지 형태의 검색 쿼리를 검색 서버(20)에 제공하지 않고, 텍스트 형태의 검색 쿼리를 검색 서버(20)에 제공한다.

동영상 재생 장치(10)가 검색 요청 신호를 수신하고(S100), 재생 중인 동영상에서 검색 대상 정지 영상을 추출한다(S200). 그 다음으로 동영상 재생 장치(10)가 검색 대상 정지 영상에서 문자열 또는 로고를 인식한다(S700). 일부 실시예에서, 문자열 또는 로고를 인식하는 동작은 동영상 재생 장치(10)와 네트워크를 통해 연결된 서비스 서버에 의하여 수행 될 수도 있다.

검색 대상 정지 영상에서 문자열을 인식하는 것은, 널리 알려진 이미지 내 텍스트 인식 기술이 활용 될 수 있다. 검색 대상 정지 영상에서 로고를 인식하는 것은 기 저장된 로고 사전에 포함된 로고로 한정 될 수 있다. 이 경우, 상기 로고 사전에 포함된 로고들의 특징 값(feature value)이 미리 저장될 수 있고, 상기 특징 값을 이용하여 검색 대상 정지 영상에서 상기 로고 사전에 포함된 로고를 인식할 수 있다. 상기 로고 사전에는 각 로고에 대응하는 텍스트가 매칭 되어 있을 수 있다.

그 다음으로, 상기 인식 된 로고에 대응하는 텍스트 또는 상기 인식 된 텍스트가 쿼리로 생성 되고(S800), 상기 쿼리를 이용한 검색이 수행된다(S900), 검색 결과는 동영상 재생 장치(10)에 표시 될 수 있다. 상기 쿼리는 널리 알려진 텍스트 기반 검색 서버에 제공 될 수 있다.

도 8은 본 발명의 몇몇 실시예들에 따른 검색 결과 표시 방법을 설명하기 위한 개념도이다.

예를 들어, 특정 장면(100)이 표시되는 시점에 사용자의 조작에 의하여 검색이 요청 된 경우, 특정 장면(100)에 포함된 객체들이 인식 될 수 있고(200), 그 결과가 동영상에 오버레이 될 수 있는 점(300)이 도시 되고 있다.

그런데, 본 발명의 실시예들은 검색 요청을 수신할 때, 검색 대상을 가리키는 어떠한 정보도 제공 받지 않기 때문에, 검색 결과가 사용자가 원하는 것이 아닐 수 있다. 따라서, 상기 인식된 각각의 객체를 가리키는 체크 리스트(310)를 상기 동영상에 오버레이 하고, 검색 결과 표시 영역(320)에는 체크 리스트(310)에 체크된 객체에 대한 검색 결과를 선별하여 표시하여 사용자 편의성을 증대시킬 수 있다.

지금까지 도 1 내지 도 8을 참조하여 설명된 본 발명의 실시예들에 따른 동영상 내 객체 관련 정보 검색 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록 된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

또한, 본 발명의 또 다른 실시예에 따르면, 지금까지 도 1 내지 도 8을 참조하여 설명된 본 발명의 실시예들에 따른 동영상 내 객체 관련 정보 검색 방법의 각 단계를 실시하도록 하는 컴퓨터 프로그램이 제공 될 수 있다. 상기 컴퓨터 프로그램은 컴퓨터, 스마트폰 등 연산 수단이 구비된 장치와 결합하여 실행 될 수 있으며, 컴퓨터가 읽을 수 있는 매체 상에 기록될 수 있다.

이하, 본 발명의 또 다른 실시예에 따른 동영상 재생 장치(10)의 구성 및 동작을 설명한다. 도 9는 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제1 블록 구성도로써, 검색 대상 객체에 대한 인식을 외부 장치에 요청하는 장치의 구성도이다. 도 9에 도시된 바와 같이, 본 실시예에 따른 동영상 재생 장치는 디스플레이, 사용자 입력 수신부, 정지 영상 추출부, 검색 대상 영상 송신부, 검색 결과 표시부를 포함할 수 있다.

디스플레이(11)는 스토리지(12)에 저장된 동영상 컨텐츠를 재생하거나, 통신부(18)를 통해 스트리밍 서버로부터 제공 받는 동영상 컨텐츠 스트림을 디스플레이 제어부(13)의 제어에 따라 재생한다.

디스플레이(11)에 동영상이 재생 되는 도중, 사용자 입력 수신부(17)가 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 수신하면, 정지 영상 추출부(14)가 상기 동영상의 정지 영상 중 상기 검색 요청 신호의 수신 시점의 프레임을 기준으로 하여 검색 대상 정지 영상을 추출한다. 상기 검색 대상 정지 영상의 추출 방법에 대하여는 도 6을 참조하여 자세히 설명한 바 있다.

사용자 입력 수신부(17)는, 예를 들어 리모컨 신호 수신기 또는 터치 디스플레이일 수 있다.

검색 대상 영상 송신부(16)는 정지 영상 추출부(14)에 의하여 추출된 정지 영상을 통신부(18)를 통하여 외부의 서버에 송신한다. 상기 외부의 서버는, 도 4 내지 도 5를 참조하여 설명한 서비스 서버일 수 있다.

검색 결과 표시부(15)는 상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하고, 상기 검색 결과가 디스플레이(11)에 표시되도록 한다.

도 10은 본 발명의 또 다른 실시예에 따른 동영상 재생 장치의 제2 블록 구성도이다. 도 10에 도시된 동영상 재생 장치(10)는 자체적으로 검색 대상 정지 영상에서 객체를 인식하는 점에서 도 9에 도시된 동영상 재생 장치와 동작 및 구성이 상이하다.

디스플레이(11)는 스토리지(12)에 저장된 동영상 컨텐츠를 재생하거나, 통신부(18)를 통해 스트리밍 서버로부터 제공 받는 동영상 컨텐츠 스트림을 디스플레이 제어부(13)의 제어에 따라 재생한다.

디스플레이(11)에 동영상이 재생 되는 도중, 사용자 입력 수신부(17)가 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 수신하면, 정지 영상 추출부(14)가 상기 동영상의 정지 영상 중 상기 검색 요청 신호의 수신 시점의 프레임을 기준으로 하여 검색 대상 정지 영상을 추출한다.

객체 인식부(19)는 정지 영상 추출부(14)에 의하여 추출 된 검색 대상 정지 영상에서 객체를 인식한다. 검색 대상 영상 송신부(16)는 객체 인식부(19)에 의하여 인식 된 객체의 영역 크로핑(cropping) 하여 이미지 검색 서버에 통신부(18)를 통해 제공함으로써, 인식 된 각각의 객체에 대한 관련 정보 검색이 수행 될 수 있도록 한다.

검색 결과 표시부(15)는 상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하고, 상기 검색 결과가 디스플레이(11)에 표시되도록 한다.

본 발명의 또 다른 실시예에 따른 동영상 재생 장치 구성 및 동작에 대하여 설명한다. 본 실시예에 따른 동영상 재생 장치는 시스템 버스, 프로세서, 메모리(예를 들어, Random Access Memory), 스토리지, 외부 장치와의 통신을 위한 네트워크 인터페이스를 포함할 수 있다. 도 1 내지 도 8을 참조하여 설명된 본 발명의 실시예들에 따른 동영상 내 객체 관련 정보 검색 방법을 구현하는 컴퓨터 프로그램 코드는 상기 스토리지에 저장되어 상기 메모리에 로드 되고 상기 프로세서에 의해 실행될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (14)

1. 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 단계;
   상기 추출된 정지 영상에 포함된 객체를 인식하는 단계;
   상기 인식된 객체에 대한 정보를 검색하기 위하여 상기 인식된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계; 및
   상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함하는,
   동영상 내 객체 관련 정보 검색 방법.
2. 제1 항에 있어서,
   상기 동영상은 상기 검색 서버에 송신되는 쿼리를 도출하기 위한 검색 보조 정보를 가지지 않은 것인,
   동영상 내 객체 관련 정보 검색 방법.
3. 제1 항에 있어서,
   상기 정지 영상을 추출하는 단계는,
   상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계; 및
   상기 평가 결과 가장 높은 평가치를 가지는 프레임을 상기 정지 영상으로 추출하는 단계를 포함하는,
   동영상 내 객체 관련 정보 검색 방법.
4. 제3 항에 있어서,
   상기 소정 기준은,
   각 프레임 안에서 인식된 객체의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것인,
   동영상 내 객체 관련 정보 검색 방법.
5. 제3 항에 있어서,
   상기 소정 기준은,
   각 프레임 안에서 인식된 로고(logo) 또는 상표의 수를 기준으로 각 프레임에 대한 평가치를 산출하는 것인,
   동영상 내 객체 관련 정보 검색 방법.
6. 제3 항에 있어서,
   상기 기 지정된 범위 내의 프레임들을 소정 기준에 따라 평가하는 단계는,
   상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 소정 기준에 따라 평가하는 단계를 포함하는,
   동영상 내 객체 관련 정보 검색 방법.
7. 제1 항에 있어서,
   상기 정지 영상을 추출하는 단계는,
   상기 검색 요청 신호의 수신 시점을 기준으로 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함하고,
   상기 객체를 인식하는 단계는,
   상기 추출된 모든 정지 영상에 대하여, 정지 영상 내 객체를 인식하는 단계; 및
   각 정지 영상에 대하여 인식된 객체를 취합하는 단계를 포함하고,
   상기 검색 서버에 송신하는 단계는,
   상기 취합된 객체에 대한 검색 요청을, 검색 서버에 송신하는 단계를 포함하는,
   동영상 내 객체 관련 정보 검색 방법.
8. 제7 항에 있어서,
   상기 기 지정된 범위 내의 프레임들을 모두 상기 정지 영상으로 추출하는 단계는,
   상기 기 지정된 범위 내의 프레임 중, 상기 검색 요청 신호의 수신 시점의 장면(scene)과 동일한 장면에 속하는 프레임들을 모두 상기 정지 영상으로 추출하는 단계를 포함하는,
   동영상 내 객체 관련 정보 검색 방법.
9. 제1 항에 있어서,
   상기 정지 영상을 추출하는 단계는,
   상기 검색 요청 신호의 수신 시점이 장면 전환(scene change) 이후 기 지정된 프레임 이내의 프레임인 경우, 상기 장면 전환 전의 장면에 속한 프레임 중 적어도 일부 프레임의 정지 영상을 추출하는 단계를 포함하는,
   동영상 내 객체 관련 정보 검색 방법.
10. 제1 항에 있어서,
    상기 검색 서버에 송신하는 단계는,
    상기 추출된 정지 영상 중, 상기 인식된 객체의 영역을 크로핑(cropping) 하는 단계;
    상기 크로핑된 객체 이미지를 상기 검색 서버에 송신하는 단계를 포함하는,
    동영상 내 객체 관련 정보 검색 방법.
11. 제1 항에 있어서,
    상기 검색 결과를 표시하는 단계는,
    상기 인식된 각각의 객체를 가리키는 체크 리스트를 상기 동영상에 오버레이 하는 단계; 및
    상기 체크 리스트에 체크된 객체에 대한 검색 결과를 선별하여 표시하는 검색 결과 표시 영역을 상기 동영상에 오버레이 하는 단계를 포함하는,
    동영상 내 객체 관련 정보 검색 방법.
12. 동영상 재생 중 검색 대상이 지정되지 않은 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 단계;
    상기 추출된 정지 영상에 포함된 문자열 및 로고 중 적어도 하나의 객체를 인식하는 단계;
    상기 인식된 객체를 이용하여 텍스트 쿼리를 생성하는 단계;
    상기 텍스트 쿼리를, 검색 서버에 송신하는 단계; 및
    상기 검색 요청에 대한 응답으로 검색 결과를 수신 하고, 상기 검색 결과를 표시하는 단계를 포함하는,
    동영상 내 객체 관련 정보 검색 방법.
13. 동영상을 재생하는 디스플레이;
    검색 요청 신호를 수신하는 사용자 입력 수신부;
    동영상 재생 중 검색 대상이 지정되지 않은 상기 검색 요청 신호를 제공 받는 것에 응답하여, 상기 동영상의 정지 영상을 추출하는 정지 영상 추출부;
    상기 추출된 정지 영상을 서비스 서버에 송신하는 검색 대상 영상 송신부; 및
    상기 서비스 서버에 의하여 상기 검색 대상 영상에서 인식된 객체에 대한 검색 결과를 수신하여, 상기 검색 결과가 상기 디스플레이에 표시되도록 제어하는 검색 결과 표시부를 포함하는,
    동영상 재생 장치.
14. 제13 항에 있어서,
    상기 사용자 입력 수신부는,
    상기 검색 요청 신호의 입력으로부터 상기 검색 결과 표시부에 의한 검색 결과 표시까지 사용자로부터 추가 입력을 받지 않는,
    동영상 재생 장치.

Images