KR101453813B1 - 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 ｔｖ - Google Patents

Abstract

본 발명은 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV에 관한 것이다. 본 발명은 암시적 광고 과정과 명시적 광고 과정으로 구분하여 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현시 상기 암시적 광고 과정에 대한 타임머신 광고 제공 기능을 구비한 스마트 TV에 있어서, 출력부에 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물에 대한 사용자에 대한 동공 확대가 센싱된 경우, 동공 확대가 센싱된 광고대상물을 포함하는 방송콘텐츠의 현재 구현 이미지를 캡처하여 캡처이미지를 생성하고, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하는 과정을 적어도 한번 이상 수행한 뒤, 상기 캡처된 캡처이미지 중 하나에 대한 선택을 위해 상기 사용자의 모션 이미지 센싱에 따른 캡처이미지 선택신호가 수신된 경우, 선택된 캡처이미지와 매칭되어 저장된 캡처 전후의 미리 설정된 시간에 해당하는 방송컨텐츠를 구현하는 타임머신 제공모듈; 를 포함한다.

Description

감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 ＴＶ {Smart-TV with time machine advertisement provision function based on logotional advertisement}

본 발명은 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV에 관한 것으로, 보다 구체적으로는, 방송콘텐츠로 구현시 방송콘텐츠에 포함된 광고를 구현한 대상물에 대한 신속한 선택과 직관적 구현을 통해 방송콘텐츠에서의 광고의 대상이 된 광고대상물에 대한 정보를 편리하게 습득하고 구매 과정으로 자연스럽게 이어질 수 있도록 할 뿐만 아니라, 광고주가 제공하는 광고에 대한 효과를 극대화하면서도 스마트 TV를 시청하는 사용자에게는 직접적으로 보이지 않고 암시적으로 제공되도록 함으로써 방송콘텐츠에 대한 시청 방해를 최소화하기 위한 보이지 않는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV에 관한 것이다.

콘텐츠나 광고를 방송시 가중 중요한 목적은 시청하는 사람들에게 실제로 보여지느냐에 따른 효용성일 것이다. 종래에는 콘텐츠와 광고를 분리시켜 별도로 시청하도록 하거나, 콘텐츠에 광고를 삽입시켜도 광고인지를 모르게 방송콘텐츠 속의 인물이나 배경에 광고제품을 노출시키는 방식이 주로 사용되었다.

그러나 콘텐츠와 광고를 분리시켜서 광고방송을 별도로 제공시 광고방송에 대한 반감을 갖고 콘텐츠만을 시청하고자하는 사람들에게 불편함을 초래하는 문제점이 있어왔다.

한편, 방송콘텐츠 속의 인물이나 배경에 광고제품을 노출시키는 방식은 시청하는 사람들이 광고인지를 모르거나 무관심한 경우에는 광고에 대한 타겟팅 효과가 전혀 일어나지 않는 문제점이 있어왔다.

이에 따라 해당 기술분야에 있어서는 종래의 문제점을 해결하기 위해 광고에 대한 효과를 극대화할 뿐만 아니라, 방송콘텐츠만을 시청하고자 하는 사람들에게 불편을 덜어주기 위한 새로운 기술개발이 요구되고 있다.

[관련기술문헌]

1. 광고 시스템을 구비한 스마트패드 및 그 광고 표시방법(Advertising system and the method for smartpad) (특허출원번호 제10-2011-0032083호)

2. 스마트 디바이스에서 실행되는 동영상 매체를 통한 광고제공 시스템 및 그 방법(System and method for providing information through moving picture executed on a smart device and thereof) (특허출원번호 제10-2011-0107272호)

3. 스마트 광고 정보 제공 시스템(A smart advertising information offer system) (특허출원번호 제10-2011-0000401호)

본 발명은 상기의 문제점을 해결하기 위한 것으로, 방송콘텐츠로 구현시 방송콘텐츠에 포함된 광고를 구현한 대상물에 대한 신속한 선택과 직관적 구현을 통해 방송콘텐츠에서의 광고의 대상이 된 광고대상물에 대한 정보를 편리하게 습득하고 구매 과정으로 자연스럽게 이어질 수 있도록 하기 위한 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV를 제공하기 위한 것이다.

또한, 본 발명은 광고주가 제공하는 광고에 대한 효과를 극대화하는 것의 부작용인 시청의 불편함 초래를 최소화하도록 하기 위한 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV를 제공하기 위한 것이다.

또한, 본 발명은 스마트 TV를 시청하는 사용자에게는 직접적으로 보이지 않고 암시적으로 제공되도록 함으로써 방송콘텐츠에 대한 시청 방해를 최소화하면서도 필요시 명시적 광고 제공을 통해 구체적 광고 상세정보에 대한 제공이 가능하도록 하기 위한 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV를 제공하기 위한 것이다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위해 본 발명의 제 1 실시예에 따른 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV는, 암시적 광고 과정과 명시적 광고 과정으로 구분하여 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현시 상기 암시적 광고 과정에 대한 타임머신 광고 제공 기능을 구비한 스마트 TV에 있어서, 출력부에 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물에 대한 사용자에 대한 동공 확대가 센싱된 경우, 동공 확대가 센싱된 광고대상물을 포함하는 방송콘텐츠의 현재 구현 이미지를 캡처하여 캡처이미지를 생성하고, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하는 과정을 적어도 한번 이상 수행한 뒤, 상기 캡처된 캡처이미지 중 하나에 대한 선택을 위해 상기 사용자의 모션 이미지 센싱에 따른 캡처이미지 선택신호가 수신된 경우, 선택된 캡처이미지와 매칭되어 저장된 캡처 전후의 미리 설정된 시간에 해당하는 방송컨텐츠를 구현하는 타임머신 제공모듈; 를 포함한다.

이때, 본 발명에 따른 스마트 TV는, 상기 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현을 위해 방송통신망을 통해 방송콘텐츠 서버로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하여 상기 방송콘텐츠와 상기 광고 태그콘텐츠를 분리하여 상기 방송콘텐츠에 대한 프레임 단위의 스트리밍 방식 구현을 준비하는 방송콘텐츠 처리모듈; 상기 광고 태그콘텐츠에 포함된 각 태그 데이터와 매칭되는 광고대상물에 대한 명시적 광고 전환을 위한 광고 전환 인디케이터와, 상기 각 광고대상물에 대한 암시 인디케이터를 상기 방송콘텐츠에 대한 출력부로의 프레임 단위의 스트리밍 방식으로의 구현과 함께 상기 사용자에게 인지시키는 암시적 광고 구현모듈; 을 더 포함하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 분리된 광고 태그콘텐츠에 포함된 각 광고대상물별 태그 데이터를 리딩(reading) 한 뒤, 상기 각 광고대상물별 태그 데이터에 포함된 이미지정보를 이용해 각 광고대상물에 대한 트래킹(tracking: 추적)을 위한 위치트래킹 마킹을 설정하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 광고 태그콘텐츠 상에서 각 광고대상물별 태그 데이터로 리딩되지 않은 적어도 하나 이상의 대상물 중 물체에 대한 인식을 수행하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 인식된 인식대상물에 대한 상기 방송통신망을 통해 상기 방송콘텐츠 서버로의 질의 메시지 전송에 따라 각 인식대상물에 대한 추가적 태그 데이터를 반환은 뒤, 상기 각 인식대상물에 대한 상기 방송콘텐츠 상에서의 물체 인식을 수행하고, 상기 인식대상물에 대한 트래킹을 위한 위치트래킹 마킹을 설정하는 것이 바람직하다.

또한, 상기 암시적 광고 구현모듈은, 상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물에 대한 암시효과를 설정한 뒤, 상기 출력부로 상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물에 대한 상기 암시효과가 반영된 상기 암시 인디케이터를 구현하는 것이 바람직하다.

또한, 상기 암시적 광고 구현모듈은, 상기 출력부로 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현시, 상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물 각각에 대한 암시 인디케이터에 대한 트래킹 효과를 구현하는 것이 바람직하다.

또한, 상기 타임머신 제공모듈은, 상기 출력부 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 암시효과 및 트래킹 효과가 적용된 광고대상물 및 인식대상물을 이용한 암시적 광고 구현에 따라, 음성수신부를 통해 외부로부터 동작인식 음성신호를 수신하여 타임머신 기능을 개시하는 것이 바람직하다.

또한, 상기 타임머신 제공모듈은, 상기 사용자의 동공을 물체 인식 기법에 의해 검출하고,사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시하도록 카메라부를 제어한 뒤, 상기 카메라부에 의해 촬영된 동공 촬영 데이터를 기초로 상기 사용자의 동공 크기가 확대된 상태인 경우 현재의 방송콘텐츠에 암시효과 및 트래킹 효과가 적용된 광고대상물 및 인식대상물을 포함시켜 캡처하여 상기 캡처이미지를 생성하는 것이 바람직하다.

또한, 상기 타임머신 제공모듈은, 상기 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하고, 저장된 캡처이미지는 상기 UI 화면 중 캡처이미지 영역으로 구분하여 구현하는 것이 바람직하다.

또한, 상기 타임머신 제공모듈은, 상기 동공 크기 확대 및 축소 정보에 대한 센싱 뿐만 아니라, 현재 출력되는 방송콘텐츠 상에 복수의 광고대상물 및 인식대상물이 포함된 경우 상기 사용자의 양안의 동공과 홍채의 배열을 기초로 상기 사용자가 바라보는 UI 화면의 지점에 대한 분석을 더 수행하여, 현재 출력되는 방송콘텐츠 상에서 바라보는 광고대상물 또는 인식대상물의 위치까지 센싱하는 것이 바람직하다.

또한, 상기 타임머신 제공모듈은, 상기 캡처이미지 영역에 구현되고 있는 캡처된 캡처이미지 중 하나에 대해서 상기 카메라부에 대한 촬영데이터를 이용한 상기 사용자의 모션 이미지 센싱에 의한 캡처이미지 선택신호를 수신하면, 상기 캡처이미지 선택신호에 따라 선택된 캡처이미지와 매칭되어 저장된 방송콘텐츠를 상기 UI 화면 중 타임머신 영역으로 구분하여 구현하는 것이 바람직하다.

또한, 상기 타임머신 제공모듈은, 상기 타임머신 영역으로 방송콘텐츠 구현시 상기 선택된 캡처이미지에 포함된 광고대상물와 매칭되는 암시효과 및 트래킹 효과를 적용하여 수행하는 것이 바람직하다.

상기의 목적을 달성하기 위해 본 발명의 제 2 실시예에 따른 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV는, 암시적 광고 과정과 명시적 광고 과정으로 구분하여 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현시 상기 명시적 광고 과정에 대한 타임머신 광고 제공 기능을 구비한 스마트 TV에 있어서, 출력부에 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물에 대한 사용자에 대한 동공 확대가 센싱된 경우, 동공 확대가 센싱된 광고대상물을 포함하는 방송콘텐츠의 현재 구현 이미지를 캡처하여 캡처이미지를 생성하고, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하는 과정을 적어도 한번 이상 수행한 뒤, 상기 캡처된 캡처이미지 중 하나에 대한 선택을 위해 상기 사용자의 모션 이미지 센싱에 따른 캡처이미지 선택신호가 수신된 경우, 선택된 캡처이미지와 매칭되어 저장된 캡처 전후의 미리 설정된 시간에 해당하는 방송컨텐츠를 구현하는 타임머신 제공모듈; 포함한다.

이때, 본 발명에 따른 스마트 TV는, 상기 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현을 위해 방송통신망을 통해 방송콘텐츠 서버로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하여 상기 방송콘텐츠와 상기 광고 태그콘텐츠를 분리하여 상기 방송콘텐츠에 대한 프레임 단위의 스트리밍 방식 구현을 준비하는 방송콘텐츠 처리모듈; 상기 광고 태그콘텐츠에 포함된 각 태그 데이터와 매칭되는 광고대상물에 대한 명시적 광고 전환을 위한 광고 전환 인디케이터와, 상기 각 광고대상물에 대한 암시 인디케이터를 상기 방송콘텐츠에 대한 출력부로의 프레임 단위의 스트리밍 방식으로의 구현과 함께 사용자에게 인지시키는 암시적 광고 구현모듈; 및 입력 인터페이스를 통해 광고 전환 인디케이터 선택신호 수신시 방송콘텐츠 중 현재 구현되는 방송송출 프레임에 포함된 각 태그 데이터와 매칭되는 광고대상물에 대한 대상물 표식자 구현에 따른 명시적 광고를 수행하는 명시적 광고 구현모듈; 을 더 포함하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 분리된 광고 태그콘텐츠에 포함된 각 광고대상물별 태그 데이터를 리딩(reading) 한 뒤, 상기 각 광고대상물별 태그 데이터에 포함된 이미지정보를 이용해 각 광고대상물에 대한 트래킹(tracking: 추적)을 위한 위치트래킹 마킹을 설정하는 것이 바람직하다.

또한, 상기 명시적 광고 구현모듈은, 상기 광고 전환 인디케이터 선택신호를 수신한 경우 상기 출력부로 상기 방송콘텐츠와 함께 상기 광고대상물 및 상기 인식대상물 각각에 대한 태그 데이터를 활용한 대상물 표식자를 구현하는 것이 바람직하다.

또한, 상기 명시적 광고 구현모듈은, 상기 출력부로 상기 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현시 상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물 각각에 대한 대상물 표식자를 이용한 트래킹 효과를 구현하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 출력부 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 트래킹 효과가 적용된 광고대상물 및 인식대상물을 이용한 명시적 광고 구현에 따라, 음성수신부를 통해 외부로부터 동작인식 음성신호를 수신하여 타임머신 기능을 개시하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 사용자의 동공을 물체 인식 기법에 의해 검출하고,사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시하도록 카메라부를 제어한 뒤, 상기 카메라부에 의해 촬영된 동공 촬영 데이터를 기초로 상기 사용자의 동공 크기가 확대된 상태인 경우 현재의 방송콘텐츠에 트래킹 효과가 적용된 광고대상물 및 인식대상물을 포함시켜 캡처하여 상기 캡처이미지를 생성하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하고, 저장된 캡처이미지는 상기 UI 화면 중 캡처이미지 영역으로 구분하여 구현하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 동공 크기 확대 및 축소 정보에 대한 센싱 뿐만 아니라, 현재 출력되는 방송콘텐츠 상에 복수의 광고대상물 및 인식대상물이 포함된 경우 상기 사용자의 양안의 동공과 홍채의 배열을 기초로 상기 사용자가 바라보는 UI 화면의 지점에 대한 분석을 더 수행하여, 현재 출력되는 방송콘텐츠 상에서 바라보는 광고대상물 또는 인식대상물의 위치까지 센싱하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 캡처이미지 영역에 구현되고 있는 캡처된 캡처이미지 중 하나에 대해서 상기 카메라부에 대한 촬영데이터를 이용한 상기 사용자의 모션 이미지 센싱에 의한 캡처이미지 선택신호를 수신한 뒤, 상기 캡처이미지 선택신호에 따라 선택된 캡처이미지와 매칭되어 저장된 방송콘텐츠를 상기 UI 화면 중 타임머신 영역으로 구분하여 구현하는 것이 바람직하다.

또한, 상기 방송콘텐츠 처리모듈은, 상기 타임머신 영역으로 방송콘텐츠 구현시 상기 선택된 캡처이미지에 포함된 광고대상물와 매칭되는 트래킹 효과를 적용하여 수행하는 것이 바람직하다.

본 발명의 실시예에 따른 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV는, 방송콘텐츠로 구현시 방송콘텐츠에 포함된 광고를 구현한 대상물에 대한 신속한 선택과 직관적 구현을 통해 방송콘텐츠에서의 광고의 대상이 된 광고대상물에 대한 정보를 편리하게 습득하고 구매 과정으로 자연스럽게 이어지는 효과를 제공한다.

또한, 본 발명의 다른 실시예에 따른 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV는, 광고주가 제공하는 광고에 대한 효과를 극대화하는 것의 부작용인 시청의 불편함 초래를 최소화할 수 있는 효과를 제공한다.

뿐만 아니라, 본 발명의 다른 실시예에 따른 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV는, 스마트 TV를 시청하는 사용자에게는 직접적으로 보이지 않고 암시적으로 제공되도록 함으로써 방송콘텐츠에 대한 시청 방해를 최소화하면서도 필요시 명시적 광고 제공을 통해 구체적 광고 상세정보에 대한 제공이 가능한 효과를 제공한다.

도 1은 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법이 구현되는 전체시스템을 나타내는 도면.
도 2는 도 1에서의 스마트 TV의 구성을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 암시적 광고를 설명하기 개념도.
도 4 내지 도 7은 본 발명의 실시예에 따른 타임머신 광고를 설명하기 위한 UI 화면을 나타내는 도면.
도 8은 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법 중 암시적 광고에서의 타임머신 기능에 의한 광고 설정 및 광고 구현 과정을 나타내는 흐름도.
도 9는 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법 중 명시적 광고에서의 타임머신 기능에 의한 광고 설정 및 광고 구현 과정을 나타내는 흐름도.
도 10은 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법을 나타내는 전체적인 흐름도.
도 11은 도 10의 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법의 각 단계에 대한 구체적인 흐름도.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

도 1은 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법이 구현되는 전체시스템을 나타내는 도면이다. 도 1을 참조하면, 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법이 구현되는 전체시스템은 스마트 TV(10), 리모컨(20), 방송통신망(30), 방송콘텐츠 서버(40), 스마트 모바일 디바이스(50), 데이터통신망(60) 및 제휴 광고주단말 그룹(70)을 포함한다.

본 발명에서 스마트 TV(10)는 도 1에 도시된 바와 같이 별도의 셋탑박스(STB)를 구비한 셋탑박스 분리형으로 형성되어 방송통신망(30)을 통해 방송콘텐츠 서버(40)와 데이터 송수신을 수행하거나, 다른 실시예로 셋탑박스 일체형으로 형성되어 별도의 셋탑박스(STB) 없이 방송콘텐츠 서버(40)와 데이터 송수신을 수행할 수 있다.

방송통신망(30)은 대용량, 장거리 음성 및 데이터 서비스에 의해 브로드 캐스팅 형태의 방송을 위한 고속 유선 또는 문선 기간 망이며, 유선 또는 무선 인터넷(Internet)이 될 수도 있다. 방송통신망(30)은 방송콘텐츠 서버(40)가 스마트 TV(10) 및 그 밖의 시스템으로 방송콘텐츠를 브로드 캐스팅을 위해 전달하는 역할을 한다.

방송콘텐츠 서버(40)는 방송DB(41) 및 광고DB(42)를 포함한다. 또한, 본 명세서에서 DB라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.

방송콘텐츠 서버(40)는 방송DB(41)에 저장된 방송콘텐츠에 포함된 광고대상물 각각에 대한 제휴 광고주단말 그룹(70)을 구성하는 제휴 광고주단말 각각으로부터 데이터통신망(60)을 통해 광고데이터를 수신한다. 이 경우 광고데이터에는 각 광고대상물에 대한 이미지정보 및 광고 상세정보를 포함하는 것이 바람직하며, 광고데이터 수신시 방송콘텐츠의 방송송출 프레임별로 구분하여 수신하는 것이 바람직하다.

여기서 데이터통신망(60)은 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 데이터통신망(60)이 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 데이터통신망(60)은 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 데이터통신망(60)은 방송콘텐츠 서버(40), 광고주단말 그룹(70)을 구성하는 다수의 제휴 광고주단말, 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.

한편, 방송콘텐츠 서버(40)는 각 광고대상물에 각각에 대한 태그 데이터를 생성한 뒤, 생성된 모든 태그 데이터를 넘버링하여 광고 태그콘텐츠로 광고DB(42)에 저장한다. 한편, 본 발명의 일 실시예로, 방송콘텐츠 서버(40)는 각 태그 데이터 생성시 수신된 각 광고대상물에 대한 물체 인식에 사용되기 위해 이미지정보 및 광고 상세정보를 포함시켜 생성하는 것이 바람직하며, 광고DB(42)로 광고 태콘텐츠 저장시 방송콘텐츠의 방송송출 프레임별로 구분하여 구분에 따른 메타데이터를 생성하여 각 광고 태그콘텐츠와 함께 저장하는 것이 바람직하다.

방송콘텐츠 서버(40)는 방송통신망(30)을 통해 스마트 TV(10)의 방송DB(41)에 저장된 방송콘텐츠에 대한 청취 요청에 따라 방송DB(41)에 저장된 방송콘텐츠와 광고DB(42)에 저장된 광고 태그콘텐츠를 방송송출 프레임 별로 패킷화하여 방송통신망(30)을 통해 스마트 TV(10)로 전송한다(S13).

스마트 모바일 디바이스(50)는 스마트 TV(10) 사용자가 암시적 광고 구현 후의 명시적 광고 구현에 따라 광고대상물에 대한 상세정보를 원하는 경우에 광고대상물에 대한 상세정보를 터치스크린 기반으로 확인하기 위해 구비된다.

도 2는 도 1에서의 스마트 TV(10)의 구성을 나타내는 도면이다. 도 3은 본 발명의 실시예에 따른 암시적 광고를 설명하기 개념도이다. 도 4 내지 도 7은 본 발명의 실시예에 따른 타임머신 광고를 설명하기 위한 UI 화면을 나타내는 도면이다. 먼저, 도 2를 참조하면, 스마트 TV(10)는 출력부(11), 센싱부(12), 입력 인터페이스(13), 제어연산부(14), 저장부(15) 및 유무선 통신모듈(16)을 포함한다.

그리고 입력 인터페이스(13)는 입력부(13a), 리모컨 신호 수신부(13b), 음성수신부(13c) 및 카메라부(13d)을 구비한다.

또한, 제어연산부(14)는 방송콘텐츠 처리모듈(14a), 암시적 광고 구현모듈(14b), 명시적 광고 구현모듈(14c), 광고대상물 구매모듈(14d) 및 타임머신 제공모듈(14e)을 구비한다. 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

이하에서는 제어연산부(14)의 구성을 중심으로 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법이 구현되는 전체시스템에 대해서 구체적으로 살펴보도록 한다. 방송콘텐츠 처리모듈(14a)은 방송송출 프레임 별로 스트리밍 방식으로 방송통신망(30)을 통해 방송콘텐츠 서버(40)로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하도록 유무선 통신모듈(16)을 제어함으로써, 방송송출 프레임 단위로 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신한다. 방송콘텐츠 처리모듈(14a)은 방송송출 프레임 단위의 패킷으로부터 방송콘텐츠와 광고 태그콘텐츠를 분리한 뒤, 방송콘텐츠에 대한 프레임 단위의 스트리밍 방식으로의 출력부(11)로의 구현을 준비한다.

보다 구체적으로, 방송콘텐츠 처리모듈(14a)은 방송콘텐츠 서버(40)로부터 방송통신망(30)을 통해 스마트 TV(10)의 방송DB(41)에 저장된 방송콘텐츠에 대한 청취 요청을 전송하도록 유무선 통신모듈(16)을 제어한다. 이에 따라, 방송콘텐츠 처리모듈(14a)은 방송콘텐츠 서버(40)의 방송DB(41)에 저장된 방송콘텐츠와, 방송콘텐츠 서버(40)의 광고DB(42)에 저장된 광고 태그콘텐츠를 방송송출 프레임 단위로 패킷화된 상태로 방송통신망(30)을 통해 방송콘텐츠 서버(40)로부터 수신하도록 유무선 통신모듈(16)을 제어한다.

방송콘텐츠 처리모듈(14a)은 방송송출 프레임 단위로 스트리밍 방식으로 방송콘텐츠 서버(40)로부터 수신되는 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 분리한 뒤, 분리된 광고 태그콘텐츠에서 방송콘텐츠에 포함된 각 광고대상물별 태그 데이터를 리딩(reading) 하여, 저장부(15)에 저장한다.

방송콘텐츠 처리모듈(14a)은 리딩된 각 광고대상물별 태그 데이터에 포함된 이미지정보를 이용해 각 광고대상물에 대한 트래킹(tracking: 추적)을 위한 위치트래킹 마킹을 설정한다. 여기서 위치트래킹 마킹은 각 광고대상물이 광고콘텐츠 상에서의 각 방송송출 프레임에 따른 출력부(11)로의 구현시 각 광고대상물을 트래킹하기 위한 표식자 역할을 수행한다. 보다 구체적으로, 위치트래킹 마킹 설정에 따라 방송콘텐츠 상에서 각 광고대상물의 위치가 변경 또는 입체적 관점이 변경되어도 자동적으로 위치 변경이나 입체적 관점 변경에 따른 실시간 변경데이터가 방송콘텐츠 처리모듈(14a)에 의해 생성되어 저장부(15)에 저장됨으로써 광고대상물에 대한 트래킹시 저장된 실시간 변경데이터가 활용되어 출력부(11) 상에 구현되는 UI 화면에서의 광고대상물의 위치가 자동적으로 추적되도록 하기 위해서이다.

방송콘텐츠 처리모듈(14a)은 추가적 과정으로 각 방송송출 프레임 단위의 방송콘텐츠에 광고대상물을 제외한 대상물에 대한 인식을 자동적으로 수행하는 대상물 인식을 더 수행할 수 있다.

즉, 방송콘텐츠 처리모듈(14a)은 방송송출 프레임별로 스트리밍 방식으로 수신되는 광고 태그콘텐츠의 각 광고대상물별 태그 데이터로 리딩되지 않은 대상물에 대한 물체 인식을 수행한다. 방송콘텐츠 처리모듈(14a)은 각 인식대상물에 대한 물체 인식시 입체적 관점 각각에 대한 인식을 개별적으로 수행하는 것이 바람직하다.

방송콘텐츠 처리모듈(14a)은 인식된 인식대상물에 대한 방송통신망(30)을 통해 방송콘텐츠 서버(40)로의 질의 메시지 전송하며, 이에 대한 반환으로 인식대상물에 대한 추가적 태그 데이터가 있는 경우 수신하도록 유무선 통신모듈(16)을 제어한다. 그리고, 방송콘텐츠 처리모듈(14a)은 각 인식대상물에 대한 방송콘텐츠의 이미지정보에 대한 물체 인식을 수행하고, 인식대상물에 대한 트래킹을 위한 위치트래킹 마킹을 설정한다. 여기서 각 인식대상물에 대한 트래킹을 위한 위치트래킹 마킹은, 방송콘텐츠 상에서 각 방송송출 프레임 단위로 출력부(11)의 UI 화면으로 구현시, 각 인식대상물의 UI 화면 상의 위치가 변경되거나 입체적 관점이 변경되어도 자동적으로 각 인식대상물의 위치 변경이나 입체적 관점 변경에 따른 실시간 변경데이터가 방송콘텐츠 처리모듈(14a)에 의해 생성되어 상기 스마트 TV의 저장부(15)에 저장된 뒤, 각 인식대상물에 대한 트래킹시 저장된 실시간 변경데이터가 활용되어 출력부(11) 상에 구현되는 UI 화면에서의 인식대상물의 위치가 자동적으로 추적되도록 하기 위해서 설정된다.

방송콘텐츠 처리모듈(14a)은 출력부(11)로 광고 전환 인디케이터를 구현하며, 방송송출 프레임 단위의 스트리밍 방식으로 수신되어 저장부(15) 상에 버퍼링 상태에 있는 방송콘텐츠에 대한 출력을 개시한다.

암시적 광고 구현모듈(14b)은 방송콘텐츠 처리모듈(14a)의 방송콘텐츠에 대한 출력 개시에 따라, 광고 전환 인디케이터를 출력부(11)로 구현한 뒤, 방송송출 프레임 단위로 수신되고 있는 방송콘텐츠의 출력부(11)로의 시간적 흐름에 따른 구현과 함께, 암시효과가 반영된 각 광고대상물별 암시 인디케이터를 구현한다.

보다 구체적으로, 암시적 광고 구현모듈(14b)은 위치트래킹 마킹이 설정된 광고대상물, 위치트래킹 마킹이 설정된 인식대상물에 대한 암시효과를 설정한다. 여기서 암시효과는 방송콘텐츠가 스트리밍 방식으로 구현시 광고대상물 및 인식대상물에 대한 명시적 노출전에 암시적으로 스마트 TV(10) 사용자에게 간접적으로 인지시키도록 하기 위한 유저 인터페이스(User Interface) 효과를 의미한다.

본 발명의 실시예로 암시효과는 서브리미날 효과(subliminal effect)가 사용될 수 있으며, 서브리미날 효과는 방송송출 프레임을 이루는 광고대상물을 포함하는 다수의 방송송출 이미지(broadcasting image) 사이에 하나의 암시 인디케이터만 포함시킨 엠프티 이미지(empty-image)를 삽입하는 방식으로 수행될 수 있다(도 3 참조).

한편, 서브리미날 효과를 위한 엠프티 이미지에서 광고대상물 내지는 인식대상물에 대해 도 3에 도시된 바와 같이 치마에 대한 색변화 설정, 구두에 대한 후광 설정이 하나의 예시가 될 수 있으며, 그 밖에 광고대상물 또는 인식대상물에 대한 애드바, 상태바, 아이콘, 테두리 컬러 설정이 또 다른 예가 될 수 있다.

암시적 광고 구현모듈(14b)은 출력부(11)로 방송송출 프레임별 방송콘텐츠와 함께 광고대상물 및 인식대상물에 대한 암시효과 설정에 따른 암시 인디케이터를 구현한다. 상술한 바와 같이, 암시 인디케이터는 광고대상물 또는 인식대상물에 대한 색변화, 후광, 애드바, 상태바, 아이콘, 테두리 컬러로 구현가능하다.

암시적 광고 구현모듈(14b)은 출력부(11)로 방송송출 프레임별 방송콘텐츠에 대한 시간의 흐름에 따른 광고대상물별 또는 인식대상물별 암시 인디케이터에 한 트래킹 효과를 구현한다. 여기서 트래킹 효과는 위치트래킹 마킹이 설정된 광고대상물, 그리고 위치트래킹 마킹이 설정된 인식대상물에 대한 물체 인식에 따라 암시 인디케이터의 위치 또는 형상을 변환시켜 구현하는 것을 의미한다.

암시적 광고 구현모듈(14b)은 명시적 광고 전환을 위해 입력인터페이스(13)로부터 광고 전환 인디케이터 선택신호에 대한 수신을 대기한 뒤, 광고 전환 인디케이터 선택신호 수신 여부를 판단하여 명시적 광고 구현모듈(14c)로 통지함으로써, 암시적 광고출력 과정을 종료한다.

명시적 광고 구현모듈(14c)은 입력 인터페이스(13)를 통해 광고 전환 인디케이터 선택신호 수신시 방송콘텐츠 중 현재 구현되는 방송송출 프레임에 포함된 각 태그 데이터와 매칭되는 광고대상물에 대한 광고대상물에 대한 대상물 표식자 구현에 따른 명시적 광고를 수행한다. 여기서 대상물 표식자는 도 6 및 도 7의 "A1: skrit….", "A2: shoes….", "A3: bike…."로 설정가능하나 이에 한정되지 않으며, 아이콘 등으로 변경하여 적용가능하다.

보다 구체적으로, 명시적 광고 구현모듈(14c)은 암시적 광고 구현모듈(14b)에 의해 광고 전환 인디케이터 선택신호가 수신된 것으로 판단된 경우 출력부(11)로 방송송출 프레임별 방송콘텐츠와 함께 광고대상물 및 인식대상물에 대한 대상물 표식자를 구현하며, 대상물 표식자 선택시 선택된 광고대상물 또는 인식대상물에 대한 태그 데이터를 통해 광고를 구현한다.

한편, 명시적 광고 구현모듈(14c)은 다수의 대상물 표식자 중 하나의 대상물 표식자에 대한 선택입력을 수신할 경우, 센싱부(12)를 통해 저장부(15)에 미리 저장된 인식데이터에 따른 방식으로 수행될 수 있다. 하나의 예로 센싱부(12)가 카메라촬영 방식의 인식모듈로 구현된 경우, 카메라 촬영을 통한 안구 인식의 결과 사용자의 눈길이 자주 가는 곳에 선택신호로 인식되거나, 사용자 촬영에 따른 사용자를 인식하여 인식된 사용자에 대해 저장부(15) 상에 저장된 관심카테고리 정보와 매칭되는 광고대상물에 해당하는 대상물 표식자를 인식하는 방식으로 수행될 수 있다.

명시적 광고 구현모듈(14c)은 출력부(11)로 방송송출 프레임별 방송콘텐츠의 흐름에 따른 광고대상물별 또는 인식대상물별 대상물 표식자를 이용한 트래킹 효과를 구현한다. 여기서 트래킹 효과는 위치트래킹 마킹이 설정된 광고대상물, 그리고 위치트래킹 마킹이 설정된 인식대상물에 대한 물체 인식에 따라 대상물 표식자의 위치를 변환시켜 구현하는 것을 의미한다.

명시적 광고 구현모듈(14c)은 입력인터페이스(13)로부터 다수의 광고 대상물 및 다수의 인식대상물 중 하나에 대한 선택신호 수신 대기한다.

명시적 광고 구현모듈(14c)은 다수의 광고대상물 및 다수의 인식대상물 중 하나에 대한 선택신호 수신 여부에 대한 판단을 통해 판단 결과를 광고대상물 구매모듈(14d)로 통지함으로써, 명시적 광고 수행을 완료한다.

광고대상물 구매모듈(14d)은 명시적 광고 구현모듈(14c)의 판단 결과 명시적 광고 수행 과정에서 다수의 광고 대상물 중 하나에 대한 선택신호를 입력 인터페이스(13)를 통해 수신시, 선택된 광고대상물에 대한 입력 인터페이스(13)를 통한 모션 제스처 입력신호가 수신되는 경우 구매 요청으로 판단하여 구매 절차를 수행한다.

보다 구체적으로, 광고대상물 구매모듈(14d)은 다수의 광고대상물 및 다수의 인식대상물 중 하나에 대한 선택신호시, 선택된 광고대상물 또는 인식대상물에 대한 리모컨(20)으로부터 모션 제스처 입력신호를 리모컨 신호 수신부(13b)를 통해 수신하거나 입력부(13a)로의 모션 제스처 입력신호 수신을 통한 모션 제스처 입력시 선택된 광고대상물 또는 인식대상물에 대한 구매 요청으로 인식하여 구매 과정을 수행하는 것이다.

타임머신 제공모듈(14e)은 대상물 캡처 수단(14e-1), 대상물 선택 수단(14e-2) 및 대상물 구현 수단(14e-3)을 구비한다. 이하에서는 설명의 편의를 위해 타임머신 제공모듈(14e)에 대한 구체적인 설명시 광고대상물을 기준으로 설명하나 괄호안에 병기되는 상술한 인식대상물에 대해서도 동일하게 적용가능하다.

대상물 캡처 수단(14e-1)은 상술한 암시적 광고 구현모듈(14b)에 의해 광고대상물(및 인식대상물)에 대한 암시효과 및 트래킹 효과에 대한 설정에 따라 암시적 광고에 대한 구현이 개시되면 동작한다.

한편, 대상물 캡처 수단(14e-1)은 상술한 명시적 광고 구현모듈(14c)에 의해 광고대상물(및 인식대상물)에 대한 트래킹 효과에 대한 설정에 따라 명시적 광고에 대한 구현이 개시될 경우에도 동작한다.

먼저, 대상물 캡처 수단(14e-1)은 출력부(11) 상의 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물(및 인식대상물)에 대해 사용자로부터 캡처 수행 시작을 위한 음성을 입력받은 음성수신부(13c)로부터 동작인식 음성신호를 수신한다. 여기서 캡처 수행 시작을 위한 음성은 사용자가 방송콘텐츠 상에서의 광고대상물(및 인식대상물)에 대한 타임머신 기능을 수행하기 위한 캡처이미지 생성에 대한 개시를 위해 입력받으며, "시작", "동작" 등과 같이 미리 설정되어 저장부(15)에 저장되어 있어야 한다.

암시적 광고 구현 과정에서의 대상물 캡처 수단(14e-1)은 출력부(11) 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 암시효과 및 트래킹 효과가 적용된 광고대상물(및 인식대상물)을 이용한 암시적 광고 구현에 따라, 카메라부(13d)를 제어하여 사용자의 동공을 물체 인식 기법에 의해 검출하고, 인식에 따라 사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시한다.

한편, 명시적 광고 구현 과정에서의 대상물 캡처 수단(14e-1)은 출력부(11) 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 트래킹 효과가 적용된 광고대상물(및 인식대상물)을 이용한 명시적 광고 구현에 따라, 카메라부(13d)를 제어하여 사용자의 동공을 물체 인식 기법에 의해 검출하고, 인식에 따라 사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시한다.

이 경우, 대상물 캡처 수단(14e-1)은 동공 크기 확대 및 축소 정보에 대한 센싱 뿐만 아니라, 현재 출력되는 방송콘텐츠 상에 복수의 광고대상물(및 인식대상물)이 포함된 경우 저장부(15) 상에 미리 저장된 사용자의 양안의 동공과 홍채의 배열에 따른 사용자가 바라보는 UI 화면의 지점에 대한 분석을 더 수행하여, 방송콘텐츠 상에서 바라보는 광고대상물(또는 인식대상물)의 위치까지 센싱하는 것으로 변형가능하다(도 4 및 도 6 참조).

대상물 선택 수단(14e-2)은 카메라부(13d)에 의해 촬영된 동공 촬영 데이터를 기초로 사용자의 동공 크기가 확대된 상태인지 여부를 판단한다.

암시적 광고 제공 과정에서의 대상물 선택 수단(14e-2)은, 판단결과 동공 크기가 확대된 상태인 경우, 현재의 방송콘텐츠에 암시효과 및 트래킹 효과가 적용된 광고대상물(및 인식대상물)를 포함시켜 캡처하여 캡처이미지를 생성한 뒤, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장부(15)에 저장하고, 저장된 캡처이미지는 출력부(11)에 구현된 UI 화면 중 캡처이미지 영역(11a)으로 구분하여 구현한다.

명시적 광고 제공 과정에서의 대상물 선택 수단(14e-2)은, 판단결과 동공 크기가 확대된 상태인 경우, 현재의 방송콘텐츠에 트래킹 효과가 적용된 광고대상물(및 인식대상물)를 포함시켜 캡처하여 캡처이미지를 생성한 뒤, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장부(15)에 저장하고, 저장된 캡처이미지는 출력부(11)에 구현된 UI 화면 중 캡처이미지 영역(11a)으로 구분하여 구현한다.

대상물 선택 수단(14e-2)은 출력부(11) 상의 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물(및 인식대상물)에 대해 사용자로부터 캡처 수행 종료를 위한 음성을 입력받은 음성수신부(13c)로부터 캡처 종료 음성신호 수신 여부를 판단한다. 여기서 캡처 수행 시작을 위한 음성은 사용자가 방송콘텐츠 상에서의 광고대상물(및 인식대상물)에 대한 캡처이미지 생성에 대한 종료를 위해 입력받으며, "종료", "중단", "정지" 등과 같이 미리 설정되어 저장부(15)에 저장되어 있어야 한다.

판단결과 캡처 종료 음성신호를 수신한 경우, 대상물 선택 수단(14e-2)은 캡처이미지 영역(11a)에 캡처된 캡처이미지 중 하나에 대한 카메라부(13d)에 대한 촬영데이터를 이용해 모션 이미지 센싱을 통한 캡처이미지 선택신호를 수신한다. 여기서 모션 이미지 센싱을 수행하기 위해 스마트 TV(10)는 입력 인터페이스(13) 중 카메라부(13d)를 통해 사용자에 대한 실시간 촬영을 통한 영상정보를 획득한다.

이후, 대상물 선택 수단(14e-2)은 획득한 영상정보에 포함된 화소를 특정한다. 여기서 영상정보에 포함된 화소의 특정은 화소의 명암, 화소의 색상, 화소가 형성하는 선, 및 화소가 시간의 흐름에 따라서 변화하는 형태 등으로부터 화소의 특성을 추출하는 것을 의미한다.

대상물 선택 수단(14e-2)은 영상정보에 포함된 화소를 특정에 따라 저장부(15)에 저장된 다수의 모션 패턴 정보에서 유사범위의 모션 패턴을 추출한다. 여기서 유사범위의 모션 패턴이 다수개인 경우 가장 근접한 모션 패턴 하나만을 추출한다. 여기서 모션 패턴 정보에는 손으로 광고대상물 또는 인식대상물이 구현된 방향으로 움켜지는 모션 패턴 정보 또는 발이나 손가락으로 가리키는 패턴, 사용자의 동공에 대한 확대를 인식하는 모션 패턴 정보를 포함할 수 있다. 그 밖에 리모컨(20)에 부착된 지문 센서를 통한 지문 인식 패턴 정보를 포함하도록 확대가 가능하다. 한편, 도 5는 암시적 광고 구현 상태에서 손을 이용해 움켜지는 패턴을 나타내는 예시이다. 그리고 도 7은 명시적 광고 구현 상태에서 손을 이용해 움켜지는 패턴을 나타내는 예시이다. 한편, 도 5 및 도 7에서와 같이 각 캡처이미지는 캡처이미지 영역(11a)에서 capture1, capture2, capture3과 같이 나열되는 방식으로 구현가능하다.

여기서 모션 이미지 센싱을 위해 저장부(15)에는 다양한 모션 패턴 정보가 저장되어 있는데, 다양한 모션 패턴 정보는 다양한 모션 패턴 자체 정보, 그리고 다양한 모션 패턴의 기울어진 것, 역으로 된 것, 약간 각도가 기울어진 것 등을 포함하는 것이 바람직하다.

대상물 구현 수단(14e-3)은 캡처이미지 선택신호에 따라 선택된 캡처이미지에 대한 저장부(15)에 선택된 캡처이미지와 매칭되어 저장된 방송콘텐츠를 UI 화면 중 구분된 영역인 타임머신 영역(11b)으로 구현한다. 이때, 타임머신 영역(11b)으로 구현되는 방송콘텐츠는 암시적 광고 과정에서는 선택된 캡처이미지에 포함된 광고대상물와 매칭되는 암시효과 및 트래킹 효과가 적용된 상태이며, 명시적 광고 과정에서는 캡처이미지에 포함된 광고대상물와 매칭되는 대상물 표식자에 트래킹 효과가 적용된 상태이며,

도 8은 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법 중 암시적 광고에서의 타임머신 기능에 의한 광고 설정 및 광고 구현 과정을 나타내는 흐름도이다. 도 1 내지 도 8을 참조하면, 스마트 TV(10)는 방송송출 프레임 별로 스트리밍 방식으로 방송통신망(30)을 통해 방송콘텐츠 서버(40)로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하여 방송콘텐츠와 광고 태그콘텐츠를 분리한 뒤, 방송콘텐츠에 대한 방송송출 프레임 단위의 스트리밍 방식으로의 출력부(11)로의 구현을 준비하고, 이에 따른 암시적 광고 구현을 전제로 후술할 단계(S23a-1) 내지 단계(S23-7)에 의한 타임머신 기능 과정이 수행된다.

먼저, 스마트 TV(10)는 출력부(11) 상의 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물(및 인식대상물)에 대해 사용자로부터 캡처 수행 시작을 위한 음성을 입력받은 음성수신부(13c)로부터 동작인식 음성신호를 수신한다(S23a-1).

여기서 캡처 수행 시작을 위한 음성은 사용자가 방송콘텐츠 상에서의 광고대상물(및 인식대상물)에 대한 타임머신 기능을 수행하기 위한 캡처이미지 생성에 대한 개시를 위해 입력받으며, "시작", "동작" 등과 같이 미리 설정되어 저장부(15)에 저장되어 있어야 한다.

단계(S23a-1) 이후, 스마트 TV(10)는 출력부(11) 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 암시효과 및 트래킹 효과가 적용된 광고대상물(및 인식대상물)을 이용한 암시적 광고 구현에 따라, 카메라부(13d)를 제어하여 사용자의 동공을 물체 인식 기법에 의해 검출하고, 인식에 따라 사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시한다(S23a-2). 이 경우, 스마트 TV(10)는 동공 크기 확대 및 축소 정보에 대한 센싱 뿐만 아니라, 현재 출력되는 방송콘텐츠 상에 복수의 광고대상물(및 인식대상물)이 포함된 경우 저장부(15) 상에 미리 저장된 사용자의 양안의 동공과 홍채의 배열에 따른 사용자가 바라보는 UI 화면의 지점에 대한 분석을 더 수행하여, 방송콘텐츠 상에서 바라보는 광고대상물(또는 인식대상물)의 위치까지 센싱하는 것으로 변형가능하다(도 4 참조).

단계(S23a-2) 이후, 스마트 TV(10)는 카메라부(13d)에 의해 촬영된 동공 촬영 데이터를 기초로 사용자의 동공 크기가 확대된 상태인지 여부를 판단한다(S23a-3).

단계(S23a-3)의 판단결과 동공 크기가 확대된 상태가 아닌 경우 후술한 단계(S23a-5)로 진행된다. 반대로 판단결과 동공 크기가 확대된 상태인 경우 스마트 TV(10)는 현재의 방송콘텐츠에 암시효과 및 트래킹 효과가 적용된 광고대상물(및 인식대상물)를 포함시켜 캡처하여 캡처이미지를 생성한 뒤, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장부(15)에 저장하고, 저장된 캡처이미지는 출력부(11)에 구현된 UI 화면 중 캡처이미지 영역(11a)으로 구분하여 구현한다(S23a-4).

단계(S23a-4) 이후, 스마트 TV(10)는 출력부(11) 상의 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물(및 인식대상물)에 대해 사용자로부터 캡처 수행 종료를 위한 음성을 입력받은 음성수신부(13c)로부터 캡처 종료 음성신호 수신 여부를 판단한다(S23a-5). 여기서 캡처 수행 시작을 위한 음성은 사용자가 방송콘텐츠 상에서의 광고대상물(및 인식대상물)에 대한 캡처이미지 생성에 대한 종료를 위해 입력받으며, "종료", "중단", "정지" 등과 같이 미리 설정되어 저장부(15)에 저장되어 있어야 한다.

단게(S23a-5)의 판단결과 캡처 종료 음성신호를 수신하지 않은 경우 스마트 TV(10)는 단계(S23a-3)로 회귀한다. 반대로 판단결과 캡처 종료 음성신호를 수신한 경우, 스마트 TV(10)는 캡처이미지 영역(11a)에 캡처된 캡처이미지 중 하나에 대한 카메라부(13d)에 대한 촬영데이터를 이용해 모션 이미지 센싱을 통한 캡처이미지 선택신호를 수신한다(S23a-6).

여기서 모션 이미지 센싱을 수행하기 위해 스마트 TV(10)는 입력 인터페이스(13) 중 카메라부(13d)를 통해 사용자에 대한 실시간 촬영을 통한 영상정보를 획득한다.

이후, 스마트 TV(10)는 획득한 영상정보에 포함된 화소를 특정한다. 여기서 영상정보에 포함된 화소의 특정은 화소의 명암, 화소의 색상, 화소가 형성하는 선, 및 화소가 시간의 흐름에 따라서 변화하는 형태 등으로부터 화소의 특성을 추출하는 것을 의미한다.

스마트 TV(10)는 영상정보에 포함된 화소를 특정에 따라 저장부(15)에 저장된 다수의 모션 패턴 정보에서 유사범위의 모션 패턴을 추출한다. 여기서 유사범위의 모션 패턴이 다수개인 경우 가장 근접한 모션 패턴 하나만을 추출한다. 여기서 모션 패턴 정보에는 손으로 광고대상물 또는 인식대상물이 구현된 방향으로 움켜지는 모션 패턴 정보 또는 발이나 손가락으로 가리키는 패턴, 사용자의 동공에 대한 확대를 인식하는 모션 패턴 정보를 포함할 수 있다. 그 밖에 리모컨(20)에 부착된 지문 센서를 통한 지문 인식 패턴 정보를 포함하도록 확대가 가능하다. 한편, 도 5는 암시적 광고 구현 상태에서 손을 이용해 움켜지는 패턴을 나타내는 예시이다.

여기서 모션 이미지 센싱을 위해 저장부(15)에는 다양한 모션 패턴 정보가 저장되어 있는데, 다양한 모션 패턴 정보는 다양한 모션 패턴 자체 정보, 그리고 다양한 모션 패턴의 기울어진 것, 역으로 된 것, 약간 각도가 기울어진 것 등을 포함하는 것이 바람직하다.

단계(S23a-6) 이후, 스마트 TV(10)는 캡처이미지 선택신호에 따라 선택된 캡처이미지에 대한 단계(S23a-4)에서 저장부(15)에 선택된 캡처이미지와 매칭되어 저장된 방송콘텐츠를 UI 화면 중 구분된 영역인 타임머신 영역(11b)으로 구현한다(S23a-7). 이때, 타임머신 영역(11b)으로 구현되는 방송콘텐츠는 단계(S23a-6)에서 선택된 캡처이미지에 포함된 광고대상물(및 인식대상물)에 암시효과 및 트래킹 효과가 적용된 상태이다.

도 9는 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법 중 명시적 광고에서의 타임머신 기능에 의한 광고 설정 및 광고 구현 과정을 나타내는 흐름도이다. 도 1 내지 도 9를 참조하면, 스마트 TV(10)는 방송송출 프레임 별로 스트리밍 방식으로 방송통신망(30)을 통해 방송콘텐츠 서버(40)로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하여 방송콘텐츠와 광고 태그콘텐츠를 분리한 뒤, 방송콘텐츠에 대한 방송송출 프레임 단위의 스트리밍 방식으로의 출력부(11)로의 구현을 준비하고, 이에 따른 암시적 광고 구현 후, 명시적 광고에 대한 구현을 전제로 명시적 광고에 있어서 후술할 단계(S32a-1) 내지 단계(S32-7)에 의한 타임머신 기능 과정이 수행된다.

먼저, 스마트 TV(10)는 출력부(11) 상의 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물(및 인식대상물)에 대해 사용자로부터 캡처 수행 시작을 위한 음성을 입력받은 음성수신부(13c)로부터 동작인식 음성신호를 수신한다(S32a-1).

여기서 캡처 수행 시작을 위한 음성은 사용자가 방송콘텐츠 상에서의 광고대상물(및 인식대상물)에 대한 타임머신 기능을 수행하기 위한 캡처이미지 생성에 대한 개시를 위해 입력받으며, "시작", "동작" 등과 같이 미리 설정되어 저장부(15)에 저장되어 있어야 한다.

단계(S32a-1) 이후, 스마트 TV(10)는 출력부(11) 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 트래킹 효과가 적용된 광고대상물(및 인식대상물)을 이용한 명시적 광고 구현에 따라, 카메라부(13d)를 제어하여 사용자의 동공을 물체 인식 기법에 의해 검출하고, 인식에 따라 사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시한다(S32a-2). 이 경우, 스마트 TV(10)는 현재 출력되는 방송콘텐츠 상에 복수의 광고대상물(및 인식대상물)이 포함된 경우 동공 크기 확대 및 축소 정보에 대한 센싱 뿐만 아니라, 저장부(15) 상에 미리 저장된 사용자의 양안의 동공과 홍채의 배열에 따른 사용자가 바라보는 UI 화면의 지점에 대한 분석을 더 수행하여, 방송콘텐츠 상에서 바라보는 광고대상물(또는 인식대상물)의 위치까지 센싱하는 것으로 변형가능하다(도 6 참조).

단계(S32a-2) 이후, 스마트 TV(10)는 카메라부(13d)에 의해 촬영된 동공 촬영 데이터를 기초로 사용자의 동공 크기가 확대된 상태인지 여부를 판단한다(S32a-3).

단계(S32a-3)의 판단결과 동공 크기가 확대된 상태가 아닌 경우 후술한 단계(S32a-5)로 진행된다. 반대로 동공 크기가 확대된 상태인 경우 스마트 TV(10)는 현재의 방송콘텐츠에 트래킹 효과가 적용된 광고대상물(및 인식대상물)를 포함시켜 캡처하여 캡처이미지를 생성한 뒤, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장부(15)에 저장하고, 저장된 캡처이미지는 출력부(11)에 구현된 UI 화면 중 캡처이미지 영역(11a)으로 구분하여 구현한다(S32a-4).

단계(S32a-4) 이후, 스마트 TV(10)는 출력부(11) 상의 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물(및 인식대상물)에 대해 사용자로부터 캡처 수행 종료를 위한 음성을 입력받은 음성수신부(13c)로부터 캡처 종료 음성신호 수신 여부를 판단한다(S32a-5). 여기서 캡처 수행 시작을 위한 음성은 사용자가 방송콘텐츠 상에서의 광고대상물(및 인식대상물)에 대한 캡처이미지 생성에 대한 종료를 위해 입력받으며, "종료", "중단", "정지" 등과 같이 미리 설정되어 저장부(15)에 저장되어 있어야 한다.

단게(S32a-5)의 판단결과 캡처 종료 음성신호를 수신하지 않은 경우 스마트 TV(10)는 단계(S32a-3)로 회귀한다. 반대로 판단결과 캡처 종료 음성신호를 수신한 경우, 스마트 TV(10)는 캡처이미지 영역(11a)에 캡처된 캡처이미지 중 하나에 대한 카메라부(13d)에 대한 촬영데이터를 이용해 모션 이미지 센싱을 통한 캡처이미지 선택신호를 수신한다(S32a-6).

여기서 모션 이미지 센싱을 수행하기 위해 스마트 TV(10)는 입력 인터페이스(13) 중 카메라부(13d)를 통해 사용자에 대한 실시간 촬영을 통한 영상정보를 획득한다.

이후, 스마트 TV(10)는 획득한 영상정보에 포함된 화소를 특정한다. 여기서 영상정보에 포함된 화소의 특정은 화소의 명암, 화소의 색상, 화소가 형성하는 선, 및 화소가 시간의 흐름에 따라서 변화하는 형태 등으로부터 화소의 특성을 추출하는 것을 의미한다.

스마트 TV(10)는 영상정보에 포함된 화소를 특정에 따라 저장부(15)에 저장된 다수의 모션 패턴 정보에서 유사범위의 모션 패턴을 추출한다. 여기서 유사범위의 모션 패턴이 다수개인 경우 가장 근접한 모션 패턴 하나만을 추출한다. 여기서 모션 패턴 정보에는 손으로 광고대상물 또는 인식대상물이 구현된 방향으로 움켜지는 모션 패턴 정보 또는 발이나 손가락으로 가리키는 패턴, 사용자의 동공에 대한 확대를 인식하는 모션 패턴 정보를 포함할 수 있다. 그 밖에 리모컨(20)에 부착된 지문 센서를 통한 지문 인식 패턴 정보를 포함하도록 확대가 가능하다. 한편, 도 7는 명시적 광고 구현 상태에서 손을 이용해 움켜지는 패턴을 나타내는 예시이다.

여기서 모션 이미지 센싱을 위해 저장부(15)에는 다양한 모션 패턴 정보가 저장되어 있는데, 다양한 모션 패턴 정보는 다양한 모션 패턴 자체 정보, 그리고 다양한 모션 패턴의 기울어진 것, 역으로 된 것, 약간 각도가 기울어진 것 등을 포함하는 것이 바람직하다.

스마트 TV(10)는 캡처이미지 선택신호에 따라 선택된 캡처이미지에 대한 단계(S32a-4)에서 저장부(15)에 선택된 캡처이미지와 매칭되어 저장된 방송콘텐츠를 UI 화면 중 구분된 영역인 타임머신 영역(11b)으로 구현한다(S32a-7). 이때, 타임머신 영역(11b)으로 구현되는 방송콘텐츠는 단계(S32a-6)에서 선택된 캡처이미지에 포함된 광고대상물(및 인식대상물)에 트래킹 효과가 적용된 상태이다.

도 10은 본 발명의 실시예에 따른 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법을 나타내는 전체적인 흐름도이다. 도 1 내지 도 10을 참조하면, 스마트 TV(10)는 방송송출 프레임 별로 스트리밍 방식으로 방송통신망(30)을 통해 방송콘텐츠 서버(40)로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하여 방송콘텐츠와 광고 태그콘텐츠를 분리한 뒤, 방송콘텐츠에 대한 방송송출 프레임 단위의 스트리밍 방식으로의 출력부(11)로의 구현을 준비한다(S10).

여기서, 방송통신망(30)은 대용량, 장거리 음성 및 데이터 서비스에 의해 브로드 캐스팅 형태의 방송을 위한 고속 유선 또는 문선 기간 망이며, 유선 또는 무선 인터넷(Internet)이 될 수도 있다. 방송통신망(30)은 방송콘텐츠 서버(40)가 스마트 TV(10) 및 그 밖의 시스템으로 방송콘텐츠를 브로드 캐스팅을 위해 전달하는 역할을 한다.

한편, 방송콘텐츠 서버(40)는 방송DB(41) 및 광고DB(42)를 포함한다. 또한, 본 명세서에서 DB라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.

단계(S10) 이후, 스마트 TV(10)는 암시적 광고출력 과정으로, 방송송출 프레임별 방송콘텐츠의 출력부(11)로의 시간적 흐름에 따른 구현과 함께, 광고 전환 인디케이터 및 각 광고대상물별 암시 인디케이터를 구현한다(S20). 한편 단계(S20)에 따른 암시적 광고 구현시 도 8에서 상술한 타임머신 기능에 의한 광고 제공 과정이 더 수행된다.

단계(S20) 이후, 스마트 TV(10)는 입력 인터페이스(13)를 통해 광고 전환 인디케이터 선택신호 수신시 프레임별 방송콘텐츠에 대한 출력부(11)로의 시간적 흐름에 따른 구현과 함께, 단계(S10)의 과정에 따라 분리된 광고 태그콘텐츠에서 광고대상물에 대한 대상물 표식자 구현에 따른 명시적 광고를 수행한다(S30). 한편 단계(S30)에 따른 명시적 광고 구현시 도 9에서 상술한 타임머신 기능에 의한 광고 제공 과정이 더 수행된다.

단계(S30) 이후, 스마트 TV(10)는 단계(S30)에 의한 명시적 광고 수행 과정에서 다수의 광고 대상물 중 하나에 대한 선택신호를 입력 인터페이스(13)를 통해 수신시, 선택된 광고대상물에 대한 입력 인터페이스(13)을 통한 모션 제스처 입력신호가 수신되는 경우 구매 요청으로 판단하여 구매 절차를 수행한다(S40).

도 11은 도 10의 감성광고 기능을 구비한 스마트 TV 기반의 타임머신 광고 제공 방법의 각 단계(S10) 내지 단계(S40)에 대한 구체적인 흐름도이다. 도 1 내지 도 11을 참조하면, 방송콘텐츠 서버(40)는 방송DB(41)에 저장된 방송콘텐츠에 포함된 광고대상물 각각에 대한 제휴 광고주단말 그룹(70)을 구성하는 제휴 광고주단말 각각으로부터 데이터통신망(60)을 통해 광고데이터를 수신한다(S11). 여기서 데이터통신망(60)은 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 데이터통신망(60)이 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 데이터통신망(60)은 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 데이터통신망(60)은 방송콘텐츠 서버(40), 광고주단말 그룹(70)을 구성하는 다수의 제휴 광고주단말, 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.

한편, 광고데이터에는 각 광고대상물에 대한 이미지정보를 포함하는 것이 바람직하며, 광고데이터 수신시 방송콘텐츠의 방송송출 프레임별로 구분하여 수신하는 것이 바람직하다. 또한, 본 명세서에서 DB라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.

방송콘텐츠 서버(40)는 각 광고대상물에 각각에 대한 태그 데이터를 생성한 뒤, 생성된 모든 태그 데이터를 넘버링하여 광고 태그콘텐츠로 광고DB(42)에 저장한다(S12). 한편, 본 발명의 일 실시예로, 방송콘텐츠 서버(40)는 각 태그 데이터 생성시 단계(S11)에서 수신된 각 광고대상물에 대한 물체 인식에 사용되기 위해 이미지정보를 포함시켜 생성하는 것이 바람직하며, 광고DB(42)로 광고 태콘텐츠 저장시 방송콘텐츠의 방송송출 프레임별로 구분하여 구분에 따른 메타데이터를 생성하여 각 광고 태그콘텐츠와 함께 저장하는 것이 바람직하다.

단계(S12) 이후, 방송콘텐츠 서버(40)는 방송통신망(30)을 통해 스마트 TV(10)의 방송DB(41)에 저장된 방송콘텐츠에 대한 청취 요청에 따라 방송DB(41)에 저장된 방송콘텐츠와 광고DB(42)에 저장된 광고 태그콘텐츠를 방송송출 프레임 별로 패킷화하여 방송통신망(30)을 통해 스마트 TV(10)로 전송한다(S13).

단계(S13)에 따라 스마트 TV(10)는 방송송출 프레임별로 스트리밍 방식으로 방송콘텐츠 서버(40)로부터 수신되는 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 분리한 뒤, 분리된 광고 태그콘텐츠의 각 광고대상물별 태그 데이터를 리딩(reading) 한다(S14).

단계(S14) 이후, 스마트 TV(10)는 단계(S14)에서 리딩된 각 광고대상물별 태그 데이터에 포함된 이미지정보를 이용해 각 광고대상물에 대한 트래킹을 위한 위치트래킹 마킹을 설정한다(S15). 여기서 위치트래킹 마킹은 각 광고대상물이 광고콘텐츠 상에서의 각 방송송출 프레임에 따른 출력부(11)로의 구현시 각 광고대상물을 트래킹(tracking)하기 위한 표식자 역할을 수행한다. 보다 구체적으로, 단계(S15)에서의 위치트래킹 마킹 설정에 따라 방송콘텐츠 상에서 각 광고대상물의 위치가 변경 또는 입체적 관점이 변경되어도 자동적으로 위치 변경이나 입체적 관점 변경에 따른 실시간 변경데이터가 스마트 TV(10)에 의해 생성되어 저장부(15)에 저장됨으로써, 광고대상물에 대한 트래킹시 저장된 실시간 변경데이터가 활용되어 출력부(11) 상에 구현되는 UI 화면에서의 광고대상물의 위치가 자동적으로 추적되도록 한다.

한편, 단계(S15) 이후, 스마트 TV(10)는 추가적 과정으로 방송콘텐츠에 광고대상물을 제외한 대상물에 대한 인식을 자동적으로 수행하는 대상물 인식 과정인 단계(S16)을 더 수행할 수 있다. 스마트 TV(10)는 각 인식대상물에 대한 물체 인식시 입체적 관점 각각에 대한 인식을 개별적으로 수행하는 것이 바람직하다.

단계(S16)를 살펴보면, 스마트 TV(10)는 단계(S14)에서 방송송출 프레임별로 스트리밍 방식으로 수신되는 광고 태그콘텐츠의 각 광고대상물별 태그 데이터로 리딩되지 않은 대상물에 대한 물체 인식을 수행한다(S16a). 단계(S16a) 이후, 스마트 TV(10)는 단계(S16a)에서 인식된 인식대상물에 대한 방송통신망(30)을 통해 방송콘텐츠 서버(40)로의 질의 메시지 전송에 따라 인식대상물에 대한 추가적 태그 데이터를 추가적으로 수신한다(S16b). 단계(S16b) 이후, 그리고, 스마트 TV(10)는 각 인식대상물에 대한 방송콘텐츠의 이미지정보에 대한 물체 인식을 수행하고, 인식대상물에 대한 트래킹을 위한 위치트래킹 마킹을 설정한다(S16c).

여기서 각 인식대상물에 대한 트래킹을 위한 위치트래킹 마킹은, 방송콘텐츠 상에서 각 방송송출 프레임 단위로 출력부(11)의 UI 화면으로 구현시, 각 인식대상물의 UI 화면 상의 위치가 변경되거나 입체적 관점이 변경되어도 자동적으로 각 인식대상물의 위치 변경이나 입체적 관점 변경에 따른 실시간 변경데이터가 스마트 TV(10)에 의해 생성되어 상기 스마트 TV의 저장부(15)에 저장된 뒤, 각 인식대상물에 대한 트래킹시 저장된 실시간 변경데이터가 활용되어 출력부(11) 상에 구현되는 UI 화면에서의 인식대상물의 위치가 자동적으로 추적되도록 하기 위해서 설정된다.

단계(S15) 또는 단계(S16) 이후, 스마트 TV(10)는 출력부(11)로 광고 전환 인디케이터를 구현하며, 방송송출 프레임별 방송콘텐츠를 스트리밍 방식으로 수신과 동시에 출력을 개시 준비함으로써(S17), 단계(S10)의 방송송출 프레임별 방송콘텐츠 준비 과정을 완료한다.

단계(S11) 내지 단계(S17)에 따른 단계(S10) 수행 이후, 스마트 TV(10)는 단계(S15)에서 위치트래킹 마킹이 설정된 광고대상물, 그리고 단계(S16c)에서 위치트래킹 마킹이 설정된 인식대상물에 대한 암시효과를 설정한다(S21). 여기서 암시효과는 방송콘텐츠가 스트리밍 방식으로 구현시 광고대상물 및 인식대상물에 대한 명시적 노출전에 암시적으로 스마트 TV(10) 사용자에게 간접적으로 인지시키도록 하기 위한 유저 인터페이스(User Interface) 효과를 의미한다.

본 발명의 실시예로 암시효과는 서브리미날 효과(subliminal effect)가 사용될 수 있으며, 서브리미날 효과는 방송송출 프레임을 이루는 광고대상물을 포함하는 방송송출 이미지(broadcasting image) 사이에 하나의 암시 인디케이터만 포함시킨 엠프티 이미지(empty-image)를 삽입하는 방식으로 수행될 수 있다(도 3 참조).

한편, 서브리미날 효과를 위한 엠프티 이미지에서 광고대상물 내지는 인식대상물에 대해 도 3에 도시된 바와 같이 치마에 대한 색변화 설정, 구두에 대한 후광 설정이 하나의 예시가 될 수 있으며, 그 밖에 광고대상물 또는 인식대상물에 대한 애드바, 상태바, 아이콘, 테두리 컬러 설정이 또 다른 예가 될 수 있다.

단계(S21) 이후, 스마트 TV(10)는 출력부(11)로 방송송출 프레임별 방송콘텐츠와 함께 광고대상물 및 인식대상물에 대한 암시효과가 반영된 암시 인디케이터를 구현한다(S22). 상술한 바와 같이, 암시 인디케이터는 광고대상물 또는 인식대상물에 대한 색변화, 후광, 애드바, 상태바, 아이콘, 테두리 컬러로 구현가능하다.

단계(S22) 이후, 스마트 TV(10)는 출력부(11)로 방송송출 프레임별 방송콘텐츠에 대한 시간의 흐름에 따른 광고대상물별 또는 인식대상물별 암시 인디케이터에 대한 트래킹 효과를 구현한다(S23). 여기서 트래킹 효과는 단계(S15)에서 위치트래킹 마킹이 설정된 광고대상물, 그리고 단계(S16c)에서 위치트래킹 마킹이 설정된 인식대상물에 대한 물체 인식에 따라 암시 인디케이터의 위치 또는 형상을 변환시켜 구현하는 것을 의미한다.

한편 단계(S23) 이후, 상술한 단계(S23a-1) 내지 단계(S23a-14)에 따른 암시적 광고 구현시 단계(S21) 및 단계(S22)에 따른 암시효과, 그리고 단계(S23)에 따른 트래킹 효과가 적용된 광고대상물 및 인식대상물에 대해 도 8에서 상술한 타임머신 기능에 의한 광고 제공 과정이 더 수행된다.

단계(S23a) 이후, 스마트 TV(10)는 명시적 광고 전환을 위해 입력인터페이스(13)로부터 광고 전환 인디케이터 선택신호에 대한 수신을 대기한 뒤(S24), 광고 전환 인디케이터 선택신호 수신 여부를 판단함으로써(S25), 암시적 광고출력 과정을 종료한다.

단계(S25)의 판단 결과 광고 전환 인디케이터 선택신호를 수신한 경우 스마트 TV(10)는 출력부(11)로 방송송출 프레임별 방송콘텐츠와 함께 광고대상물 및 인식대상물에 대한 대상물 표식자를 구현하며, 대상물 표식자 선택시 선택된 광고대상물 또는 인식대상물에 대한 태그 데이터를 통해 광고를 구현한다(S31).

한편, 스마트 TV(10)는 다수의 대상물 표식자 중 하나의 대상물 표식자에 대한 선택입력을 수신할 경우, 센싱부(12)를 통해 저장부(15)에 미리 저장된 인식데이터에 따른 방식으로 수행될 수 있다. 하나의 예로 센싱부(12)가 카메라촬영 방식의 인식모듈로 구현된 경우, 카메라 촬영을 통한 안구 인식의 결과 사용자의 눈길이 자주 가는 곳에 선택신호로 인식되거나, 사용자 촬영에 따른 사용자를 인식하여 인식된 사용자에 대해 저장부(15) 상에 저장된 관심카테고리 정보와 매칭되는 광고대상물에 해당하는 대상물 표식자를 인식하는 방식으로 수행될 수 있다.

단계(S31) 이후, 스마트 TV(10)는 출력부(11)로 방송송출 프레임별 방송콘텐츠의 흐름에 따른 광고대상물별 또는 인식대상물별 대상물 표식자를 이용한 트래킹 효과를 구현한다(S32). 여기서 트래킹 효과는 단계(S15)에서 위치트래킹 마킹이 설정된 광고대상물, 그리고 단계(S16c)에서 위치트래킹 마킹이 설정된 인식대상물에 대한 물체 인식에 따라 대상물 표식자의 위치를 변환시켜 구현하는 것을 의미한다.

한편 단계(S32) 이후, 상술한 단계(S32a-1) 내지 단계(S32a-7)에 따라 암시적 광고 구현시 단계(S32)에 따른 트래킹 효과가 적용된 광고대상물 및 인식대상물에 대한 도 9에서 상술한 타임머신 기능에 의한 광고 제공 과정이 더 수행된다.

단계(S32) 이후, 스마트 TV(10)는 입력인터페이스(13)로부터 다수의 광고 대상물 및 다수의 인식대상물 중 하나에 대한 선택신호 수신 대기한다(S33).

단계(S33) 이후, 스마트 TV(10)는 다수의 광고대상물 및 다수의 인식대상물 중 하나에 대한 선택신호 수신 여부에 대한 판단을 수행함으로써(S34), 명시적 광고를 수행을 완료한다.

단계(S34)의 판단 결과 다수의 광고대상물 및 다수의 인식대상물 중 하나에 대한 선택신호시, 스마트 TV(10)는 단계(S34)에서 선택된 광고대상물 또는 인식대상물에 대한 모션 제스처를 통한 구매 절차를 수행한다(S40).

보다 구체적으로, 스마트 TV(10)는 선택된 광고대상물 또는 인식대상물에 대한 리모컨(20)으로부터 모션 제스처 입력신호를 리모컨 신호 수신부(13b)를 통해 수신하거나 입력부(13a)로의 모션 제스처 입력신호 수신을 통한 모션 제스처 입력시 선택된 광고대상물 또는 인식대상물에 대한 구매 요청으로 인식하여 구매 과정을 수행한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

10: 스마트 TV
11: 출력부
12: 센싱부
13: 입력 인터페이스
13a: 입력부
13b: 리모컨 신호 수신부
13c: 음성수신부
13d: 카메라부
14: 제어연산부
14a: 방송콘텐츠 처리모듈
14b: 암시적 광고 구현모듈
14c: 명시적 광고 구현모듈
14d: 광고대상물 구매모듈
14e: 타임머신 제공모듈
14e-1: 대상물 캡처 수단
14e-2: 대상물 선택 수단
14e-3: 대상물 구현 수단
15: 저장부
16: 유무선 통신모듈
STB: 셋탑박스
20: 리모컨
30: 방송통신망
40: 방송콘텐츠 서버
50: 스마트 모바일 디바이스
60: 데이터통신망
70: 제휴 광고주단말 그룹

Claims (24)

1. 출력부에 UI 화면으로 구현되고 있는 방송콘텐츠에서 광고대상물에 대한 사용자에 대한 동공 확대가 센싱된 경우, 동공 확대가 센싱된 광고대상물을 포함하는 방송콘텐츠의 현재 구현 이미지를 캡처하여 캡처이미지를 생성하고, 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하는 과정을 적어도 한번 이상 수행한 뒤, 상기 캡처된 캡처이미지 중 하나에 대한 선택을 위해 상기 사용자의 모션 이미지 센싱에 따른 캡처이미지 선택신호가 수신된 경우, 선택된 캡처이미지와 매칭되어 저장된 캡처 전후의 미리 설정된 시간에 해당하는 방송컨텐츠를 구현하는 타임머신 제공모듈; 및
   방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현을 위해 방송통신망을 통해 방송콘텐츠 서버로부터 패킷화된 방송콘텐츠와 광고 태그콘텐츠를 수신하여 상기 방송콘텐츠와 상기 광고 태그콘텐츠를 분리하여 상기 방송콘텐츠에 대한 프레임 단위의 스트리밍 방식 구현을 준비하는 방송콘텐츠 처리모듈;을 포함하고,
   상기 방송콘텐츠 처리모듈은 분리된 광고 태그콘텐츠에 포함된 각 광고대상물별 태그 데이터를 리딩(reading) 한 뒤, 상기 각 광고대상물별 태그 데이터에 포함된 이미지정보를 이용해 각 광고대상물에 대한 트래킹(tracking: 추적)을 위한 위치트래킹 마킹을 설정하고, 상기 광고 태그콘텐츠 상에서 각 광고대상물별 태그 데이터로 리딩되지 않은 적어도 하나 이상의 대상물 중 물체에 대한 인식을 수행하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
2. 청구항 1에 있어서,
   상기 광고 태그콘텐츠에 포함된 각 태그 데이터와 매칭되는 광고대상물에 대한 명시적 광고 전환을 위한 광고 전환 인디케이터와, 상기 각 광고대상물에 대한 암시 인디케이터를 상기 방송콘텐츠에 대한 출력부로의 프레임 단위의 스트리밍 방식으로의 구현과 함께 상기 사용자에게 인지시키는 암시적 광고 구현모듈; 을 더 포함하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
3. 삭제
4. 삭제
5. 청구항 2에 있어서, 상기 방송콘텐츠 처리모듈은,
   인식된 인식대상물에 대한 상기 방송통신망을 통해 상기 방송콘텐츠 서버로의 질의 메시지 전송에 따라 각 인식대상물에 대한 추가적 태그 데이터를 반환은 뒤, 상기 각 인식대상물에 대한 상기 방송콘텐츠 상에서의 물체 인식을 수행하고, 상기 인식대상물에 대한 트래킹을 위한 위치트래킹 마킹을 설정하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
6. 청구항 5에 있어서, 상기 암시적 광고 구현모듈은,
   상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물에 대한 암시효과를 설정한 뒤, 상기 출력부로 상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물에 대한 상기 암시효과가 반영된 상기 암시 인디케이터를 구현하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
7. 청구항 6에 있어서, 상기 암시적 광고 구현모듈은,
   상기 출력부로 방송송출 프레임 단위의 스트리밍 방식으로 방송콘텐츠 구현시, 상기 위치트래킹 마킹이 설정된 광고대상물 및 인식대상물 각각에 대한 암시 인디케이터에 대한 트래킹 효과를 구현하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
8. 청구항 7에 있어서, 상기 타임머신 제공모듈은,
   상기 출력부 상에 현재 출력되고 있는 방송콘텐츠에 포함된 상태로 암시효과 및 트래킹 효과가 적용된 광고대상물 및 인식대상물을 이용한 암시적 광고 구현에 따라, 음성수신부를 통해 외부로부터 동작인식 음성신호를 수신하여 타임머신 기능을 개시하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
9. 청구항 8에 있어서, 상기 타임머신 제공모듈은,
   상기 사용자의 동공을 물체 인식 기법에 의해 검출하고,사용자의 동공 크기 확대 및 축소 정보에 대한 센싱을 개시하도록 카메라부를 제어한 뒤, 상기 카메라부에 의해 촬영된 동공 촬영 데이터를 기초로 상기 사용자의 동공 크기가 확대된 상태인 경우 현재의 방송콘텐츠에 암시효과 및 트래킹 효과가 적용된 광고대상물 및 인식대상물을 포함시켜 캡처하여 상기 캡처이미지를 생성하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
   
10. 청구항 9에 있어서, 상기 타임머신 제공모듈은,
    상기 캡처 전후의 미리 설정된 시간에 해당하는 방송콘텐츠를 저장하고, 저장된 캡처이미지는 상기 UI 화면 중 캡처이미지 영역으로 구분하여 구현하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
    
11. 청구항 8에 있어서, 상기 타임머신 제공모듈은,
    상기 동공 크기 확대 및 축소 정보에 대한 센싱 뿐만 아니라, 현재 출력되는 방송콘텐츠 상에 복수의 광고대상물 및 인식대상물이 포함된 경우 상기 사용자의 양안의 동공과 홍채의 배열을 기초로 상기 사용자가 바라보는 UI 화면의 지점에 대한 분석을 더 수행하여, 현재 출력되는 방송콘텐츠 상에서 바라보는 광고대상물 또는 인식대상물의 위치까지 센싱하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
    
12. 청구항 10에 있어서, 상기 타임머신 제공모듈은,
    상기 캡처이미지 영역에 구현되고 있는 캡처된 캡처이미지 중 하나에 대해서 상기 카메라부에 대한 촬영데이터를 이용한 상기 사용자의 모션 이미지 센싱에 의한 캡처이미지 선택신호를 수신하면, 상기 캡처이미지 선택신호에 따라 선택된 캡처이미지와 매칭되어 저장된 방송콘텐츠를 상기 UI 화면 중 타임머신 영역으로 구분하여 구현하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
    
13. 청구항 12에 있어서, 상기 타임머신 제공모듈은,
    상기 타임머신 영역으로 방송콘텐츠 구현시 상기 선택된 캡처이미지에 포함된 광고대상물와 매칭되는 암시효과 및 트래킹 효과를 적용하여 수행하는 것을 특징으로 하는 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 TV.
    
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제

Images