[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5948773B2 - 受信装置、受信方法、プログラム、及び情報処理システム - Google Patents

受信装置、受信方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
JP5948773B2
JP5948773B2 JP2011207842A JP2011207842A JP5948773B2 JP 5948773 B2 JP5948773 B2 JP 5948773B2 JP 2011207842 A JP2011207842 A JP 2011207842A JP 2011207842 A JP2011207842 A JP 2011207842A JP 5948773 B2 JP5948773 B2 JP 5948773B2
Authority
JP
Japan
Prior art keywords
content
command
identification result
receiving device
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011207842A
Other languages
English (en)
Other versions
JP2013070268A (ja
Inventor
北里 直久
直久 北里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011207842A priority Critical patent/JP5948773B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CA2845593A priority patent/CA2845593C/en
Priority to CN201280044760.1A priority patent/CN103814569B/zh
Priority to MX2014003104A priority patent/MX336516B/es
Priority to EP12833101.4A priority patent/EP2760200A4/en
Priority to BR112014006092A priority patent/BR112014006092A2/pt
Priority to PCT/JP2012/072354 priority patent/WO2013042531A1/ja
Priority to KR1020147006557A priority patent/KR102086870B1/ko
Priority to US14/241,759 priority patent/US9503778B2/en
Priority to AU2012310795A priority patent/AU2012310795B2/en
Publication of JP2013070268A publication Critical patent/JP2013070268A/ja
Application granted granted Critical
Publication of JP5948773B2 publication Critical patent/JP5948773B2/ja
Priority to US15/290,814 priority patent/US9967613B2/en
Priority to US15/356,009 priority patent/US10440423B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237Communication with additional data server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Description

本技術は、受信装置、受信方法、プログラム、及び情報処理システムに関し、特に、ACR技術を用いてAVコンテンツに連動するアプリケーションプログラムを提供することができるようにした受信装置、受信方法、プログラム、及び情報処理システムに関する。
デジタルテレビジョン放送信号を受信する受信装置において、デジタルテレビジョン番組等のAVコンテンツと連動して実行されるアプリケーションプログラムをインターネットに接続されたサーバから取得して実行するサービスが普及することが予想される。そのため、このような放送と通信を融合したハイブリッドサービスを実現するための技術の検討が行われている(例えば、特許文献1参照)。
また、地上波放送を直接受信しないで、CATV網や衛星通信網を介して受信する場合、それらの放送信号と同期した制御信号を送信することで、放送と通信のハイブリッドサービスを実現することが検討されているが、既存のCATV網や衛星放送網の設備、専用端末の改修を行わなければ、サービスを実現することが難しいというのが現状である。
特開2006−245653号公報
ところで、ACR(Automatic Content Recognition)と称される、番組等のAVコンテンツを識別する技術が知られている。ACR技術では、識別対象となるAVコンテンツのビデオ信号及びオーディオ信号から抽出された特徴量を、あらかじめ多数のAVコンテンツのビデオ信号及びオーディオ信号から抽出された特徴量が登録されているデータベースと照合することで、AVコンテンツの識別が行われる。
ACR技術を用いてAVコンテンツを識別して、さらに識別されたAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができれば、放送と通信のハイブリッドサービスを実現することができる。しかしながら、現状では、ACR技術を用いて、AVコンテンツに連動して実行されるアプリケーションプログラムを提供するための技術方式は確立されていない。
本技術はこのような状況に鑑みてなされたものであり、ACR技術を用いてAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができるようにするものである。
本技術の第1の側面の受信装置は、AVコンテンツを受信する受信部と、受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出する検出部と、前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報を記憶する記憶部とを備え、前記特徴量抽出部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、前記識別結果取得部は、抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、前記制御部は、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる。
本技術の第1の側面の受信装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術の第1の側面の受信方法又はプログラムは、前述した本技術の第1の側面の受信装置に対応する受信方法又はプログラムである。
本技術の第1の側面の受信装置、受信方法、及びプログラムにおいては、AVコンテンツが受信され、受信された前記AVコンテンツのデータから特徴量が抽出され、抽出された前記特徴量を用いて識別された前記AVコンテンツの識別結果が取得され、取得された前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドが取得され、取得された前記コマンドに応じて、前記アプリケーションプログラムの動作が制御され、視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えが検出され、前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報が記憶され、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量が抽出され、抽出された前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果が取得され、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムが終了される。
本技術の第2の側面の受信装置は、AVコンテンツを受信する受信部と、受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出する検出部とを備えた受信装置であって、前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、所定のインターフェースの規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出し、前記制御部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる。
本技術の第2の側面の受信装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術の第2の側面の受信方法又はプログラムは、前述した本技術の第2の側面の受信装置に対応する受信方法又はプログラムである。
本技術の第2の側面の受信装置、受信方法、及びプログラムにおいては、AVコンテンツが受信され、受信された前記AVコンテンツのデータから特徴量が抽出され、抽出された前記特徴量を用いて識別された前記AVコンテンツの識別結果が取得され、取得された前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドが取得され、取得された前記コマンドに応じて、前記アプリケーションプログラムの動作が制御され、視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えが検出され、送信装置から送信される前記AVコンテンツのデータを受信装置に応じて変換する情報処理装置と、所定のインターフェースの規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツが受信され、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出され、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムが終了される。
本技術の第の側面の情報処理システムは、受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、前記受信装置は、AVコンテンツを受信する受信部と、受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、抽出した前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作を制御する制御部と、視聴される前記AVコンテンツの切り替えを検出する検出部とを備え、前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させ、前記第1の情報処理装置は、前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果を提供する第1の提供部を備え、前記第2の情報処理装置は、前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドを提供する第2の提供部を備え、前記第3の情報処理装置は、前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムを提供する第3の提供部を備える。
本技術の第の側面の情報処理システムにおいては、受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、前記受信装置によって、AVコンテンツが受信され、受信された前記AVコンテンツのデータから特徴量が抽出され、抽出された前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果が取得され、前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドが取得され、前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作が制御され、視聴される前記AVコンテンツの切り替えが検出され、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムが終了され、前記第1の情報処理装置によって、前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果が提供され、前記第2の情報処理装置によって、前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドが提供され、前記第3の情報処理装置によって、前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムが提供される。
本技術の第1の側面乃至第3の側面によれば、ACR技術を用いてAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができる。
放送システムの構成例を示す図である。 受信装置の構成例を示す図である。 各装置間の連携を示すシーケンス図である。 ACR技術の概念を説明する図である。 ビデオ信号を用いたチャンネル切り替え検出の例を示す図である。 オーディオ信号を用いたチャンネル切り替え検出の例を示す図である。 データ放送用アプリの動作の例を示す図である。 データ放送用アプリの動作の例を示す図である。 コマンドに含まれる情報の項目の一例を示す図である。 コマンドの詳細仕様を示す図である。 コマンドの詳細仕様を示す図である。 コマンドの記述例を示す図である。 アプリケーションの状態遷移を示す図である。 各コマンドと状態遷移の関係を示す図である。 ACR識別結果に応じたコマンド対応処理を示すフローチャートである。 同期制御処理を示すフローチャートである。 動作シナリオの例を示す図である。 動作シナリオの例を示す図である。 放送システムの他の構成例を示す図である。 受信装置の他の構成例を示す図である。 本技術を適用した放送システムの具体例を示す図である。 通信システムの構成例を示す図である。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。
<第1の実施の形態>
[放送システムの構成例]
図1は、第1の実施の形態である放送システム1を示している。この放送システム1は、放送装置11、受信装置12、ACRサーバ13、コマンドサーバ14、アプリサーバ15、CATV装置17、及びセットトップボックス19から構成される。
受信装置12、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15は、インターネット16を介して、相互に接続されている。また、受信装置12は、セットトップボックス19とHDMIケーブル20を介して接続され、CATV装置17とセットトップボックス19は、CATV網18を介して接続されている。
放送装置11は、例えばデジタルテレビジョン番組の放送を行う放送事業者により提供される。放送装置11は、AVコンテンツのデジタルテレビジョン放送信号を送信(放送)するようになされている。なお、以下の説明では、放送装置11から送信されるAVコンテンツの一例として、デジタルテレビジョン番組を説明する。
受信装置12は、放送装置11から送信されたデジタルテレビジョン放送信号を受信して、デジタルテレビジョン番組の映像及び音声を取得する。受信装置12は、取得した映像をディスプレイ(後述する図2のディスプレイ32)に出力するとともに、音声をスピーカ(後述する図2のスピーカ31)に出力する。
なお、受信装置12は、単体として存在してもよいし、例えば、テレビジョン受像機やビデオレコーダ等に内蔵されているようにしてもよい。また、受信装置12は、リモートコントローラ12Rに対する操作に応じたコマンドを赤外線により受光する受光部(後述する図2の受光部71)を有しており、当該コマンドに応じて、例えばチャンネルの切り替えなどの各種の動作を行う。受信装置12の詳細な構成は、図2を参照して後述する。
また、受信装置12は、定期的に、インターネット16を介してACRサーバ13にアクセスして、デジタルテレビジョン番組の識別結果を問い合わせる。その際、デジタルテレビジョン番組のビデオ信号及びオーディオ信号から抽出される特徴量(以下、フィンガプリント情報(Finger Print)ともいう)が、ACRサーバ13に送信される。
ACRサーバ13は、任意のAVコンテンツのビデオ信号及びオーディオ信号から抽出された特徴量が登録されているデータベースを有しており、インターネット16に接続された任意の受信装置12からの問い合わせに応じて、ACR(Automatic Content Recognition)技術を用いたAVコンテンツの識別を行う。具体的には、ACRサーバ13は、受信装置12からのフィンガプリント情報を、データベースと照合することで、デジタルテレビジョン番組を識別し、その識別結果を、インターネット16を介して受信装置12に送信する。
受信装置12は、ACRサーバ13から受信した識別結果に応じて、インターネット16を介してコマンドサーバ14にアクセスして、デジタルテレビジョン番組に連動して実行されるデータ放送用のアプリケーションプログラムの動作を制御するためのコマンドを取得する。以下、デジタルテレビジョン番組等のAVコンテンツに連動して実行されるアプリケーションプログラムを、データ放送用アプリと称して説明する。
コマンドサーバ14は、例えば放送事業者やケーブルテレビ事業者等の事業者により提供されるサーバであって、データ放送用アプリの動作を制御するためのコマンドを管理する。コマンドサーバ14は、受信装置12からの問い合わせに応じて、コマンドを、インターネット16を介して受信装置12に送信する。
受信装置12は、コマンドサーバ14から受信したコマンドに応じて、データ放送用アプリの動作を制御する。また、受信装置12は、コマンドサーバ14から受信したコマンドに応じて、インターネット16を介してアプリサーバ15にアクセスし、データ放送用アプリを取得する。
アプリサーバ15は、例えば放送事業者やケーブルテレビ事業者等の事業者により提供されるサーバであって、データ放送用アプリを管理する。アプリサーバ15は、受信装置12からの問い合わせに応じて、データ放送用アプリを、インターネット16を介して受信装置12に送信する。
CATV装置17は、例えばケーブルテレビ事業者により提供される。CATV装置17は、放送装置11から送信されるデジタルテレビジョン放送信号を受信して、デジタルテレビジョン番組の映像及び音声を取得する。CATV装置17は、デジタルテレビジョン放送信号を、ケーブルテレビジョン番組を送信(放送)するためのケーブルテレビジョン放送信号に変換して、CATV網18に接続されたセットトップボックス19に再送信する。
なお、CATV装置17は、ケーブルテレビジョン番組として、放送装置11から取得したデジタルテレビジョン番組を再送信するに限らず、ケーブルテレビ事業者が自主制作した番組を送信するようにしてもよい。なお、以下の説明では、CATV装置17から送信されるAVコンテンツの一例として、ケーブルテレビジョン番組を説明する。
セットトップボックス19は、ケーブルテレビジョン用のSTB(Set Top Box)であって、CATV網18と接続される。また、セットトップボックス19は、HDMI(High Definition Multimedia Interface)端子を有する受信装置12と、HDMIケーブル20を介して接続される。セットトップボックス19は、CATV網18を介してCATV装置17から受信したケーブルテレビジョン放送信号を、受信装置12にて対応可能な信号に変換する。そして、セットトップボックス19は、HDMI規格に基づいて、変換後のケーブルテレビジョン放送信号から得られるオーディオ信号及びビデオ信号を、制御信号などとともに、HDMIケーブル20を介して受信装置12に出力する。
なお、セットトップボックス19は、リモートコントローラ19Rに対する操作に応じたコマンドを赤外線により受光する受光部(不図示)を有しており、当該コマンドに応じて、例えばチャンネルの切り替えなどの各種の動作を行う。
受信装置12は、セットトップボックス19からのオーディオ信号及びビデオ信号、その他制御信号を受信して、ケーブルテレビジョン番組の映像及び音声を取得し、取得した映像をディスプレイ(図2のディスプレイ32)に出力するとともに、音声をスピーカ(図2のスピーカ31)に出力する。
また、受信装置12は、ケーブルテレビジョン番組についても、前述したデジタルテレビジョン番組の場合と同様に、ACRサーバ13にアクセスして、ケーブルテレビジョン番組のデータから抽出されるフィンガプリント情報の識別結果を問い合わせることができる。そして、受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14からコマンドを取得して、データ放送用アプリの動作を制御することができる。受信装置12はまた、コマンドサーバ14からのコマンドに応じて、アプリサーバ15からデータ放送用アプリを取得することができる。
図1の放送システム1は、以上のように構成される。
なお、以下の説明では、前述したように、受信装置12により受信されるAVコンテンツの一例として、放送装置11からのデジタルテレビジョン番組、又はCATV装置17からのケーブルテレビジョン番組が受信される例を説明する。また、以下の説明では、デジタルテレビジョン番組と、ケーブルテレビジョン番組を区別する必要がない場合には、単に番組と称して説明する。
また、図1の放送システムの例では、説明の都合上、受信装置12が、放送装置11からのデジタルテレビジョン番組と、CATV装置17からのケーブルテレビジョン番組の双方を受信可能な構成の例を図示しているが、いずれか一方の番組のみを受信可能な構成とすることも可能である。
[受信装置の構成例]
図2は、図1の受信装置12の構成例を示している。
受信装置12は、チューナ51、多重分離部52、オーディオデコーダ53、セレクタ54、オーディオ出力部55、ビデオデコーダ56、セレクタ57、ビデオ出力部58、HDMI端子59、フィンガプリント抽出部60、通信I/F61、コマンド解析部62、クロック同期部63、制御部64、メモリ65、操作部66、アプリエンジン67、キャッシュメモリ68、アプリ用メモリ69、チャンネル切替検出部70、及び受光部71から構成される。
チューナ51は、放送装置11からのデジタルテレビジョン放送信号をアンテナ(不図示)を介して受信する。チューナ51は、ユーザによって選局されたチャンネルに対応するデジタルテレビジョン放送信号を復調し、その結果得られるトランスポートストリーム(Transport Stream、以下、TSという)を多重分離部52に出力する。
多重分離部52は、チューナ51から入力されるTSをオーディオ符号化信号と、ビデオ符号化信号に分離し、それぞれをオーディオデコーダ53と、ビデオデコーダ56に出力する。また、多重分離部52は、TSを構成するTSパケットからPCR(Program Clock Reference)を抽出して、クロック同期部63に供給する。
オーディオデコーダ53は、入力されたオーディオ符号化信号をデコードし、その結果得られるオーディオ信号をセレクタ54に出力する。ビデオデコーダ56は、入力されたビデオ符号化信号をデコードし、その結果得られるビデオ信号をセレクタ57に出力する。
HDMI端子59は、HDMI規格に準拠した端子であって、HDMIケーブル20を介してセットトップボックス19に接続される。HDMI端子59は、HDMI規格に基づいて、セットトップボックス19から出力されるオーディオ信号及びビデオ信号を制御信号などとともに受信する。HDMI端子59は、受信した各種の信号のうち、オーディオ信号をセレクタ54に出力し、ビデオ信号をセレクタ57に出力する。
セレクタ54には、オーディオデコーダ53からのオーディオ信号と、HDMI端子59からのオーディオ信号が入力される。セレクタ54は、制御部64からの制御に従い、オーディオデコーダ53又はHDMI端子59のいずれか一方から入力されたオーディオ信号を選択して、オーディオ出力部55、フィンガプリント抽出部60、及びチャンネル切替検出部70に出力する。すなわち、セレクタ54は、制御部64からの制御に従い、デジタルテレビジョン番組が視聴される場合には、その入力をオーディオデコーダ53側に切り替える一方、ケーブルテレビジョン番組が視聴される場合には、その入力をHDMI端子59側に切り替える。
セレクタ57には、ビデオデコーダ56からのビデオ信号と、HDMI端子59からのビデオ信号が入力される。セレクタ57は、制御部64からの制御に従い、ビデオデコーダ56又はHDMI端子59のいずれか一方から入力されたビデオ信号を選択して、ビデオ出力部58、フィンガプリント抽出部60、及びチャンネル切替検出部70に出力する。すなわち、セレクタ57は、制御部64からの制御に従い、デジタルテレビジョン番組が視聴される場合には、その入力をビデオデコーダ56側に切り替える一方、ケーブルテレビジョン番組が視聴される場合には、その入力をHDMI端子59側に切り替える。
オーディオ出力部55は、セレクタ54から入力されたオーディオ信号を、スピーカ31に出力する。また、ビデオ出力部58は、セレクタ57から入力されたビデオ信号を、ディスプレイ32に出力する。これにより、AVコンテンツの映像がディスプレイ32に表示されるとともに、その音声がスピーカ31から出力されるととなり、選局されたチャンネルの番組が視聴可能となる。なお、スピーカ31及びディスプレイ32は、受信装置12と一体に構成されていてもよい。
フィンガプリント抽出部60には、セレクタ54からのオーディオ信号と、セレクタ57からのビデオ信号が供給される。フィンガプリント抽出部60は、オーディオ信号及びビデオ信号のいずれか一方又は双方から特徴量を抽出し、フィンガプリント情報として、通信I/F61に供給する。
通信I/F61は、フィンガプリント抽出部60からのフィンガプリント情報を、インターネット16を介してACRサーバ13に送信する。また、通信I/F61は、ACRサーバ13から送信される番組の識別結果を受信し、制御部64に供給する。
制御部64は、メモリ65にあらかじめ記憶されている制御用プログラムを実行することにより受信装置12の各部の動作を制御する。メモリ65には、制御部64によって実行される制御用プログラムがあらかじめ記憶されている。この制御用プログラムは、デジタルテレビジョン放送信号、又はインターネット16を介して取得する更新データに基づいて更新することができる。また、メモリ65は、制御部64からの各種のデータを適宜記憶する。操作部66は、ユーザからの各種の操作を受け付けて、それに対応する操作信号を制御部64に通知する。
また、制御部64は、通信I/F61からの識別結果に応じて、通信I/F61を制御して、インターネット16を介してコマンドサーバ14にアクセスし、コマンドを問い合わせる。通信I/F61は、コマンドサーバ14から送信されるコマンドを受信し、コマンド解析部62に供給する。
コマンド解析部62は、通信I/F61からのコマンドを解析し、その解析結果を制御部64に供給する。
クロック同期部63は、例えばPLL(Phase Locked Loop)によって構成され、多重分離部52からのPCRに応じたシステムクロックを、オーディオデコーダ53、ビデオデコーダ56、及び制御部64など、受信装置12の各部に供給する。これにより、受信装置12では、放送装置11と同期したシステムクロックを得ることができるため、オーディオ信号及びビデオ信号を再生することができる。
制御部64は、コマンド解析部62からの解析結果に基づき、番組に連動したデータ放送用アプリの取得若しくは登録、取得若しくは起動(実行)、イベント発火、中断、又は終了等を制御する。また、制御部64は、コマンド解析部62からの解析結果に基づき、クロック同期部63からのシステムクロックを基準に、コマンドの実行のタイミングを制御する。
アプリエンジン67は、制御部64からの制御に従い、通信I/F61を制御して、インターネット16を介してアプリサーバ15にアクセスし、データ放送用アプリを要求する。通信I/F61は、アプリサーバ15から送信されるデータ放送用アプリを受信し、キャッシュメモリ68に保持させる。
アプリエンジン67は、制御部64からの制御に従い、キャッシュメモリ68に保持されているデータ放送用アプリを読み出して実行する。実行中のデータ放送用アプリのビデオ信号は、ビデオ出力部58に供給される。
ビデオ出力部58は、アプリエンジン67から入力されるビデオ信号と、セレクタ57から入力されたビデオ信号を合成して、ディスプレイ32に出力する。
アプリ用メモリ69は、ワークメモリ69A及び退避メモリ69Bとからなる。アプリエンジン67は、実行中のデータ放送用アプリに関するデータ(具体的には、表示されている情報の階層などを含む)をワークメモリ69Aに記録する。また、アプリエンジン67は、実行中のデータ放送用アプリを休止する場合、アプリ用メモリ69のワークメモリ69Aのデータを退避メモリ69Bに移動させる。そして、休止したデータ放送用アプリを再開する場合、退避メモリ69Bのデータをワークメモリ69Aに移動させて休止前の状態を復活させる。
チャンネル切替検出部70は、番組のチャンネルの切り替えを検出する。具体的には、チャンネル切替検出部70は、セレクタ54からのオーディオ信号及びセレクタ57からのビデオ信号のいずれか一方又は双方を解析することで、番組のチャンネルの切り替えを検出し、その検出結果を制御部64に供給する。
また、チャンネル切替検出部70には、受光部71からリモートコントローラ12R又はリモートコントローラ19Rに対する操作に応じたコマンドが入力される。チャンネル切替検出部70は、受光部71からのコマンドに基づいて、番組のチャンネルの切り替えを検出して、その検出結果を制御部64に供給する。
制御部64は、チャンネル切替検出部70からの検出結果に基づき、アプリエンジン67を制御して、番組に連動して実行されているデータ放送用アプリを終了させる。
図2の受信装置12は、以上のように構成される。
[各装置間の連携]
次に、図3乃至図8を参照して、図1の放送システム1を構成する各装置間の連携について説明する。図3は、受信装置12でのチャンネル選局時と、チャンネル切り替え時における各装置間の連携を示すシーケンス図である。
図3に示すように、放送装置11は、デジタルテレビジョン放送信号を送信し、CATV装置17は、ケーブルテレビジョン放送信号を送信している。受信装置12においては、ユーザにより所望のチャンネルが選局されると、放送装置11からのデジタルテレビジョン放送信号、又はセットトップボックス19を介してCATV装置17からのケーブルテレビジョン放送信号のいずれかが受信される。受信装置12は、受信した放送信号に対応する番組の映像をディスプレイ32に表示するとともに、対応する音声をスピーカ31から出力する(S11)。
また、受信装置12では、定期的に、番組のビデオ信号及びオーディオ信号から特徴量が抽出され(S12)、それらの特徴量が、フィンガプリント情報として、ACRサーバ13に送信される(S13)。
ACRサーバ13は、ACR識別処理を行い、受信装置12からのフィンガプリント情報を、データベースと照合することで、受信装置12にて選局中の番組を識別する(S14)。具体的には、図4に示すように、ACRサーバ13では、受信装置12からフィンガプリント情報による問い合わせを受けると、ACR識別処理部13Aによって、フィンガプリント情報が、あらかじめ用意されたFPデータベース13Bと照合され、受信装置12にて選局中の番組が識別される。
なお、フィンガプリント情報(特徴量)は、例えば、AVコンテンツの全体又は一部構成要素の固有情報であって、FPデータベース13Bには、あらかじめ多数のAVコンテンツの固有情報が登録されている。ACR識別処理では、例えば、それらの固有情報の類似度又は一致度が判定される。なお、この類似度又は一致度の判定方法としては、各種の文献などによって開示されている、公知の技術を用いることができる。ACR技術を用いることで、AVコンテンツの解像度、アスペクト比、ビットレート、又はフォーマットなどの情報に依存せずに、ビデオ信号及びオーディオ信号の特徴量からAVコンテンツを識別することができる。
このACR識別処理によって、番組のチャンネル番号を識別するための情報(以下、チャンネル識別情報という)と、番組の開始から終了までを時間軸で表したときのフィンガプリント情報が抽出された時間位置を示す情報(以下、時間位置情報という)が得られる。また、FPデータベース13Bには、チャンネル識別情報と対応して、その番組に連動して実行されるデータ放送用アプリの動作を制御するためのコマンドの取得先を示す情報(以下、コマンド取得先情報という)が格納されている。例えば、コマンド取得先情報としては、コマンドサーバ14のURL(Uniform Resource Locator)が記述される。
ACR識別処理部13Aは、FPデータベース13Bから、識別されたチャンネル番号に対応するコマンド取得先情報を取得する。そして、ACR識別処理部13Aは、ACR識別処理の識別結果として、チャンネル識別情報、時間位置情報、及びコマンド取得先情報を、問い合わせ元の受信装置12に送信する(S15)。
受信装置12は、ACRサーバ13からの識別結果を取得して、その識別結果を解析する(S16)。また、受信装置12は、識別結果の解析結果に従って、コマンド取得先情報に記述されたURLのコマンドサーバ14にアクセスして、チャンネル識別情報及び時間位置情報を送信することで、受信装置12にて実行可能となるコマンドを問い合わせる(S17)。
コマンドサーバ14は、受信装置12からの問い合わせに応じて、チャンネル識別情報及び時間位置情報に応じたコマンドを、受信装置12に送信する(S18)。具体的には、例えば、コマンドサーバ14は、番組ごとに実行可能となるコマンドを管理しており、受信装置12からのチャンネル識別情報に対応する番組において、時間位置情報に対応する時間帯に実行可能となるコマンドを特定する。例えば、コマンドサーバ14は、受信装置12からの時間位置情報に基づいて、受信装置12にて対象となるフィンガプリント情報が抽出された時刻から次のフィンガプリント情報が抽出されるまでの間(例えば、数秒間)に動作させるべき1又は複数のコマンドを特定する。そして、コマンドサーバ14は、特定されたコマンドを、インターネット16を介して受信装置12に送信する。
受信装置12は、コマンドサーバ14からのコマンドを取得して、そのコマンドを解析する(S19)。また、受信装置12は、コマンドの解析結果に従って、アプリサーバ15にアクセスし、選局中の番組に連動して実行されるデータ放送用アプリを要求する(S20)。
アプリサーバ15は、受信装置12からのアプリ要求に応じて、データ放送用アプリを、受信装置12に送信する(S21)。そして、受信装置12は、アプリサーバ15からのデータ放送用アプリを取得して実行する(S22)。その結果、ディスプレイ32には、番組に対してデータ放送用アプリが重畳された映像が表示される。
その後、受信装置12において、選局中のチャンネルが他のチャンネルに切り替えられた場合(S23)、チャンネル切替検出部70によって、当該チャンネルの切り替えが検出される(S24)。ここで、番組のチャンネル切り替えの検出方法としては、例えば、以下に示す検出方法のいずれかを採用することができる。
第1の検出方法としては、リモートコントローラ12Rからのチャンネル切り替えのコマンドを利用する方法がある。この検出方法では、受信装置12において、放送装置11からのデジタルテレビジョン番組が選局されている場合に、ユーザの選局操作に応じたリモートコントローラ12Rからのチャンネル切り替えのコマンドが受光部71により受信されたとき、チャンネル切替検出部70は、デジタルテレビジョン番組のチャンネルの切り替えを検出することができる。
第1の検出方法であると、ユーザの選局操作に応じて、チャンネルの切り替えが検出されるため、確実にチャンネルの切り替えを検出することができる。なお、チャンネル切り替えのコマンドは、受光部71がリモートコントローラ12Rからの赤外線により受光する場合に限らず、例えば、操作部66に対するユーザの選局操作に応じて、操作部66からチャンネル切替検出部70に出力されるようにしてもよい。
第2の検出方法としては、番組のビデオ信号の解析結果を利用する方法がある。この検出方法では、受信装置12がCATV装置17からセットトップボックス19を介してケーブルテレビジョン番組を受信している場合に、チャンネル切替検出部70は、ケーブルテレビジョン番組のビデオ信号を解析することで、その解析結果に応じてチャンネルの切り替えを検出することができる。
図5Aに示すように、チャンネル切替検出部70は、ケーブルテレビジョン番組のビデオ信号に対応する複数のフレームが、所定の区間が連続して同一の画面(フリーズ画面)となるかを解析して、同一画面が連続する区間が検出された場合、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。具体的には、例えば、チャンネル切替検出部70は、前後のフレームの対応する位置ごとの映像サンプル値のフレーム間差分の値を求めて、その平均値と閾値θdを比較する。そして、チャンネル切替検出部70は、平均値が閾値θd以下となるフレームが連続してNフレーム続いた場合、同一画面が連続しているとみなして、チャンネルの切り替えを検出する。
また、図5Bに示すように、チャンネル切替検出部70は、ケーブルテレビジョン番組のビデオ信号に対応する複数のフレームが、所定の区間が連続して黒画面となるかを解析して、黒画面が連続する区間が検出された場合、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。具体的には、例えば、チャンネル切替検出部70は、フレームごとに映像サンプル値の平均値を求めて、その平均値と閾値θbを比較する。そして、チャンネル切替検出部70は、平均値が閾値θb以下となるフレームが連続してNフレーム続いた場合、黒画面が連続しているとみなして、チャンネルの切り替えを検出する。
すなわち、チャンネル切り替え時に、ディスプレイ32に表示されるケーブルテレビジョン番組が、黒画面を挟んで別の番組に切り替わるか、あるいは、フリーズ画面を挟んで別の番組に切り替わるかは、例えば、セットトップボックス19の仕様等によって決まるものであり、受信装置12が決定できるものではない。そこで、受信装置12は、ケーブルテレビジョン番組のビデオ信号を解析して、同一画面又は黒画面が連続している場合に、チャンネルの切り替えを検出することで、どちらの仕様にも対応できるようにしている。
第3の検出方法としては、番組のオーディオ信号の解析結果を利用する方法がある。この検出方法では、受信装置12がCATV装置17からセットトップボックス19を介してケーブルテレビジョン番組を受信している場合に、ケーブルテレビジョン番組のオーディオ信号を解析し、その解析結果に応じてチャンネルの切り替えを検出することができる。
図6に示すように、チャンネル切替検出部70は、ケーブルテレビジョン番組のオーディオ信号のサンプルが所定の区間で無信号状態となるか、又はサンプルが所定の区間で不連続状態になるかを解析して、無信号状態及び不連続状態の区間が検出された場合、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。具体的には、例えば、チャンネル切替検出部70は、オーディオ信号について、所定の時間幅ごとに音声エネルギーのレベルを求めて、そのレベルと閾値θsを比較する。そして、チャンネル切替検出部70は、音声エネルギーのレベルが閾値θs以下となる時間がM秒続いた場合、無信号状態であるとみなすことができる。また、例えば、チャンネル切替検出部70は、オーディオ信号について、線形予測により得られる予測サンプル値と、実測された実サンプル値との差分を求めて、その差分値と閾値θaを比較する。そして、チャンネル切替検出部70は、差分値が閾値θa以上となった場合、不連続状態であるとみなすことができる。
なお、第2の検出方法及び第3の検出方法による検出を同時に行うことで、映像と音声の双方の解析結果に基づき、チャンネルの切り替えを検出することになるため、検出の精度をさらに向上させることができるが、第2の検出方法又は第3の検出方法による検出を個別に行ってもよい。また、第3の検出方法における無信号状態と不連続状態の検出であるが、双方の状態を検出することで、検出の精度をさらに向上させることができるが、無信号状態と不連続状態のうちの一方の状態のみを検出するようにしてもよい。
また、例えば、第2の検出方法及び第3の検出方法で示した、ビデオ信号についての同一画面又は黒画面の検出と、オーディオ信号についての無信号状態又は不連続状態の検出のすべての検出を行い、それらの検出状態に応じてポイントを付与して、ポイントの合計が、あらかじめ設定された値以上となる場合に、チャンネルが切り替えられたとみなしてもよい。
第4の検出方法としては、リモートコントローラ19Rからのチャンネル切り替えのコマンドを利用する方法がある。この検出方法では、受信装置12において、CATV装置17からのケーブルテレビジョン番組を選局している場合に、ユーザの選局操作に応じてリモートコントローラ19Rからのチャンネル切り替えのコマンドが受光部71により受信されたとき、チャンネル切替検出部70は、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。
具体的には、受信装置12では、リモートコントローラ19Rからのコマンドは識別できないため、識別不能のコマンドが受光部71により受信されたとき、ケーブルテレビジョン番組のチャンネルが切り替えられたとみなすことができる。ただし、リモートコントローラ19Rからのコマンドは、チャンネル切り替えに相当するコマンドだけではないため、受信装置12にあらかじめ、セットトップボックス19で用いられるコマンドの対応表を設定しておくことで、リモートコントローラ19Rからのチャンネル切り替えに相当するコマンドを識別できるようにすればよい。あるいは、受信装置12は、リモートコントローラ19Rからの識別不能なコマンドを受信したとき、とりあえず、チャンネル切り替えが検出されたと推定して、視聴されるケーブルテレビジョン番組からフィンガプリント情報を抽出して、ACRサーバ13に送信するようにしてもよい。これにより、受信装置12は、ACRサーバ13からの識別結果を取得することができるので、推定されたチャンネル切り替えの検出の前後のチャンネル識別情報を比較して、正常にチャンネル切り替えが行われたか否か判定することができる。つまり、受信装置12は、正常にチャンネルが切り替えられた場合、リモートコントローラ19Rからの識別不能なコマンドが、チャンネル切り替えに相当するコマンドであることを学習することになる。このようにコマンドを学習することで、受信装置12は、次に、リモートコントローラ19Rからコマンドを受信したとき、そのコマンドが、チャンネル切り替えに相当するコマンドであるかを識別することができる。
以上の検出方法を用いてチャンネルの切り替えを検出することができるが、前述した検出方法は一例であって、それ以外のチャンネルツの切り替えを検出可能な方法により、番組のチャンネルの切り替えが検出されるようにしてもよい。
図3に戻り、受信装置12では、チャンネルの切り替えが検出された場合、チャンネル切り替え後に視聴される番組のビデオ信号及びオーディオ信号からフィンガプリント情報が抽出され(S25)、ACRサーバ13に送信される(S26)。すると、ACRサーバ13では、受信装置12からのフィンガプリント情報を、FPデータベース13Bと照合するACR識別処理が行われ、受信装置12にて選局中の番組が識別される(S27)。ACR識別処理については、前述した図4で説明した通りである。そして、ACRサーバ13は、ACR識別処理の識別結果を、問い合わせ元の受信装置12に送信する(S28)。なお、ステップS25乃至S28の処理は、前述したステップS12乃至S15の処理に対応するものである。
そして、受信装置12は、ACRサーバ13からの識別結果に基づいて、チャンネル切り替えの検出前に得られたチャンネル識別情報と、チャンネル切り替えの検出後に得られたチャンネル識別情報を比較する(S29)。受信装置12は、チャンネル切り替えの検出前後のチャンネル識別情報が異なる場合、正常にチャンネルが切り替わっているので、実行中のデータ放送用アプリを強制的に終了させる(S30)。これにより、チャンネル切り替え後の番組には、チャンネル切り替え前の番組に重畳して表示されていたデータ放送用アプリが表示されないことになる。ここでステップS25乃至S29の処理に時間を要する場合、あるいはステップS24のチャンネル切り替え検出が確実であると見なせる場合には、ステップS24の直後にデータ放送アプリを終了してもよい。その場合でもステップS25乃至S29の処理をその後に行うことによりチャンネル切り替えを確認する。
以上説明した各装置間の連携であるが、当該連携時におけるディスプレイ32に表示される映像の遷移とともに図示すると、図7に示すようになる。なお、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15のそれぞれが受信装置12に対して行う処理は、いわゆるクラウドコンピューティングによるサービスとして提供することが可能である。したがって、図7では、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15により提供されるサービスを、それぞれ、ACR識別サービス、コマンド提供サービス、及びアプリ提供サービスとして図示している。
図7に示すように、受信装置12において、チャンネルA(CH-A)が選局されると、ディスプレイ32には、番組CH-Aの映像P1が表示される。その後、受信装置12は、選局中の番組CH-Aのビデオ信号及びオーディオ信号から、定期的にフィンガプリント情報(特徴量)の抽出を行い(S12−1)、ACRサーバ13に送信する(S13−1)。一方、ACRサーバ13は、ACR識別サービスを実行することで、受信装置12にて選局中の番組CH-Aを識別して、その識別結果を受信装置12に提供する。
受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14にアクセスして、受信装置12にて実行可能となるコマンドを問い合わせる。一方、コマンドサーバ14は、コマンド提供サービスを実行することで、受信装置12からの問い合わせに応じたコマンドを、受信装置12に提供する。また、受信装置12は、コマンドサーバ14からのコマンドが、データ放送用アプリの取得若しくは登録を指示するためのコマンド(後述するレジスタコマンド)である場合、アプリサーバ15にアクセスし、データ放送用アプリを要求する(S19−1)。一方、アプリサーバ15は、アプリ提供サービスを実行することで、受信装置12からの要求に応じて、データ放送用アプリを受信装置12に提供する。受信装置12は、アプリサーバ15から取得したデータ放送用アプリを登録する(S19−1)。
また、コマンドサーバ14からのコマンドが、データ放送用アプリの取得若しくは起動を指示するためのコマンド(後述するエクスキュートコマンド)である場合、受信装置12は、取得済みのデータ放送用アプリを起動する(S19−2)。これにより、ディスプレイ32には、番組CH-Aに対して、当該番組CH-Aに関連する番組関連情報を示したデータ放送用アプリCH-Aが重畳された映像P2が表示される。その後も、受信装置12では、フィンガプリント情報の抽出と送信が継続して実行され(S12−2,・・・、S13−2,・・・)、ACRサーバ13からの識別結果に応じて、コマンドサーバ14からコマンドが取得される。そして、受信装置12は、取得されたコマンドに応じて、データ放送用アプリCH-Aの動作を制御する(S19−3)。
ここで、選局中のチャンネルが、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられた場合、受信装置12では、例えば前述した第1の検出方法乃至第4の検出方法のいずれかの検出方法により、チャンネルの切り替えが検出される(S24)。そして、受信装置12は、チャンネル切り替えの検出後に視聴される番組のビデオ信号及びオーディオ信号からフィンガプリント情報を抽出して(S25)、ACRサーバ13に送信する(S26)ことで、ACR識別サービスによる識別結果を取得する。
受信装置12は、チャンネル切り替えの検出前後に視聴される番組のチャンネル識別情報を比較して、それらの番組のチャンネル識別情報が異なる場合、正常にチャンネルが切り替わっているので、実行中のデータ放送用アプリCH-Aを強制的に終了させる。この場合、ディスプレイ32には、チャンネル切り替えの検出後の番組CH-Bの映像P3のみが表示される。一方、チャンネル切り替えの検出前後の番組のチャンネル識別情報が同一となる場合、例えば誤検出であった場合など、何らかの原因でチャンネルが切り替わっていないため、データ放送用アプリCH-Aを継続して実行させる。この場合、ディスプレイ32には、チャンネル切り替えの検出前と同様に、データ放送用アプリCH-Aが番組CH-Aに重畳した映像P2がそのまま表示される。
すなわち、正常にチャンネルが切り替えられたとき、チャンネル切り替えの検出前の番組と連動して実行されていたデータ放送用アプリが強制的に終了され、チャンネル切り替え後の番組のみが表示されることになる。これにより、チャンネルを切り替えた後に、チャンネル切り替え前に選局していた番組用のデータ放送用アプリがそのまま継続して表示されることを防ぐことができる。
なお、仮に、チャンネルを切り替えるに際して、チャンネル切り替えの検出を行わない場合、図8に示すように、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられているにもかかわらず、データ放送用アプリCH-Aがそのまま実行される。そのため、ディスプレイ32には、データ放送用アプリCH-Aが番組CH-Bに重畳した映像P4が表示されることになる。つまり、データ放送用アプリCH-Aは、定期的に行われるフィンガプリント情報の抽出が行われ、実行中のデータ放送用アプリを終了させるためのコマンド(後述するターミネートコマンド)が取得されるまでは、実行が継続され、番組CH-Bに重畳表示されることとなる。
これでは、チャンネルの切り替えによって番組CH-Bが表示されているにもかかわらず、番組CH-Bに関係のない、番組CH-A用のデータ放送用アプリCH-Aが表示されることになり、例えば、番組制作者等の意図に反するだけでなく、視聴者を混乱させてしまうことになる。そこで、本技術では、図7に示したように、チャンネル切り替え時に、チャンネル切り替えの検出を行い、正常にチャンネル切り替えが行われたとき、データ放送用アプリが強制的に終了されるようにしている。
以上のように、放送システム1を構成する各装置間での連携が行われることで、受信装置12に対して、視聴中の番組に対するACR識別処理により得られた識別結果に応じたデータ放送用アプリを提供することが可能となる。また、受信装置12において、視聴中の番組のチャンネルが切り替えられた場合、データ放送用アプリが強制的に終了されるので、チャンネルが切り替えられた場合でも、番組とデータ放送用アプリの同期をとることができる。
[コマンドの詳細]
次に、図9乃至図12を参照して、コマンドサーバ14により提供されるコマンドの詳細について説明する。図9は、コマンドに含まれる情報の項目の一例を示している。
「コマンドID」は、当該コマンドを識別するための情報である。同一内容のコマンドが複数回送信される場合、各コマンドのコマンドIDは同一のものとなる。
「コマンド発効時刻」は、当該コマンドを実行する時刻を示す「絶対日時」、「相対時間」、又は「PTS」のいずれかにより指定される。「絶対日時」は、番組の進行とは無関係に、あらかじめ設定された特定の日時となったときにコマンドを実行させる場合に指定される。また、「相対時間」は、番組中の基準となる時刻から特定の時間が経過したときにコマンドを実行させる場合に指定される。例えば、相対時間としては、番組の開始時刻からの相対的な時間が指定される。また、「PTS」は、同期再生を行うための時間情報であるPTS(Presentation Time Stamp)を用いて、コマンドを実行させる場合に指定される。すなわち、コマンド発効時刻としては、時分秒で指定する方式のほか、TSのSTC(System Time Clock)値で指定する方式を採用することが可能である。
なお、コマンド発効時刻が既に経過している場合、当該コマンドは、受信された時点で即時に実行される。
「コマンド対象機器タイプ」は、当該コマンドによるデータ放送用アプリ制御の対象となる機器が指定される。ここでは、受信装置本体(受信装置12)の他、受信装置12に外部装置が接続される場合には、その外部装置が、コマンドの対象機器として指定される。
「コマンドアクション」は、当該コマンドが、「アプリ取得」(Register)、「アプリ起動」(Execute)、「アプリ終了」(Terminate)、「イベント発火」(Inject_event)、「アプリ中断」(Suspend)のいずれかであるかを示す。
レジスタ(Register)コマンドは、受信装置12に対して、データ放送用アプリの取得若しくは登録を指示するためのコマンドである。ここで、データ放送用アプリの登録とは、取得したデータ放送用アプリに対応付けて、その優先度と有効期限を記憶することを意味する。データ放送用アプリは、制御部64により、優先度と保持期限に従って管理される。
エクスキュート(Execute)コマンドは、受信装置12に対して、データ放送用アプリの取得若しくは起動を指示するためのコマンドである。
ターミネート(Terminate)コマンドは、受信装置12に対して、実行中のデータ放送用アプリを終了させるためのコマンドである。
インジェクトイベント(Inject_event)コマンドは、受信装置12に対して、実行中のデータ放送用アプリにおいてイベントを発火させるためのコマンドである。
サスペンド(Suspend)コマンドは、受信装置12に対して、実行中のデータ放送用アプリを休止させるためのコマンドである。
「コマンド適用分散化パラメータ」は、受信装置12などの対象機器において、当該コマンドを適用するタイミングを確率的に分散させるためのパラメータである。このパラメータにより、コマンドサーバ14やアプリサーバ15にアクセスするタイミングが調整されるため、サーバに対するアクセスを分散して、負荷を軽減することが可能となる。
「アプリID」は、当該コマンドに対応するデータ放送用アプリの識別情報である。「アプリタイプ」は、当該コマンドに対応するデータ放送用アプリのタイプを示す情報である。「事業者ID」は、当該コマンドに対応するデータ放送用アプリの実行サービスを行う事業者(例えば、放送局など)の識別情報である。
「アプリURL」は、コマンドアクションが、「アプリ取得」又は「アプリ起動」である場合において、データ放送用アプリの取得先のURLを示す情報である。「アプリ有効期限」は、データ放送用アプリの有効期限を示す情報である。また、「アプリ保持優先度」は、当該コマンドに対応するデータ放送用アプリを取得、保持するときの優先度を示す情報である。データ放送用アプリが登録される場合、アプリ有効期限とデータ放送用アプリ保持優先度が記憶され、データ放送用アプリは、それらの有効期限と優先度に従って管理される。
「イベントID」は、コマンドアクションが、「イベント発火」である場合において、アプリIDにて指定されたデータ放送用アプリにおいて発火すべきイベントの識別情報である。また、「イベント付加データ」は、コマンドアクションが、「イベント発火」である場合において、イベントを発火する際に参照されるデータが記載される。
ここで、コマンドの詳細仕様について、図10及び図11に示す。
コマンド要素は、destination属性、action属性のほか、timing要素、diffusion要素、application要素、event要素を主に含む。
destination属性は、図9の「コマンド対象機器タイプ」に対応するものである。例えば、destination属性には、コマンドの対象機器が受信装置12となる場合、“receiver”が指定され、コマンドの対象機器が外部装置となる場合、“external_1”や“external_2”が指定される。
action属性は、図9の「コマンドアクション」に対応するものである。例えば、action属性には、データ放送用アプリの取得若しくは起動を指示する場合、“execute”が指定され、データ放送用アプリの取得若しくは登録を指示する場合、“register”が指定され、データ放送用アプリの中断を指示する場合、“suspend”が指定される。また、action属性には、データ放送用アプリの終了を指示する場合、“terminate”が指定され、実行中のデータ放送用アプリにおいてイベントを引火させる場合、“event”が指定される。
timing要素は、図9の「コマンド発効時刻」に対応するものである。timing要素の属性としては、unit属性がある。例えば、unit属性には、「絶対日時」を用いる場合、“utc”が指定され、「相対時間」を用いる場合、“smpte”が指定され、「PTS」を用いる場合、“pts”が指定される。
diffusion要素は、図9の「コマンド適用分散化パラメータ」に対応するものである。diffusion要素の属性としては、rate属性、range属性、period属性があり、それぞれ、分配数、最大遅延時間、コマンド適用拡散期間が指定される。
application要素は、図9の「アプリID」、「アプリタイプ」、「アプリURL」、「アプリ保持優先度」、及び「アプリ有効期限」に対応するものであって、id属性、type属性、url属性、priority属性、及びexpire_date属性が指定される。url属性及びexpire_date属性は、action属性が、“execute”又は“register”となる場合には必須の項目となる。また、priority属性は、通常は“0”が指定され、優先度を高くする場合には、“1”が指定される。
event要素は、図9の「イベントID」及び「イベント付加データ」に対応するものであって、id属性、data属性が指定される。event要素は、action属性が、“event”となる場合には必須の項目となる。
[コマンドの記述例]
図12は、コマンドの記述例を示す図である。
図12の例では、command要素には、destination属性として“receiver”が指定され、action属性として“execute”が指定されている。すなわち、当該コマンドは、受信装置12宛てのエクスキュートコマンドとなる。
command要素の開始タグと終了タグの間には、timing要素とapplication要素が記述される。
timing要素には、unit属性として“pts”が指定され、その値として“1286743”が指定されている。すなわち、当該コマンドは、“1286743”であるクロックが経過したときに実行される。
application要素には、id属性として“1”が指定され、type属性として“html”、url属性として“xxx.com/yyy”が指定され、expire_date属性として“2011-01-21”が指定されている。すなわち、HTML(Hyper Text Markup Language)により記述されたデータ放送用アプリが、“xxx.com/yyy”であるURLにより指定されるアプリサーバ15から取得できることを意味する。
なお、コマンドの記述方法は任意であって、図12に限定されるものではない。
[データ放送用アプリの状態遷移]
図13は、レジスタ、エクスキュート、インジェクトイベント、サスペンド、及びターミネートの各コマンドに応じて受信装置12にて動作するデータ放送用アプリの状態遷移図である。同図に示すように、データ放送用アプリの状態は、解放状態(Released)、準備状態(Ready)、実行中状態(Active)、又は休止状態(Suspended)の4種類のうちのいずれかに遷移していると定義される。
解放状態は、データ放送用アプリが受信装置12に未取得である状態を指す。準備状態は、そのデータ放送用アプリが受信装置12に登録済みであって起動されていない状態を指す。実行中状態は、データ放送用アプリが起動されて実行中である状態を指す。休止状態は、データ放送用アプリの実行が中断され、その中断したときの状態を示す情報が退避メモリ69Bに保持されている状態を指す。
データ放送用アプリが解放状態に遷移しているとき(受信装置12に未取得のとき)、レジスタコマンドが受信され、レジスタコマンドに従ってそのデータ放送用アプリが取得(登録)されると、準備状態に遷移する。
データ放送用アプリが準備状態であるとき、エクスキュートコマンドが受信され、エクスキュートコマンドに従ってそのデータ放送用アプリが起動されると、実行中状態に遷移する。
また、データ放送用アプリが解放状態に遷移しているとき(受信装置12に未取得のとき)、エクスキュートコマンドが受信され、エクスキュートコマンドに従ってそのデータ放送用アプリが取得されて起動されると、実行中状態に遷移する。
データ放送用アプリが実行中状態に遷移しているとき、サスペンドコマンドが受信され、サスペンドコマンドに従って実行中のデータ放送用アプリが中断されると休止状態に遷移する。
データ放送用アプリが休止状態に遷移しているとき、エクスキュートコマンドが受信され、エクスキュートコマンドに従って、中断されていたデータ放送用アプリが再開されると、実行中状態に遷移する。
データ放送用アプリが、実行中状態又は休止状態に遷移しているとき、ターミネートコマンドが受信され、ターミネートコマンドに従って、実行中のデータ放送用アプリが終了されると、準備状態に遷移する(図中の「A」)。なお、準備状態への遷移は、ターミネートコマンドに基づくもののほか、他のデータ放送用アプリが実行されたときなどにも発生する。
また、データ放送用アプリが、準備状態、実行中状態、又は休止状態に遷移しているとき、コマンドのアプリ有効期限が経過したとき、解放状態に遷移する(図中の「B」)。
図14は、各コマンドと状態遷移の関係を示している。
図14は、受信装置12において、番組やCM等のAVコンテンツのデータから抽出されたフィンガプリント情報がACRサーバ13に送信されることで、コマンドサーバ14からの各種のコマンドと、アプリサーバ15からのデータ放送用アプリがそれぞれ取得される様子を模式的に表している。なお、図14では、図7及び図8と同様に、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15によって、ACR識別サービス、コマンド提供サービス、及びアプリ提供サービスがそれぞれ提供されるものとする。
受信装置12において、データ放送用アプリが解放状態に遷移しているとき(受信装置12に未取得のとき)、レジスタコマンドに応じて、そのデータ放送用アプリが取得、保持され、登録されると準備状態に遷移する。
受信装置12において、データ放送用アプリが準備状態にあるとき、エクスキュートコマンドに応じて、そのデータ放送用アプリが起動されると実行中状態に遷移する。
また、受信装置12以外の他の装置において、データ放送用アプリが解放状態に遷移しているとき(他の装置に未取得のとき)、エクスキュートコマンドに応じて、そのデータ放送用アプリが取得、起動されると実行中状態に遷移する。
受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、インジェクトイベントコマンドに応じて、実行中のデータ放送用アプリにてイベントが発火された場合、状態は実行中状態のままとなる。
受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、サスペンドコマンドに応じて、実行中のデータ放送用アプリが中断されると休止状態に遷移する。また、受信装置12において、データ放送用アプリが休止状態に遷移しているとき、エクスキュートコマンドに応じて、中断されていたデータ放送用アプリが再開されると、実行中状態に遷移する。
ここで、受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、チャンネルの切り替えが検出されると、実行中のデータ放送用アプリは、強制的に終了されて準備状態に遷移する。
また、受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、ターミネートコマンドに応じて、実行中のデータ放送用アプリが終了されると準備状態に遷移する。なお、データ放送用アプリが準備状態、実行中状態、又は休止状態に遷移しているとき、当該データ放送用アプリのアプリ有効期限が経過すると、当該データ放送用アプリがキャッシュメモリ68から消去され、登録が抹消されて解放状態に遷移する。
[ACR識別結果に応じたコマンド対応処理]
次に、受信装置12が、ACR識別処理により得られる識別結果に応じたコマンドを受信したときのコマンド対応処理(以下、ACR識別結果に応じたコマンド対応処理という)について、図15及び図16を参照して説明する。
図15は、ACR識別結果に応じたコマンド対応処理を説明するフローチャートである。このACR識別結果に応じたコマンド対応処理は、ユーザが番組を視聴しているとき、すなわち、受信装置12が放送装置11からのデジタルテレビジョン放送信号、又はセットトップボックス19を介してCATV装置17からのケーブルテレビジョン放送信号を受信している間、繰り返して実行される。
フィンガプリント抽出部60は、ステップS111において、所定の時間を経過したか否かを判定し、所定の時間を経過するのを待って、番組のビデオ信号及びオーディオ信号からフィンガプリント情報を抽出する(ステップS112)。すなわち、フィンガプリント抽出部60は、例えば数秒などの所定の間隔で、定期的にフィンガプリント情報の抽出を行う。
ステップS113において、フィンガプリント抽出部60は、通信I/F61を制御して、抽出されたフィンガプリント情報を、インターネット16を介してACRサーバ13に送信して、選局中の番組の識別結果を問い合わせる。ACRサーバ13では、フィンガプリント情報に基づいて、ACR識別処理が行われ、その識別結果が受信装置12に送信される。なお、ACRサーバ13において、番組の識別結果を得られない場合には、識別結果の送信は行われない。
ステップS114において、制御部64は、通信I/F61を制御して、識別結果の問い合わせ先のACRサーバ13から、識別結果を受信したか否かを判定する。
ステップS114において、識別結果を受信していないと判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。例えば、受信装置12において、放送休止中のチャンネルが選択されている場合に、フィンガプリント情報が抽出されると、ACRサーバ13側では、番組を識別することができず、識別結果の送信が行われないことになる(識別結果は送信されるが、該当なしを示すことにしてもよい)。
一方、ステップS114において、識別結果を受信したと判定された場合、処理は、ステップS115に進められる。ステップS115において、制御部64は、通信I/F61により受信された選局中の番組の識別結果の解析を行う。ここでは、識別結果として、選局中の番組のチャンネル識別情報、時間位置情報、及びコマンド取得先情報が得られる。また、制御部64は、選局中の番組のチャンネル識別情報をメモリ65に記憶させる。
ステップS116において、制御部64は、通信I/F61を制御して、コマンド取得先情報が示すURLに対応するコマンドサーバ14にアクセスし、チャンネル識別情報及び時間位置情報を送信することで、受信装置12にて実行可能となるコマンドを問い合わせる。コマンドサーバ14では、チャンネル識別情報に対応する番組において、時間位置情報に対応する時間帯に実行可能となるコマンドが取得され、受信装置12に送信される。
ステップS117において、制御部64は、通信I/F61を制御して、コマンドの問い合わせ先のコマンドサーバ14から、コマンドを受信したか否かを判定する。
ステップS117において、コマンドを受信していないと判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。例えば、コマンドサーバ14では、チャンネル識別情報及び時間位置情報により定められる条件に一致するコマンドが存在しない場合、コマンドの送信は行われないことになる(コマンドは送信されるが、処理不要を示すことにしてもよい)。
一方、ステップS117において、コマンドを受信したと判定された場合、処理は、ステップS118に進められる。ステップS118において、コマンド解析部62は、コマンドに含まれるコマンドIDを読み出し、当該コマンドに対してステップS119以降の処理を既に実行済みであるか否かを判定する。既に、ステップS119以降の処理を実行済みであると判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。一方、当該コマンドに対して、ステップS119以降の処理を実行していないと判定された場合、処理はステップS119に進められる。
ステップS119において、コマンド解析部62は、コマンドに含まれるコマンドアクションを読み出し、当該コマンドが、レジスタ、エクスキュート、ターミネート、インジェクトイベント、又はサスペンドのいずれかであるかを判別する。
ステップS120において、コマンド解析部62は、ステップS119の判別結果がレジスタであるか否かを判定し、レジスタであると判定された場合、処理はステップS121に進められる。
ステップS121において、制御部64は、通信I/F61を制御して、当該コマンドのアプリURLに対応するアプリサーバ15にアクセスして、アプリIDにより特定されるデータ放送用アプリを取得させる。通信I/F61により取得されたデータ放送用アプリは、キャッシュメモリ68に保持される。また、制御部64は、取得されたデータ放送用アプリに対応付けて、そのアプリ有効期限とアプリ保持優先度を、メモリ65に記憶する。これにより、キャッシュメモリ68に保持されたデータ放送用アプリは、制御部64により、有効期限と保持優先度に従って管理される。
この後、処理は、ステップS111に戻り、それ以降の処理が繰り返される。
ステップS120において、ステップS119の判定結果がレジスタでないと判定された場合、処理は、ステップS122に進められる。ステップS122において、制御部64は、ステップS119の判定結果がエクスキュートであるか否かを判定し、エクスキュートであると判定された場合、処理は、ステップS123に進められる。
ステップS123において、アプリエンジン67は、制御部64からの制御に従い、当該コマンドのコマンドIDにより特定されるデータ放送用アプリが休止中(サスペンド状態)であるか否かを判定する。具体的には、退避メモリ69Bに、コマンドIDにより特定されるデータ放送用アプリに、休止の状態を示すデータが退避されている場合に休止中であると判定する。
ステップS123において、コマンドIDにより特定されるデータ放送用アプリが休止中ではないと判定された場合、処理はステップS124に進められる。ステップS124において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリが未取得(キャッシュメモリ68に存在しない)の場合にそれを取得する。
ステップS125において、制御部64は、同期制御処理を行う。ここで、同期制御処理の詳細について、図16のフローチャートを参照して説明する。
ステップS151において、制御部64は、当該コマンドに含まれるコマンド発効時刻が設定されているか否かを判定する。
ステップS151において、コマンド発効時刻が設定されていると判定された場合、処理は、ステップS152に進められる。ステップS152において、制御部64は、コマンドを実行する時刻になったか否かを判定する。
このコマンド発効時刻は、例えば、絶対日時、相対時間、又はPTSにより指定される。ステップS152の判定処理では、絶対日時が指定されている場合、あらかじめ設定された特定の日時となった否かが判定される。また、相対時間が指定されている場合、例えば、番組の開始時刻から、あらかじめ設定された特定の時間が経過したか否かが判定される。さらに、PTSが指定された場合、クロック同期部63からのクロックに基づいて、コマンドを実行する時刻になったか否かが判定される。
ステップS152の判定処理では、コマンドを実行する時刻になったと判定されるまで、判定処理が繰り返される。すなわち、コマンドを実行する時刻になるまで、当該コマンドの実行を待つことになる。
そして、ステップS152において、コマンドを実行する時刻になったと判定された場合、処理は、図15のステップS125に戻され、それ以降の処理が実行される。
ステップS126において、アプリエンジン67は、制御部64からの制御に従い、現在実行中のデータ放送用アプリがあるならば、それを終了させる。そして、ステップS127において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリを起動する。
すなわち、ステップS125の同期制御処理(図16)を行うことで、当該コマンドを実行する時刻が経過してから、データ放送用アプリが起動されるので、例えば、番組の進行にあわせて、データ放送用アプリを起動させたり、あるいは、ある特定の時間帯にデータ放送用アプリを起動させたりすることが可能となる。
また、コマンド発効時刻が設定されていない場合(図16のステップS151の「No」)、図16のステップS152はスキップされ、ステップS124の取得処理が終了した後、直ちに、ステップS126,S127が実行される。この場合、未取得のデータ放送用アプリが取得された後、直ちに、そのデータ放送用アプリが起動されることになる。
この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
また、ステップS123において、コマンドIDにより特定されるデータ放送用アプリが休止中(サスペンド状態)であると判定された場合、処理はステップS128に進められる。
ステップS128において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS129の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS129の処理が行われる。
ステップS129において、アプリエンジン67は、制御部64からの制御に従い、退避メモリ69Bのデータをワークメモリ69Aに移して、コマンドIDにより特定されるデータ放送用アプリを起動する。これにより、コマンドIDにより特定される、休止中のデータ放送用アプリが休止された状態から再開されることになる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
ステップS122において、ステップS119の判別結果がエクスキュートではないと判定された場合、処理はステップS130に進められる。ステップS130において、制御部64は、ステップS119の判別結果がインジェクトイベントであるか否かを判定し、インジェクトイベントであると判定された場合、処理はステップS131に進められる。
ステップS131において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS132の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS132の処理が行われる。
ステップS132において、制御部64は、当該コマンドのコマンドIDと、動作中のデータ放送用アプリのコマンドIDが一致する場合のみ、アプリエンジン67を制御して、動作中のデータ放送用アプリにおいて、コマンドのイベントIDに対応するイベントを発火(実行)させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
ステップS130において、ステップS119の判別結果がインジェクトイベントではないと判定された場合、処理はステップS133に進められる。ステップS133において、制御部64は、ステップS119の判別結果がサスペンドであるか否かを判定し、サスペンドであると判定された場合、処理はステップS134に進められる。
ステップS134において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS135の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS135の処理が行われる。
ステップS135において、アプリエンジン67は、制御部64からの制御に従い、現在実行中のデータ放送用アプリの状態を示すデータ(すなわち、現在ワークメモリ69Aに書き込まれているデータ。表示する情報に階層構造がある場合、表示されている情報の階層を示す情報を含む)を退避メモリ69Bに退避させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
ステップS133において、ステップS119の判別結果がサスペンドではないと判定された場合、ステップS119の判別結果はターミネートであるので、処理はステップS136に進められる。
ステップS136において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS137の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS137の処理が行われる。
ステップS137において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリが実行中であればそれを終了させる。ステップS138において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリに関するデータを、ワークメモリ69A及び退避メモリ69Bから消去するとともに、データ放送用アプリをキャッシュメモリ68から消去させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
また、ステップS111において、定期的に行われるフィンガプリント情報の抽出を行う時間ではないと判定された場合、処理は、ステップS139に進められる。ステップS139において、チャンネル切替検出部70は、チャンネルの切り替えの検出を行い、チャンネルが切り替えられたか否かを判定する。ステップS139において、チャンネルが切り替えられていないと判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。
一方、ステップS139において、チャンネルが切り替えられたと判定された場合、処理は、ステップS140に進められる。ステップS140乃至S142においては、前述したステップS112乃至S114と同様に、フィンガプリント抽出部60によって、番組のビデオ信号及びオーディオ信号からフィンガプリント情報が抽出され、ACRサーバ13に送信される。そして、通信I/F61によって、ACRサーバ13からの識別結果が受信された場合、処理は、ステップS143に進められる。なお、ステップS143の判定処理の前処理として、制御部64は、通信I/F61からの識別結果から得られるチャンネル切り替え検出後に視聴される番組のチャンネル識別情報を取得するとともに、メモリ65からチャンネル切り替え検出前に視聴されていた番組のチャンネル識別情報を読み出す。
そして、制御部64は、ステップS143において、チャンネル切り替え検出前後の番組のチャンネル識別情報を比較して、それらのチャンネル識別情報が一致するか否かを判定する。
ステップS143において、チャンネル識別情報が異なると判定された場合、チャンネルが正常に切り替わっているため、処理は、ステップS144に進められる。ステップS144において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリが実行中であればそれを終了させる。ステップS145において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリに関するデータを、ワークメモリ69A及び退避メモリ69Bから消去するとともに、データ放送用アプリをキャッシュメモリ68から消去させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
なお、ステップS143において、チャンネル識別情報が一致すると判定された場合、例えば誤検出であった場合など、何らかの原因で正常にチャンネルが切り替わっていないため、ステップS144,145の処理をスキップして、処理は、ステップS111に戻り、それ以降の処理が繰り返される。
以上で、ACR識別結果に応じたコマンド対応処理の説明を終了する。前述したACR識別結果に応じたコマンド対応処理によれば、AVコンテンツ(例えば番組やCMなど)に連動してデータ放送用アプリを起動したり、イベントを発火させたり、終了したりすることができる。さらに、データ放送用アプリを実行中の状態を保持したままで休止させて、他のデータ情報用アプリを実行、終了し、その後、休止したデータ放送用アプリを休止状態から再開することができる。
また、ACR識別結果に応じたコマンド対応処理を行うことで、ACR技術を用いて、AVコンテンツに連動して実行されるデータ放送用アプリを提供することが可能となる。さらに、チャンネルが切り替えられたとき、実行中のデータ放送用アプリが終了されるので、データ放送用アプリが想定外に表示されることを防ぐことができる。
なお、図15の例では、ステップS124乃至S127において、未取得のデータ放送用アプリを取得した後(S124)、コマンドを実行する時刻となったとき(S125)、取得されたデータ放送用アプリを起動するとして説明したが、ステップS124とS125の処理の順番を逆にしてもよい。すなわち、この場合、コマンドを実行する時刻となるまでは、未取得のデータ放送用アプリの取得は行われず、コマンドを実行する時刻となったときに、未取得のデータ放送用アプリが取得され、起動されることになる。
[動作シナリオ]
受信装置12において、図15のACR識別結果に応じたコマンド対応処理を行うことで、例えば、図17及び図18に示すようなデータ放送用アプリの運用が可能となる。
図17は、コマンド発効時刻が設定されていない場合の動作シナリオの例を示す図である。
受信装置12は、デジタルテレビジョン放送信号又はケーブルテレビジョン放送信号に対応するチャンネルA(CH-A)の番組が、ディスプレイ32に表示されているとき、定期的に、選局中の番組のビデオ信号などからフィンガプリント情報を抽出して、ACRサーバ13に送信する。フィンガプリント情報を受信したACRサーバ13では、ACR識別処理が行われ、その識別結果が、受信装置12に送信される。
受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14に対してコマンドを問い合わせるが、受信装置12にて実行可能となるコマンドが存在しない場合には、コマンドサーバ14からの応答は行われない。
その後、受信装置12では、フィンガプリント情報の抽出が定期的に行われ、それに対応してACRサーバ13とコマンドサーバ14に対する問い合わせも継続的に行われる。そして、受信装置12は、コマンドサーバ14からエクスキュートコマンドを受信した場合、アプリURLに対応するアプリサーバ15にアクセスし、データ放送用アプリを取得して、実行する。これにより、ディスプレイ32に表示されたチャンネルA(CH-A)の番組には、チャンネルA(CH-A)用のデータ放送用アプリに対応する番組関連情報(図中の「Video Synchronized application」)などが重畳表示される。
ここで、選局中のチャンネルが、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられた場合、受信装置12では、例えば、前述した第1の検出方法乃至第4の検出方法のいずれかの検出方法により、チャンネルの切り替えが検出される。そして、受信装置12は、チャンネル切り替え検出後に視聴される番組のビデオ信号及びオーディオ信号からフィンガプリント情報を抽出して、ACRサーバ13に送信して、当該番組の識別結果を取得する。受信装置12は、チャンネル切り替えの検出前後にディスプレイ32に表示されていた番組のチャンネル識別情報を比較して、それらの番組のチャンネル識別情報が異なる場合、正常にチャンネルが切り替わっているので、実行中のデータ放送用アプリを強制的に終了させる。これにより、チャンネルA(CH-A)の番組に重畳表示されていた番組関連情報が消されて、チャンネルB(CH-B)の番組のみが表示される。
また、受信装置12は、チャンネルB(CH-B)を選局中に、コマンドサーバ14からエクスキュートコマンドを受信した場合、アプリURLに対応するアプリサーバ15にアクセスし、データ放送用アプリを取得して、実行する。これにより、ディスプレイ32に表示されたチャンネルB(CH-B)の番組には、チャンネルB(CH-B)用のデータ放送用アプリに対応する番組関連情報(図中の「Video Synchronized application」)などが重畳表示される。
なお、図17の例では、受信装置12において、コマンドサーバ14から受信されるコマンドとして、エクスキュートコマンドを説明したが、それ以外のコマンドが受信されるようにしてもよい。例えば、データ放送用アプリの実行中に、インジェクトイベントコマンドが受信された場合には、実行中のデータ放送用アプリにおいてイベントが引火され、サスペンドコマンドが受信された場合には、実行中のデータ放送用アプリが休止される。また、例えば、データ放送用アプリの実行中に、ターミネートコマンドが受信された場合には、実行中のデータ放送用アプリが終了される。
以上のように、図17の動作シナリオでは、コマンドサーバ14により送信されるコマンドには、コマンド発効時刻が設定されていないため、受信装置12では、コマンドサーバ14から受信したコマンドを直ちに実行することになる。また、受信装置12では、チャンネルが切り替えられた場合には、実行中のデータ放送用アプリが強制的に終了される。
図18は、コマンド発効時刻が設定された場合の動作シナリオの例を示す図である。
図18において、受信装置12は、フィンガプリント情報の抽出を定期的に行い、ACRサーバ13からエクスキュートコマンドを受信した場合、アプリURLに対応するアプリサーバ15にアクセスして、データ放送用アプリを取得する。また、当該エクスキュートコマンドには、コマンド発効時刻が設定されているため、データ放送用アプリを取得した後、コマンドを実行する時刻になるまで、エクスキュートコマンドの実行を待つことになる(図中の「同期待ち」)。例えば、チャンネルA(CH-A)の番組の特定のシーンに同期させて、データ放送用アプリに対応する番組関連情報を表示させる場合、その特定のシーンと同期するための時刻がコマンド発効時刻に記述されているので、コマンドを実行する時刻になるのを待って、データ放送用アプリを起動することになる。これにより、チャンネルA(CH-A)の番組の特定のシーンと番組関連情報(図中の「Video Synchronized application」)を同期させることができる。
また、選局中のチャンネルが、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられた場合、前述した図17と同様に、受信装置12では、チャンネルの切り替えが検出され、実行中のデータ放送用アプリが強制的に終了される。これにより、チャンネルA(CH-A)の番組に重畳表示されていた番組関連情報が消されて、チャンネルB(CH-B)の番組のみが表示される。
その後もフィンガプリント情報の抽出が継続して行われ、コマンドサーバ14からエクスキュートコマンドを受信した場合、受信装置12は、アプリURLに対応するアプリサーバ15にアクセスして、データ放送用アプリを取得する。また、受信装置12は、コマンドを実行する時刻を待って、データ放送用アプリを起動する。これにより、ディスプレイ32に表示されたチャンネルB(CH-B)の番組には、チャンネルB(CH-B)用のデータ放送用アプリに対応する番組関連情報(図中の「Video Synchronized application」)などが重畳表示される。
図18の例では、受信装置12において、コマンドサーバ14から受信されるコマンドとして、エクスキュートコマンドを説明したが、それ以外のコマンドが受信されるようにしてもよい。例えば、データ放送用アプリの実行中に、インジェクトイベントコマンドが受信された場合、コマンドを実行する時刻を待って、実行中のデータ放送用アプリにおいてイベントが引火される。また、データ放送用アプリの実行中に、サスペンドコマンドが受信された場合には、コマンドを実行する時刻を待って、実行中のデータ放送用アプリが休止される。また、例えば、データ放送用アプリの実行中に、ターミネートコマンドが受信された場合には、コマンドを実行する時刻を待って、実行中のデータ放送用アプリが終了される。
以上のように、図18の動作シナリオでは、コマンドサーバ14により送信されるコマンドには、コマンド発効時刻が設定されているため、受信装置12では、コマンドを実行する時刻を待って、コマンドサーバ14から受信したコマンドを実行することになる。これにより、受信装置12では、フィンガプリント情報の抽出の分解能ではなく、任意のタイミングで、コマンドを実行することが可能となる。また、受信装置12では、チャンネルの切り替えが検出された場合には、実行中のデータ放送用アプリを強制的に終了させるため、フィンガプリント情報の抽出の分解能ではなく、チャンネル切り替えのタイミングで、実行中のデータ放送用アプリを終了させることができる。
<第2の実施の形態>
[放送システムの他の構成例]
図19は、第2の実施の形態である放送システム1を示している。この放送システム1は、図1と比べて、受信装置12とセットトップボックス19の間に、AVセレクタとしての機能を有するAVアンプ41が接続されている。
AVアンプ41は、HDMI規格に準拠した入出力部を有し、その入力側には、例えばセットトップボックス19の他、ゲーム機42や電子機器43などのHDMI端子を有する電子機器が接続され、その出力側には、HDMIケーブル20を介して受信装置12が接続される。AVアンプ41は、入力側に接続された複数の電子機器から入力される複数のAVコンテンツの中から所望のAVコンテンツを選択し、出力側に接続された受信装置12に出力する。
受信装置12は、AVアンプ41によるAVコンテンツの選択結果に応じて、視聴されるAVコンテンツの切り替えを検出する。受信装置12は、視聴されるAVコンテンツの切り替えが検出された場合、AVコンテンツに連動して実行中のデータ放送用アプリを終了させる。
なお、図19において、前述した以外の構成については、図1の放送システム1と同様であるため、その説明は省略する。
図19の放送システム1は、以上のように構成される。
[受信装置の他の構成例]
図20は、図19の受信装置12の構成例を示している。この受信装置12では、図2と比べて、チャンネル切替検出部70に対する入力が異なっている。すなわち、図20において、チャンネル切替検出部70には、HDMI端子59からの通知信号のみが入力される。
具体的には、HDMI端子59は、AVアンプ41により選択される電子機器が切り替えられた場合、HDMIケーブル20を介して入力される、切り替え先の電子機器からのAVコンテンツのオーディオ信号及びビデオ信号を、セレクタ54及びセレクタ57にそれぞれ供給する。また、HDMI端子59は、その切り替えを通知するための通知信号を、チャンネル切替検出部70に出力する。例えば、受信装置12では、HDMI端子59への入力が、セットトップボックス19からのAVコンテンツから、ゲーム機42からのAVコンテンツに切り替えられたとき、AVアンプ41からのクロック信号が不連続となり同期が失われるため、再同期処理を行う必要がある。HDMI端子59は、例えば、AVアンプ41からのクロック信号が不連続になったとき、入力されるAVコンテンツの切り替えを通知するための通知信号を、チャンネル切替検出部70に出力する。そして、チャンネル切替検出部70は、HDMI端子59からの通知信号が検出された場合、視聴されるAVコンテンツの切り替えを検出して、その検出結果を制御部64に供給することができる。
これにより、例えば、AVアンプ41が、セットトップボックス19からゲーム機42に入力を切り替えた場合、受信装置12では、ケーブルテレビジョン番組にデータ放送用アプリが重畳表示されているとき、そのデータ放送用アプリを終了させてから、ゲーム用の画面をさせることができる。
図20の受信装置12は、以上のように構成される。
以上のように、受信装置12においては、前述した第1の検出方法乃至第4の検出方法以外に、第5の検出方法として、AVアンプ41から出力されるAVコンテンツの選択結果を利用して、視聴されるAVコンテンツの切り替えを検出する方法を採用することができる。
[具体的な運用例]
また、本技術によれば、AVコンテンツに対応したメタデータがなくても、ACRサーバ13によりAVコンテンツの識別が行われるため、例えば、以下のような運用が可能となる。
図21は、本技術を適用した放送システムの具体例を示す図である。
図21に示すように、コンテンツプロバイダ(Content Provider)から提供されるAVコンテンツ(図中の「Content」)には、番組に関するメタデータ(図中の「Metadata」)が付与されており、放送装置11(図中の「ASP(Authorized Service Provider)」)からのデジタルテレビジョン放送信号を直接受信する受信装置12(図中の「TV1」)は、AVコンテンツとともに送信されるメタデータを取得できる。したがって、当該受信装置は、メタデータに基づいて、放送事業者などにより管理されるアプリサーバ15にアクセスすることで、データ放送用アプリ(図中の「Application」)を取得して、実行することが可能となる。
一方、CATV網や衛星通信網などを介して、放送装置11からのデジタルテレビジョン放送信号を受信する場合、セットトップボックス19(図中の「STB(Set Top Box)」)による変換後の信号が、HDMIケーブル20を介して、受信装置12(図中の「TV2」)により受信される。この場合、セットトップボックス19からの出力は、AVコンテンツのみとなり、メタデータを利用することができず、番組に関する情報を取得することができない。したがって、当該受信装置12は、AVコンテンツから抽出されたフィンガプリント情報(図中の「Fingerprint」)を、ACRサーバ13に送信することで識別結果を取得する。また、受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14からコマンドを取得する。そして、受信装置12は、コマンドサーバ14からのコマンドに応じて、アプリサーバ15からデータ放送用アプリを取得して、実行することが可能となる。
以上のように、本技術を適用した放送システムでは、番組がCATV網や衛星通信網などを介して再送信される場合においても、番組に連動して実行されるデータ放送用コンテンツのサービスを実現することができる。すなわち、本技術は、例えば、図1及び図19に示すように、放送装置11からのデジタルテレビジョン放送信号を直接、受信装置12が受信する場合だけでなく、CATV網18や衛星通信網などのように、セットトップボックス19等を使用するために、AVコンテンツとともに送信されるメタデータを受信装置12に送ることができない場合にも適用することができる。
<第3の実施の形態>
[通信システムの構成例]
前述した説明では、受信装置12が、放送装置11からのデジタルテレビジョン放送信号、又はCATV装置17からのケーブルテレビジョン放送信号に対応するAVコンテンツを受信する例を説明したが、AVコンテンツは、インターネット16を介してVOD(Video On Demand)により配信されるようにしてもよい。
図22は、本実施の形態である通信システム81を示している。
図22において、図1と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。
すなわち、図22では、図1と比べると、放送装置11、CATV装置17、CATV網18、及びセットトップボックス19の代わりに、インターネット16に接続された配信サーバ91が設けられている。配信サーバ91は、受信装置12からの要求に応じて、VODコンテンツ等のAVコンテンツを、インターネット16を介して、受信装置12に配信する。
受信装置12は、配信サーバ91からのVODコンテンツのビデオ信号及びオーディオ信号から、フィンガプリント情報を抽出して、ACRサーバ13に送信する。ACRサーバ13では、ACR識別処理が行われるが、ここでは、識別結果として、コンテンツ識別情報、時間位置情報、コマンド取得先情報が送信される。すなわち、放送装置11からのAVコンテンツを取得した場合には、チャンネル識別情報が識別結果として得られるが、配信サーバ91からのVODコンテンツを取得した場合には、コンテンツIDなどのコンテンツ識別情報が識別結果として得られる。
受信装置12は、コマンド取得先情報に記述されたURLに対応するコマンドサーバ14にアクセスして、コンテンツ識別情報及び時間位置情報を送信することで、受信装置12にて実行可能となるコマンドを問い合わせる。そして、受信装置12は、コマンドサーバ14からのコマンドに応じて、データ放送用アプリの動作を制御することになる。
このように、受信装置12は、AVコンテンツを、放送網を介して受信するのみならず、通信網を介して受信することができる。そして、放送網と通信網のどちらから受信されたAVコンテンツであっても、ACRサーバ13により識別されるので、受信装置12は、コマンドサーバ14から、識別結果に応じたコマンドを取得することができる。また、受信装置12は、チャンネルの切り替えが検出された場合には、ACRサーバ13に対して、VODコンテンツの識別結果を問い合わせる。そして、受信装置12は、チャンネル切り替え検出前後に得られたコンテンツ識別情報を比較して、正常にチャンネルが切り替わっている場合には、チャンネル切り替え前のVODコンテンツに重畳して表示されていたデータ放送用アプリを終了させることができる。
なお、前述の説明では、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15など、提供する機能ごとにサーバを複数設ける例を説明したが、それらの機能(サービス)の全部又は一部をまとめて、1又は複数のサーバにより提供されるようにしてもよい。
また、ACRサーバ13は、識別結果を受信装置12に送信せずに、コマンドサーバ14に直接送信するようにしてもよい。例えば、受信装置12が、フィンガプリント情報をACRサーバ13に送信すると、ACRサーバ13は、ACR識別処理を行い、その識別結果を、コマンドサーバ14に送信する。そして、コマンドサーバ14は、ACRサーバ13からの識別結果に応じて、コマンドを受信装置12する。これにより、受信装置12は、フィンガプリント情報をACRサーバ13に送信するだけで、コマンドサーバ14からコマンドを取得する、といった運用が可能となる。さらに、コマンドサーバ14が、データ放送用アプリの取得コマンドを、受信装置12に送信せずに、アプリサーバ15に直接送信することで、例えば、受信装置12では、フィンガプリント情報をACRサーバ13に送信すると、アプリサーバ15からデータ放送用アプリを取得する、といった運用が可能となる。
さらに、本実施の形態では、受信装置12と、セットトップボックス19やAVアンプ41とがHDMI規格による通信を行う構成としているが、通信の規格はHDMI規格に限らず、少なくともセットトップボックス19等との間で、ビデオ信号やオーディオ信号、制御信号を含んだデータ通信が可能な構成であればよい。
[本技術を適用したコンピュータの説明]
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図23は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記録部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記録部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータ100では、CPU101が、例えば、記録部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、前述した一連の処理が行われる。
コンピュータ100(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ100では、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記録部108にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部109で受信し、記録部108にインストールすることができる。その他、プログラムは、ROM102や記録部108に、あらかじめインストールしておくことができる。
なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
ここで、本明細書において、コンピュータ100に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、前述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
AVコンテンツを受信する受信部と、
受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、
視聴される前記AVコンテンツの切り替えを検出する検出部と
を備え、
前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
受信装置。
(2)
前記検出部は、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
前記制御部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
(1)に記載の受信装置。
(3)
前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報を記憶する記憶部をさらに備え、
前記特徴量抽出部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、
前記識別結果取得部は、抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、
前記制御部は、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記アプリケーションプログラムを終了させる
(2)に記載の受信装置。
(4)
前記受信部は、送信装置から送信される前記AVコンテンツを直接受信し、
前記検出部は、前記受信装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する
(2)又は(3)に記載の受信装置。
(5)
前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI(High Definition Multimedia Interface)規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
(2)又は(3)に記載の受信装置。
(6)
前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号に基づいて、前記AVコンテンツを構成する複数のフレームが所定の区間連続して同一画面となるか、又は前記複数のフレームが所定の区間連続して黒画面となるかを解析することで、チャンネルの切り替えを検出する
(5)に記載の受信装置。
(7)
前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
(2)、(3)、又は(5)のいずれかに記載の受信装置。
(8)
前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号に基づいて、前記オーディオ信号のサンプルが所定の区間で無信号状態になるかと、前記サンプルが所定の区間で不連続状態になるかを解析することで、チャンネルの切り替えを検出する
(7)に記載の受信装置。
(9)
前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
前記検出部は、前記情報処理装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する
(2)又は(3)に記載の受信装置。
(10)
前記受信部は、複数の情報処理装置から入力される複数のAVコンテンツの中から所望のAVコンテンツを選択して出力する選択装置と、HDMI規格に準拠した方式で接続されることで、前記選択装置から出力される前記AVコンテンツを受信し、
前記検出部は、前記選択装置による前記AVコンテンツの選択結果に応じて、視聴される前記AVコンテンツの切り替えを検出する
(1)に記載の受信装置。
(11)
前記識別結果取得部は、抽出した前記特徴量からACR(Automatic Content Recognition)技術を用いて識別される前記AVコンテンツの識別結果を取得する
(1)乃至(10)のいずれかに記載の受信装置。
(12)
前記特徴量抽出部は、前記AVコンテンツのビデオ信号及びオーディオ信号のいずれか一方又は双方から前記特徴量を抽出する
(1)乃至(11)のいずれかに記載の受信装置。
(13)
前記コマンドは、前記アプリケーションプログラムの取得若しくは登録、取得若しくは起動、イベント発火、中断、又は終了のうちのいずれかを示しており、
前記制御部は、各コマンドに応じて、前記アプリケーションプログラムの取得若しくは登録、若しくは取得若しくは起動、又は実行中の前記アプリケーションプログラムのイベント発火、休止、若しくは終了を制御する
(1)乃至(12)のいずれかに記載の受信装置。
(14)
受信装置の受信方法において
前記受信装置が、
AVコンテンツを受信し、
受信した前記AVコンテンツのデータから特徴量を抽出し、
抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
視聴される前記AVコンテンツの切り替えを検出し、
前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
ステップを含む受信方法。
(15)
コンピュータに、
AVコンテンツを受信し、
受信した前記AVコンテンツのデータから特徴量を抽出し、
抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
視聴される前記AVコンテンツの切り替えを検出し、
前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
ステップを含む処理を実行させるためのプログラム。
(16)
受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、
前記受信装置は、
AVコンテンツを受信する受信部と、
受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
抽出した前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作を制御する制御部と、
視聴される前記AVコンテンツの切り替えを検出する検出部と
を備え、
前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させ、
前記第1の情報処理装置は、
前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果を提供する第1の提供部を備え、
前記第2の情報処理装置は、
前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドを提供する第2の提供部を備え、
前記第3の情報処理装置は、
前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムを提供する第3の提供部を備える
情報処理システム。
1 放送システム, 11 放送装置, 12 受信装置, 12R リモートコントローラ, 13 ACRサーバ, 14 コマンドサーバ, 15 アプリサーバ, 17 CATV装置, 19 セットトップボックス, 19R リモートコントローラ, 51 チューナ, 31 スピーカ, 32 ディスプレイ, 41 AVアンプ, 42 ゲーム機, 59 HDMI端子, 60 フィンガプリント抽出部, 61 通信I/F, 62 コマンド解析部, 64 制御部, 67 アプリエンジン, 70 チャンネル切替検出部, 71 受光部, 81 通信システム, 91 配信サーバ, 100 コンピュータ, 101 CPU

Claims (16)

  1. AVコンテンツを受信する受信部と、
    受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
    抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
    取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
    取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、
    視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出する検出部と、
    前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報を記憶する記憶部と
    を備え、
    前記特徴量抽出部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、
    前記識別結果取得部は、抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、
    前記制御部は、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
    受信装置。
  2. 前記識別結果取得部は、抽出した前記特徴量からACR(Automatic Content Recognition)技術を用いて識別される前記AVコンテンツの識別結果を取得する
    請求項1に記載の受信装置。
  3. 前記特徴量抽出部は、前記AVコンテンツのビデオ信号及びオーディオ信号のいずれか一方又は双方から前記特徴量を抽出する
    請求項1に記載の受信装置。
  4. 前記コマンドは、前記アプリケーションプログラムの取得若しくは登録、取得若しくは起動、イベント発火、中断、又は終了のうちのいずれかを示しており、
    前記制御部は、各コマンドに応じて、前記アプリケーションプログラムの取得若しくは登録、若しくは取得若しくは起動、又は実行中の前記アプリケーションプログラムのイベント発火、休止、若しくは終了を制御する
    請求項1に記載の受信装置。
  5. 受信装置の受信方法において
    前記受信装置が、
    AVコンテンツを受信し、
    受信した前記AVコンテンツのデータから特徴量を抽出し、
    抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
    取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
    取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
    視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
    前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報の記憶部への記憶を制御し、
    前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、
    抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、
    記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
    ステップを含む受信方法。
  6. コンピュータに、
    AVコンテンツを受信し、
    受信した前記AVコンテンツのデータから特徴量を抽出し、
    抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
    取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
    取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
    視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
    前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報の記憶部への記憶を制御し、
    前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、
    抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、
    記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
    ステップを含む処理を実行させるためのプログラム。
  7. AVコンテンツを受信する受信部と、
    受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
    抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
    取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
    取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、
    視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出する検出部と
    を備えた受信装置であって
    前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、所定のインターフェースの規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
    前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出し、
    前記制御部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
    受信装置。
  8. 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号に基づいて、前記AVコンテンツを構成する複数のフレームが所定の区間連続して同一画面となるか、又は前記複数のフレームが所定の区間連続して黒画面となるかを解析することで、
    チャンネルの切り替えを検出する
    請求項7に記載の受信装置。
  9. 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
    請求項7に記載の受信装置。
  10. 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号に基づいて、前記オーディオ信号のサンプルが所定の区間で無信号状態になるかと、前記サンプルが所定の区間で不連続状態になるかを解析することで、チャンネルの切り替えを検出する
    請求項9に記載の受信装置。
  11. 前記所定のインターフェースの規格は、HDMI(High Definition Multimedia Interface)規格である
    請求項7に記載の受信装置。
  12. 前記識別結果取得部は、抽出した前記特徴量からACR(Automatic Content Recognition)技術を用いて識別される前記AVコンテンツの識別結果を取得する
    請求項7に記載の受信装置。
  13. 前記特徴量抽出部は、前記AVコンテンツのビデオ信号及びオーディオ信号のいずれか一方又は双方から前記特徴量を抽出する
    請求項7に記載の受信装置。
  14. 受信装置の受信方法において
    前記受信装置が、
    AVコンテンツを受信し、
    受信した前記AVコンテンツのデータから特徴量を抽出し、
    抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
    取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
    取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
    送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、所定のインターフェースの規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
    前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
    前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
    ステップを含む受信方法。
  15. 受信装置のコンピュータに、
    AVコンテンツを受信し、
    受信した前記AVコンテンツのデータから特徴量を抽出し、
    抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
    取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
    取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
    送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、所定のインターフェースの規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
    前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、視聴される前記AVコンテンツの切り替えとして、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
    前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
    ステップを含む処理を実行させるためのプログラム。
  16. 受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、
    前記受信装置は、
    AVコンテンツを受信する受信部と、
    受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
    抽出した前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
    前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
    前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作を制御する制御部と、
    視聴される前記AVコンテンツの切り替えを検出する検出部と
    を備え、
    前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させ、
    前記第1の情報処理装置は、
    前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果を提供する第1の提供部を備え、
    前記第2の情報処理装置は、
    前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドを提供する第2の提供部を備え、
    前記第3の情報処理装置は、
    前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムを提供する第3の提供部を備える
    情報処理システム。
JP2011207842A 2011-09-22 2011-09-22 受信装置、受信方法、プログラム、及び情報処理システム Active JP5948773B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2011207842A JP5948773B2 (ja) 2011-09-22 2011-09-22 受信装置、受信方法、プログラム、及び情報処理システム
US14/241,759 US9503778B2 (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
MX2014003104A MX336516B (es) 2011-09-22 2012-09-03 Dispositivo de recepcion, metodo de recepcion programa, y sistema de procesamiento de informacion.
EP12833101.4A EP2760200A4 (en) 2011-09-22 2012-09-03 RECEIVING DEVICE, RECEIVING METHOD, PROGRAM, AND DATA PROCESSING SYSTEM
BR112014006092A BR112014006092A2 (pt) 2011-09-22 2012-09-03 dispositivo de recepção, método de recepção, programa, e, sistema de processamento de informação
PCT/JP2012/072354 WO2013042531A1 (ja) 2011-09-22 2012-09-03 受信装置、受信方法、プログラム、及び情報処理システム
CA2845593A CA2845593C (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
CN201280044760.1A CN103814569B (zh) 2011-09-22 2012-09-03 接收装置、接收方法、接收设备和信息处理系统
AU2012310795A AU2012310795B2 (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
KR1020147006557A KR102086870B1 (ko) 2011-09-22 2012-09-03 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
US15/290,814 US9967613B2 (en) 2011-09-22 2016-10-11 Reception device, reception method, program, and information processing system
US15/356,009 US10440423B2 (en) 2011-09-22 2016-11-18 Reception device, reception method, program, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011207842A JP5948773B2 (ja) 2011-09-22 2011-09-22 受信装置、受信方法、プログラム、及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2013070268A JP2013070268A (ja) 2013-04-18
JP5948773B2 true JP5948773B2 (ja) 2016-07-06

Family

ID=47914308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011207842A Active JP5948773B2 (ja) 2011-09-22 2011-09-22 受信装置、受信方法、プログラム、及び情報処理システム

Country Status (10)

Country Link
US (3) US9503778B2 (ja)
EP (1) EP2760200A4 (ja)
JP (1) JP5948773B2 (ja)
KR (1) KR102086870B1 (ja)
CN (1) CN103814569B (ja)
AU (1) AU2012310795B2 (ja)
BR (1) BR112014006092A2 (ja)
CA (1) CA2845593C (ja)
MX (1) MX336516B (ja)
WO (1) WO2013042531A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501399B2 (en) * 2011-02-04 2016-11-22 Kabushiki Kaisha Toshiba Memory system capable of controlling wireless communication function
JP5372049B2 (ja) 2011-02-04 2013-12-18 株式会社東芝 メモリシステム
WO2013021824A1 (ja) 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
US9049496B2 (en) * 2011-09-01 2015-06-02 Gracenote, Inc. Media source identification
US9769503B2 (en) * 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
JP5838351B2 (ja) * 2013-03-26 2016-01-06 パナソニックIpマネジメント株式会社 映像受信装置及び受信映像の画像認識方法
JP6281126B2 (ja) * 2013-07-26 2018-02-21 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
JP6194484B2 (ja) 2013-07-30 2017-09-13 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
WO2015033501A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
WO2015033500A1 (ja) * 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
KR101966940B1 (ko) * 2013-11-15 2019-08-13 삼성전자주식회사 디스플레이 장치 및 이의 통합 리모컨 설정 방법
JP2015167345A (ja) * 2014-02-14 2015-09-24 ミハル通信株式会社 Catv監視装置およびcatv監視方法
EP3125125A4 (en) 2014-03-24 2018-07-25 Square Enix Co., Ltd. Interactive system, terminal device, server device, control method, program, and recording medium
US9906844B2 (en) 2014-03-26 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
EP3125567B1 (en) 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技(深圳)有限公司 基于视频的互动方法和系统
WO2016009637A1 (ja) 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
JP6432047B2 (ja) 2014-08-21 2018-12-05 パナソニックIpマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
KR20160085076A (ko) * 2015-01-07 2016-07-15 삼성전자주식회사 콘텐츠를 제공하는 방송 서버를 판단하는 방법 및 이를 제공하는 전자 장치
US10750236B2 (en) 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US9918141B2 (en) * 2015-08-05 2018-03-13 Surewaves Mediatech Private Limited System and method for monitoring and detecting television ads in real-time using content databases (ADEX reporter)
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
US9854304B2 (en) 2015-09-28 2017-12-26 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of fingerprints
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3391651B1 (en) * 2015-12-16 2022-08-10 Roku, Inc. Dynamic video overlays
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
EP3400709A4 (en) * 2016-01-05 2019-07-24 Gracenote Inc. IT SYSTEM WITH A TRIGGER ELEMENT BASED ON A CONTENT CHARACTERISTIC
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
KR102504174B1 (ko) 2018-05-11 2023-02-27 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) * 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
JP7313972B2 (ja) * 2018-08-22 2023-07-25 日本放送協会 受信機および端末装置
KR20200080387A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP7381712B2 (ja) * 2019-07-19 2023-11-15 アイビクィティ デジタル コーポレイション 対象を定めたラジオ放送音声用フィンガープリント
WO2023176997A1 (ko) * 2022-03-17 2023-09-21 엘지전자 주식회사 디스플레이 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372976B2 (en) 1998-04-16 2008-05-13 Digimarc Corporation Content indexing and searching using content identifiers and associated metadata
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US8645838B2 (en) 1998-10-01 2014-02-04 Digimarc Corporation Method for enhancing content using persistent content identification
US20020032734A1 (en) 2000-07-26 2002-03-14 Rhoads Geoffrey B. Collateral data combined with user characteristics to select web site
US20020062382A1 (en) 1999-05-19 2002-05-23 Rhoads Geoffrey B. Collateral data combined with other data to select web site
US7298864B2 (en) 2000-02-19 2007-11-20 Digimarc Corporation Digital watermarks as a gateway and control mechanism
EP1257921A4 (en) * 2000-02-19 2006-09-20 Digimarc Corp SOFTWARE AND DEVICES ACTIVATED BY ENCODERS AND FILIGRANE DECODERS
US8091025B2 (en) 2000-03-24 2012-01-03 Digimarc Corporation Systems and methods for processing content objects
US20030187798A1 (en) 2001-04-16 2003-10-02 Mckinley Tyler J. Digital watermarking methods, programs and apparatus
FR2832580B1 (fr) 2001-11-16 2004-01-30 Thales Sa Signal de programme de diffusion avec commande, systemes d'inscription et de lecture de commande, chaine de production et de diffusion associes
JP4370560B2 (ja) * 2003-07-31 2009-11-25 日本電気株式会社 視聴調査システム、方法、視聴調査用プログラム、視聴調査端末およびサーバー
JP4691216B2 (ja) 2005-02-28 2011-06-01 株式会社日立国際電気 デジタル放送受信機
KR100837720B1 (ko) 2005-05-26 2008-06-13 한국전자통신연구원 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법
CN101218819A (zh) * 2005-05-26 2008-07-09 韩国电子通信研究院 数字多媒体广播中同步数据服务和视频服务的方法和装置
JP4813497B2 (ja) * 2005-10-07 2011-11-09 シャープ株式会社 受信装置、サーバ、テレビ受像機、モバイル端末機器、システム、情報処理プログラム、および記録媒体
WO2008007279A2 (en) * 2006-07-04 2008-01-17 Koninklijke Philips Electronics N.V. Method of content substitution
US20080256115A1 (en) * 2007-04-11 2008-10-16 Oleg Beletski Systems, apparatuses and methods for identifying transitions of content
JP2009212743A (ja) 2008-03-04 2009-09-17 Sony Corp 電子機器、送信方法及びプログラム
JP4683067B2 (ja) * 2008-04-17 2011-05-11 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US9390167B2 (en) * 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
JP5152056B2 (ja) * 2009-03-19 2013-02-27 富士通モバイルコミュニケーションズ株式会社 無線送信装置、無線受信装置および無線通信方法
DE102009016853A1 (de) * 2009-04-08 2010-10-14 Bayer Materialscience Ag Verfahren zur Herstellung von Diaryl- oder Alkylarylcarbonaten aus Dialkylcarbonaten
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US8695053B2 (en) * 2009-09-10 2014-04-08 Jeffrey Huang Apparatus and method for multimedia data reception, processing, routing, storage, and access using a web / cloud-computing synchronization of personal multimedia data
US20110154200A1 (en) * 2009-12-23 2011-06-23 Apple Inc. Enhancing Media Content with Content-Aware Resources
JP5498179B2 (ja) * 2010-01-25 2014-05-21 キヤノン株式会社 デジタル放送受信装置、及びその制御方法
JP5668512B2 (ja) * 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法

Also Published As

Publication number Publication date
US9967613B2 (en) 2018-05-08
CN103814569B (zh) 2017-09-12
US20170034573A1 (en) 2017-02-02
WO2013042531A1 (ja) 2013-03-28
CA2845593C (en) 2020-01-28
CA2845593A1 (en) 2013-03-28
US20140230002A1 (en) 2014-08-14
US10440423B2 (en) 2019-10-08
EP2760200A1 (en) 2014-07-30
KR20140063686A (ko) 2014-05-27
AU2012310795A1 (en) 2014-03-20
US20170070771A1 (en) 2017-03-09
CN103814569A (zh) 2014-05-21
JP2013070268A (ja) 2013-04-18
MX336516B (es) 2016-01-22
AU2012310795B2 (en) 2017-06-08
BR112014006092A2 (pt) 2017-04-04
EP2760200A4 (en) 2015-03-18
KR102086870B1 (ko) 2020-03-09
MX2014003104A (es) 2014-04-25
US9503778B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
JP5948773B2 (ja) 受信装置、受信方法、プログラム、及び情報処理システム
US11019406B2 (en) Receiving device, receiving method, program, and information processing system
JP6040154B2 (ja) 受信装置、受信方法、プログラム、及び情報処理システム
KR102017145B1 (ko) 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
JP6250402B2 (ja) 受信装置、受信方法、プログラム、及び情報処理システム
KR102019618B1 (ko) 수신 장치, 수신 방법 및 프로그램
JP5793871B2 (ja) 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
JP2016001908A (ja) 受信方法、受信装置、供給方法、および供給装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R151 Written notification of patent or utility model registration

Ref document number: 5948773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250