[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2008103784A - 映像記録装置 - Google Patents

映像記録装置 Download PDF

Info

Publication number
JP2008103784A
JP2008103784A JP2006282144A JP2006282144A JP2008103784A JP 2008103784 A JP2008103784 A JP 2008103784A JP 2006282144 A JP2006282144 A JP 2006282144A JP 2006282144 A JP2006282144 A JP 2006282144A JP 2008103784 A JP2008103784 A JP 2008103784A
Authority
JP
Japan
Prior art keywords
information
video
priority
time
thumbnail image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006282144A
Other languages
English (en)
Inventor
Hiroko Suketa
浩子 助田
Yoichi Horii
洋一 堀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006282144A priority Critical patent/JP2008103784A/ja
Priority to US11/873,089 priority patent/US20080260346A1/en
Publication of JP2008103784A publication Critical patent/JP2008103784A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 番組の判別を容易にするための番組サムネイル画像を、視聴者にとってできるだけ簡略な操作で、できるだけ録画した映像の内容をよく反映した画像になるように設定する方法および番組記録装置を提供すること。
【解決手段】 映像情報を外部から受信する受信機と、前記受信機により受信された映像情報を記録する記録装置と、前記映像情報からサムネイル画像を切り出す制御部とを有し、前記映像情報には、前記映像情報のフレーム時刻情報および優先度情報が含まれている付加情報が付加されており、前記制御部は前記第一の付加情報をもとに前記映像情報から前記サムネイル画像を切り出すことを特徴とする映像記録装置を提供する。
【選択図】 図1

Description

本発明は、映像番組を蓄積し管理する記録装置に関し、特に、番組の判別を容易にするための番組サムネイル画像の設定方法およびその方法を搭載した記録装置に関する。
テレビ番組をハードディスクやDVD(Digital Versatile Disk)、あるいはビデオテープに録画し、後から視聴するための番組記録装置が広く利用されている。その際、番組の判別を容易にするために、番組映像の一部を切り出したサムネイル画像として表示し、視聴者はそれをもとに番組を認識し、再生などの操作を行うことが一般的である。
サムネイル画像としては、録画した映像信号の中から、所定のフレームの画像を切り出したものを用いることが一般的である。具体的には、録画開始から所定時間経過後（例えば1分後）のフレーム画像を用いるものが多いが（例えば特許文献1参照）、番組の録画時・再生時にフレームを切り出す経過時間を視聴者が設定できるものもある（例えば特許文献2、特許文献3参照）。
一方、主に番組内のシーンごとの再生速度を切り替えることにより番組を効率的に視聴することを目的として、番組に関連する再生スクリプトを記録装置の外部より取得する方法が提案されている（特許文献4参照）。これによれば、番組開始からの所定の時間をキーにして、ネットワーク等を介して、番組の視聴方法を外部より定義することが可能である。また、特許文献5では、番組に関するメタ情報である番組メタ情報を蓄積する番組情報管理サーバと，番組メタ情報に基づいて作成される番組一覧を表示装置に表示する番組情報利用端末と，を備える番組情報処理システムが提供される。また、番組をシーンに区切り、シーンごとに説明を加えた番組メタデータをネットワーク上で配信するサービスが運用中である（例えば非特許文献1参照）。これによれば、番組開始からの所定の時間をキーにして、ネットワーク等を介して、番組内のシーンの付加情報を外部より定義することが可能である。
公開特許公報:特開2003-61039 公開特許公報:特開2003-32581 公開特許公報:特開2005-151085 公開特許公報:特開2005-236527 公開特許公報:特開2005-354642 「テレビブログ」http://www.tvblog.jp/ （2006年10月12日検索）
従来の番組サムネイル画像設定方法では、番組開始からの所定の時間でのフレームを切り取った画像が、必ずしもその番組の内容をよく反映した画像にならないという問題点がある。特に、毎週同じ時刻に続けて放送される番組では、所定の時間で切り取られた画像は毎週同じタイトル画像になってしまい、番組ごとの区別がつかなくなる可能性がある。また、切り取った画像がたまたまコマーシャル映像の一部になってしまうこともある。
番組ごとにフレームを切り出す時刻を視聴者が任意に設定する方法も提供されているが、番組録画予約時あるいは再生時にサムネイル画像のフレームを手動で設定するのは、視聴者にとっては面倒かつ煩雑な処理が必要となってしまう。
また、非特許文献１に記載のサービスは、ネットワーク経由で番組に関するメタデータを配信しそれを閲覧したり、視聴者が番組やシーンに対する感想などを発信する仕組みを提供しているが、これらを組み合わせて任意の時間における映像の代表画像を自動的に抽出する方法および機器については規定していない。
本発明の目的は、番組の判別を容易にするための番組サムネイル画像を、視聴者にとってより簡略な操作で（あるいは何も操作することなく）、より録画した映像の内容をよく反映した画像になるように設定する方法および番組記録装置を提供することにある。
以上の課題を解決するために、サムネイル画像の選択の際に、ネットワークや放送信号などの手段により外部から取得可能な、切り出しのための付加情報（メタデータ）を利用することを考える。
メタデータには、日時とチャンネルからフレーム単位のサムネイルを特定できる時間情報が含まれる。番組記録装置では、録画した映像のチャンネルと時間帯にあるメタデータをもとに、サムネイル画像を切り出してこれを代表画像とするようにする。録画した映像の時間内に複数のサムネイル候補となるメタデータが存在する場合には、あらかじめ付与された優先度などの情報を利用して、代表サムネイル画像を選択することができる。この方法によると、録画した映像が番組単位でない場合（時間で指定する場合や、複数番組にまたがる場合など）にも、映像の中の代表的なシーンをサムネイル画像として設定することが可能であり、番組の中のシーンをチャプターで区切った場合にも、チャプターごとの代表画像を選択することができる。
サムネイル選択のためのめたデータは、放送局側が配信する場合もあるし、出演者やスポンサーが配信することも可能である。また一般の視聴者が生成して配信することもできるようにすれば、数多くのメタデータの中から、視聴者自身の好みに合った最適な代表画像を選択することも可能となる。また、上記方法で選択された中から最終的に視聴者が選択するようにすることもできる。
具体的には以下の通りである。
１）映像情報を外部から受信する受信機と、前記受信機により受信された映像情報を記録する記録装置と、前記映像情報からサムネイル画像を切り出す制御部とを有し、前記映像情報には、前記映像情報のフレーム時刻情報および優先度情報が含まれている付加情報が付加されており、前記制御部は前記第一の付加情報をもとに前記映像情報から前記サムネイル画像を切り出すことを特徴とする映像記録装置。
２）映像情報を外部から受信する受信機と、前記受信機により受信された映像情報を記録する記録装置と、前記映像情報からサムネイル画像を切り出す制御部とを有し、前記受信機はインターネット上から前記映像情報に関する付加情報を取得し、前記付加情報には、前記映像情報のフレーム時刻情報および、外部コミュニティからの投稿時刻に関する情報および、外部コミュニティの投稿数に関する情報が含まれており、前記制御部は前記付加情報をもとに優先度を計算し、前記映像情報から前記サムネイル画像を切り出すことを特徴とする映像記録装置。
本発明により、番組の判別を容易にするための番組サムネイル画像を、視聴者にとってできるだけ簡略な手順で、できるだけ録画した映像の内容をよく反映した画像になるように選択する方法および番組記録装置を提供することが可能となる。
以下、本発明によって実現されるシステムの第一の例を、図1から図7により説明する。
図1に、本発明の実施例1のシステム構成図と大まかな処理の流れを示す。視聴者(001)は自宅等(002)にビデオレコーダ(010)を所持し、番組映像をこれに録画・格納する。ビデオレコーダ(010)では、まず所定の手続きによって１．番組を録画し(101)、録画が終了するとまず、２．所定の方法で（例えば録画開始から1分経過後のフレームを切り出す等）サムネイル画像を切り出し、この番組の代表画像とする。これと並行して、番組情報センターや放送局(003)、あるいはコミュニティやサービス提供業者(004)では、サーバ(040)において、３．放送された映像に関する、サムネイル切り出し用メタデータを生成する(103)。生成されたメタデータはネットワークあるいは放送信号に載せて、４．ビデオレコーダ(010)に送信される(104)。ビデオレコーダ(010)はこれを受信して、所定のルールにより、５．サムネイル画像の選択（すでにサムネイル画像が設定されている場合は差し替え）を行う(105)。視聴者(001)はビデオレコーダ(010)に録画・格納された番組を、映像表示装置(014)を介して、６．参照・視聴する(106)。なお、上記、２．のサムネイル画像の切り出しステップを省略する場合は、５．におけるサムネイル画像選択処理によって初めて番組の代表画像が決まることになる。
図2は、本システムで利用されるビデオレコーダの構成図である。ビデオレコーダ(010)は、映像・音声、および録画予約や視聴番組選択のための制御データ等を格納するためのハードディスクドライブ(011)やDVDディスク(013)・DVDドライブ(012)といった記録媒体、制御部(020)、記憶媒体に格納する映像等を入力するための映像信号をアンテナから受信するチューナー(025)、テレビやモニタ等の映像表示装置を制御する映像表示部(026)、インターネット(005)等を通じてサーバと接続するための通信手段(027)からなる。なお、映像信号をアンテナからでなくケーブルやネットワーク回線などの他の手段から受信する場合には、チューナー(025)の代わりにセットトップボックスなどの装置が必要となる場合もある。テレビやモニタ等の映像表示装置は、ビデオレコーダ(010)と一体となった構成でも、別装置となる構成でも、どちらでもよい。ハードディスクドライブ(011)には、各録画番組のデータ(030)が格納され、これは映像データ(031)と映像に付随した情報であるメタデータ(032)が組になっている。制御部(020)には、録画ルーチン(021)、録画予約ルーチン(022)、映像再生ルーチン(023)、サムネイル選択ルーチン(024)などといった各種処理を行うための処理部が含まれている。
図3に、従来の一般的な方法によるサムネイル画像設定処理の概要を示す。開始時刻(201)から終了時刻(202)にかけて録画された番組(203)について、あらかじめ定められた時刻（この例では録画開始から1分経過後）のフレーム(210)を切り出したものをサムネイル画像(220)として定める。また、チャプターに分割されている映像に対しても、それぞれのチャプターの開始後1分後のフレーム(211)〜(216)における切り出し画像をチャプターごとのサムネイル画像(221)〜(226)として定める。この方法では、自動的に切り出されたそれぞれのサムネイル画像が必ずしも番組あるいはチャプターの内容を的確に表している画像になる保証はなく、番組やチャプターを後から識別するのに役に立たない場合がある。
図4に、本発明で提案している方法によるサムネイル画像設定処理の概要を示す。開始時刻(201)から終了時刻(202)にかけて録画された番組(203)について、時刻別にサムネイル選択の優先度を表すメタデータが何らかの手段により受信されているとする。このとき、番組時間帯のうち最も優先度の高いフレーム(230)を切り出した画像(240)を、この番組のサムネイル画像として設定する。同じメタデータを用いて、チャプターで区切られた範囲別に、最も優先度が大きいチャプター(231)〜(236)を選択・切り出すことにより、チャプター別のサムネイル画像(241)〜(246)を設定することができる。ここで、自動的に選択されたサムネイル画像を視聴者が気に入らない場合などには、候補としてメタデータが与えられたフレームの中から視聴者がサムネイル画像を手動で選択・設定することもできる。
次に、図5により、本発明で提案する記録装置での、主にサムネイル画像選択に関わる処理の流れを説明する。録画ルーチン(021)として、通常の録画装置と同様に、録画予約に従って番組録画を行う(301)。このとき、事前に受信したメタデータがある場合には(302)、下記に述べるサムネイル選択ルーチン(024)の処理を実行する。事前に受信したメタデータがない場合には、従来方法と同様の方法によって、開始時刻からあらかじめ指定した時刻経過後のフレームを切り出してデフォルトのサムネイル画像を設定する(304)。録画後あるいは番組放送中の適当なタイミングにおいて、放送信号あるいはネットワーク経由でサムネイル決定用のメタデータを受信したら(305)、サムネイル選択ルーチン(024)に移行する。
サムネイル選択ルーチン(024)では、まず、録画開始時刻から終了時刻の区間においてサムネイル選択用のメタデータが与えられているフレームを抽出する(306)。その後、それぞれのフレームについて、必要に応じて、後述するようなキーワード・ジャンル・あるいはコメントの有無などの条件によってフレームごとの重み付け処理を行い(307)、優先度が最大となるフレームの画像を切り出し、サムネイル画像として設定する(308)。 なお、サムネイル画像が設定された後に、手動あるいは自動でチャプター分割があった場合には、区間ごとに上記の処理を繰り返す(309)。さらに、視聴者によりサムネイル画像の手動選択があった場合には、手動で設定した画像を優先して再度サムネイル画像の設定を行う。
図6により、サムネイル切り出し用のメタデータの形式を示す。1件のメタデータ(400)はそれぞれ、データID(401)、フレーム時刻(402)、チャンネル(403)、サムネイル切り出し優先度 (404)、番組情報（主にEPG：Electronic Program Guide情報）としてタイトル(406)、サブタイトル(407)、カテゴリ(408)、出演者(409)、番組開始時刻(410)、番組終了時刻(411)といった各種情報(405)、キーワード(412)、コメント(413)、発信元(414)などからなる。このメタデータは、例えば(420)に示すようなXML形式で配信されることを想定しているが、必ずしもこの形式に限定される必要はない。
これまでは主に、1回の録画で単一の番組を録画する場合を想定して説明してきたが、本発明で提案する方式は、番組単位でサムネイル画像を設定することもできるが、録画された任意の区間における優先度最大値をサムネイル選択の基準とすることもできるため、1回の録画に複数の番組が混在する場合や番組の一部を録画した場合にも、区間で最適なサムネイル画像を選択するのに有効である。図7には、1回の録画に複数の番組が混在する場合の処理を示す。開始時刻(201)から終了時刻(202)の間に番組Ａ(204)と番組Ｂ(205)が続けて録画されていた場合には、基本的には番組の切れ目に関係なく優先度が最大のフレームを切り出すことになる。ここで、この区間に含まれる複数の番組のうち、あらかじめ視聴者が登録したキーワードを含む番組の優先度に重み付けをするように設定されているとすると、もし(237)と(238)のように優先度が同一のフレームが複数存在したとしても、キーワードによる重み付けの結果、フレーム(237)の画像(247)が切り出してサムネイル画像となる。重み付けの条件としては、ここで例に挙げたキーワードのほか、番組のジャンル、メタデータの生成時刻や発信元など、さまざまな項目を基準とすることができる。また、優先度設定の際の重み付けの条件やパラメータについては、あらかじめ出荷時に設定しておくだけでなく、視聴者が後から変更を可能にしたり自動的に学習するなどの工夫を加えることで、より視聴者の好みに合った賢いサムネイル画像選択が可能となる。もちろん、上記基準で選択された優先度の高いフレームの中から、視聴者が手動でサムネイル画像を選択することも可能である。
本発明によって実現されるシステムの第二の例を、図8により説明する。主な構成および処理手順は図1とほぼ同様であるが、視聴者(001)が映像表示装置(014)を介して録画・格納された番組を6.参照・視聴(106)する際に、７．手動でのサムネイル画像選択やコメントの付与を行う(107)ステップと、８．生成されたデータをサーバにアップロードする(108)ステップが追加されている。このシステムでは、視聴者やその他の主体が、メタデータを作成してアップロードし、これを共有して配信するサービスあるいはコミュニティを想定している。サービス提供者(004)がアップロードされたメタデータを管理し、ある時間帯・チャンネルに関わるメタデータを各レコーダ(010)に配信するものである。これにより、特定の放送局や番組情報センター(003)から配信されるメタデータだけでなく、多様なデータを元にサムネイル画像の設定を行うことが可能となる。
次に、図9と図10を用いて、ある区間において優先度最大のフレームを選択するための重み付け処理について説明する。開始時刻(201)から終了時刻(202)にかけての映像について、(431)に示すようなメタデータを受信した場合、F[0]からF[7]で表されるサムネイル画像候補(250)〜(257)から番組のサムネイル画像を選択する処理について、図10の流れ図により説明する。まず、メタデータの総数をNumに代入し(311)、すべてのiに対してScore[i]の初期化を行う(312),(313)。次に、関数SimilarImage(i,j)の返り値に応じてScore[i]およびScore[j]の値を更新する処理(316)をi=0からNum-1まで, j=i+1からNum-1まで繰り返す(314),(315)。関数SimilarImage(320)は、ステップ(321)から(315)で表される処理を行う関数で、異なる二つの画像の類似度をあらかじめ定められた閾値THRESにより判定する関数である。つまり、図10の処理により、8枚のサムネイル画像候補は類似した画像のグループに分類され、代表画像のScore[i]の値は類似した画像の枚数に対応する。従って、図9に示すように、類似する画像が最も多い画像F[2]に対応するScore[2]の値は4となり、最大値となるため、このF[2]をこの区間の代表サムネイル画像として設定することとする。以上の処理により、いくつかの与えられたメタデータの中から、最もその番組を代表していると思われるサムネイル画像の選択が可能となる。
次に、図11および図12により、ある区間において優先度最大のフレームを選択するための別の重み付け処理について説明する。開始時刻(201)から終了時刻(202)にかけて録画された映像(203)について、インターネット上から(432)に示すようなメタデータを受信した場合、番組のサムネイル画像を選択する処理の一例である。図12によって表される処理手順によって、複数のメタデータからフレーム時刻Tframe[i]が近いものをグループ化し、さらにメタデータの登録日時Treg[i]がフレーム時刻すなわち放送時刻Tframe[i]と近いものに重みをつけてScore[i]を規定する。これにより、放送されてから早い時間にコメントが寄せられた（＝リアルタイム性が高い）メタデータに対して高い優先度を付与した計算結果が得られ、結果としてフレーム(261)の映像を切り出した画像(260)をサムネイル画像として選択することができる。また、コメント数が多いメタデータに高い優先度を付与するように設定することもできる。これにより、視聴者の人気の高いフレームなど、よりその番組を代表するにふさわしいサムネイル画像を、簡便に抽出することができる。
さらに、図13および図14により、図11と同様のメタデータが与えられた場合の、任意区間でのサムネイル画像選択の処理例を説明する。開始時刻(201)から終了時刻(202)までに録画された映像(203)において、グループ化されたいくつかのメタデータが存在する場合、あらかじめ設定された条件によって、キーワードやジャンル、メタデータ登録日時などによって重み付けを行った後（図14のステップ343〜344による）、優先度が最大(265)のフレームを代表フレーム(271)として、サムネイル画像を切り出す（図14のステップ345による）。任意に切り出した指定時間内(206)に優先度最大のメタデータが存在する場合も同様である。もし、任意に切り出した指定時間内(207)にメタデータが存在しない場合には、デフォルトの方法に従い開始時刻からk秒後（ここではk=60すなわち1分後）のフレーム(273)をサムネイル画像として切り出す（図14のステップ342による）。区間(208)についても、同様の処理（図14のステップ343〜345）により、切り出しフレーム(274)を決定する。
なお、図9から図14で示した優先度付与・切り出しフレーム選択方法は、優先度最大のフレームを見つける際の重み付け処理の一例を示したものであり、必ずしもこれらの方法に限定されるものではない。他に例えば、特定キーワードの有無により判定したり、特定の発信元が発信したメタデータを優先したり、フレーム時刻が最も早いものを優先するなど、メタデータで規定された任意の情報を利用して特定のフレームを選択する方法を定義可能である。
図15に、録画予約からサムネイル選択までの処理の流れと、受信するメタデータの例を示す。録画予約(022)の際、開始・終了時刻およびチャンネルが確定するので、この時点ですでに、放送局や出演者の所属事務所などの主体から発信済みのメタデータ(433)を受信する。録画実行されると(021)、図5のステップ(302)の手順により、優先度最大のメタデータで定義されるフレームから切り出したサムネイル画像(269)が選択される。その後、メタデータ配信事業者や他の視聴者、各種コミュニティから配信される各種メタデータ(434),(435)を受信したら、適当なタイミングでサムネイル選択処理(024)を行う。サムネイル選択処理は、図5のステップ(305)〜(307)で説明した処理のほか、図9〜図14で説明したようなグルーピングあるいは重み付けによる優先度の付与などの処理を適宜組み合わせて行う。
図16には、本発明によって実現される映像録画装置の画面例を示す。画面(501)は録画予約を実行する画面の例である。番組の録画予約を行う際には、録画する番組のチャンネルや日時、タイトルなどといった番組情報が画面に表示され(502)、予約実行ボタン(503)とキャンセルボタン(504)が表示される。また、サムネイル画像の設定モードが表示される(505)。設定変更ボタン(506)を選択すると、モード設定画面(507)に移行することができる。サムネイル設定モードは、受信したメタデータで定義された優先度に応じて自動的にサムネイル画像を設定する「おまかせ」モード(508)や、その他優先度を設定できるモード(510)などを選ぶことができる。優先度の設定条件としては、例えば該当するジャンルの番組やシーンに関しては優先度を上げる「優先ジャンル」の設定(511)や、特定のキーワードを含むメタデータの優先度を上げる「優先キーワード」の設定(512)などができるようになっている。ここで、優先倍率を設定させたり、特定の発信元の発信するメタデータを優先させる、各種コミュニティから配信されるメタデータを優先させる、などのきめ細かい設定ができるようになっていてもよい。あるいは、このような設定画面を明示しなくても、利用しているうちに自動的に視聴者の好みを学習していくようなシステムであってもよい。例えば、最終的に視聴者がサムネイルとして設定したフレームは、どのような基準で選択されたものか（例えば、コミュニティ情報を優先させた、あるキーワードから選択されたものを優先させた、など）を、スコアとして集計していき、スコアの高いサムネイル画像の選択方法を採用するようにすることができる。
以上の実施例では、メタデータの処理及びサムネイル画像の選択をすべてローカルの録画装置側で行ったが、これらの一連の処理あるいは処理の一部を、サーバ側で行い、サムネイルとして切り出すフレーム情報を録画装置に送信するサービスとして実装してもよい。
以上説明してきた装置およびシステムにより、大量に録画した映像の識別を容易にするサムネイル画像を、簡単な手順でできるだけ番組あるいはチャプターの内容を反映したものとして表示させることができるため、番組検索のユーザビリティが向上し、視聴者の利便性を向上させることができる。また、番組制作者やスポンサー、そのほかの主体に対しても、視聴者に最も見てもらいたいシーンを的確にアピールする手段としても有効である。
使い勝手が向上したビデオレコーダを提供することができるとともに、大量に録画した番組の視聴やコンテンツ管理を簡略化するためのサービス・システムを視聴者に対して提供することができる。
また、テレビ番組の製作者やスポンサーに対しては、視聴者に最も見てもらいたいシーンを的確にアピールする手段を提供することができるのに加えて、視聴者からのメタデータ収集により、番組がどのように視聴されているのか等の調査や視聴者層の把握にもつなげることが可能である。
実施例1におけるシステム構成と処理の流れ。 ビデオレコーダの構成。 従来方法の説明。 提案方法の説明。 サムネイル切り出し処理手順。 サムネイル切り出し用メタデータ形式。 異なる番組が混在した場合の処理。 実施例2におけるシステム構成と処理の流れ。 類似画像グルーピング(1)。 類似画像グルーピング(2)。 優先度の自動付加(1)。 優先度の自動付加(2)。 任意区間でのサムネイル選択(1)。 任意区間でのサムネイル選択(2)。 受信メタデータと処理の流れ。 画面例。
符号の説明
001: 視聴者，002: 自宅，003:番組情報センター／放送局等，004: コミュニティ／その他サービス提供者，005: インターネット, 010: ビデオレコーダ，011: ハードディスクドライブ，012: DVDドライブ，013: DVDメディア，014: 映像表示装置，020: 制御部，021: 録画ルーチン，022: 録画予約ルーチン，023: 映像再生ルーチン，024: サムネイル選択ルーチン，025: チューナー，026: 映像表示部，027: 通信インタフェース， 030: 録画番組データ, 031: 映像, 032: メタデータ, 040: サーバ，041: 切り出し・優先度関連データ, 101〜108: 処理手順，201: 録画開始時刻，202: 録画終了時刻，203: 録画時間帯，204: 番組Aの録画時間帯，205: 番組Bの録画時間帯，206〜208：任意区間の映像，210: 従来方法によるフレーム切り出し時刻，211〜216: 従来方法によるチャプターごとのフレーム切り出し時刻, 220: 従来方法によって切り出されたサムネイル画像, 221〜226: 従来方法によって切り出されたチャプターごとのサムネイル画像, 230: 提案方法によるフレーム切り出し時刻，231〜238: 提案方法によるチャプターごとのフレーム切り出し時刻, 240: 提案方法によって切り出されたサムネイル画像, 241〜248: 提案方法によって切り出されたチャプターごとのサムネイル画像, 251〜257: サムネイル候補として切り出された画像，260, 269: サムネイル画像，261〜268: サムネイル候補フレーム，271〜274: サムネイル切り出しフレーム，301〜309, 310〜317, 320〜325, 330〜339, 340〜346: 処理ステップ，400: サムネイル切り出し用メタデータ，401: データID，402: フレーム時刻，403: チャンネル，404: 優先度，405: 番組情報（EPG情報），406: タイトル, 407: サブタイトル，408: カテゴリ，409: 出演者, 410: 番組開始時刻, 411: 番組終了時刻, 412: キーワード, 413: コメント, 414: 発信元, 420〜422: XML形式でのメタデータ受信, 431〜435: メタデータ一覧，501：番組録画予約画面，502〜506, 508〜515：画面部品，507：サムネイル設定モード設定画面。

Claims (17)

  1. 映像情報を外部から受信する受信機と、
    前記受信機により受信された映像情報を記録する記録装置と、
    前記映像情報からサムネイル画像を切り出す制御部とを有し、
    前記映像情報には、前記映像情報のフレーム時刻情報および優先度情報が含まれている付加情報が付加されており、
    前記制御部は前記第一の付加情報をもとに前記映像情報から前記サムネイル画像を切り出すことを特徴とする映像記録装置。
  2. 前記制御部は、前記記録装置により記録された時間内において、最も前記優先度が高い時間におけるサムネイル画像を切り出すことを特徴とする請求項１記載の映像記録装置。
  3. 前記記録装置により記録された時間内において、前記優先度情報が含まれる複数の時間における複数のサムネイル画像の中から、任意のサムネイル画像を選択し切り出すための入力手段を有することを特徴とする請求項１記載の映像記録装置。
  4. どのような映像情報に高い優先度をつけるかについてのユーザ情報を入力するための入力手段を有し、
    前記制御部は、前記ユーザ情報および前記第一の付加情報を元に前記優先度の再計算を行い、再計算後において最も前記優先度が高い時間におけるサムネイル画像を切り出すことを特徴とする請求項１記載の映像記録装置。
  5. 前記制御部は、前記記録装置により記録された時間内において、最も前記優先度が高い時間が複数存在する場合に、前記ユーザ情報をもとにより優先度が高い時間を選択しサムネイル画像を切り出すことを特徴とする請求項４記載の映像記録装置。
  6. 前記制御部は、前記記録装置により記録された時間内において、前記第一の付加情報が付加された複数の時間における画像間の類似度を判定し、前記類似度が高い時間における優先度に高い重み付けをし、前記類似度が低い時間における優先度に低い重み付けをすることを特徴とする請求項１記載の映像記録装置。
  7. 前記受信機はインターネット上から前記映像情報に関する第二の付加情報を取得し、
    前記第二の付加情報には、前記映像情報のフレーム時刻情報および、外部コミュニティからの投稿時刻に関する情報および、外部コミュニティの投稿数に関する情報が含まれており、
    前記制御部は前記第一および第二の付加情報をもとに前記優先度を再計算し、前記映像情報から前記サムネイル画像を切り出すことを特徴とする請求項１記載の映像記録装置。
  8. 前記優先度の決定につき、前記第一の付加情報および前記第二の付加情報のどちらにどれだけの重み付けをするかについての設定をできることを特徴とする請求項７記載の映像記録装置。
  9. 前記優先度の決定につき、前記第一の付加情報および前記ユーザ情報のどちらにどれだけの重み付けをするかについての設定をできることを特徴とする請求項４記載の映像記録装置。
  10. 映像情報を外部から受信する受信機と、
    前記受信機により受信された映像情報を記録する記録装置と、
    前記映像情報からサムネイル画像を切り出す制御部とを有し、
    前記受信機はインターネット上から前記映像情報に関する付加情報を取得し、
    前記付加情報には、前記映像情報のフレーム時刻情報および、外部コミュニティからの投稿時刻に関する情報および、外部コミュニティの投稿数に関する情報が含まれており、
    前記制御部は前記付加情報をもとに優先度を計算し、前記映像情報から前記サムネイル画像を切り出すことを特徴とする映像記録装置。
  11. 前記制御部は前記記録装置により記録された時間内において、最も前記優先度が高い時間におけるサムネイル画像を切り出すことを特徴とする請求項１０記載の映像記録装置。
  12. 前記制御部は前記優先度の計算につき、１）前記フレーム時刻と前記投稿時刻がより近接しているフレーム時刻を優先して前記サムネイル画像を切り出すか、または、２）前記投稿数が多いフレーム時刻を優先して前記サムネイル画像を切り出すか、または、前記１）および２）の優先付けを総合して前記サムネイル画像を切り出すことを特徴とする請求項１０記載の映像記録装置。
  13. 前記記録装置により記録された時間内において、前記優先度に関する情報が含まれる複数の時間における複数のサムネイル画像の中から、任意のサムネイル画像を選択し切り出すための入力手段を有することを特徴とする請求項１０記載の映像記録装置。
  14. どのような映像情報に高い優先度をつけるかについてのユーザ情報を入力するための入力手段を有し、
    前記制御部は、前記ユーザ情報および前記付加情報を元に前記優先度の再計算を行い、再計算後において最も前記優先度が高い時間におけるサムネイル画像を切り出すことを特徴とする請求項１０記載の映像記録装置。
  15. 前記制御部は、前記記録装置により記録された時間内において、最も前記優先度が高い時間が複数存在する場合に、前記ユーザ情報をもとにより優先度が高い時間を選択しサムネイル画像を切り出すことを特徴とする請求項１４記載の映像記録装置。
  16. 前記制御部は、前記記録装置により記録された時間内において、前記付加情報が付加された複数の時間における画像間の類似度を判定し、前記類似度が高い時間における優先度に高い重み付けをし、前記類似度が低い時間における優先度に低い重み付けをすることを特徴とする請求項１０記載の映像記録装置。
  17. 前記優先度の決定につき、前記付加情報および前記ユーザ情報のどちらにどれだけの重み付けをするかについての設定をできることを特徴とする請求項１４記載の映像記録装置。
JP2006282144A 2006-10-17 2006-10-17 映像記録装置 Pending JP2008103784A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006282144A JP2008103784A (ja) 2006-10-17 2006-10-17 映像記録装置
US11/873,089 US20080260346A1 (en) 2006-10-17 2007-10-16 Video recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006282144A JP2008103784A (ja) 2006-10-17 2006-10-17 映像記録装置

Publications (1)

Publication Number Publication Date
JP2008103784A true JP2008103784A (ja) 2008-05-01

Family

ID=39437809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006282144A Pending JP2008103784A (ja) 2006-10-17 2006-10-17 映像記録装置

Country Status (2)

Country Link
US (1) US20080260346A1 (ja)
JP (1) JP2008103784A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074787A (ja) * 2008-09-22 2010-04-02 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2022111133A (ja) * 2017-09-28 2022-07-29 キヤノン株式会社 画像処理装置およびその制御方法
JP7479183B2 (ja) 2020-04-21 2024-05-08 株式会社Ｎｔｔドコモ 情報処理装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006135358A1 (en) * 2005-06-08 2006-12-21 Thomson Licensing Method, apparatus and system for alternate image/video insertion
JP5289151B2 (ja) * 2009-04-09 2013-09-11 キヤノン株式会社 データ管理装置、その制御方法及びプログラム
WO2011021289A1 (ja) * 2009-08-20 2011-02-24 富士通株式会社 動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法
CN102256175B (zh) * 2011-07-21 2013-06-12 深圳市茁壮网络股份有限公司 一种数字电视节目附加信息的插入呈现方法和系统
US9525900B2 (en) * 2011-09-15 2016-12-20 Google Inc. Video management system
US9762950B1 (en) 2013-09-17 2017-09-12 Amazon Technologies, Inc. Automatic generation of network pages from extracted media content
US9298820B2 (en) * 2013-10-14 2016-03-29 Sony Corporation Digest video generation apparatus
KR20160115264A (ko) * 2015-03-26 2016-10-06 삼성전자주식회사 디스플레이 장치, 서버 및 그 동작 방법
CN105657455A (zh) * 2016-01-08 2016-06-08 全时云商务服务股份有限公司 音视频的直播方法及直播系统
US10917671B2 (en) * 2018-01-26 2021-02-09 Caavo Inc Enhancement of metadata for items of media content recorded by a digital video recorder
CN110572723A (zh) * 2019-08-30 2019-12-13 华为终端有限公司 一种缩略图生成的方法以及相关装置
BE1027349B1 (de) * 2020-04-01 2021-01-19 Yu Jian Trading Company Ltd Ein Verfahren, eine Vorrichtung, ein Speichermedium und ein Endgerät zum Erzeugen eines Videotitelbildes

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074787A (ja) * 2008-09-22 2010-04-02 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP4683103B2 (ja) * 2008-09-22 2011-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8484682B2 (en) 2008-09-22 2013-07-09 Sony Corporation Display control device, display control method, and program
US9191714B2 (en) 2008-09-22 2015-11-17 Sony Corporation Display control device, display control method, and program
JP2022111133A (ja) * 2017-09-28 2022-07-29 キヤノン株式会社 画像処理装置およびその制御方法
JP7423685B2 (ja) 2017-09-28 2024-01-29 キヤノン株式会社 画像処理装置およびその制御方法
JP7479183B2 (ja) 2020-04-21 2024-05-08 株式会社Ｎｔｔドコモ 情報処理装置

Also Published As

Publication number Publication date
US20080260346A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
JP2008103784A (ja) 映像記録装置
US11860915B2 (en) Systems and methods for automatic program recommendations based on user interactions
US9256652B2 (en) Systems and methods for combining media recommendations from multiple recommendation engines
US9787627B2 (en) Viewer interface for broadcast image content
US20130311575A1 (en) Systems and methods for receiving multiple user messages that identify a media asset segment position
US9396761B2 (en) Methods and systems for generating automatic replays in a media asset
US9800923B2 (en) Systems and methods for recording content from a different source when previous content runs over
US20130347033A1 (en) Methods and systems for user-induced content insertion
JP2005102109A (ja) 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JP2005175523A (ja) 互換番組抽出方法，上位互換番組抽出方法及び上位互換番組抽出装置
US9055342B2 (en) Information processing apparatus and information processing method
US9147434B2 (en) Information processing apparatus and information processing method
JP2008125022A (ja) ユーザ端末、配信サーバ、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、コンテンツ案内システムならびに制御方法
JP2005064561A (ja) 映像再生方法およびシステム
JP2010226630A (ja) コメント処理機能を有した映像処理装置及びそのコメント処理方法
JP2014049984A (ja) 電子機器および映像コンテンツ再生方法
KR20150082074A (ko) 컨텐츠 정보를 제공하는 서비스 서버 및 컨텐츠 정보 제공방법
JP6202791B2 (ja) 嗜好番組データ管理装置及び方法及びテレビジョン受信装置
JP4628495B2 (ja) 番組情報表示装置、番組情報表示方法、及びプログラム
US20140172499A1 (en) Systems and methods providing content ratings based on environmental factors
EP2458850A1 (en) Program presentation apparatus and method
JP2015053588A (ja) 電子機器、電子機機器の制御方法、及び情報記憶媒体
JP2014075052A (ja) 録画再生装置および番組検索方法
JP4083179B2 (ja) 番組情報表示装置、番組蓄積装置、その方法、及びプログラム
JP5266981B2 (ja) 電子機器、情報処理方法及びプログラム