JP2007294020A - 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置 - Google Patents
記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置 Download PDFInfo
- Publication number
- JP2007294020A JP2007294020A JP2006121433A JP2006121433A JP2007294020A JP 2007294020 A JP2007294020 A JP 2007294020A JP 2006121433 A JP2006121433 A JP 2006121433A JP 2006121433 A JP2006121433 A JP 2006121433A JP 2007294020 A JP2007294020 A JP 2007294020A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- section
- information
- recording
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】放送番組の一部を抽出して再生する特殊再生を、良好に実行することができるようにする。
【解決手段】情報信号の分類種別と、当該分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部30を備える。記録媒体5に記録する情報信号および/または記録媒体5から再生された情報信号の区切りを検出し、検出した区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得する。取得した分節区間のキーワードと、分類種別/キーワード対応蓄積部の記憶情報とに基づいて、分節区間毎の分類種別を判定する。判定された分類種別が同一である隣接する分節区間を結合する。結合した複数個の分節区間からなる分節区間群から抽出された情報信号の一部区間である特殊再生区間の情報を生成する。
【選択図】図1
【解決手段】情報信号の分類種別と、当該分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部30を備える。記録媒体5に記録する情報信号および/または記録媒体5から再生された情報信号の区切りを検出し、検出した区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得する。取得した分節区間のキーワードと、分類種別/キーワード対応蓄積部の記憶情報とに基づいて、分節区間毎の分類種別を判定する。判定された分類種別が同一である隣接する分節区間を結合する。結合した複数個の分節区間からなる分節区間群から抽出された情報信号の一部区間である特殊再生区間の情報を生成する。
【選択図】図1
Description
この発明は、例えばテレビ放送番組等の情報信号を記録および/または再生する装置および方法に関する。
例えばテレビ放送番組などのコンテンツをハードディスクやDVD(Digital Versatile Disc)などの大容量の記録媒体に記録し、当該記録したテレビ放送番組などのコンテンツを再生する記録再生装置が普及している。特に、ハードディスクは、記録容量が非常に大きく、大量のコンテンツを格納することができるようになっている。
このように記録容量に余裕があるため、例えばテレビ放送番組の場合、とりあえず、視聴の可能性のあるテレビ放送番組を記録媒体に記録しておき、後で、視聴するというような記録再生装置の使い方が可能となっている。
しかし、後で視聴する場合において、記録したテレビ放送番組のすべてを通常速度再生するのには、長時間を要する。これは、視聴時間を長時間、取れないユーザにとっては、大きな問題であり、記録したテレビ放送番組を視聴する機会を中々作れない場合が多くなるという問題がある。
この問題を軽減する一つの手法として、テレビ放送番組の中から、主要なシーン区間を抽出して短時間で番組を再生するようにする、いわゆるダイジェスト再生機能が提案されている(例えば特許文献1(特開2002−199333号公報)参照)。
このダイジェスト再生を行う場合には、まず、テレビ放送番組の映像信号や音声信号について予め定めた複数種類の特徴量、例えば無音、黒レベル、歓声、テロップの有無などを検出し、その特徴量検出に基づいてシーン変化点を検出することにより、番組を複数個のシーンに分ける。このとき、各シーンに対応する特徴量も保持しておく。
次に、テレビ放送番組からダイジェスト再生するシーンを抽出するのであるが、どのようなシーンを抽出するかは、テレビ放送番組のジャンルに応じた特徴量に注目して定めるようにしている。例えば、スポーツのジャンルのテレビ放送番組であれば、観客が歓声を上げているシーンを抽出する、ニュース番組であれば、アナウンサーが中央に映出されているシーンを抽出する、というように、放送番組のジャンルに応じて注目すべき特徴量を定め、その特徴量をより多く有するシーンを抽出するようにする。
このため、ダイジェスト再生の対象となるテレビ放送番組のジャンルを検出し、その検出したジャンルに応じて、いずれの特徴量に基づいてシーンを抽出するかを設定する。次に、設定した特徴量をより多く有するシーン区間の情報(この区間情報をダイジェスト情報と呼ぶ)を、ダイジェスト再生の対象となるテレビ放送番組から検出する。そして、検出したダイジェスト情報により示されるシーン区間のみを再生することでダイジェスト再生を実行する。
上記の特許文献および参考となる特許文献は、次の通りである。
特開2002−199333号公報
特開2004−260847号公報
ところで、テレビ放送番組のジャンルの情報は、放送信号に含められて送られてくるが、ジャンルコードは放送方式によって異なり、必ずしも放送方式間で一致するとは限らない。すなわち、BSデジタル放送、広帯域CSデジタル放送および地上波デジタル放送において、どのような放送番組にどのジャンルコードを付与するかは、統一されているとは限らない。
また、Gガイドと呼ばれる放送番組情報も提供されているが、これも、上述の放送方式で付与されるジャンルコードとは一致するとは限らない。例えば、Gガイドで存在するスポーツの「バレーボール」は、地上波デジタル放送では存在せず、「その他の球技」とされる。このため、例えばバレーボールというジャンルの放送番組についてダイジェスト情報を抽出するための特徴量が適切に設定されていたとしても、Gガイド以外から取得した放送番組のジャンルを用いたときには、ジャンルは「その他の球技」と検出されてしまうので、「バレーボール」のジャンルについて設定されている特徴量が、ダイジェスト情報の抽出のために適切に用いられないという問題がある。
また、一つの放送番組のジャンルコードとして、例えば、
・[趣味/教育<0xA8>]、[趣味/教育<0xA9>]、[ワイドショー<0x27>]
・[ニュース/<0x09>]、[ワイドショー<0x23>]、[趣味/教育<0xA1>]
というように、複数個のジャンルコードが付与されることがある。そのような場合には、どのジャンルがダイジェスト再生機能にとって適切であるかを判断することが困難であるため、ダイジェスト情報の抽出のための特徴量を適切に設定することができないという問題がある。
・[趣味/教育<0xA8>]、[趣味/教育<0xA9>]、[ワイドショー<0x27>]
・[ニュース/<0x09>]、[ワイドショー<0x23>]、[趣味/教育<0xA1>]
というように、複数個のジャンルコードが付与されることがある。そのような場合には、どのジャンルがダイジェスト再生機能にとって適切であるかを判断することが困難であるため、ダイジェスト情報の抽出のための特徴量を適切に設定することができないという問題がある。
また、放送番組に対するジャンルの付与方法にはグローバルなルールが存在するわけではないので、ダイジェスト再生機能の実現に当たって重要であるジャンルとして、ジャンルコードが各放送番組に適切に付与設定されているとは限らないという問題もある。
さらに、テレビ放送番組の中には、上述のように、一つの番組に複数個のジャンルコードが付くことからも分かるように、一つの番組の中に、異なるジャンルの部分(この部分は一般に番組中のコーナーと呼ばれる)が存在するものもある。例えば、いわゆるバラエティーのジャンルの放送番組は、バラエティーコーナーのみではなく、サッカーや野球に関するスポーツコーナー、実際に料理を行ったり、料理されたものを飲食したりする料理コーナーなどを含むものが多々ある。
このように複数個の異なるジャンルのコーナーを含む放送番組については、当該放送番組に付与されたジャンルコードの一つに基づいて定めた特徴量を用いてダイジェスト情報を作成しても、適切なシーン抽出を行うことが困難である。
また、上記のような複数個の異なるジャンルのコーナーを備える放送番組において、特定のコーナーのみを抽出してダイジェスト再生するなどということもできなかった。
この発明は、以上の点にかんがみ、例えば情報信号がテレビ放送信号とした場合に、放送番組に付与されたジャンルコードにのみ頼ることなく、適切にジャンルをコーナー単位で付与することができるようにすることで、例えばダイジェスト再生のように、放送番組の一部を抽出して再生する特殊再生を、良好に実行することができるようにすることを目的とする。
上記の課題を解決するために、請求項1の発明は、
情報信号を記録媒体に記録する情報信号記録手段と、
前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記情報信号の分類種別と、当該分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録媒体に記録する情報信号および/または前記記録媒体から再生された情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記分節区間の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間の情報を生成する特殊再生区間生成手段と、
を備える記録再生装置を提供する。
情報信号を記録媒体に記録する情報信号記録手段と、
前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記情報信号の分類種別と、当該分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録媒体に記録する情報信号および/または前記記録媒体から再生された情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記分節区間の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間の情報を生成する特殊再生区間生成手段と、
を備える記録再生装置を提供する。
上記の構成の請求項1の発明の記録再生装置は、情報信号の分類種別(すなわち、ジャンル)と、当該分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部を備えている。
そして、区切り検出手段により、記録媒体に記録する情報信号および/または記録媒体から再生された情報信号の区切りを検出し、キーワード取得手段により、検出された区切りの隣接するものにより特定される分節区間(例えばシーンに対応)毎に、当該分節区間に対応付けられたキーワードを取得する。
そして、キーワード取得手段で取得された各分節区間のキーワードと、分類種別/キーワード対応蓄積部の記憶情報とに基づいて、分節区間毎の分類種別を判定する。次に、判定された分類種別が同一の隣接する前記分節区間を結合する。
そして、特殊再生区間生成手段により、結合された複数個の分節区間からなる分節区間群から抽出された情報信号の一部区間、あるいは分節区間群を含む情報信号の一部区間である特殊再生区間の情報を生成する。
上述の請求項1の発明によれば、情報信号が上述したテレビ放送番組の場合であれば、分類種別/キーワード対応蓄積部の記憶内容を、情報信号の各分節区間に対応付けられたキーワードにより参照することにより、当該分節区間、つまり各シーンに対応する分類種別(ジャンル)が判定される。これにより、各分節区間毎に、より確からしい分類種別を付与することができる。
そして、隣接する分節区間で分類種別が同一のものを結合することにより、当該結合された分節区間群として、一つの番組内のコーナーが検出される。このとき、当該コーナーの分類種別(ジャンル)は定まっている。したがって、特殊再生区間生成手段は、同じジャンルの分節区間群単位、例えば番組内のコーナーの部分を特殊再生区間として抽出することができる。
また、例えば上述したダイジェスト再生機能を適用する場合には、コーナー単位のジャンル毎に、ダイジェスト情報を得るための特徴量を設定することができるので、適切なダイジェスト情報を得ることができるようになる。
この発明によれば、例えば放送番組を例にとると、放送番組に付与されたジャンルコードにのみ頼ることなく、適切にジャンルをコーナー単位で付与することができ、例えばダイジェスト再生のように、放送番組の一部を抽出して再生する特殊再生を、良好に実行することができる。
以下、この発明による記録再生装置および方法の実施形態を、図を参照しながら説明する。
以下に説明する実施形態においては、再生対象あるいは記録再生の対象の情報信号は、例えば受信したテレビ放送番組の映像信号および音声信号や、記録媒体に記録された映像信号および音声信号とされている。なお、以下の実施形態は、記録再生装置にこの発明を適用した場合の例であり、記録装置および記録方法の実施形態は、当該記録再生装置の記録系に、再生装置および再生方法の実施形態は、当該記録再生装置の再生系に、それぞれ具現化されている。また、以下の実施形態は、記録再生装置が地上デジタルテレビ放送を受信する場合の例である。
[第1の実施形態]
第1の実施形態は、受信したテレビ放送番組の映像信号および音声信号からなる情報信号を、内蔵するハードディスク装置などからなる内部記録媒体に記録し、また、この内蔵記録媒体に記録された情報信号を読み出して再生する機能を備える記録再生装置に、この発明を適用した場合の例である。
第1の実施形態は、受信したテレビ放送番組の映像信号および音声信号からなる情報信号を、内蔵するハードディスク装置などからなる内部記録媒体に記録し、また、この内蔵記録媒体に記録された情報信号を読み出して再生する機能を備える記録再生装置に、この発明を適用した場合の例である。
なお、この実施形態の記録再生装置は、記録媒体としてDVDなどのリムーバルな外部記録媒体を用いることができるようにされており、当該外部記録媒体に対しても、この発明が同様に適用できるようにされているが、説明が煩雑になるので、図1の例では、外部記録媒体への記録再生の系は省略してある。以下の説明においても、便宜上、記録媒体は内部記録媒体のみを用いるものとし、外部記録媒体に対する記録再生処理は省略してある。
この例の記録再生装置は、テレビ放送番組の映像信号および音声信号を内蔵記録媒体に記録し、また、この内蔵記録媒体に記録されている映像信号および音声信号を再生する機能を備えるだけでなく、記録するテレビ放送番組の映像信号および音声信号または再生した映像信号および音声信号の特徴量を検出し、その検出出力から、特徴点としてのシーン変化点を検出し、その検出したシーン変化点の情報のうちの必要なものを、テレビ放送番組の情報信号と共に、記録媒体に記録する機能を備える。
ここで、シーン変化点は、情報信号の区切りに対応し、例えば番組本編とコマーシャル(以下、CMと略称する)との区切りのみではなく、番組本編内の番組宣伝の区間の開始点および終了点、番組オープニングや番組エンディングの区間の開始点や終了点の他、番組本編内で、場面が大きく変化する場面変化点(いわゆるシーンチェンジ)を含む。また、この実施形態では、複数個のCMが連続するとき、それぞれのCMの開始点、終了点もシーン変化点として検出することができるようにされている。
なお、この実施形態の説明においては、隣接するシーン変化点により特定されるテレビ放送番組の情報信号(映像信号や音声信号)の区間、すなわち、隣接するシーン変化点の間の区間(これを分節区間と称することとする)を、シーンと呼ぶことにする。このシーンは、最短で数秒程度の区間のものであり、番組内のスポーツコーナーや料理コーナーなどの「コーナー」は、通常、連続する複数個のシーンからなる。ただし、検出されたシーン区間が長い場合には、コーナーが1個のシーンからなる場合もある。
[第1の実施形態の記録再生装置のハードウエア構成例]
図1は、第1の実施形態の記録再生装置のハードウエア構成例を示すブロックである。図1において、システムコントローラ部20は、マイクロコンピュータを備えて構成されるもので、この例の記録再生装置における各種モードの制御およびその他の動作制御を行なう。
図1は、第1の実施形態の記録再生装置のハードウエア構成例を示すブロックである。図1において、システムコントローラ部20は、マイクロコンピュータを備えて構成されるもので、この例の記録再生装置における各種モードの制御およびその他の動作制御を行なう。
このシステムコントローラ部20には、例えばリモートコマンダ22を用いた、あるいは、記録再生装置の操作ボタンを通じた、ユーザの操作入力に応じて操作入力情報が、ユーザ入力インターフェース部21を通じて供給される。システムコントローラ部20は、入力された操作入力情報を判別し、当該操作入力情報に応じた処理を実行する。
システムコントローラ部20には、表示処理部23を通じて、例えばLCD(Liquid Crystal Display)などからなる表示部24が接続されており、この表示部24に、ユーザの操作入力に際して参考となる表示情報が表示される。ユーザは、この表示部24の表示を見ながら、種々の操作入力をすることができる。
<記録系処理>
先ず、図1を参照しながら、この例の記録再生装置の記録系について説明する。
ユーザが、例えばリモートコマンダ22を用いて、あるいは、記録再生装置の操作ボタンを通じて、記録指示のコマンド入力をすると、その操作情報が、ユーザインターフェース部21を通じてシステムコントローラ部20に供給され、このシステムコントローラ部20による制御の下で、記録再生装置は、以下のような記録処理を行なう。
先ず、図1を参照しながら、この例の記録再生装置の記録系について説明する。
ユーザが、例えばリモートコマンダ22を用いて、あるいは、記録再生装置の操作ボタンを通じて、記録指示のコマンド入力をすると、その操作情報が、ユーザインターフェース部21を通じてシステムコントローラ部20に供給され、このシステムコントローラ部20による制御の下で、記録再生装置は、以下のような記録処理を行なう。
放送受信デコード部2は、この例では、地上デジタルテレビ放送の受信用として、テレビチューナ、デスクランブラ、TS(Transport Stream)デコード部、映像および音声デコーダ部などを備える。
前述の記録指示のコマンド入力に先立ち、ユーザは、リモートコマンダ22を用いて、あるいは、記録再生装置の操作ボタンを通じて選局入力操作をする。すると、その操作情報が、ユーザインターフェース部21を通じてシステムコントローラ部20に供給され、システムコントローラ部20は、ユーザの選局操作に応じた放送チャンネルを選択するようにするための選局制御情報を放送受信デコード部2に供給する。この選局の際、システムコントローラ部20は、表示処理部23を通じて表示部24に選局中の放送チャンネルの表示を行なうので、ユーザは、この表示部24の表示を見ながら、選局操作をする。
放送受信デコード部2は、この選局制御情報を受けて、受信アンテナ1で受信したテレビ放送電波から、ユーザが選局した放送チャンネルの放送番組を選択抽出し、当該選択抽出した放送番組から映像信号および音声信号をデコードする。
放送受信デコード部2で選択抽出され、デコードされたテレビ放送番組の音声信号および映像信号、また、クローズドキャプションにより放送番組信号に含まれる字幕・文字スーパーの情報は、記録信号エンコード処理部3に供給されて、記録エンコード処理される。
ここで記録エンコード処理としては、デジタル音声信号に対しては、例えばMPEGオーディオやAC−3オーディオ(ドルビーAC−3、またはAudio Code Number 3)などの所定の帯域圧縮方式でデータ圧縮処理が行われる。
また、デジタル映像信号に対しては、記録エンコード処理として、例えばMPEGビデオやウェーブレット変換などの所定の帯域圧縮方式でデータ圧縮処理が行われる。そして、データ圧縮処理された映像データは、前記圧縮音声データと多重化されて、記録処理部4を通じて内蔵の記録媒体5に記録される。
このとき、記録される放送番組には識別情報(記録番組識別情報という)が付与され、圧縮映像データ、圧縮音声データおよび字幕・文字スーパーの情報は、この記録番組識別情報が付加されて記録媒体5に記録される。この記録番組識別情報は、再生時の検索用に用いられる。ここで、内蔵の記録媒体5は、この例では、ハードディスク装置で構成される。
また、この例の記録再生装置では、放送受信デコード部2では、放送番組に関するサービス情報が抽出され、当該抽出された情報がEPG(電子番組表;Electronic Programming Guide)取得部6に供給される。EPG取得部6は、受け取った放送番組に関するサービス情報からEPGデータを生成し、システムコントローラ部20に入力するようにする。
システムコントローラ部20は、取得したEPGデータを用いて表示用電子番組表のデータを生成し、それを表示処理部23を通じて表示部24に送って表示画面に表示する。ユーザは、表示画面に表示された電子番組表を見て、放送番組選択の資料とすることができる。
そして、この例の記録再生装置では、記録時には、後述するように、放送番組についてのコーナー区間の生成処理および特殊再生区間生成処理、この例ではダイジェスト情報の生成処理を実行する。そして、生成したダイジェスト情報を付加情報ファイル生成部18に供給する。付加情報ファイル生成部18は、受け取ったダイジェスト情報を付加情報ファイルに含めて、記録処理部4に送る。記録処理部4は、前述の記録番組識別情報により記録番組情報と対応付けて、付加情報ファイルを記録媒体5に記録するようにする。
<再生系処理>
次に、図1を参照しながら、この例の記録再生装置の再生系について説明する。
次に、図1を参照しながら、この例の記録再生装置の再生系について説明する。
ユーザが、記録媒体5からの通常再生モードによる再生指示を、例えばリモートコマンダ22を通じて入力すると、ユーザ入力インターフェース部21を通じてシステムコントローラ部20にそれが入力される。システムコントローラ部20は、このユーザ入力を受けて、通常再生モードを行なうように読み出し制御部10を制御する。
読み出し制御部10は、このシステムコントローラ部20からの制御指示に応じて、記録媒体5から再生指定された放送番組の圧縮映像データおよび圧縮音声データを読み出し再生処理部7に供給する。再生処理部7は、記録媒体5から読み出された、ユーザにより再生指定された放送番組の圧縮映像データおよび圧縮音声データを、再生デコード出力部8に供給する。
再生デコード出力部8では、再生された放送番組の映像データおよび音声データが、映像データと音声データとに分離される。分離された圧縮音声データは、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされ、そのデコード処理されて得られたデジタル音声信号が、D/A(Digital to Analog)変換処理され、これよりアナログ音声信号として、出力端子9aを通じて出力される。
また、再生デコード出力部8では、分離された圧縮映像データは、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされて、デジタル映像信号とされた後、D/A変換処理が行なわれ、アナログ映像信号として出力端子9vを通じて出力される。
ユーザが、記録媒体5からのダイジェスト再生モードによる再生指示を、例えばリモートコマンダ22を通じて入力すると、ユーザ入力インターフェース部21を通じてシステムコントローラ部20にそれが入力される。システムコントローラ部20は、このユーザ入力を受けて、ダイジェスト再生モードを行なうように、読み出し制御部10を制御する。
読み出し制御部10は、このシステムコントローラ部20からの制御指示に応じて、記録媒体5から付加情報ファイルを読み出す。再生処理部7は、受け取った付加情報ファイルを付加情報ファイル検出部19に供給する。付加情報ファイル検出部19は、付加情報ファイルからダイジェスト情報を取り出して、システムコントローラ部20に送る。
システムコントローラ部20は、取得したダイジェスト情報(記録媒体5上のダイジェスト再生区間の映像情報および音声情報の記録位置情報)に基づいて、再生対象の放送番組情報のうち、ダイジェスト再生区間の情報のみを読み出すようにする制御指示を読み出し制御部10に送る。読み出し制御部10は、システムコントローラ部20からの前記制御指示に応じて、記録媒体5から再生対象の放送番組情報のうち、ダイジェスト再生区間の映像情報および音声情報を読み出して再生処理部7に供給する。
そして、再生処理部7からのダイジェスト再生区間の映像情報および音声情報は、前述したように、再生デコード出力部8に供給されて再生デコードされ、出力端子9aおよび9vを通じて出力される。
そして、この例の記録再生装置では、記録媒体5に、放送番組の情報と共にダイジェスト情報が付加情報として記録されていない場合を想定して、記録時と同様に、再生時にも、後述するように、放送番組についてのコーナー区間の生成処理および特殊再生区間生成処理、この例ではダイジェスト情報の生成処理を実行し、生成したダイジェスト情報を付加情報ファイルに含めて、前述の記録番組識別情報により記録番組情報と対応付けて記録媒体に記録するようにする。
なお、記録媒体5に記録されている放送番組の情報中に、ダイジェスト情報が付加情報として記録されていない状態は、例えばDVDなどの外部記録媒体から、テレビ放送番組コンテンツを取り込んだ場合などに生じる。
<特殊再生区間生成処理の例としてのダイジェスト情報生成処理>
この実施形態の記録再生装置は、ダイジェスト情報生成処理のための構成として、特徴量検出部11と、シーン変化点検出部12と、字幕・スーパー検出部13と、キーワード検出部14と、シーンジャンル判定部15と、シーン結合部16と、特殊再生区間生成部17と、ジャンル/キーワード対応情報蓄積部30とを備えている。
この実施形態の記録再生装置は、ダイジェスト情報生成処理のための構成として、特徴量検出部11と、シーン変化点検出部12と、字幕・スーパー検出部13と、キーワード検出部14と、シーンジャンル判定部15と、シーン結合部16と、特殊再生区間生成部17と、ジャンル/キーワード対応情報蓄積部30とを備えている。
ジャンル/キーワード対応情報蓄積部30は、不揮発性の記憶手段(不揮発性メモリだけでなく、電池などによりバックアップして記憶情報を保持する記憶手段も含む)からなるもので、放送番組の分類種別、つまりジャンルのそれぞれと、当該ジャンルのそれぞれに関連するとされている1または複数のキーワードとを対応付けて記憶している。このジャンル/キーワード対応情報蓄積部30に蓄積されるジャンルおよびキーワードとの対応情報は、この実施形態では、地上波デジタル放送信号に含まれて送られてくる番組ジャンル情報と、各放送番組に対してクローズドキャプションにより送られてくる字幕・文字スーパーとの関連および対応を学習して蓄積した情報である。
このため、この実施形態においては、ジャンル/キーワード対応学習部31と、放送受信デコード部2からの情報を受けて番組ジャンル情報を検出するジャンル情報検出部32とが、システムコントローラ部20に接続されて設けられる。そして、字幕・文字スーパー検出部13およびキーワード検出部14が用いられて抽出されたキーワードと、ジャンル情報検出部32で検出されたジャンルとの対応関係がキーワード対応学習部31で学習され、このジャンル/キーワード対応学習部31における学習結果がジャンル/キーワード対応情報蓄積部30に反映されるように構成されている。ダイジェスト情報生成処理の説明の前に、ジャンル情報とキーワードとの対応および学習処理について説明する。
<ジャンル情報とキーワードとの対応および学習>
地上波デジタル放送においては、放送信号は、図2に示すように、各放送番組プログラムの情報とシステム情報とが、MPEG(Moving Picture Experts Group)−TS(Transport Stream)として一纏まりにされている。
地上波デジタル放送においては、放送信号は、図2に示すように、各放送番組プログラムの情報とシステム情報とが、MPEG(Moving Picture Experts Group)−TS(Transport Stream)として一纏まりにされている。
各放送番組プログラムの情報は、映像PES(Packetized Elementary Stream)と、音声PES、字幕・スーパーPES、BML(Broadcast Markup Language)セクション、データセクションからなる。
そして、システムの情報は、各放送番組プログラムの情報と並列して伝送されるものとされる。このシステム情報としては、PSI(Program Specific Information)セクション、EPG(Electronic Programming Guide)およびSI(Service Information)セクション、CA(Conditional Access)セクションが含まれる。
PSIセクションには、MPEG−TSに含まれる編成チャンネル番号や、各編成チャンネル(各放送番組)を構成するコンポーネント(映像、音声、字幕・スーパーなど)のPID(Packet Identification;パケット識別情報)などを含む。
また、EPGおよびSIセクションには、EPG用情報や、EIT(Event Information Table)などの情報を含む。EITは、編成チャンネル内の個々の番組の名称や放送日時、番組ジャンルや番組内容の説明など、番組に関する情報を伝送する。EITは、現在放送中の番組に関する情報(EITpresent)と、所定の時間枠(例えば1週間分)で放送予定の番組に関する情報(EITschedule basic)とを含む。
つまり、地上波デジタル放送においては、各放送番組の映像情報、音声情報および字幕・スーパーの情報に対応して、各放送番組に関する情報として、EITpresent(以下、EITpと記載する)、EITschedule basic(以下、EITschと記載する)などが並行して、かつ、同期して放送されている。図3に示すように、各放送番組の番組ジャンルの情報は、EITpに含まれて放送されると共に、さらに、EITschにも含まれて放送される。EITpおよびEITschは、図3に示すように、一定周期で繰り返し送られてくる。
このように、各放送番組のジャンル情報と、その放送番組に関連して放送受信される字幕・文字スーパー情報とは、並行して、かつ、同期したタイミングで放送されている。したがって、放送信号から放送番組の字幕・文字スーパーの情報を取得して、その字幕・文字スーパーからキーワードを抽出し、その抽出したキーワードを、同一のタイミングで放送されている番組ジャンルを取得して、その取得したジャンル情報に関連付けることができる。
そこで、この実施形態では、同期して放送されている字幕・文字スーパー情報と、番組ジャンル情報とを同期して受信し、両者を関連付ける学習を行い、その学習結果をジャンル/キーワード対応情報蓄積部30の格納情報であるジャンル情報とキーワードとの対応情報に反映させるようにする。
すなわち、放送受信デコード部2は、放送信号から抽出したEIT情報をジャンル情報検出部32に供給する。ジャンル情報検出部32は、EITpやEITschから放送番組のジャンル情報を取得し、取得したジャンル情報をシステムコントローラ部20に供給する。システムコントローラ部20は、取得したジャンル情報をジャンル/キーワード対応学習部31に供給する。
また、放送受信デコード部2は、クローズドキャプションにより放送された字幕・文字スーパーの情報を抽出して、字幕・文字スーパー検出部13に供給する。地上デジタルテレビ放送では、各シーンに関連する文字テキスト情報が、クローズドキャプションにより字幕・文字スーパーとして送られてくる。これは、例えば耳の不自由な人の便宜を図るため等の目的で用いられ、地上デジタルテレビ放送の受信装置では、ユーザにより字幕オンの設定操作がなされているときに、例えば図4のように字幕・文字スーパーが表示され、字幕オフとされているときには、当該字幕・文字スーパーは画面には表示されない。
字幕・文字スーパー検出部13は、放送受信デコード部2から受け取ったパケットかされている情報から字幕・文字スーパーのテキスト情報を検出し、その検出したテキスト情報をキーワード検出部14に供給する。
キーワード検出部14は、字幕・文字スーパー検出部13から受け取った字幕・文字スーパーのテキスト情報について、形態素解析(Morphological Analysis)を行って、キーワードを検出する。
ここで、形態素解析とは、コンピュータ等の計算機を用いた自然言語処理の基礎技術の一つで、自然言語で書かれた文を形態素(Morpheme;大まかに言えば、言語で意味を持つ最小単位)の列に分割し、品詞(Part−of−speech)を見分ける作業である。この例では、参照する情報源として、対象言語の文法の知識(ここでは文法のルールの集まりを用いる)と、辞書(品詞等の情報付きの単語リスト)とを用いて、形態素解析を行うようにしている。
例えば、画面に表示されたときに、図4に示すように、「(田中アナウンサー)国立公園までは車で4時間の道のりです。」とされる字幕・文字スーパーの情報の場合、キーワード検出部14においては、形態素解析により、「田中」、「アナウンサー」、「国立公園」、「車」、「4時間」、「道のり」が、キーワードとして検出される。
そして、キーワード検出部14は、検出したキーワードをシステムコントローラ部20に供給する。システムコントローラ部20は、取得したキーワードをジャンル/キーワード対応学習部31に供給する。
ジャンル/キーワード対応学習部31は、ジャンル情報検出部32からのジャンル情報と、キーワード検出部14からのキーワードとを関連付け学習を行う。ここで、関連付け学習とは、一つの番組に関連する字幕・文字スーパーから抽出されたキーワードの中で、頻繁に出現するキーワードほど、対応するジャンルと強い関連を持っていると判断する。また、番組が異なっても、同じジャンルに対して頻繁に出現するキーワードも、対応するジャンルと強い関連を持っていると判断するように学習する。そして、ジャンル/キーワード対応学習部31の学習結果が、ジャンル/キーワード対応情報蓄積部30の、ジャンルとキーワードとの対応情報に反映される。
図5に、ジャンル/キーワード対応情報蓄積部30の蓄積情報の例を示す。この図5の例では、ジャンルに関連が強いキーワードほどポイントが高いものとするようにして、ジャンルと、キーワードとの間対応情報とを蓄積するようにする。このジャンル/キーワード対応情報蓄積部30の蓄積情報は、ジャンル/キーワード対応学習部31の学習結果が反映されることで更新され、新たなキーワードが対応するジャンルに対して追加されたり、ポイントが低かったキーワードのポイントが上がったりする。
なお、ジャンル/キーワード対応情報蓄積部30には、最初(記録再生装置の販売時)は何も記憶させず、ジャンル/キーワード対応学習部31の学習結果を反映させて、順次にジャンルに関連するキーワードを蓄積するようにしても良いが、それでは、記録再生装置を購入したユーザは、その購入後、ある程度の期間を経過してジャンル/キーワード対応関係についての学習が進んだ後でないと、後述するダイジェスト再生機能について十分に満足のゆく結果が得られないおそれがある。
そこで、この実施形態では、ジャンル/キーワード対応情報蓄積部30には、記録再生装置の製造側において、予め、上述のような学習をして得られるジャンルとキーワードとの対応情報が最初から蓄積されているものである。そして、記録再生装置がユーザにより購入された後には、ユーザの利用状況に応じてジャンル/キーワードの対応関係がさらに学習され、その学習結果がジャンル/キーワード対応情報蓄積部30に反映されて、ジャンル/キーワードの対応関係の確度より向上するようにされている。
なお、前述したように、番組ジャンル情報として、複数個のジャンル情報が付与されている場合には、この実施形態では、ジャンル/キーワード対応学習部31では、付与されているすべてのジャンルにキーワードが関連しているものとして学習するようにする。もちろん、番組に付与されている複数個のジャンル情報のうちの特定のもの、例えば最初のジャンル情報のみに関連しているとして学習してもよい。
この実施形態では、次の2つの契機において、上述したジャンル/キーワードの対応関係の学習を実行するようにする。
(1)EITp(図3参照)のジャンル情報を受信したときを契機として、同期して受信した字幕・文字スーパーからキーワードを切り出し、受信したジャンル情報と関連付けて学習および蓄積。
(2)放送番組の記録媒体5への記録終了を契機として、記録した放送番組について受信した字幕・文字スーパーからキーワードを切り出し、受信したEITsch中の記録した放送番組のジャンル情報と関連付けて学習および蓄積。
(1)EITp(図3参照)のジャンル情報を受信したときを契機として、同期して受信した字幕・文字スーパーからキーワードを切り出し、受信したジャンル情報と関連付けて学習および蓄積。
(2)放送番組の記録媒体5への記録終了を契機として、記録した放送番組について受信した字幕・文字スーパーからキーワードを切り出し、受信したEITsch中の記録した放送番組のジャンル情報と関連付けて学習および蓄積。
以上説明した学習処理例を説明ためのフローチャートを図6に示す。この図6のフローチャートは、上述した(1)、(2)の契機で起動され、システムコントローラ部20の制御指示にしたって処理を実行する。
すなわち、システムコントローラ20は、上述した(1)、(2)の契機を検出すると、ジャンル情報検出部32からEITpのジャンル情報を受信したのか否か判別する(ステップS101)。EITpのジャンル情報を受信した契機であると判別したときには、字幕・文字スーパー検出部13で、このとき同期して受信している字幕・文字スーパー情報のテキストデータが抽出され、キーワード検出部14で、そのテキストデータから上述した形態素解析がなされてキーワードが検出されるので、システムコントローラ部20は、このキーワードを受け取って、ジャンル/キーワード対応学習部31に送る(ステップS102)。
また、システムコントローラ部20は、ジャンル情報検出部32から取得したEITpのジャンル情報をジャンル/キーワード対応学習部31に送り、このEITpのジャンル情報と、キーワード検出部14からのキーワードとについて、上述したような関連付け学習をし、その学習結果をジャンル/キーワード対応情報蓄積部30に反映させるようにする(ステップS103)。そして、この処理ルーチンを抜ける。
ステップS101で、EITpのジャンル情報を受信した契機ではないと判別すると、放送番組の記録終了の契機であるか否か判別する(ステップS104)。記録終了の契機でなければ、エラーであるので、この例では、何もせずに、この処理ルーチンを終了する。
ステップS104で記録終了の契機であると判別したときには、この実施形態では、システムコントローラ部20は、記録した放送番組についての字幕・文字スーパーの情報を再生処理部7、再生デコード出力部8を通じて字幕・文字スーパー検出部13に供給させてテキストデータを抽出させる。そして、システムコントローラ部20は、キーワード検出部14から、そのテキストデータについて形態素解析がなされて検出されたキーワードをジャンル/キーワード対応学習部31に供給する(ステップS105)。
また、システムコントローラ部20は、ジャンル情報検出部32から取得したEITschのうちの記録した放送番組のジャンル情報をジャンル/キーワード対応学習部31に送り、このEITschのうちの記録した放送番組のジャンル情報と、キーワード検出部14からのキーワードとについて、上述したような関連付け学習をし、その学習結果をジャンル/キーワード対応情報蓄積部30に反映させるようにする(ステップS106)。そして、この処理ルーチンを抜ける。
なお、放送番組の記録後の学習においては、上述の例では、記録後に、記録情報から字幕・文字スーパーの情報を、再生して取得するようにしたが、記録中に字幕・文字スーパーの情報について字幕・文字スーパー検出部13でテキストデータの検出およびキーワード検出部14でキーワードの検出を行っておいて、それをシステムコントローラ部20が内蔵するバッファメモリに蓄積しておき、それを用いて、上述のような学習処理するようにしても良い。この場合に、EITschは、記録終了後に得てもよいし、記録中に併せて取得して、バッファリングしておくようにしても良い。なお、バッファリングしておくのであれば、EITpを用いても良い。
なお、上述の例では、記録再生装置に学習機能を設け、ジャンル/キーワード対応情報蓄積部30の記憶情報に、学習結果を反映させるように構成したが、記録再生装置に、インターネットなどの通信ネットワークと接続するための通信インターフェース機能を設け、その通信インターネットを通じて記録再生装置のメーカーのホームページや特定のサイトに設置されたジャンル/キーワード対応情報の提供サーバから、ジャンル/キーワード対応情報を取得するようにしても良い。
その場合には、ジャンル/キーワード対応情報の提供サーバにおいて、上述のような学習を行って、常時、提供するジャンル/キーワード対応情報を更新しておくようにすると共に、記録再生装置は、適宜のタイミングで上記提供サーバにアクセスして、ジャンル/キーワード対応情報蓄積部30の記憶情報を更新することができる。そのような構成の場合には、記録再生装置には、上述したようなジャンル/キーワード対応学習部31およびジャンル情報検出部17は設ける必要がなくなる。
なお、キーワード検出部14およびジャンル/キーワード対応学習部31は、システムコントローラ部20のマイクロコンピュータによるソフトウエア処理として構成することもできる。
<記録時のダイジェスト情報の生成および記録>
次に、ジャンル/キーワード対応情報蓄積部30に蓄積されたジャンル/キーワード対応情報を用いて番組中の各シーンについてのジャンルを判定し、その判定結果にしたがって特殊再生区間情報の例としてのダイジェスト情報を生成する処理について、以下に説明する。
次に、ジャンル/キーワード対応情報蓄積部30に蓄積されたジャンル/キーワード対応情報を用いて番組中の各シーンについてのジャンルを判定し、その判定結果にしたがって特殊再生区間情報の例としてのダイジェスト情報を生成する処理について、以下に説明する。
この実施形態では、放送番組の情報の記録媒体5への記録に際して、ダイジェスト情報も自動的に記録されるように構成されている。この実施形態では、放送番組の情報記録媒体5への記録と共に、放送番組の各シーン区間の抽出処理および各シーン区間に対応する字幕・文字スーパーの情報からのキーワードの抽出処理を行う。そして、放送番組の情報の記録終了後、記録終了後処理として、シーンごとのジャンルの判定およびダイジェスト情報の生成処理を行うようにする。
すなわち、記録エンコード処理部3からのデジタル音声信号およびデジタル映像信号は、特徴量検出部11に供給されて、予め定められた種々の特徴量が検出され、その検出された特徴量がシーン変化点検出部12に供給される。
特徴量検出部11で行なう特徴量の検出としては、番組本編とCMとの区切り、複数個のCMが連続するとき、それぞれのCMの開始点、終了点を検出するためのものとしては、無音区間の検出、黒レベル区間の検出などが用いられる。また、CM区間の時間長は15秒、30秒、45秒、60秒などのように、15秒の倍数となっているので、検出された無音区間や黒レベル区間の時間長さが15秒の倍数となっているかもCM区間の検出に用いられる。
また、その他の特徴量の検出としては、シーンチェンジの検出、テロップの検出、人物の検出、肌色検出、トーク検出、音楽検出、盛り上がり検出などが用いられる。ここで、盛り上がり検出は、静かな状態から急激な音量変化があったり、大きな拍手があったりすることを検出することにより行なわれる。
すなわち、特徴量検出部11では、この例では、各種映像特性データおよび各種音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ(テロップ区間判定データ)、人物特徴データその他の画像特徴データ(画像特徴区間判定データ)、および話者音声特徴データ(話者音声判定データ)、拍手歓声特徴データ(拍手歓声判定データ)、その他の音声特徴データ(音声特徴区間判定データ)の各種特徴抽出処理が行われる。
なお、この例では、特徴量検出部11には、記録エンコード処理部3からの、データ圧縮処理過程の途中で得られるデータが入力される。この例では、後述するように、再生信号についても特徴量検出を行ない、シーン変化点の検出を行なうことを考慮して、データ圧縮処理過程の途中で得られるデータを用いて特徴量検出部11での特徴量の検出およびシーン変化点検出部10におけるシーン変化点の検出を行なうようにする。
このようにすれば、再生信号について、特徴量検出およびシーン変化点の検出を行なう際に、再生信号を完全に圧縮デコードして、元のデジタル音声データおよびデジタル映像データに戻す必要がなく、圧縮デコード処理の途中のデータを用いて特徴量検出およびシーン変化点検出を行なうことができ、検出処理が早くなるというメリットがある。
シーン変化点検出部12では、特徴量検出部11で検出された特徴量からシーン変化点を検出する。この場合に、シーン変化点検出部12は、前述したように、例えば番組本編とCMとの区切りのみではなく、番組本編内の番組宣伝の区間の開始点および終了点、番組オープニングや番組エンディングの区間の開始点や終了点の他、番組本編内で、場面が大きく変化する場面変化点、複数個のCMが連続するとき、それぞれのCMの開始点、終了点などを、区切りとしてのシーン変化点(特徴点)として検出する。この例の場合、このシーン変化点の検出データは、CMや番組本編、番組オープニング、番組エンディングなどのシーンの開始点および終了点の位置情報(例えばCMを含めた放送番組の先頭位置を基準にしたフレーム番号(あるいはフィールド番号))である。
なお、受信した放送番組の情報に、番組タイトルや番組のジャンルなどの情報が含まれている場合には、特徴量検出部11では、これら番組タイトルやジャンルの情報をも、特徴量として検出し、シーン変化点検出部12に送る。したがって、シーン変化点検出部12は、これら番組タイトルやジャンルの情報をも用いて、シーン変化点の検出を行なう。
そして、シーン変化点検出部12からのシーン変化点の位置データは、システムコントローラ部20に供給され、このシステムコントローラ部20内の内蔵メモリに一時保持される。
なお、シーン変化点の位置データは、この実施形態では、例えば、記録される放送番組のフレーム番号(またはフィールド番号)が用いられることにより、当該記録される放送番組の一塊について、その映像データおよび音声データのフレーム位置(またはフィールド位置)と対応付けられているものである。
また、放送受信デコード部2は、クローズドキャプションにより放送された字幕・文字スーパーの情報を、字幕・文字スーパー検出部13に供給する。また、シーン変化点検出部12は、検出したシーン変化点の位置データを、字幕・文字スーパー検出部13に供給する。
字幕・文字スーパー検出部13は、このときには、シーン変化点検出部12から受け取った各シーン変化点の隣接するもので特定されるシーン(分節区間)を認識し、それぞれのシーンに関連する字幕・文字スーパーの情報を検出する。そして、字幕・文字スーパー検出部13は、認識したシーンの開始点および終了点のシーン変化点の情報と、当該シーンに関連する字幕・文字スーパーの情報とをキーワード検出部14に供給する。また、シーン変化点検出部12は、検出したシーン変化点の位置データを、このキーワード検出部14にも供給する。
キーワード検出部14は、前述したように、字幕・文字スーパー検出部13から受け取った字幕・文字スーパーの情報(テキスト情報)について、形態素解析(Morphological Analysis)を行って、キーワードを検出する。そして、キーワード検出部14は、このときには、検出したキーワードと、それらのキーワードが関連するシーンの開始点および終了点からなるシーン変化点の組とを生成し、それらの情報をシステムコントローラ部20に供給する。
システムコントローラ部20は、検出したキーワードと、それらのキーワードが関連するシーンの開始点および終了点からなるシーン変化点の組との対応情報を、内蔵メモリに一時保持する。
システムコントローラ部20は、関連する字幕・文字スーパーがないシーンに関しては、シーン変化点検出部12からのシーンの開始点および終了点からなるシーン変化点の組の情報のみを内蔵メモリに一時記憶し、関連する字幕・文字スーパーが存在するシーンに関しては、シーンの開始点および終了点からなるシーン変化点の組と、キーワード検出部14からの当該シーンに関連するキーワードとを対応付けて、内蔵メモリに一時記憶するようにする。
図7に、システムコントローラ部20の内蔵メモリに一時記憶されるシーンの開始点および終了点からなるシーン変化点の組と、関連するキーワードとの対応データの例を示す。
図7の例においては、記録された放送番組の先頭からのフィールド番号(またはフレーム番号)で示されるシーン変化点の隣接するものの組で特定される各シーン(分節区間)と、そのシーンに関連するキーワードとが対応して記録されるものとなっている。
放送番組の情報の記録が終了すると、この実施形態では、システムコントローラ20は、内蔵メモリに一時記憶しているシーンの開始点および終了点からなるシーン変化点の組と、関連するキーワードとの対応データを用いてダイジェスト情報の生成処理を開始する。
すなわち、まず、システムコントローラ部20は、その内蔵メモリに一時記憶しているシーンの開始点および終了点からなるシーン変化点の組と、関連するキーワードとの対応データをシーンジャンル判定部15に送る。シーンジャンル判定部15は、各シーン変化点の組で特定されるシーン(分節区間)のキーワードを検索子として、ジャンル/キーワード対応情報蓄積部30を参照し、当該検索子のキーワードに対応するジャンルを検出し、当該検出したジャンルを、それぞれのシーンのジャンルと判定する。
例えば、記録した放送番組の情報中のシーンa1〜a8(図8(A)参照)について、図8(B)に示すようなキーワードが対応してシステムコントローラ部20の内蔵メモリに一時記憶されていた場合を考える。なお、図8(B)では1個のキーワードのみをしめしたが、これは、各シーンに対応する代表的なキーワードを示したもので、図7にも示したように、各シーンに対応して複数個のキーワードが一般的に記憶されているものである。
シーンジャンル判定部15は、この図8(B)の各シーンについてのキーワードを検索子として、ジャンル/キーワード対応情報蓄積部30の記憶内容(図5参照)を検索する。そして、図8の例であれば、シーンジャンル判定部15は、図8(C)に示すように、シーンa1〜a4は、すべて「スポーツ:サッカー」のジャンルと判定し、また、シーンa5〜a8は、すべて「料理」のジャンルと判定する。
なお、実際的には、シーンジャンル判定部15は、各シーンについての複数個のキーワードのそれぞれについて、ジャンル/キーワード対応情報蓄積部30の記憶内容を辞書として参照し、それぞれのキーワードがいずれのジャンルの何ポイントであるかを検出する。そして、取得したすべてのキーワードについての複数個のジャンルのうち、そのポイント合計数が最も高いジャンルをそのシーンのジャンルと判定するようにする。
例えば、あるシーンについてのキーワードが、「ゴール」、「オフサイド」、「ヘディング」、「コーナーキック」・・・であった場合、「ゴール」および「オフサイド」については、例えば、「スポーツ:サッカー」と「スポーツ:ラグビー」で、それぞれ1ポイントが与えられるようにジャンル/キーワード対応情報蓄積部30には記憶されており、「ヘディング」、「コーナーキック」については、「スポーツ:サッカー」についてのみ2ポイントが与えられるようにジャンル/キーワード対応情報蓄積部30には記憶されていたとする。
この場合、ジャンルの「スポーツ:サッカー」については合計6ポイントとなり、また、「スポーツ:ラグビー」については合計2ポイントとなる。したがって、ポイント合計数を比較すると、(「スポーツ:サッカー」のポイント合計数)>(「スポーツ:ラグビー」のポイント合計数)となるので、シーンジャンル判定部15は、当該シーンのジャンルは、「スポーツ:サッカー」と判定する。
また、キーワード「事件」と「事故」についてのポイントとして、「スポーツ:サッカー」では10ポイントずつ、「スポーツ:野球」では20ポイントずつ、「ニュース」ではそれぞれ50ポイント、30ポイントが、ジャンル/キーワード対応情報蓄積部30において、各ジャンルに対するキーワードの対応情報として割り当てられている場合には、あるシーンのキーワードが「事件」と「事故」であった場合、ジャンルが、「スポーツ:サッカー」である度合い(サッカー度)は、20ポイントであり、「スポーツ:野球」である度合い(野球度)は、40ポイントであり、「ニュース」である度合い(ニュース度)は、80ポイントである。したがって、ニュース度が最もポイント数が高いので、当該シーンジャンルは、「ニュース」と判定される。
シーンジャンル判定部15は、以上のようにして判定した各シーンについてのジャンル(シーンジャンル)の判定結果の情報を、シーン結合部16に送る。
シーン結合部16は、シーンジャンル判定部15から受信したシーンジャンルの判定結果について、隣接するシーンのジャンルを比較し、同一のシーンジャンルとなっているシーンを結合する処理を行う。
図8の例においては、シーンa1〜a4は、すべて「スポーツ:サッカー」のジャンルで同一となっているので、図8(D)に示すように、これらのシーンa1〜a4を結合し、当該結合区間をまとめて、一つのコーナーとし、そのコーナーに対して「スポーツ:サッカー」のジャンルを付与する。また、シーンa5〜a8は、すべて「料理」のジャンルで同一となっているので、図8(D)に示すように、これらのシーンa5〜a8を結合し、当該結合区間をまとめて、一つのコーナーとし、そのコーナーに対して「料理」のジャンルを付与する。
こうして、シーン結合部16は、隣接するシーンでシーンジャンルが同一のものを結合することにより、放送番組内のコーナーと、そのジャンルを判定することができる(図8(E)参照)。
なお、上述のシーンの結合処理において、局所的にシーンのジャンルが、その前後の数シーンとは異なる場合であって、その局所的なシーンの時間が短い場合には、当該局所的なシーンについての判定ジャンルは無視して、前後のシーンのジャンルが連続していると判定してもよい。
図9は、そのように局所的にジャンルが異なるシーンを、前後のシーンに結合する処理の例を説明するための図である。この図9の例においては、図9(A)、(B)、(C)に示すように、シーンn〜シーン(n+5)のうち、シーン(n+2)のみが、「ニュース」のジャンルと判定され、他のシーンは、すべて「スポーツ:サッカー」のジャンルと判定されている。したがって、シーンジャンルの結合によるコーナーは、シーン(n+2)の前で区切られている。
この場合、シーン(n+2)のキーワード「事故」は、その前後のシーン(n+1)およびシーン(n+3)のキーワード「ヘディング」および「キーパー」とは、ジャンルを軸とした類似性が低い。つまり、シーン(n+2)のキーワード「事故」に対応して判定されたジャンルは「ニュース」であり、その他のシーンの「スポーツ:サッカー」とはジャンル類似度が低い。
これに対して、シーン(n+2)の前後のシーン(n+1)およびシーン(n+3)のキーワード「ヘディング」および「キーパー」は、対応して判定されたジャンルは「スポーツ:サッカー」であり、ジャンル類似性が非常に高い。また、シーン(n+2)の2シーン後のシーン(n+4)のキーワード「ゴール」も、区切り前のシーン(n+1)のキーワード「ヘディング」とは、対応して判定されるジャンルは「スポーツ:サッカー」であり、ジャンル類似性が非常に高い。
以上のことから、局所的に存在するシーンの前後のシーンのキーワードが、キーワードから判定されるジャンルを軸とした類似度が高い場合には、当該局所的なシーンを前後のシーンと同じジャンルのシーンとして、結合するようにしてもよい。
なお、図9の例では、局所的にジャンルが異なるシーンが、単独の1シーンとして存在する場合であったが、時間的に短い2以上のシーンが局所的に前後のシーンのジャンルと異なる場合であっても、同様に結合しても良い。その場合には、図9(E)に示す放送番組に付与されているジャンルを参照すると、よりシーンジャンルの判定確度が上がる。例えば、当該放送番組のジャンルと局所的なシーンの前後のシーンのジャンルが同一で、当該放送番組のジャンルと局所的なシーンのジャンルが異なる場合には、その局所的なシーンは、その前後のシーンと結合するようにしても良い。
以上のことを考慮したときには、シーンジャンルの判定においては、当該シーンの前後のシーンジャンルを考慮するようにしてもよい。そして、その場合に、当該シーンに対する時間軸上の距離により、重み付けをして、前後のシーンジャンルを考慮して当該シーンのジャンルの判定をするようにしても良い。
上述のようにして、同じシーンジャンルと判定された隣接シーンの結合処理が終了すると、図8(E)または図10(A)に示すように、一つの番組は、ジャンルが異なる複数個のコーナーからなるものとして認定される。シーン結合部16は、その結合処理結果の情報(結合したコーナーの始点と終点の情報および各コーナーのジャンルの情報)を、特殊再生区間生成部17に供給する。
特殊再生区間生成部17は、この実施形態では、各コーナー毎に判定されたジャンルを用いて、ダイジェスト情報の生成を行う。すなわち、従来は、ジャンルは一つの番組について、一つしか付与されていなかったので、上述のような複数個のコーナーからなる番組の場合であっても、ダイジェストの抽出のための特徴量を設定するためのジャンルは、当該番組に付与されていた一つのジャンルを元に設定するようにしている。このため、あるコーナーについては、適切なダイジェスト情報が生成できても、他のコーナーについては、適切なダイジェスト情報が生成で着ないという問題があった。
これに対して、この例では、各コーナー毎に判定されたジャンルを元に、当該コーナー部分からのダイジェスト情報の生成のための特徴量を設定するようにする。すなわち、図10(B)のルールジャンルとして示すように、この実施形態では、一つの番組についてのダイジェスト情報を生成するための特徴量を設定するジャンル情報は、各コーナー単位で、当該コーナーに対して判定されたジャンル情報を用いるようにする。
すなわち、図10(A)に示すバラエティーコーナーの区間については、「バラエティー」のジャンルに対して設定される特徴量をダイジェスト情報生成のために用いる。また、スポーツコーナーの区間について、「スポーツ」のジャンルに対して設定される特徴量を、ニュースコーナーの区間については、「ニュース」のジャンルに対して設定される特徴量を、料理コーナーの区間については、「料理」のジャンルに対して設定される特徴量を、それぞれダイジェスト情報生成のために用いる。
この例では、ダイジェスト情報は、それぞれ再生時間が5分、10分、15分というように、再生時間に応じた複数個の情報が生成される。ユーザは、再生時に、いずれかの再生時間を選択して、ダイジェスト再生を実行することができる。
特殊再生区間生成部17は、それぞれの再生時間となるように、前述した各コーナー単位のジャンルに対して設定される特徴量を用いて、ダイジェスト再生すべきシーン区間を抽出するようにする。この場合、再生時間が短い場合には、設定された特徴量がより大きい区間が抽出される。そして、再生時間が長くなればなるほど、設定された特徴量が徐々に少ない区間も再生区間として抽出されるようになる。
以上のようにして、ダイジェスト再生区間として抽出されたシーン(1または複数シーン)の始点および終点の情報は、ダイジェスト情報として付加情報ファイル生成部18に、システムコントローラ部20を介して、特殊再生区間生成部17から送られる。
付加情報ファイル生成部18は、取得したダイジェスト情報を含む付加情報ファイルを生成し、生成した付加情報ファイルを、記録された放送番組の情報に対応付けた状態で記録処理部4に供給する。記録処理部4は、この付加情報ファイルを、記録されている放送番組の情報に対応付けた状態で記録媒体5に記録する。なお、付加情報ファイルのダイジェスト情報と放送番組の情報との対応付けは、放送番組に付与された番組ID(番組識別子)により行われる。
図11に、付加情報ファイルに含まれるダイジェスト情報の一例を示す。この図11に示すように、この例の場合には、ダイジェスト情報としては、ダイジェスト再生時間のそれぞれに対応付けられた再生シーン区間の始点と終点の組の複数個とされる。
以上のダイジェスト情報の生成および記録処理が終了すると、システムコントローラ部20は、内蔵メモリにバッファリングしているシーン変化点の情報およびキーワードの情報を消去して、次の放送番組の記録時におけるダイジェスト情報生成処理に備える。
<再生信号を用いたダイジェスト情報の生成および記録>
前述もしたように、この例の記録再生装置では、記録媒体5に、放送番組の情報と共に、当該放送番組のダイジェスト情報が付加情報として記録されていない場合を想定して、記録媒体から再生された放送番組の情報から、当該放送番組についてのコーナー区間の生成処理およびダイジェスト情報の生成処理を実行し、生成したダイジェスト情報を付加情報ファイルに含めて、その放送番組の情報と記録番組識別情報により対応付けて記録媒体5に記録するようにする機能を備える。
前述もしたように、この例の記録再生装置では、記録媒体5に、放送番組の情報と共に、当該放送番組のダイジェスト情報が付加情報として記録されていない場合を想定して、記録媒体から再生された放送番組の情報から、当該放送番組についてのコーナー区間の生成処理およびダイジェスト情報の生成処理を実行し、生成したダイジェスト情報を付加情報ファイルに含めて、その放送番組の情報と記録番組識別情報により対応付けて記録媒体5に記録するようにする機能を備える。
このため、再生デコード出力部8からの映像情報および音声情報が特徴量検出部11に供給されると共に、再生デコード出力部8からの字幕・文字スーパーの情報が、字幕・文字スーパー検出部13に供給される。
そして、この実施形態では、例えばユーザがダイジェスト再生の指示をしたときに、記録媒体5に記録された放送番組のデータに、付加情報ファイルが対応して記録されていないときには、この実施形態の記録再生装置は、ユーザに「必要な付加情報ファイルがないので、生成しますか?」という問合せをする。
そして、この問合せに対して、ユーザが「YES(付加情報ファイルを生成する)」と返答操作したときには、記録再生装置のシステムコントローラ部20は、記録された放送番組の記録データを読み出して、再生処理部7および再生デコード部8を通じて特徴量検出部11に供給し、特徴量検出、およびシーン変化点検出部12でのシーン変化点検出を実行するように制御する。
特徴量検出部11では、前述した記録時と同様にして、映像情報および音声情報から予め定められた複数の特徴量が検出され、その検出された特徴量がシーン変化点検出部12に供給されて、シーン変化点が検出され、そのシーン変化点の検出出力がシステムコントローラ部20に供給される。
また、字幕・文字スーパー検出部13は、シーン変化点検出部12から受け取った各シーン変化点の隣接するものとしてシーン(分節区間)を認識し、再生デコード出力部8からの字幕・文字スーパーの情報について、それぞれのシーンに関連する字幕・文字スーパーの情報を検出する。そして、字幕・文字スーパー検出部13は、認識したシーンの開始点および終了点のシーン変化点の情報と、当該シーンに関連する字幕・文字スーパーの情報とをキーワード検出部14に供給する。
キーワード検出部14は、前述したように、字幕・文字スーパー検出部13から受け取った字幕・文字スーパーの情報(テキスト情報)について、形態素解析(Morphological Analysis)を行って、キーワードを検出する。そして、キーワード検出部14は、このときには、検出したキーワードと、それらのキーワードが関連するシーンの開始点および終了点からなるシーン変化点の組とを生成し、それらの情報をシステムコントローラ部20に供給する。
システムコントローラ部20は、検出したキーワードと、それらのキーワードが関連するシーンの開始点および終了点からなるシーン変化点の組との対応情報を、内蔵メモリに一時保持する。
そして、システムコントローラ部20は、内蔵メモリに一時記憶しているシーンの開始点および終了点からなるシーン変化点の組と、関連するキーワードとの対応データをシーンジャンル判定部15に送る。シーンジャンル判定部15は、各シーン変化点の組で特定されるシーン(分節区間)のキーワードを検索子として、ジャンル/キーワード対応情報蓄積部30を参照し、当該検索子のキーワードに対応するジャンルを検出し、当該検出したジャンルを、それぞれのシーンのジャンルと判定する。そして、シーンジャンル判定部15は、判定した各シーンについてのジャンル(シーンジャンル)の判定結果の情報を、シーン結合部16に送る。
シーン結合部16は、前述したようにして、シーンジャンル判定部15から受信したシーンジャンルの判定結果について、隣接するシーンのジャンルを比較し、同一のシーンジャンルとなっているシーンを結合する処理を行い、番組がコーナー単位に区切られた区間の情報を生成する。
そして、シーン結合部16は、シーン結合処理が終了すると、その結合処理結果である各コーナーの始点および終点の情報およびコーナーごとのジャンル情報を特殊再生区間生成部17に送る。特殊再生区間生成部17は、前述したように、各コーナー毎に判定されたジャンルを用いて、種々の再生時間長分のダイジェスト情報の生成を行う。そして、特殊再生区間生成部17は、ダイジェスト再生区間として抽出されたシーン(1または複数シーン)の始点および終点の情報を、ダイジェスト情報として付加情報ファイル生成部18に、システムコントローラ部20を介して送る。
付加情報ファイル生成部18は、取得したダイジェスト情報を含む付加情報ファイルを生成し、生成した付加情報ファイルを、記録されている放送番組の情報に対応付けた状態で記録処理部4に供給する。記録処理部4は、この付加情報ファイルを、記録されている放送番組の情報に対応付けた状態で記録媒体5に記録する。なお、付加情報ファイルのダイジェスト情報と放送番組の情報との対応付けは、放送番組に付与された番組ID(番組識別子)により行われる。
これにより、例えば、記録媒体5に記録されている放送番組の情報が、この実施形態の記録再生装置によって記録されたものではないため、付加情報ファイルが記録されていなくても、この実施形態の記録再生装置におけるダイジェスト再生を実行するためのダイジェスト情報を記録することができる。
以上のダイジェスト情報の生成および記録処理が終了すると、システムコントローラ部20は、内蔵メモリにバッファリングしているシーン変化点の情報およびキーワードの情報を消去して、次回のダイジェスト情報生成処理に備える。
なお、上述の構成のうち、特徴量検出部11およびシーン変化点検出部12の処理、また、シーンジャンル判定部15、シーン結合部16および特殊再生区間生成部17の処理は、システムコントローラ部20のマイクロコンピュータによるソフトウエア処理とするようにしてもよい。
[実施形態の記録再生装置における主要な動作処理の説明]
次に、上述のように構成された実施形態の記録再生装置における主要な動作処理を、図12〜図16のフローチャートを参照しながら説明する。以下に説明するフローチャートの各ステップの処理は、主としてシステムコントローラ部20を構成するマイクロコンピュータが実行するものである。
次に、上述のように構成された実施形態の記録再生装置における主要な動作処理を、図12〜図16のフローチャートを参照しながら説明する。以下に説明するフローチャートの各ステップの処理は、主としてシステムコントローラ部20を構成するマイクロコンピュータが実行するものである。
すなわち、図12に示すように、システムコントローラ部20は、ユーザ入力インターフェース部21の出力を監視することにより、ユーザ操作入力があるか否か監視する(ステップS1)。そして、ユーザ操作入力があったと判別したときには、システムコントローラ部20は、当該ユーザ操作入力は、記録開始操作であるか否か判別し(ステップS2)、記録開始操作であると判別したときには、記録処理ルーチンと、特徴量検出およびシーン変化点検出ルーチンと、クローズドキャプションの字幕・文字スーパーの情報の検出およびキーワード検出処理を、並行して実行する(ステップS3)。
そして、システムコントローラ部20は、記録停止のユーザ操作があったか否か監視し(ステップS4)、記録停止のユーザ操作を検知しないときには、ステップS3に戻って、記録処理ルーチンと、特徴量検出およびシーン変化点検出ルーチンとの並行実行を継続し、記録停止のユーザ操作がなされたと判別したときには、記録後処理として、シーン結合処理およびダイジェスト情報生成処理を実行(ステップS5)した後、ステップS1に戻る。
ステップS5の記録後処理においては、システムコントローラ部20は、前述したように、シーン変化点検出部10で検出されたシーン変化点のデータ(シーン変化点の組)と、キーワード検出部32で検出されたキーワードとを用いてシーンジャンル判定処理を行い、そのシーンジャンル判定処理結果を用いてシーン結合処理を行い、そのシーン結合処理結果を用いてダイジェスト情報生成処理を行う。さらに、生成したダイジェスト情報を付加情報ファイルに含め、記録した放送番組の記録データに対応付けて記録媒体に記録する処理を行う。この場合、付加情報ファイルと、記録した放送番組の記録データとの対応付けは、記録した放送番組の識別情報により行なわれる。
なお、記録処理と並行してリアルタイムでなされたシーン変化点検出の検出結果、そのものを記録後処理で用いるシーン変化点の情報として用いるのではなく、記録後処理において、シーン変化点検出部12で、記録処理と並行してなされたシーン変化点検出の検出結果にさらに検討を加えて、より確からしいシーン変化点を検出し、当該より確からしいシーン変化点を付加情報ファイルに含めて記録するようにしてもよい。
ステップS3で実行される、記録処理と特徴量検出およびシーン変化点検出処理との並行処理ルーチンを、図13のフローチャートを参照して説明する。
先ず、システムコントローラ部20は、記録しようとするデータを取り込む(ステップS11)。すなわち、システムコントローラ部20は、記録しようとするデータが放送受信デコード部2からの放送番組の情報(映像情報および音声情報)であるときには、放送受信デコード部2で選択受信した放送番組の情報を記録信号エンコード処理部3に供給するように指示する。
次に、システムコントローラ部20は、記録信号エンコード処理部3に、放送番組の情報を記録エンコード処理するように指示し(ステップS12)、記録処理部4を制御して、記録媒体5に、その記録エンコード処理された放送番組の映像情報、音声情報および字幕・文字スーパーの情報を記録する(ステップS13)。
そして、システムコントローラ部20は、ユーザにより記録終了指示がなされたか否か判別し(ステップS14)、記録終了指示がなされてはいないと判別したときには、ステップS11に戻って、記録処理を継続する。
ステップS11〜S14は、記録処理ルーチンを構成するもので、この記録処理ルーチンと並行して特徴量検出およびシーン変化点検出処理ルーチンがなされる。すなわち、システムコントローラ部20は、ステップS11で取り込まれた記録すべきデータを、特徴量検出部11にも供給するように指示すると共に、特徴量検出部11に特徴量検出処理の実行を指示する(ステップS15)。なお、前述したように、この例では、記録信号エンコード処理部3からの圧縮途中のデータが特徴量検出部11に供給される。
特徴量検出部11は、この実行指示を受けて、前述した種々の特徴量の検出を実行し、その処理結果をシーン変化点検出部12に供給する。シーン変化点検出部12は、システムコントローラ部20の実行指示を受けて、上述したシーン変化点の検出処理を実行する(ステップS16)。そして、システムコントローラ部20は、特徴量検出部11で検出された特徴量データと、シーン変化点検出部12で検出されたシーン変化点のデータとを、内蔵するバッファメモリなどに記憶保持しておく(ステップS17)。ここで、特徴量検出部11で検出された特徴量データをも記憶保持しておくのは、より確からしいシーン変化点を、再生成する際に用いるためである。
そして、システムコントローラ部20は、ユーザにより記録終了指示がなされたか否か判別し(ステップS18)、記録終了指示がなされてはいないと判別したときには、ステップS15に戻って、特徴量検出およびシーン変化点検出の処理を継続する。
なお、ステップS14の判別処理とステップS18の判別処理は、実際には、別々の判別処理ではなく、同一の判別処理であるが、ここでは、2つの処理ルーチンを並列に記述したため、便宜上、図13のように、2つの判別ステップに分離して記載している。
そして、システムコントローラ部20は、ステップS14、ステップS18で、ユーザにより記録終了指示がなされたと判別したときには、前述したステップS5の記録後処理を行うため、この処理ルーチンを抜ける。
シーン変化点の対で特定されるシーンに関連するキーワードの検出処理は、字幕・文字スーパー検出部13およびキーワード検出部14により別途行われるものである。このキーワードの検出処理を図14のフローチャートを参照して説明する。
すなわち、まず、システムコントローラ部20の制御指示に基づき、字幕・文字スーパー検出部13は、クローズドキャプションデータを検出し、字幕・文字スーパーのテキストデータを抽出する(ステップS21)。
字幕・文字スーパー検出部13は、抽出した字幕・文字スーパーのテキストデータをキーワード検出部14に供給する。キーワード検出部14は、取得した字幕・文字スーパーのテキストデータについて、前述した形態素解析処理をして、キーワードを検出する(ステップS22)。
そして、検出したキーワードを、放送側からの指定情報である字幕・文字スーパーの挿入指示区間の情報に対応して保持する(ステップS23)。なお、キーワード検出部14は、シーン変化点検出部12からのシーン変化点の情報を取得するので、字幕・文字スーパーの挿入指定区間は、シーン変化点の対からなるシーン区間に変換して保持しておく。
次に、システムコントローラ部20は、ユーザにより記録終了操作がなされたか否かを判別し(ステップS24)、記録終了ではないと判別したときには、ステップS21に戻って、上述したキーワード検出処理を繰り返す。また、ステップS24で、記録終了したと判別したときには、前述したステップS5の記録後処理を行うため、この処理ルーチンを抜ける。
次に、記録後処理について、図15のフローチャートを参照して説明する。
すなわち、システムコントローラ部20は、シーン変化点検出部12に指示して、そのバッファメモリに保持している特徴量データとシーン変化点データを用いて、より確からしいシーン変化点の情報を生成させるようにする(ステップS31)。シーン変化点検出部12は、生成したシーン変化点の情報をキーワード検出部14に供給すると共に、システムコントローラ部20に供給する。
キーワード検出部14は、シーン変化点検出部12によりステップS31で生成されたシーン変化点の情報を取得し、取得したシーン変化点の対と、キーワードとを関連つける処理をし、システムコントローラ部20に供給する。
システムコントローラ部20は、シーン変化点検出部12からのシーン変化点の対と、キーワード検出部14からのそれぞれのシーンに関連するキーワードの情報を保持すると共に、シーンジャンル判定部15に送る(ステップS32)。
シーンジャンル判定部15は、システムコントローラ部20の制御の元、各シーン毎のジャンルを、シーンに関連するキーワードの情報と、ジャンル/キーワード対応情報蓄積部30の記憶内容とを用いて、前述したようにして判定する(ステップS33)。
次に、システムコントローラ部20は、シーンジャンル判定部15で判定された各シーンのジャンルの情報をシーン結合部16に送る。シーン結合部16は、システムコントローラ部20の制御の元、前述したようにして、同じジャンルと判定された隣接するシーンを結合する処理を行う(ステップS34)。
そして、シーン結合部16は、シーン結合により放送番組内のコーナーを検出し(ステップS35)、当該検出したコーナー毎の始点および終点の情報およびコーナージャンルの情報を特殊再生区間生成部17に送る。
特殊再生区間生成部17は、それぞれのコーナーのジャンルによりダイジェスト情報として抽出するための特徴量の設定(ダイジェスト生成ルールの設定)を行う(ステップS36)。そして、特殊再生区間生成部17は、前述したようにして、設定した特徴量に基づいて、特徴量検出部11で検出された各シーン毎の特徴量を参照して、それぞれ5分、10分、15分というように再生時間長が定められた複数個のダイジェスト情報を生成する(ステップS37)。
システムコントローラ部20は、その生成されたダイジェスト情報を付加情報ファイル生成部18に渡し、付加情報ファイルに含めて記録媒体5に、記録されている放送番組の情報と対応付けて記録するように指示する(ステップS38)。これにより、ダイジェスト情報は、記録されている放送番組の情報と対応付けられた付加情報ファイルとして、記録媒体5に記録される。
なお、前述した再生信号からダイジェスト情報を生成して記録する処理も、再生信号から字幕・文字スーパーの情報を抽出すると共に、シーン変化点の情報を再生信号から抽出する点を除けば、この図15の処理ルーチンと、ほぼ同様の処理となるものである。そこで、その詳細なフローチャートは、省略することとする。
次に、図12のステップS2で、操作入力は、記録開始操作ではないと判別したときには、システムコントローラ部20は、操作入力は、通常再生の開始指示操作であるか否か判別する(図16のステップS41)。このステップS41で、操作入力は、通常再生の開始指示操作であると判別したときには、システムコントローラ部20は、通常再生処理ルーチンを実行する(ステップS42)。
ステップS41で、操作入力は、通常再生開始指示操作ではないと判別したときには、システムコントローラ部20は、操作入力はダイジェスト再生開始指示であるか否か判別し(ステップS43)、ダイジェスト再生開始指示ではないと判別したときには、システムコントローラ部20は、その操作入力に応じたその他の処理を実行する(ステップS44)。そして、その処理後、ステップS1に戻り、このステップS1以降の処理を繰り返す。
そして、ステップS43で、操作入力は、ダイジェスト再生開始指示操作であると判別したときには、システムコントローラ部20は、記録媒体5から、再生指定された放送番組の付加情報ファイル(ダイジェスト情報を含む)を読み出し、付加情報ファイル検出部19を通じて取得する(ステップS46)。そして、システムコントローラ部20は、ダイジェスト再生時間の一覧と、そのうちのいずれかのダイジェスト再生時間の選択を促すメッセージとを、表示部24の表示画面に表示する(ステップS46)。
この表示画面を見たユーザは、自分が要求するダイジェスト再生時間の選択入力を例えばリモコン22を通じて行うので、システムコントローラ部20は、ユーザ入力インターフェース部21を通じて、その選択入力を受け付ける。
システムコントローラ部20は、ユーザにより選択されたダイジェスト再生時間のダイジェスト情報を、付加情報ファイルから取得し、取得したダイジェスト情報(記録媒体5上のダイジェスト再生区間の映像情報および音声情報の記録位置情報)に基づいて、再生対象の放送番組情報のうち、ダイジェスト再生区間の情報のみを読み出すように読み出し制御部10を制御する。これにより、システムコントローラ部20は、ダイジェスト再生を実行する(ステップS47)。
そして、システムコントローラ部20は、ダイジェスト再生が終了したか否か監視し(ステップS48)、ダイジェスト再生が終了したことを判別するまで、ステップS47のダイジェスト再生の実行を継続する。
そして、ステップS48で、ダイジェスト再生が終了したと判別すると、システムコントローラ部20は、読み出し制御部11、再生処理部12、再生デコード処理部13などを制御して、再生停止処理をする(ステップS49)。そして、図12のステップS1に戻り、このステップS1以降の処理を繰り返す。
以上のようにして、この実施形態によれば、一つの放送番組について、異なるジャンルの複数個のコーナーが存在していても、各コーナー毎に設定されたダイジェスト情報の生成ルール(ダイジェスト情報生成用として設定された特徴量)に基づいてダイジェスト情報が生成され、より適切なシーンがそれぞれのコーナーで抽出されたダイジェスト情報が得られる。
<特殊再生区間生成部17で生成する特殊再生区間の他の例>
上述の例では、ダイジェスト情報の抽出に当たってはジャンルに応じた特徴量を設定し、その設定した特徴量を多く含むシーン区間をダイジェスト情報として抽出するようにしたが、ダイジェスト情報の抽出の方法としては、このような方法に限られるものではない。
上述の例では、ダイジェスト情報の抽出に当たってはジャンルに応じた特徴量を設定し、その設定した特徴量を多く含むシーン区間をダイジェスト情報として抽出するようにしたが、ダイジェスト情報の抽出の方法としては、このような方法に限られるものではない。
特に、この実施形態では、シーン毎にジャンルを判定し、その判定したシーンジャンルが同一である、隣接して連続する複数個のシーンを結合して、同じシーンジャンルからなる複数個のシーン群区間(前述のコーナーに対応)を生成するようにしていることを利用して、そのシーン群区間のジャンル情報を用いて、ダイジェスト情報を生成するようにする。シーン群区間のジャンル情報を用いたダイジェスト情報の生成方法のいくつかの他の例を、以下に説明する。
〔第1の他の例;番組ジャンルと同じジャンルのシーン群区間を抽出〕
この第1の他の例は、番組ジャンルと同じジャンルと判定されたシーン群区間を、特殊再生区間であるダイジェスト情報区間として抽出する。この第1の他の例の場合、ダイジェスト再生の時間は、抽出されたシーン群区間の長さに拠る。
この第1の他の例は、番組ジャンルと同じジャンルと判定されたシーン群区間を、特殊再生区間であるダイジェスト情報区間として抽出する。この第1の他の例の場合、ダイジェスト再生の時間は、抽出されたシーン群区間の長さに拠る。
例えば、EPG取得部6からの情報から検出された、あるいはジャンル情報検出部15で検出された、記録された放送番組のジャンルが、「ニュース<0x09>」と、「ワイドショー<0x23>」との2個である場合を考える。
この場合において、当該番組ジャンルの放送番組の情報が記録媒体に記録された後、前述したような記録後処理によりシーンジャンルの判定がなされ、同じジャンルで連続するシーンの結合がなされた結果、前述の番組ジャンルと同じジャンルと判定されたシーン群区間が、図17(A)に示すように検出された場合、特殊再生区間生成部17は、図17(B)に示すように、番組ジャンル「ニュース<0x09>」と同じジャンルのシーン群区間Pnと、番組ジャンル「ワイドショー<0x23>」と同じジャンルのシーン群区間Pwとを、ダイジェスト再生区間として認識し、各シーン群区間PnおよびPwの始点と終点とを検出する。
そして、特殊再生区間生成部17は、その検出した各シーン群区間PnおよびPwの始点と終点とをダイジェスト情報として、付加情報ファイル生成部18に、システムコントローラ部20を介して供給する。
この第1の他の例の場合の記録後処理のフローチャートを図18に示す。この図18のフローチャートにおいて、ステップS51〜ステップS54までの処理は、図15のステップS31〜ステップS34までの処理と全く同一であり、シーン変化点検出処理、シーン対応キーワード検出処理、シーンジャンル判定部15でのシーン毎のジャンルの判定処理および判定したシーンジャンルが同一のもののシーン結合部16での結合処理までの部分である。
そして、この第1の他の例においては、特殊再生区間生成部17は、結合結果のシーン群のうち、番組ジャンルと同一であるシーン群の区間を抽出する(ステップS55)。この場合において、特殊再生区間生成部17は、前述したように、番組ジャンルとして複数個のジャンルが付与されている放送番組の場合には、それらの複数個のジャンルのそれぞれと同一であるシーン群の区間を抽出する。
そして、特殊再生区間生成部17は、抽出したシーン群区間の始点、終点の情報を、ダイジェスト情報として、システムコントローラ部20に送る。システムコントローラ部20は、受け取ったダイジェスト情報を、付加情報ファイル生成部18に送り、付加情報ファイルとして記録放送番組の情報に対応付けて記録するように指示する(ステップS56)。そして、この処理ルーチンを終了する。
この第1の他の例によれば、放送番組が複数個のコーナーを備えている場合に、放送番組のジャンルと同一のジャンルのコーナーがダイジェスト再生区間として検出されて、その再生位置を示すダイジェスト情報が記録媒体に、放送番組の情報に対応して記録される。したがって、ユーザは、ダイジェスト再生を指示するだけで、放送番組と同一のジャンルのコーナーのみをダイジェストで再生することができるようになる。
〔第2の他の例;番組ジャンルの上位ジャンルと同じジャンルのシーン群区間を抽出〕
放送番組に付与されるジャンルとしては、大分類と、当該大分類の下位階層の小分類とがある。例えば、大分類「スポーツ」のジャンルの下位階層の小分類としては、「野球」、「サッカー」、「相撲」などがある。そして、放送番組の付与ジャンルとしては、大分類で付与される場合と、小分類で付与される場合のいずれでも良いとされている。
放送番組に付与されるジャンルとしては、大分類と、当該大分類の下位階層の小分類とがある。例えば、大分類「スポーツ」のジャンルの下位階層の小分類としては、「野球」、「サッカー」、「相撲」などがある。そして、放送番組の付与ジャンルとしては、大分類で付与される場合と、小分類で付与される場合のいずれでも良いとされている。
このため、小分類で番組ジャンルが付与されている場合に、当該小分類の上位の大分類のジャンルで見たときに、同一となるジャンルのシーン群区間をダイジェスト再生区間として抽出すると便利なことがある。
例えば、番組ジャンルが「野球」とされている放送番組が、図19(A)に示すように、「相撲」、「サッカー」などの小分類では、他のジャンルと判定されるシーン群区間を含んでいるとき、ユーザとしては、「相撲」、「サッカー」などの「野球」以外の小分類のジャンルのシーン群区間をも、ダイジェストで見ることができれば便利である。
そこで、この第2の他の例では、シーン群区間に付与されているジャンルで、上位の分類が同一であるシーン群を抽出して、その抽出したシーン群区間の始点、終点の情報をダイジェスト情報として付加情報ファイルに含めて記録するようにする。
図19の例であれば、番組ジャンルが「野球」であるので、特殊再生区間生成部17は、その上位の大分類のジャンル「スポーツ」を、ダイジェスト再生区間を抽出するためのジャンルとして設定する。そして、特殊再生区間生成部17は、シーン結合部16で結合して得られたそれぞれのシーン群区間についてジャンルを認識し、その上位ジャンルを判定し、当該上位ジャンルがダイジェスト再生区間を抽出するための設定ジャンルと同一であるか否か判別する。
そして、同一ジャンルであると判別したシーン群区間を検出し、抽出したシーン群の始点、終点の情報を、ダイジェスト情報として、システムコントローラ部20に送る。システムコントローラ部20は、受け取ったダイジェスト情報を、付加情報ファイル生成部18に送り、付加情報ファイルとして記録放送番組の情報に対応付けて記録するようにする。
この第2の他の例の記録後処理のフローチャートは、図18のステップS55以降の部分が、上述した特殊再生区間生成部17の処理として説明した処理内容に変更されるものとなるだけで、ステップS51〜ステップS54の部分は、第1の他の例と同様であるので、ここでは省略する。
〔第3の他の例;ユーザが指定したジャンルと同じジャンルのシーン群区間を抽出〕
この第3の他の例においては、シーン結合部16で、シーンジャンルが同一である連続するシーンの結合処理を行った後、システムコントローラ部20は、シーンジャンル判定部16で判定された当該放送番組の各シーンに付与したシーンジャンルの名称の一覧を、表示部24の表示画面に表示する。これは、上述の例では、コーナーのジャンルの一覧に相当する。
この第3の他の例においては、シーン結合部16で、シーンジャンルが同一である連続するシーンの結合処理を行った後、システムコントローラ部20は、シーンジャンル判定部16で判定された当該放送番組の各シーンに付与したシーンジャンルの名称の一覧を、表示部24の表示画面に表示する。これは、上述の例では、コーナーのジャンルの一覧に相当する。
そして、システムコントローラ部20は、ユーザがダイジェストで再生したいと希望するジャンルの選択入力を促すメッセージを併せて表示し、ユーザからのジャンルの選択入力を待つ。そして、ユーザからの選択入力を受け付けると、システムコントローラ20は、受け付けたジャンルの情報を特定再生区間生成部17に渡す。
特定再生区間生成部17は、受け取ったジャンル情報と同一のジャンルのシーン群区間を抽出し、抽出したシーン群の始点、終点の情報を、ダイジェスト情報として、システムコントローラ部20に送る。システムコントローラ部20は、受け取ったダイジェスト情報を、付加情報ファイル生成部18に送り、付加情報ファイルとして記録放送番組の情報に対応付けて記録するようにする。
この第3の他の例の記録後処理のフローチャートは、ユーザに選択可能なジャンルの一覧の提示および当該一覧を通じたユーザからのジャンルの選択、さらに、選択されたジャンルと同一のシーン群区間をダイジェスト再生区間とする点が異なるのみで、大略としては、図18に示した第1の他の例のフローチャートと同様となるので、ここでは省略する。
なお、上述の説明では、ユーザが指定したジャンルと同一のジャンルのシーン群区間をダイジェスト再生区間として抽出するようにしたが、ユーザが指定したジャンルが大分類のジャンルであり、シーン群区間のジャンルがその下位の階層の小分類のジャンルであった場合において、当該シーン群区間のジャンルの上位のジャンルが指定されたジャンルに等しいしジャンルのシーン群区間をダイジェスト再生区間として抽出しても良い。そのようにすれば、第2の他の例と同様のダイジェスト再生が可能となる。
〔第4の他の例;番組ジャンルと相関が低いジャンルのシーン群区間は排除〕
この第4の他の例は、記録した放送番組の番組ジャンルと相関が低い、あるいは関連性が乏しいジャンルと判定されたシーン群区間は、ダイジェスト再生区間として抽出しないようにするものである。
この第4の他の例は、記録した放送番組の番組ジャンルと相関が低い、あるいは関連性が乏しいジャンルと判定されたシーン群区間は、ダイジェスト再生区間として抽出しないようにするものである。
この第4の他の例においては、記録再生装置は、自ジャンルと他ジャンルとの相関値を予め定めたジャンル相関テーブルを用意する。このジャンル相関テーブルの例を図20に示す。図20は、例えば自ジャンルとしてジャンル「野球」を想定した場合における、他ジャンルに対する相関値の例を示している。この図20に示すように、この例では、相関が低いジャンルほど、相関値は負の大きな値となり、また、相関が高いジャンルほど、相関値は正の大きな値となる。
特殊再生区間生成部17は、記録した放送番組の番組ジャンルと、シーン結合部16での結合結果のシーン群区間のジャンルとの相関値を、図20のジャンル相関テーブルを参照して検出し、検出した相関値から、番組ジャンルと相関が低いシーン群区間はダイジェスト情報には含めないようにする。
この場合に、ダイジェスト再生時間が設定される場合には、相関値から、相関が最も低いシーン群区間をダイジェスト再生区間から、まず排除し、設定時間を超えているかどうかを判別し、いまだ越えている場合には、次に相関が低いシーン群区間をダイジェスト再生区間から排除するというようにして、設定されたダイジェスト再生時間以内になるようにダイジェスト情報を決定するようにしても良い。また、逆に、ダイジェスト再生時間が設定される場合において、相関値から、相関が高いシーン群区間をダイジェスト再生区間に、まず含め、設定時間にいまだなっていない場合には、次に相関が高いシーン群区間をダイジェスト再生区間に含めるというようにして、設定されたダイジェスト再生時間近傍の再生時間になるようにダイジェスト情報を決定するようにしても良い。
〔第5の他の例;ユーザの高頻度視聴ジャンルと同一のジャンルのシーン群区間を抽出〕
この第5の他の例においては、記録再生装置は、ユーザの視聴履歴をジャンル毎に積算して記憶する手段を備える。すなわち、この例においては、記録再生装置のシステムコントローラ部20は、ユーザが記録媒体に記録されている放送番組を再生をして視聴すると、その視聴の終了時に視聴した番組の番組ジャンルを検出し、記憶している当該番組ジャンルについての視聴回数をインクリメントする。
この第5の他の例においては、記録再生装置は、ユーザの視聴履歴をジャンル毎に積算して記憶する手段を備える。すなわち、この例においては、記録再生装置のシステムコントローラ部20は、ユーザが記録媒体に記録されている放送番組を再生をして視聴すると、その視聴の終了時に視聴した番組の番組ジャンルを検出し、記憶している当該番組ジャンルについての視聴回数をインクリメントする。
そして、システムコントローラ部20は、視聴回数の多いもの順にジャンルを並べて、ユーザが嗜好しているジャンルのランキングを生成する。この例の記録再生装置は、このように生成するユーザの嗜好ジャンル情報を、嗜好ジャンル情報テーブルとしてメモリに格納して記憶するようにする。嗜好ジャンル情報テーブルの例を図21に示す
そして、この第5の他の例においては、特殊再生区間生成部17は、このユーザの嗜好ジャンル情報テーブルのランキングに基づいて、ダイジェスト情報の生成を行うようにする。
そして、この第5の他の例においては、特殊再生区間生成部17は、このユーザの嗜好ジャンル情報テーブルのランキングに基づいて、ダイジェスト情報の生成を行うようにする。
この第5の他の例の場合の記録後処理のフローチャートを図22に示す。この図22のフローチャートにおいて、ステップS61〜ステップS64までの処理は、図15のステップS31〜ステップS34までの処理と全く同一であり、シーン変化点検出処理、シーン対応キーワード検出処理、シーンジャンル判定部15でのシーン毎のジャンルの判定処理および判定したシーンジャンルが同一のもののシーン結合部16での結合処理までの部分である。
そして、この第5の他の例においては、特殊再生区間生成部17は、ユーザの嗜好ジャンル情報テーブルを参照して、まず、最高ランクのジャンルを認識する(ステップS65)。次に、特殊再生区間生成部17は、認識したジャンルと同一のジャンルのシーン群区間を抽出し(ステップS66)、抽出したシーン群区間の再生時間の合計を計算して、設定されたダイジェスト再生時間長になったか否か判別する(ステップS67)。
ステップS67で、抽出したシーン群区間の再生時間の合計が、設定されたダイジェスト再生時間長になってはいないと判別したときには、特殊再生区間生成部17は、ユーザの嗜好ジャンル情報の次位のランクのジャンルを認識し(ステップS68)、ステップS66に戻って、認識したジャンルと同一のジャンルのシーン群区間を抽出し、抽出したシーン群区間の再生時間の合計を計算して、設定されたダイジェスト再生時間長になったか否か判別する(ステップS67)。
ステップS67で、抽出したシーン群区間の再生時間の合計が、設定されたダイジェスト再生時間長になったと判別したときには、特殊再生区間生成部17は、抽出したシーン群区間の始点、終点の情報を、ダイジェスト情報として、システムコントローラ部20に送る。システムコントローラ部20は、受け取ったダイジェスト情報を、付加情報ファイル生成部18に送り、付加情報ファイルとして記録放送番組の情報に対応付けて記録するように指示する(ステップS69)。そして、この処理ルーチンを終了する。
この第5の他の例によれば、ユーザが良く視聴しているジャンルと同じジャンルのコーナー区間を、放送番組から抽出して、ダイジェスト情報として、記録媒体に、放送番組の情報に対応して記録される。したがって、ユーザは、ダイジェスト再生を指示するだけで、ユーザが良く視聴しているジャンルと同じジャンルのコーナー区間をダイジェスト再生するようにすることができる。
〔第6の他の例;結合したシーン群区間の時間長に応じてダイジェスト再生区間を抽出〕
この第6の他の例は、シーン結合部16で結合して得た同一シーンジャンルの複数のシーン群からなるシーン群区間の時間長を検出し、その時間長が、予め定めた一定時間未満あるいは一定時間以下のシーン群区間のみをダイジェスト再生区間として抽出する。
この第6の他の例は、シーン結合部16で結合して得た同一シーンジャンルの複数のシーン群からなるシーン群区間の時間長を検出し、その時間長が、予め定めた一定時間未満あるいは一定時間以下のシーン群区間のみをダイジェスト再生区間として抽出する。
シーン結合部16により、ジャンルによって結合したシーン群区間の時間長が、例えば、図23(A)に示すようなものとなっている場合において、5分未満のシーン群区間を抽出すると設定されていた場合、特殊再生区間生成部17では、図23(B)に示すように、図23(A)に示される放送番組の情報のうちの、時間長が5分未満のシーン群区間のみを抽出して、ダイジェスト情報を生成する。
この第6の他の例の場合の記録後処理のフローチャートを図24に示す。この図24のフローチャートにおいて、ステップS71〜ステップS74までの処理は、図15のステップS31〜ステップS34までの処理と全く同一であり、シーン変化点検出処理、シーン対応キーワード検出処理、シーンジャンル判定部15でのシーン毎のジャンルの判定処理および判定したシーンジャンルが同一のもののシーン結合部16での結合処理までの部分である。
この第6の他の例においては、特殊再生区間生成部17は、結合結果の各シーン群区間の時間長を計測する(ステップS75)。この時間長の計測は、シーン群区間のフレーム数によりなされる。次に、特殊再生区間生成部17は、各シーン群区間の時間長が予め定められている一定時間未満であるかどうかを判別して、一定時間未満であるシーン群区間のみを抽出する(ステップS76)。
そして、特殊再生区間生成部17は、抽出したシーン群区間の始点、終点の情報を、ダイジェスト情報として、システムコントローラ部20に送る。システムコントローラ部20は、受け取ったダイジェスト情報を、付加情報ファイル生成部18に送り、付加情報ファイルとして記録放送番組の情報に対応付けて記録するように指示する(ステップS77)。そして、この処理ルーチンを終了する。
〔第7の他の例;判定したシーンジャンルに従って結合しながらダイジェスト再生区間を抽出〕
上述の例のすべてにおいては、シーンジャンル判定手段15でシーン毎のジャンルを判定した後、シーン結合部16で同じジャンルのシーンの結合をし、その結合結果を特殊再生区間生成部17に供給し、特殊再生区間生成部17では、結合結果のシーン群単位について、ダイジェスト再生区間の情報であるダイジェスト情報の生成を行った。
上述の例のすべてにおいては、シーンジャンル判定手段15でシーン毎のジャンルを判定した後、シーン結合部16で同じジャンルのシーンの結合をし、その結合結果を特殊再生区間生成部17に供給し、特殊再生区間生成部17では、結合結果のシーン群単位について、ダイジェスト再生区間の情報であるダイジェスト情報の生成を行った。
これに対して、この第7の他の例においては、シーンジャンル判定手段15でシーン毎のジャンルを判定した後、特殊再生区間生成部17は、シーン結合部16で同じジャンルのシーンの結合をさせながら、所定時間長分のダイジェスト情報を生成するようにする。
図25は、この第7の他の例の概要を説明するための図である。記録媒体に記録された放送番組が、例えば図25(A)に示すように複数個のコーナーを有する番組であったとする。すると、この実施形態では、各コーナー区間は、シーン変化点検出部12において複数個のシーン区間からなるものとして検出される。そして、シーンジャンル判定部15において、各コーナーに含まれる複数個のシーンは、それぞれ同一のシーンジャンルのシーンであると判定される。
この第7の他の例においては、シーンジャンルの判定がなされた後、所定時間長分のダイジェスト情報の生成処理を開始する。すなわち、特殊再生区間生成部17は、まず、シーンジャンルとして異なるジャンルが判定されたシーン(各コーナーの先頭のシーンに相当)を検出し、隣接する同一ジャンルのシーンの結合を行う。そして、そのシーン結合結果の再生時間長を計測し、設定された所定時間長分の時間長になるまで、隣接する同一ジャンルのシーン結合を繰り返す。もし、隣接する同一ジャンルのシーンが無くなったら、隣接するコーナーに結合されることになるので、その部分(コーナー)のシーン結合はそれで停止し、他の部分(コーナー)におけるシーンの結合により、ダイジェスト再生時間長を長くするようにする。
このようにすれば、例えば設定されたダイジェスト再生時間長に応じて、図25(B)のダイジェスト情報1、図25(c)のダイジェスト情報2のように、各コーナーの先頭から所定数のシーンの結合区間がダイジェスト再生区間としてそれぞれ抽出される。
この第7の他の例の場合の記録後処理のフローチャートを図26に示す。この図26のフローチャートにおいて、ステップS81〜ステップS83までの処理は、図15のステップS31〜ステップS33までの処理と全く同一であり、シーン変化点検出処理からシーンジャンル判定部15でのシーン毎のジャンルの判定処理までの部分である。
この第7の他の例においては、シーンジャンル判定部15でのシーン毎のジャンルの判定結果が得られると、特殊再生区間生成部17は、生成するダイジェスト情報の時間長を設定する(ステップS84)。次に、特殊再生区間生成部17は、シーンジャンルとして異なるジャンルが判定されたシーン(各コーナーの先頭のシーンに相当)を検出し、シーン結合部16に指示して、隣接する同一ジャンルのシーンの結合を行う(ステップS85)。
そして、特殊再生区間生成部17は、シーン結合した結果のシーン群区間の合計の時間長(再生時間長)が、ステップS84で設定された時間長になったか否か判別し(ステップS86)、設定時間長にはなっていないと判別したときには、ステップS85に戻り、隣接している未結合の同一ジャンルのシーンの結合処理を継続するようにする。
そして、ステップS86で、設定時間長になったと判別したときには、結合したシーン群区間の始点、終点の情報を、ダイジェスト情報として、システムコントローラ部20に送る。システムコントローラ部20は、受け取ったダイジェスト情報を、付加情報ファイル生成部18に送り、付加情報ファイルとして記録放送番組の情報に対応付けて記録するように指示する(ステップS87)。
そして、特殊再生区間生成部17は、生成すべき全ダイジェスト時間長についてのダイジェスト情報の生成が終了したか否か判別し(ステップS88)、終了していなければステップS84に戻り、次のダイジェスト時間長を設定して、このステップS84以降の処理を繰り返す。また、ステップS88で、生成すべき全ダイジェスト時間長についてのダイジェスト情報の生成が終了したと判別したときには、この処理ルーチンを終了する。
この例によれば、各コーナーの先頭からの区間がダイジェスト再生されるので、ユーザは、放送番組がどのようなコーナーを含み、かつ、そのコーナーの内容がどのようなものであるかを知ることができる。
[第2の実施形態]
上述した第1の実施形態では、記録時の記録終了後処理として、ダイジェスト情報の生成処理を行うようにしたが、ダイジェスト情報の生成処理に必要なデータを、付加情報ファイルに含めて記録放送番組の情報と対応させて記録媒体に記録しておくことにより、ダイジェスト再生指示がユーザからなされたときに、ダイジェスト情報の生成処理を行い、生成したダイジェスト情報に基づいてダイジェスト再生を実行するように構成することもできる。
上述した第1の実施形態では、記録時の記録終了後処理として、ダイジェスト情報の生成処理を行うようにしたが、ダイジェスト情報の生成処理に必要なデータを、付加情報ファイルに含めて記録放送番組の情報と対応させて記録媒体に記録しておくことにより、ダイジェスト再生指示がユーザからなされたときに、ダイジェスト情報の生成処理を行い、生成したダイジェスト情報に基づいてダイジェスト再生を実行するように構成することもできる。
第2の実施形態は、そのようにダイジェスト再生指示がユーザからなされたときに、ダイジェスト情報の生成処理を行う場合である。この第2の実施形態における記録再生装置も、ハードウエア構成は、図1に示したものと同様となる。ただし、シーンジャンル判定部15、シーン結合部16、特殊再生区間生成部17が起動されるタイミングおよび記録媒体5に記録される付加情報が、第1の実施形態とは異なるものである。
この第2の実施形態においては、付加情報ファイルに含められて記録されるデータ内容により、シーンジャンル判定部15、シーン結合部16、特殊再生区間生成部17の起動タイミングおよび処理動作が変わる。
〔付加情報ファイルの第1の例;シーン変化点、特徴量データ、キーワード群〕
ダイジェスト情報の抽出を、映像および/または音声情報の特徴量を用いる場合には、付加情報ファイルには、シーン毎に検出した特徴量データが必要である。この第1の例は、そのことを考慮して、付加情報ファイルとしては、図27に示すように、シーン変化点検出部12で検出したシーン変化点の組(分節区間(シーン))の情報と、特徴量検出部11で検出されたそれぞれの分節区間(シーン)内の特徴量データと、キーワード検出部14で検出された分節区間(シーン)毎のキーワード群とを含むものとされる。
ダイジェスト情報の抽出を、映像および/または音声情報の特徴量を用いる場合には、付加情報ファイルには、シーン毎に検出した特徴量データが必要である。この第1の例は、そのことを考慮して、付加情報ファイルとしては、図27に示すように、シーン変化点検出部12で検出したシーン変化点の組(分節区間(シーン))の情報と、特徴量検出部11で検出されたそれぞれの分節区間(シーン)内の特徴量データと、キーワード検出部14で検出された分節区間(シーン)毎のキーワード群とを含むものとされる。
したがって、記録時には、シーンジャンル判定部15、シーン結合部16、特殊再生区間生成部17は、使用せず、システムコントローラ部20は、記録後処理時に、シーン変化点検出部12からのシーン変化点の情報および対応するシーン区間の特徴量データと、キーワード検出部14から得た各シーン区間のキーワード群とを、付加情報ファイル生成部18に供給して、それらの情報を、付加情報ファイルとして記録媒体5に記録させるようにする。
そして、第2の実施形態の記録再生装置は、ユーザによりダイジェスト再生が指示されたとき、当該ダイジェスト再生に先立ち、ダイジェスト情報を生成するようにする。そして、生成したダイジェスト情報にしたがってダイジェスト再生を実行する。図28に、このときの処理のフローチャートの例を示す。
すなわち、ユーザ操作に基づいてユーザ入力インターフェース部21を通じてダイジェスト再生要求がシステムコントローラ部20に入力されると、システムコントローラ部20は、図28のスタートから処理を開始し、当該ダイジェスト再生要求指示を受け付ける(ステップS91)。このダイジェスト再生要求指示には、ダイジェスト時間の指定情報も含まれているものとする。
次に、システムコントローラ部20は、記録媒体5からダイジェスト再生を指定された記録放送番組の付加情報ファイルを読み出すように読み出し制御部10を制御する。そして、システムコントローラ部20は、読み出された付加情報ファイルの情報を、付加情報ファイル検出部19を通じて取得する(ステップS92)。
次に、システムコントローラ部20は、付加情報ファイルから読み出したシーン変化点の組と、それぞれのシーンに関連するキーワードの情報とを、シーンジャンル判定部15に送る。シーンジャンル判定部15は、システムコントローラ部20の制御の元に、各シーン毎のジャンルを、シーンに関連するキーワードの情報と、ジャンル/キーワード対応情報蓄積部30の記憶内容とを用いて、前述したようにして判定する(ステップS93)。
次に、システムコントローラ部20は、シーンジャンル判定部15で判定された各シーンのジャンルの情報をシーン結合部16に送る。シーン結合部16は、システムコントローラ部20の制御の元、前述したようにして、同じジャンルと判定された隣接するシーンを結合する処理を行う(ステップS94)。
そして、シーン結合部16は、シーン結合により放送番組内のコーナーを検出し(ステップS95)、当該検出したコーナー毎の始点および終点の情報およびコーナージャンルの情報を特殊再生区間生成部17に送る。
特殊再生区間生成部17は、それぞれのコーナーのジャンルによりダイジェスト情報として抽出するための特徴量の設定(ダイジェスト生成ルールの設定)を行う(ステップS96)。そして、特殊再生区間生成部17は、前述したようにして、設定した特徴量に基づいて、付加情報ファイルの各シーン毎の特徴量データを参照して、指定されたダイジェスト再生時間長となるように、ダイジェスト情報を生成する(ステップS97)。
そして、次に、システムコントローラ部20は、生成されたダイジェスト情報を用いて、対応する記録放送番組の映像および音声情報のうちの、ダイジェスト再生区間の情報を読み出してダイジェスト再生を実行する(ステップS98)。
以上のような特徴量を用いたダイジェスト情報の生成方法に限らず、同じシーンジャンルを結合したシーン群区間に注目した、上述したようなダイジェスト情報の他の生成方法の例を、この例においても適用することが可能である。
〔付加情報ファイルの第2の例;シーン変化点、特徴量データ、シーンジャンル〕
この第2の例は、第1の例の変形例とも言うべき例である。この第2の例においては、各シーンに対応してキーワード群を記録する代わりに、各シーン毎に判定したシーンジャンルを記録するようにする。
この第2の例は、第1の例の変形例とも言うべき例である。この第2の例においては、各シーンに対応してキーワード群を記録する代わりに、各シーン毎に判定したシーンジャンルを記録するようにする。
この第2の例においては、記録後処理時に、シーン毎のキーワード群をシーンジャンル判定部15に送り、ジャンル/キーワード対応情報蓄積部30の記憶内容を用いたシーンジャンルの判定を、このシーンジャンル判定部15で行わせ、その判定結果をシーン変化点の情報と、特徴量データとに対応して、付加情報ファイル生成部18に供給し、それらの情報を付加情報として記録媒体5に記録させるようにする。
したがって、ダイジェスト再生要求指示を受け付けたときの処理としては、図28のステップS93は不要となり、付加情報ファイルからシーンジャンルの情報を読み出して、ステップS94でシーン結合処理をするようにする。その他のステップの処理は、第1の例と同様である。
この第2の例においても、特徴量を用いたダイジェスト情報生成に限らず、同じシーンジャンルを結合したシーン群区間に注目した、上述したようなダイジェスト情報の他の生成方法の例を適用することが可能である。
〔付加情報ファイルの第3の例;シーン変化点、キーワード〕
ダイジェスト情報の生成に特徴量データを用いない場合には、付加情報ファイルには、特徴量データを記録する必要は無く、図7に示したシーン変化点の組と、対応するキーワード群を付加情報ファイルに含めて記録するようにすれば良い。この場合のダイジェスト再生処理動作としては、特徴量データを用いずにダイジェスト再生区間を生成するようにするという点を除けば、上述の付加情報ファイルの第1の例と全く同様である。
ダイジェスト情報の生成に特徴量データを用いない場合には、付加情報ファイルには、特徴量データを記録する必要は無く、図7に示したシーン変化点の組と、対応するキーワード群を付加情報ファイルに含めて記録するようにすれば良い。この場合のダイジェスト再生処理動作としては、特徴量データを用いずにダイジェスト再生区間を生成するようにするという点を除けば、上述の付加情報ファイルの第1の例と全く同様である。
〔付加情報ファイルの第4の例;シーン変化点、シーンジャンル〕
同様に、ダイジェスト情報の生成に特徴量データを用いない場合には、図30に示すように、シーン変化点の組と、対応するシーンジャンルの情報とを付加情報ファイルに含めて記録するようにすれば良い。この場合のダイジェスト再生処理動作としては、特徴量データを用いずにダイジェスト再生区間を生成するようにするという点を除けば、上述の付加情報ファイルの第2の例と全く同様である。
同様に、ダイジェスト情報の生成に特徴量データを用いない場合には、図30に示すように、シーン変化点の組と、対応するシーンジャンルの情報とを付加情報ファイルに含めて記録するようにすれば良い。この場合のダイジェスト再生処理動作としては、特徴量データを用いずにダイジェスト再生区間を生成するようにするという点を除けば、上述の付加情報ファイルの第2の例と全く同様である。
〔付加情報ファイルの第5の例;シーン群区間(コーナー)、コーナージャンル〕
この第5の例は、付加情報ファイルには、シーン結合部16で結合したシーン群区間(コーナー)の始点および終点の情報と、それぞれのシーン群区間のジャンル(コーナージャンル)の情報とが記録媒体5に、記録放送番組の情報と対応付けられて記録される。図31に、この第5の例の場合の付加情報ファイルの記録データの一例を示す。
この第5の例は、付加情報ファイルには、シーン結合部16で結合したシーン群区間(コーナー)の始点および終点の情報と、それぞれのシーン群区間のジャンル(コーナージャンル)の情報とが記録媒体5に、記録放送番組の情報と対応付けられて記録される。図31に、この第5の例の場合の付加情報ファイルの記録データの一例を示す。
この第5の例においては、コーナー単位に抽出するダイジェスト再生が可能である。図32に、当該第5の例におけるコーナー単位ダイジェスト再生処理のためのフローチャートの例を示す。
すなわち、ユーザ操作に基づいてユーザ入力インターフェース部21を通じて、コーナー単位ダイジェスト再生要求がシステムコントローラ部20に入力されると、システムコントローラ部20は、図32のスタートから処理を開始し、当該ダイジェスト再生要求指示を受け付ける(ステップS201)。
次に、システムコントローラ部20は、記録媒体5からダイジェスト再生を指定された記録放送番組の付加情報ファイルを読み出すように読み出し制御部10を制御する。そして、システムコントローラ部20は、読み出された付加情報ファイルの情報を、付加情報ファイル検出部19を通じて取得する(ステップS202)。
次に、システムコントローラ部20は、付加情報ファイルから読み出したコーナージャンルの情報を元に、ダイジェスト再生可能なコーナージャンルの一覧を表示部24の表示画面に表示して、ユーザに提示する(ステップS203)。
次に、システムコントローラ部20は、ユーザからのコーナージャンルの選択入力を待ち、ユーザからの選択入力を受け付ける(ステップS204)。そして、システムコントローラ20は、受け付けたコーナージャンルの情報を特定再生区間生成部17に渡す。
特殊再生区間生成部17は、付加情報ファイルから、指定されたコーナージャンルと同一のジャンルのコーナーのすべてのシーン群区間の情報を検出し、検出したシーン群区間の情報をコーナー単位ダイジェスト情報として生成する(ステップS205)。
そして、次に、システムコントローラ部20は、生成されたダイジェスト情報を用いて、対応する記録放送番組の映像および音声情報のうちの、コーナー単位ダイジェスト再生区間の情報を読み出してダイジェスト再生を実行する(ステップS206)。
こうして、この例によれば、ユーザは、記録放送番組について、ジャンルの異なる複数個のコーナーの存在を、コーナージャンル一覧情報から知ることができると共に、そのコーナージャンル一覧から、任意の希望するコーナージャンルを選択することにより、当該コーナーのみのダイジェスト再生が可能となる。
[複数番組からの同時ダイジェスト再生の例]
上記の第2の実施形態の説明においては、一つ一つの記録放送番組についてのダイジェスト再生について説明したが、複数の記録放送番組からのダイジェスト再生を行えるようにすることもできる。この場合、ダイジェスト再生区間として抽出された、複数の記録放送番組からのシーン群区間の再生順は、それぞれの放送番組の先頭時点からの相対時刻の順とするようにする。
上記の第2の実施形態の説明においては、一つ一つの記録放送番組についてのダイジェスト再生について説明したが、複数の記録放送番組からのダイジェスト再生を行えるようにすることもできる。この場合、ダイジェスト再生区間として抽出された、複数の記録放送番組からのシーン群区間の再生順は、それぞれの放送番組の先頭時点からの相対時刻の順とするようにする。
図33に、この例におけるダイジェスト再生の概要の一例を示す。すなわち、図33の例は、判定されたコーナージャンル(シーンジャンルの判定結果により結合されたシーン群からなるコーナーのジャンル)の上位ジャンルが、放送番組の番組ジャンルの上位ジャンルと同一である場合、あるいは、ユーザにより指定された番組ジャンルが上位ジャンルであって、判定されたコーナージャンルのジャンルの上位ジャンルが指定されたジャンルと同一である場合に、それら同一であると判定されたコーナー(シーン群区間)を、ダイジェスト再生区間として抽出する場合の例である。
図33(A)は、放送番組Aについて、上位ジャンル「スポーツ」が等しいとされたジャンル「サッカー」、ジャンル「相撲」、ジャンル「野球」の各コーナー(シーン群区間)が抽出された状態を示している。また、同様に、図33(B)は、放送番組Aについて、上位ジャンル「スポーツ」が等しいとされたジャンル「サッカー」、ジャンル「相撲」、ジャンル「野球」の各コーナー(シーン群区間)が抽出された状態を示している。
そして、ダイジェスト情報としては、図33(C)に示すように、各放送番組Aおよび放送番組Bにおいて、抽出された各コーナー区間の先頭の、それぞれの放送番組A,Bの先頭からの時間が早いもの順に、並べて結合するようにする。そして、生成した図33(C)に示すようなダイジェスト情報にしたがって、ダイジェスト再生を実行するようにする。
[実施形態の変形例およびその他の実施形態]
以上の実施形態では、シーンに関連するキーワードは、クローズドキャプションの字幕・文字スーパーのテキスト情報から検出するようにしたが、オープンキャプションにより画像中に重畳されている字幕や文字スーパーを、画像情報から検出し、当該検出した字幕や文字スーパーの情報から、テキスト情報を抽出し、キーワードを検出するようにしても良い。
以上の実施形態では、シーンに関連するキーワードは、クローズドキャプションの字幕・文字スーパーのテキスト情報から検出するようにしたが、オープンキャプションにより画像中に重畳されている字幕や文字スーパーを、画像情報から検出し、当該検出した字幕や文字スーパーの情報から、テキスト情報を抽出し、キーワードを検出するようにしても良い。
また、各シーンの番組音声信号について音声認識および文字認識を行ってテキスト情報に変換し、その変換したテキスト情報からキーワードを検出するようにしても良い。この場合には、字幕・文字スーパー情報からのキーワードの検出は、不要となるので、放送番組の情報のみならず、インターネットからダウンロードした情報や、種々の記録メディアから取得した情報について、この発明が適用可能である。
また、上述の実施形態では、ジャンル/キーワード対応情報蓄積部30に格納するジャンルと、それに関連するキーワードの情報は、ジャンル情報検出部32からのジャンル情報と、字幕・文字スーパー検出部13およびキーワード検出部14を用いて抽出したキーワードの情報とから学習して得るようにしたが、これとは別に、あるいは、これに加えて、EPGデータに含まれる番組ジャンルの情報と、EPGデータに含まれる番組内容の説明のためのテキストデータから抽出したキーワードとを用いても良い。
[その他の変形例等]
上述の実施形態の放送受信デコード部2は、地上デジタルテレビ放送の受信部の場合である他、地上アナログテレビ放送の受信部、衛星デジタルテレビ放送の受信部、ケーブルテレビ放送の受信部、インターネット配信されたテレビ放送の受信部であっても、この発明は適用可能である。
上述の実施形態の放送受信デコード部2は、地上デジタルテレビ放送の受信部の場合である他、地上アナログテレビ放送の受信部、衛星デジタルテレビ放送の受信部、ケーブルテレビ放送の受信部、インターネット配信されたテレビ放送の受信部であっても、この発明は適用可能である。
また、上述の実施形態は、テレビ放送番組の記録再生の場合に、この発明を適用した場合であるが、この発明は、テレビ放送番組の記録再生に限られるわけではなく、例えばラジオ放送番組の記録再生の他、種々の情報信号の記録再生に適用可能である。
また、シーン変化点で区分けされるシーン区間は、上述の実施形態のように、映像情報および音声情報の両方の特徴量から検出する場合のみではなく、映像情報のみの特徴量から、あるいは、音声情報の特徴量のみから検出するようにすることもできる。
2…放送受信デコード部、3…記録信号エンコード処理部、4…記録処理部、5…記録媒体、7…再生処理部、8…再生デコード出力部、10…読み出し制御部、11…特徴量検出部、12…シーン変化点検出部、13…字幕・文字スーパー検出部、14…キーワード検出部、15…シーンジャンル判定部、16…シーン結合部、17…特殊再生区間生成部、18…付加情報ファイル生成部、19…付加情報ファイル検出部、20…システムコントローラ部、21…ユーザ入力インターフェース部、24…表示部、30…ジャンル/キーワード対応情報蓄積部、31…ジャンル/キーワード対応学習部、32…ジャンル情報検出部
Claims (20)
- 情報信号を記録媒体に記録する情報信号記録手段と、
前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記情報信号の分類種別と、当該分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録媒体に記録する情報信号および/または前記記録媒体から再生された情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記分節区間の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間の情報を生成する特殊再生区間生成手段と、
を備えることを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記特殊再生区間生成手段で生成された前記特殊再生区間の前記記録媒体上の記録位置を示す情報を、前記情報信号に対応付けて前記記録媒体に記録する手段と、
前記記録媒体から前記特殊再生区間の前記記録媒体上の記録位置を示す情報を読み出し、この読み出した前記記録媒体上の記録位置を示す情報に基づいて、前記特殊再生区間の情報信号部分を前記記録媒体から読み出して再生を行う手段と、
を備えることを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記キーワード取得手段で取得された前記分節区間の前記キーワードと、対応する分節区間の前記記録媒体上の記録位置を示す情報とを、前記情報信号に対応付けて前記記録媒体に記録する手段を備え、
前記分節区間分類種別判定手段は、前記記録媒体から前記分節区間のそれぞれの前記キーワードを読み出し、当該読み出した前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する
ことを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記分節区間分類種別判定手段で判定された前記分節区間毎の前記分類種別と、対応する前記分節区間のそれぞれの前記記録媒体上の記録位置の情報とを、前記情報信号に対応付けて記録する手段を備え、
前記分節区間結合手段は、前記記録媒体から前記分節区間毎の前記分類種別と、対応する前記分節区間のそれぞれの前記記録媒体上の記録位置の情報とを読み出し、前記分類種別が同一の隣接する前記分節区間を結合する
ことを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
特殊再生区間生成手段は、前記分節区間結合手段で前記同一の分類種別が結合された連続した前記分節区間からなる分節区間群の先頭および最後の前記記録媒体上の記録位置の情報を生成するものであり、
前記特殊再生区間生成手段で生成された前記分節区間群の先頭および最後の前記記録媒体上の記録位置の情報と、前記分節区間群のそれぞれに対応する分類種別の情報とを、前記情報信号に対応付けて前記記録媒体に記録する手段を備える
ことを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記区切り検出手段は、前記記録する情報信号および/または再生された情報信号についての複数個の特徴量を検出し、その検出した特徴量を用いて前記情報信号の区切りを検出するものであり、
前記特殊再生区間生成手段は、前記分節区間結合手段で前記同一の分類種別が結合された連続した前記分節区間からなる分節区間群のそれぞれから、前記分節区間のそれぞれに対応する分類種別に応じて定められる前記特徴量に基づいて抽出した一部情報信号区間を前記特殊再生区間として求める
ことを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記情報信号は、地上デジタルテレビ放送信号を受信して得た信号であって、
前記キーワード取得手段は、前記放送信号に含まれて送られてくる情報から、前記分節区間に対応付けられたキーワードを取得するものであると共に、
前記放送信号に含まれて送られてくる放送中または放送予定の放送番組の分類種別の情報を取得する手段と、
前記キーワード取得手段で取得したキーワードと、前記放送番組の分類種別とを対応付けることにより、前記キーワードと前記分類種別との対応関係を学習する学習手段と、
前記学習手段で学習された前記分類種別と前記キーワードとの対応関係に基づき、前記分類種別/キーワード対応蓄積部の記憶内容を更新する手段と
を備えることを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記情報信号は、テレビ放送信号の受信信号であって、
前記キーワード取得手段は、前記テレビ放送信号に含まれるクローズドキャプションの字幕および文字スーパーのテキストデータから前記キーワードを抽出する
ことを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記情報信号は、テレビ放送信号の受信信号であって、
前記キーワード取得手段は、前記テレビ放送信号に含まれるオープンキャプションの字幕および文字スーパーの情報から文字テキストデータを抽出して、前記キーワードを抽出する
ことを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、
前記情報信号は、テレビ放送信号の受信信号であって、
前記キーワード取得手段は、前記テレビ放送信号の音声信号を音声認識して、文字テキストデータを抽出して、前記キーワードを抽出する
ことを特徴とする記録再生装置。 - 情報信号を記録媒体に記録する情報信号記録手段と、
前記情報信号の分類種別と、前記分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録する情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記分節区間の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間の情報を生成する特殊再生区間生成手段と、
前記特殊再生区間生成手段で生成された前記特殊再生区間の前記記録媒体上の記録位置を示す情報を、前記情報信号に対応付けて前記記録媒体に記録する手段と、
を備えることを特徴とする記録装置。 - 情報信号を記録媒体に記録する情報信号記録手段と、
前記情報信号の分類種別と、前記分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録する情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記分節区間の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で前記同一の分類種別が結合された連続した複数個の前記分節区間からなる分節区間群の先頭および最後の前記記録媒体上の記録位置の情報を生成する特殊再生区間生成手段と、
前記特殊再生区間生成手段で生成された前記分節区間群の先頭および最後の前記記録媒体上の記録位置の情報と、前記分節区間群のそれぞれに対応する分類種別の情報とを、前記情報信号に対応付けて前記記録媒体に記録する手段と、
を備えることを特徴とする記録装置。 - 記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記情報信号の分類種別と、前記分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録媒体から再生された情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記分節区間毎の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間を生成する特殊再生区間生成手段と、
前記特殊再生区間生成手段で生成された前記特殊再生区間の情報信号を前記記録媒体から読み出して再生する手段と、
を備えることを特徴とする再生装置。 - 情報信号と、前記情報信号の区切りの隣接するものにより特定される分節区間の位置情報と、前記分節区間のそれぞれに対応付けられたキーワードとが記録された記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記情報信号の分類種別と、前記分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部と、
前記記録媒体から読み出された前記分節区間毎の前記キーワードと、前記分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定手段と、
前記分節区間分類種別判定手段で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間を生成する特殊再生区間生成手段と、
前記特殊再生区間生成手段で生成された前記特殊再生区間の情報信号を前記記録媒体から読み出して再生する手段と、
を備えることを特徴とする再生装置。 - 情報信号と、前記情報信号の区切りの隣接するものにより特定される分節区間の位置情報と、前記分節区間のそれぞれに対応付けられた分類種別とが記録された記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記記録媒体から読み出された、前記分節区間のそれぞれに対応付けられた分類種別が同一の隣接する前記分節区間を結合する分節区間結合手段と、
前記分節区間結合手段で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間を生成する特殊再生区間生成手段と、
前記特殊再生区間生成手段で生成された前記特殊再生区間の情報信号を前記記録媒体から読み出して再生する手段と、
を備えることを特徴とする再生装置。 - 情報信号を記録媒体に記録する情報信号記録工程と、
前記記録媒体に記録された情報信号を読み出して再生する再生工程と、
前記記録媒体に記録する情報信号および/または前記記録媒体から再生された情報信号の区切りを検出する区切り検出工程と、
前記区切り検出工程で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得工程と、
前記情報信号の分類種別と当該分類種別に関連するキーワードとが対応付けられて記憶されている分類種別/キーワード対応蓄積部の記憶情報と、前記キーワード取得工程で取得された前記分節区間の前記キーワードとに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定工程と、
前記分節区間分類種別判定工程で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合工程と、
前記分節区間結合工程で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間の情報を生成する特殊再生区間生成工程と、
を備える記録再生方法。 - 情報信号を記録媒体に記録する情報信号記録工程と、
前記記録する情報信号の区切りを検出する区切り検出工程と、
前記区切り検出工程で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得工程と、
前記情報信号の分類種別と当該分類種別に関連するキーワードとが対応付けられて記憶されている分類種別/キーワード対応蓄積部の記憶情報と、前記キーワード取得工程で取得された前記分節区間の前記キーワードとに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定工程と、
前記分節区間分類種別判定工程で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合工程と、
前記分節区間結合工程で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間の情報を生成する特殊再生区間生成工程と、
前記特殊再生区間生成工程で生成された前記特殊再生区間の前記記録媒体上の記録位置を示す情報を、前記情報信号に対応付けて前記記録媒体に記録する工程と、
を備えることを特徴とする記録方法。 - 記録媒体に記録された情報信号を読み出して再生する再生工程と、
前記再生された情報信号の区切りを検出する区切り検出工程と、
前記区切り検出工程で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられたキーワードを取得するキーワード取得工程と、
前記情報信号の分類種別と前記分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部の記憶情報と、前記キーワード取得工程で取得された前記分節区間毎の前記キーワードとに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定工程と、
前記分節区間分類種別判定工程で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合工程と、
前記分節区間結合工程で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間を生成する特殊再生区間生成工程と、
前記特殊再生区間生成工程で生成された前記特殊再生区間の情報信号を前記記録媒体から読み出して再生する工程と、
を備えることを特徴とする再生方法。 - 情報信号と、前記情報信号の区切りの隣接するものにより特定される分節区間の位置情報と、前記分節区間のそれぞれに対応付けられたキーワードとが記録された記録媒体に記録された情報信号を読み出して再生する再生方法であって、
前記記録媒体から読み出された前記分節区間毎の前記キーワードと、前記情報信号の分類種別と、前記分類種別に関連するキーワードとを対応付けて記憶する分類種別/キーワード対応蓄積部の記憶情報とに基づいて、前記分節区間毎の前記分類種別を判定する分節区間分類種別判定工程と、
前記分節区間分類種別判定工程で判定された分類種別が同一の隣接する前記分節区間を結合する分節区間結合工程と、
前記分節区間結合工程で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間を生成する特殊再生区間生成工程と、
前記特殊再生区間生成工程で生成された前記特殊再生区間の情報信号を前記記録媒体から読み出して再生する工程と、
を備えることを特徴とする再生方法。 - 情報信号と、前記情報信号の区切りの隣接するものにより特定される分節区間の位置情報と、前記分節区間のそれぞれに対応付けられた分類種別とが記録された記録媒体に記録された情報信号を読み出して再生する再生方法であって、
前記記録媒体から読み出された、前記分節区間のそれぞれに対応付けられた分類種別が同一の隣接する前記分節区間を結合する分節区間結合工程と、
前記分節区間結合工程で結合された複数個の前記分節区間からなる分節区間群から抽出された前記情報信号の一部区間、あるいは前記分節区間群を含む前記情報信号の一部区間である特殊再生区間を生成する特殊再生区間生成工程と、
前記特殊再生区間生成工程で生成された前記特殊再生区間の情報信号を前記記録媒体から読み出して再生する工程と、
を備えることを特徴とする再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006121433A JP2007294020A (ja) | 2006-04-26 | 2006-04-26 | 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006121433A JP2007294020A (ja) | 2006-04-26 | 2006-04-26 | 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007294020A true JP2007294020A (ja) | 2007-11-08 |
Family
ID=38764478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006121433A Pending JP2007294020A (ja) | 2006-04-26 | 2006-04-26 | 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007294020A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009135754A (ja) * | 2007-11-30 | 2009-06-18 | Oki Electric Ind Co Ltd | ダイジェスト作成装置及び方法 |
JP2015089076A (ja) * | 2013-11-01 | 2015-05-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 録画再生装置 |
JP2021022895A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社日立国際電気 | 情報処理装置 |
WO2022074788A1 (ja) * | 2020-10-08 | 2022-04-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2022135930A (ja) * | 2021-03-05 | 2022-09-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ビデオ分類方法、装置、機器、および記憶媒体 |
-
2006
- 2006-04-26 JP JP2006121433A patent/JP2007294020A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009135754A (ja) * | 2007-11-30 | 2009-06-18 | Oki Electric Ind Co Ltd | ダイジェスト作成装置及び方法 |
JP2015089076A (ja) * | 2013-11-01 | 2015-05-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 録画再生装置 |
JP2021022895A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社日立国際電気 | 情報処理装置 |
JP7241636B2 (ja) | 2019-07-30 | 2023-03-17 | 株式会社日立国際電気 | 情報処理装置 |
WO2022074788A1 (ja) * | 2020-10-08 | 2022-04-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2022135930A (ja) * | 2021-03-05 | 2022-09-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ビデオ分類方法、装置、機器、および記憶媒体 |
JP7334395B2 (ja) | 2021-03-05 | 2023-08-29 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ビデオ分類方法、装置、機器、および記憶媒体 |
US12094208B2 (en) | 2021-03-05 | 2024-09-17 | Beijing Baidu Netcom Science Technology Co., Ltd. | Video classification method, electronic device and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4247638B2 (ja) | 記録再生装置および記録再生方法 | |
JP4482829B2 (ja) | 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム | |
CA2924065C (en) | Content based video content segmentation | |
JP5135024B2 (ja) | コンテンツのシーン出現を通知する装置、方法およびプログラム | |
US20080155637A1 (en) | Method and System for Acquiring Information on the Basis of Media Content | |
US20080124046A1 (en) | Video recording/playing apparatus | |
JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
JP2007294020A (ja) | 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置 | |
JP2007524321A (ja) | ビデオトレーラ | |
JPWO2005124782A1 (ja) | Avコンテンツ処理装置、avコンテンツ処理方法、avコンテンツ処理プログラムおよびavコンテンツ処理装置に用いる集積回路 | |
KR101401974B1 (ko) | 녹화된 뉴스 프로그램들을 브라우징하는 방법 및 이를 위한장치 | |
EP2587829A1 (en) | Video analysis information upload apparatus and video viewing system and method | |
WO2007039995A1 (ja) | ダイジェスト作成装置およびそのプログラム | |
JP2008020767A (ja) | 記録再生装置および方法、プログラム、並びに記録媒体 | |
US20070223880A1 (en) | Video playback apparatus | |
JP2006054517A (ja) | 情報提示装置、方法及びプログラム | |
JP2007110188A (ja) | 記録装置、記録方法、再生装置および再生方法 | |
JP2006303869A (ja) | 特定条件区間検出装置および特定条件区間検出方法 | |
JP4665670B2 (ja) | 記録再生装置、記録再生方法、再生装置、再生方法、受信再生装置、および、受信再生方法 | |
JP2007066409A (ja) | 記録再生装置および記録再生方法 | |
JP2014207619A (ja) | 録画再生装置、及び録画再生装置の制御方法 | |
JP5259099B2 (ja) | 番組推薦装置及び番組推薦方法 | |
TWI227091B (en) | Automatically program collecting and recording system | |
JP2009021732A (ja) | 蓄積型放送受信装置および要約映像再生プログラム | |
JP2007081899A (ja) | 広告情報処理装置 |