JP4697371B2

JP4697371B2 - Commercial detection method and apparatus

Info

Publication number: JP4697371B2
Application number: JP2001236730A
Authority: JP
Inventors: 英司粕谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-08-03
Filing date: 2001-08-03
Publication date: 2011-06-08
Anticipated expiration: 2021-08-03
Also published as: JP2003047031A

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放送中におけるコマーシャル（広告放送）を自動的に検出するための方法及び装置に関する。
【０００２】
【従来の技術】
テレビジョン放送中におけるコマーシャル（一般にはＣＭ(commercial message)とも略称される。以下、本明細書においてもＣＭと称する場合がある）放送は、広告主や広告代理店などの依頼主が放送局と契約を結び、依頼主から提供を受けた音声データやビデオデータを番組（本編）の合間に放送するものである。このようなＣＭは、放送局にとっては番組制作のための重要な収入源であり、広告主にとっても重要な宣伝メディアである。また、その広告主と放送局との間でＣＭ放送に関する調整を行うのが広告代理店であるが、ＣＭが契約通り放送されているか否かは、これらの三者のいずれにとっても非常に重要な問題である。このため、現在多くの広告代理店は、放送局が提出する放送確認書とあわせて、ＣＭ放送の確認サービスすなわち実際にＣＭが放映されたかどうかを確認するサービスを利用している。放送局でも、実際の放送データと広告料請求書に添付される放送確認書の出力とがきちんと連動するシステムの導入が進められている。また広告主にとっても、第三者機関が実施する放送確認サービスが期待されている。
【０００３】
ところで一般に、ＣＭの放送時刻は、大まかには決まってはいるものの、番組のスケジュール自体が緊急ニュースや番組自体の都合（特に生放送の場合）で変更されることが多いために、厳密には決められていない。そのため、特定の放送局について特定の時刻だけ受信して特定のＣＭが放送されたかどうかをチェックするという方法では、ＣＭ放送確認を行うことはできない。
【０００４】
これまでのＣＭ放送確認は、人手により２４時間３６５日の映像を確認した上で、調査レポートを作成するものであった。この場合、放送確認作業者は、テレビジョン放送を目視で確認し、ＣＭ部分に対して名前づけを行うなど膨大な時間を必要とする作業を実行する。このため、ＣＭ放送確認のためのコストは非常に大きく、また作業者にとっても負担が非常に大きい。またこの方法では、人手を介するがゆえに、リアルタイムでのＣＭの放送確認を行うことが難しい。一方、放送局にとっても、ＣＭ放送がきちんとなされているか重要であるとともに、放送すべきＣＭがトラブルにより放映されなかった場合に即時対応できるような確認手段が重要となる。
【０００５】
また、放送されている全てのＣＭを調査対象とすることを考慮すると、新しいＣＭが放送されるたびにそのＣＭを登録する作業が必要となる。この際に、ＣＭが既知か新規であるか見分け、新規ＣＭのみを登録していく必要がある。しかしながら、この作業を人手に頼ると膨大な確認作業時間が必要となるうえ、ＣＭが既知か新規であるか見分ける必要があり負荷が非常に大きい。
【０００６】
そこで、テレビジョン放送におけるＣＭを自動的に検出してそのＣＭを自動的に同定するテレビＣＭ放送調査システムの実現が求められいてる。このようなシステムを構成するためには、テレビジョン放送中においてＣＭである可能性の高い区間を推定するシステム、放送された新作ＣＭを自動登録するシステム、及び放送中のＣＭを自動識別するシステムが必要となる。
【０００７】
従来、テレビジョン放送中におけるＣＭの放送区間を推定する方法として、音声多重モードを検出する方法、無音区間と画面の切り替わりとを検出する方法などがある。以下、従来のＣＭの放送区間の推定方法を説明する。
【０００８】
番組本編とＣＭを分離する方法としてよく知られているものが、特許第２８５８７５８号明細書に記載されているように、音声多重モードへの切り替えを検出する方法である。番組本編はモノラルモードで放送されることが多く、ＣＭはステレオモードで放送されることが多いので、この方法では、図１７に示すように、音声多重モード区間をＣＭとする。この方法は、ビデオデッキのＣＭスキップ機能などとして用いられていることが多い。ただし、この方法では、連続して放送される複数のＣＭを個別に分けられない点、また本編もステレオ放送である番組が増えてきたことによる性能低下という点が問題である。
【０００９】
一方、特公平６−６６７３８号公報には、無音区間およびシーンチェンジを利用したＣＭ区間検出が開示されている。ＣＭには、一般に、（１）ＣＭの前後に数１０ｍｓの無音区間が存在し、かつ（２）一般的に長さは１５秒、３０秒（少なくとも日本国内でのＣＭの場合）である、という性質を有している。この性質を用い、無音区間とシーンチェンジ（カット点）とを検出してＣＭ区間を推定することが可能になる。具体的には、図１８に示すように、無音とカットが同時に発生したと判断された時点から次に無音とカットとが同時に発生したと判断された時点までの秒数が、ＣＭ放送秒数として予め定められた秒数のいずれかと一致した場合にＣＭ候補と判定するものである。しかしながらこの方法では、ＣＭ以外の場所ですなわち本編中で時間間隔一定となる個所が多数存在するため、誤検出が多数生じること、また、無音またはカットの検出漏れにより検出されるべきＣＭが検出できない場合があること等の問題点がある。
【００１０】
【発明が解決しようとする課題】
上述したように、ＣＭ放送確認の自動化とリアルタイム化（短時間の遅れは許容する）を果たす上で、ＣＭ区間の自動検出及び新作ＣＭのデータベースへの自動登録を実現する必要がある。そこで本発明の目的は、テレビジョン放送から精度よくＣＭ区間を推定できるようにするとともに、新作ＣＭを自動的にデータベースに登録できる、コマーシャル検出方法及び装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明のコマーシャル検出方法は、テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出方法であって、テレビジョン放送の音声信号から無音区間を検出する段階と、検出された無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する段階と、抽出されたＣＭ候補区間に基づいて、１以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定する段階と、判定されたＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、判定の結果、その時間間隔で連続する無音区間の数が最も多いＣＭ候補区間を先頭として、その時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する連続性評価段階と、を有する。
【００１２】
本発明のコマーシャル検出方法では、テレビジョン放送の映像信号からカット点を検出するカット点検出段階と、連続性評価段階において抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺にカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出する段階と、高い信頼度を得たＣＭ候補を出力する出力段階と、を設けることが好ましい。
【００１３】
本発明のコマーシャル検出装置は、テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出装置であって、テレビジョン放送の音声信号から無音区間を検出する無音区間検出手段と、検出された無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する区間間隔一定箇所抽出手段と、抽出されたＣＭ候補区間に基づいて、１以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定するＣＭ放映区間判定手段と、判定されたＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、判定の結果その時間間隔で連続する無音区間の数が最も多いＣＭ候補区間を先頭として、その時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する連続性評価手段と、を有する。
【００１４】
本発明のコマーシャル検出装置においては、テレビジョン放送の映像信号のフレームから特徴量を抽出する特徴量抽出手段と、特徴量に基づいてカット点を検出するカット点検出手段と、連続性評価手段において抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺にカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出し、高い信頼度を得たＣＭ候補を出力する信頼度判定手段と、を設けることが好ましい。
【００１５】
特に本発明では、ＣＭの連続性を評価することにより、ＣＭ放送区間の誤検出、未検出を防止する。すなわち、無音区間のみでＣＭ放送区間の候補を抽出し、カット（シーンチェンジ）の存在位置により、ＣＭ放送区間としてのその確からしさを検出する。あるいは、カット点のみでＣＭ放送区間の候補を抽出し、無音区間の存在位置により、ＣＭ放送区間としてのその確からしさを検出する。これにより、ＣＭ放送区間の誤検出、未検出が防止される。
【００１６】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明の好ましい実施の形態のコマーシャル検出装置の構成を示すブロック図である。
【００１７】
このコマーシャル検出装置は、テレビジョン放送波を受信する受信部１１からのテレビジョン信号（映像信号及び音声信号）あるいは予め蓄積部１２に蓄積された放送データ（映像信号及び音声信号）を入力とするものである。なお、このコマーシャル検出装置では、放送波に含まれるＣＭ区間を検出してそのＣＭ区間の開始及び終了時刻を出力するので、また、映像信号と音声信号とを独立して処理するものの両者間の時刻同期は確立させる必要があるから、映像信号及び音声信号には、放送波における時刻タイミングを示す情報が付加されていることが好ましい。
【００１８】
図１に示すコマーシャル検出装置は、音声信号における無音区間を検出する無音区間検出部２１と、無音区間検出部２１で検出された無音区間について、２つの無音区間がある時間間隔（ＣＭの長さとして一般的によく用いられる時間間隔、例えば１５秒あるいは３０秒）離れて存在する区間をＣＭ候補区間として抽出する区間間隔一定箇所抽出部２２と、区間間隔一定箇所抽出部２２で抽出されたＣＭ候補区間から、連続していくつかのＣＭが放映されている区間の候補であるＣＭ放映区間候補を選択するＣＭ放映区間判定部２３と、ＣＭ放映区間候補中の全てのＣＭ候補について連続性評価を行う連続性評価部２４と、映像信号からフレーム特徴量を抽出する特徴量抽出部２５と、抽出されたフレーム特徴量に基づいてシーンチェンジ（カット点）を検出するカット検出部２６と、連続性評価部２４での連続性評価の結果、ＣＭ区間である可能性が高いとされたＣＭ候補区間に対して、カット検出部２６で検出されたカット点を適用して、最終的にＣＭ候補区間を候補データとして出力する信頼度判定部２７と、を備えている。また、このコマーシャル検出装置には、無音区間検出部２１で検出された無音区間のリストを保持する無音区間リスト保持部３１と、区間間隔一定箇所抽出部２２で抽出されたＣＭ候補区間をＣＭ候補リストとして保持するＣＭ候補リスト保持部３２と、カット検出部３６で検出されたカット点（シーンチェンジ）の時刻を保持するカット保持部３３と、を備えている。
【００１９】
このコマーシャル検出装置は、音声信号から得られた無音区間と、映像信号から得られたカット位置とに基づいて、ＣＭ放送区間の推定・抽出を行う。ここでは、ＣＭが以下の特徴を有することを利用する。
（Ａ）ＣＭは１５秒、３０秒の長さのものが一般的である。
（Ｂ）ＣＭは連続して放送される傾向が高い。
（Ｃ）ＣＭ同士は映像が無音区間およびカットでつながる。
すなわち、隣接カット点間との関係が上記の３つの特徴を満たす場合に、その区間をＣＭ候補として抽出するようにする。
【００２０】
以下、上述の各部の詳細について説明する。
【００２１】
無音区間検出部２１は、音声信号からリアルタイムで無音区間を検出する。音声信号における無音区間の検出方法としては、いくつかの周知の方法があるが、ここでは例えば、音声信号を８ビット（２５６値）でサンプリング周波数８ｋＨｚでサンプリングするとして、５０ミリ秒の長さの区間を１つの単位とし、５０ミリ秒の区間内に含まれる４００サンプルのうち３９５サンプル以上が０か１の値であれば、その５０ミリ秒の区間は無音区間であると判定する方法を採用する。
【００２２】
区間間隔一定箇所抽出部２２は、無音区間検出部２１で検出した無音区間について、２つの無音区間が、ある時間間隔（例えば１５秒、３０秒）離れて存在する区間を検出し、ＣＭ候補区間として抽出する。図２は、区間間隔一定箇所抽出部２２における無音区間からのＣＭ候補抽出を示す概念図である。抽出されたＣＭ候補区間の時間帯（開始時刻：終了時刻）は、全てＣＭ候補リストに記録しておく。図３は、ＣＭ候補リストの一例を示している。
【００２３】
なお、区間間隔一定箇所抽出の処理はリアルタイムに行うことも可能である。例えば、６０秒分のテレビジョン放送に対して、５０ミリ秒あたり１ビットのバッファを予め用意しておくものとする。そして、（１）新たに入力された５０ミリ秒区間に対して無音判定を行い、（２）１ビット分（１単位分）だけバッファへの書込みアドレスをシフトさせた上で、（３）無音である場合にはバッファに“１”を記録し、そうではない場合には“０”と記録する。そして、無音とみなされた場合には、バッファにおいて１５秒前の区間に相当するビットをチェックし、“１”であった場合には１５秒のＣＭ候補として記録する。“０”であった場合には、３０秒前の区間に相当するビットをチェックし、“１”であった場合には３０秒ＣＭ候補として記録する。以上の（１）〜（３）の処理を繰り返すことによって、ＣＭ候補区間を検出することができる。
【００２４】
図４は、この一連の処理をフローチャートとしてまとめたものである。まず、ステップ１０１において、無音区間の時間位置を取得する。次に、ステップ１０２において、取得した時間位置の一定時間前（１５秒前あるいは３０秒前、ここでは上述したように１５秒前を優先する）に無音区間があるかどうかを判定する。無音区間があれば、ステップ１０３において、その一定時間前の無音区間を開始点とし、注目している無音区間を終了点として、ＣＭ候補を出力する。すなわちＣＭ候補リストに記録する。その後ステップ１０４に移行する。ステップ１０２において無音区間でない場合には、そのままステップ１０４に移行する。ステップ１０４では、現在注目している無音区間が最後の無音区間であるかを判定し、最後の無音区間であればそのまま処理を終了し、最後の無音区間でない場合には、ステップ１０５において次の無音区間の時間位置を取得してステップ１０２に戻る。
【００２５】
以上の処理により、区間間隔一定箇所が抽出されることになる。
【００２６】
次に、ＣＭ放映区間判定部２３におけるＣＭの放映区間の判定の処理を説明する。図５は、この処理を示す概念図である。ここでは、ＣＭ候補リストよりＣＭ放映区間を選定する。ＣＭ放映区間とは、連続していくつかのＣＭが放送されている区間のことを指す。
【００２７】
上述した無音区間検出及び区間間隔一定箇所抽出の処理のみでは、ＣＭをまたがった誤検出も、ＣＭ候補とみなされてしまう。そこでこのＣＭ放映区間判定部２３は、まずＣＭ放映区間を抽出し、区間内で重複しているＣＭ候補を消去する処理を行う。この重複するＣＭ候補を消去する処理は、ＣＭ候補同士の時間間隔Δｔが一定値（例えば３０秒）を越える場合に一旦打ち切られ、一定の時間間隔以降に現れる最初のＣＭ候補は、次のＣＭ放映区間に属するものとして、再度処理が開始される。ここでの３０秒という値は、通常のＣＭとして（たまにしか放映されない長大なＣＭを除いて）考えられる最大の継続時間である。
【００２８】
図６は、このＣＭ放映区間判定の処理を示すフローチャートである。まず、ステップ１１１において、ＣＭ候補の開始点、終了点の双方の全てを時間軸上に点として時系列に配列する。そして、ステップ１１２において開始点の時間位置を取得し、ステップ１１３において、取得した時間位置と、次の点の時間位置との距離Δｔを計算する。ステップ１１４においてΔｔが一定時間長（３０秒）より長いかどうかを判定し、長い場合には、ステップ１１５において、その取得した時間位置を終了点として、次の点を開始点として出力し、ステップ１１６に移行する。またステップ１１４においてΔｔが一定時間長以下の場合には、そのままステップ１１６に移行する。ステップ１１６では、注目している点が最後の点であるかどうかを判定し、最後の点であれば処理を終了し、最後の点でなければ、ステップ１１７において、次の点の時間位置を取得して、ステップ１１３に戻る。
【００２９】
以上の処理により、ＣＭ放映区間の判定が行われる。
【００３０】
図７は、図３に示したＣＭ候補リストの各ＣＭ候補区間に対して、上述したＣＭ放映区間の判定を行った場合の処理を示している。図３に示したＣＭ候補区間から、ＣＭ放映区間として、0:01:30〜0:02:45と0:25:15〜0:26:30が抽出されることが分かる。
【００３１】
次に、連続性評価部２４における連続性評価によるＣＭ候補抽出（すなわちＣＭ区間推定）の処理を説明する。図８は、連続性評価によるＣＭ区間推定を説明する図である。図８において、無音区間を表す細長い矩形に付記されている数値は、この無音区間に引き続いて何個のＣＭ候補が連続しているか（連続ＣＭ候補数）を表している。ここでは、上述のＣＭ放映区間判定部２３で得られたＣＭ放映区間候補について、そのＣＭ放映区間候補内に含まれるＣＭ候補について以下の動作［１］〜［３］を繰り返す。
［１］選択されたＣＭ候補の終点の、１５秒または３０秒後に無音区間が存在するか否かをチェックする。
［２］［１］において無音区間が存在した場合には、その次の１５秒または３０秒後にさらに無音が存在するか否かを順次チェックする。［１］において無音区間が存在しない場合には処理を打ち切る。
［３］同様の処理を各無音区間につき行い、連続する１５秒または３０秒ごとの無音区間数の最も多い無音区間を選定する。
【００３２】
選定されたＣＭ候補を先頭とし、連続する１５秒または３０秒ごとの無音区間を区切りとしてＣＭ候補とする。
【００３３】
図９は、この連続性評価によるＣＭ区間推定の処理を示すフローチャートである。まず、ステップ１２１において、ＣＭ候補の終了点の時間位置を取得し、ステップ１２２において、取得した時間位置の一定時間後（１５秒後あるいは３０秒後）に終了点が存在するかを判定する。ここで終了点が存在する場合には、ステップ１２３において、注目しているＣＭ候補に対する連続ＣＭ候補数のカウントに１を加え、ステップ１２４において、一定時間後のその終了点の時間位置を取得して、ステップ１２２に戻る。一方、ステップ１２２において終了点が存在しない場合には、ステップ１２５において、注目しているＣＭ候補が最後のＣＭ候補であるかどうかを判定する。最後のＣＭ候補である場合には、ステップ１２６において、連続ＣＭ候補数が最も多いＣＭ候補を先頭とした、各連続ＣＭ候補を出力し、処理を終了する。また、ステップ１２５において最後のＣＭ候補でない場合には、ステップ１２７において、次のＣＭ候補の終了点の時間位置を取得し、ステップ１２２に戻る。
【００３４】
以上の処理により、ＣＭ放映区間から、連続する一連のＣＭ候補区間が抽出されることになる。
【００３５】
図１０は、図３に示す候補リストと図７で得られたＣＭ放映区間（0:01:30〜0:02:45）から、連続性判定により、どのように連続するＣＭ候補区間が抽出されたかを示している。この例では、連続するＣＭ候補区間として、0:01:30〜0:01:45、0:01:45〜0:02:00、0:02:00〜0:02:15、0:02:15〜0:02:30、0:02:30〜0:02:45の５個のＣＭ候補区間が抽出されている。
【００３６】
次に、映像信号からカット（シーンチェンジ）を抽出するための処理を説明する。ＣＭの放送区間推定のためには、カットを抽出する処理としては適宜のものを使用することができるが、この実施の形態では、ＣＭの放送区間推定の結果を用いて新作ＣＭのデータベースへの登録を行うことも視野に入れているため、フレーム特徴量に基づいて映像信号におけるカットを検出するようにしている。
【００３７】
映像信号は、まず、特徴量抽出部２５に入力する。特徴量抽出部２５は、映像信号から各フレームをキャプチャし、キャプチャした画像より、カット検出に用いる特徴量を生成する。フレーム特徴量としては各種のものが想定されるが、ここでは、ＭＰＥＧ(motion picture expert)‐７ＦＣＤ（final committee draft；最終草稿）に採用されたカラーレイアウト記述子を用いる。なお、ＣＭをデータベースに登録する際のそのＣＭの特微量としても、ここで用いる特徴量と同じ特徴量が用いられることになる。
【００３８】
カット検出部２６は、特徴量算出部２５で得られた特徴量に対し、フレーム間で差分を行うことなどにより、カット検出を行う。特徴量に基づくカット検出の方法は、当業者に知られているように各種のものがあり、ここでは適宜にこれらの方法を選択して用いることができる。なお、カットの検出漏れを防ぐため、カット検出結果が過剰検出気味になるように、カット検出のためのパラメータを設定する。
【００３９】
以上のようにして、音声信号において無音区間に基づいてＣＭ候補区間が抽出され、映像信号からはカットが検出される。次に、信頼度判定部２７は、連続性評価部２４において抽出された各ＣＭ候補について、カット検出結果を用いて、ＣＭであるか否かを判定する。ＣＭである条件は以下のとおりである。
（ａ）ＣＭ候補の開始点および終了点近辺にカットが存在する。
（ｂ）ＣＭ候補の前後のいずれかにＣＭが存在する。
【００４０】
（ａ）の判定は、開始点の数フレーム前から数フレーム後まで調査を行い、カットが存在した場合、１５秒または３０秒後にもカットが存在するか否かをチェツクする。開始カットに対応した終了カットが存在した場合、（ｂ）の調査に移る。（ｂ）では、開始カットの１５秒または３０秒前におけるカットの有無、または終アカットの１５秒または３０秒後におけるカットの有無を調べ、いずれか一方にカットが存在する場合、入力されたＣＭ候補をＣＭと認めることになる。
【００４１】
一方、ＣＭ開始位置も同時に決定する。数フレーム前から数フレーム後まで調査している関係で、検出されるＣＭの位置が実際に放送されている位置と比較して数フレームずれる可能性がある。このため、調査の段階で上記（ａ），（ｂ）の条件を満たしたものを即座にＣＭとするのではなく、ＣＭである信頼度を算出しておき、全ての調査対象フレームの処理がすんだ時点で最もＣＭ信頼度の高い区間を選択する方法を採用する。ここで、ＣＭである信頼度の算出は、以下の２つのパラメータを利用し、信頼度を得点として計算する。
・ＣＭに隣接するＣＭの数に比例して加点。
・開始カットと終了カットの時間間隔の評価。１５秒ちょうどまたは３０秒ちょうどに近づくほど加点する（数フレームのずれを許容しながら隣接ＣＭを調査していく際に、ずれを評価値として加える）。
【００４２】
図１１は、この信頼度判定部２７の処理を示すフローチャートである。まず、ステップ１３１において、ＣＭ候補の開始点及び終了点の時間位置を取得し、ステップ１３２において、開始点周辺におけるカット点フレームの有無を調査し、ステップ１３３において、各カット点フレームについて、一定時間間隔で連続するカット点の数、時間間隔の一定値（１５秒または３０秒）からのずれを求め、ＣＭ候補の信頼度を求める。そして、ステップ１３４において、最も高い信頼度の値が、予め定めたしきい値ｔｈを上回るかどうかを判定する。上回っていた場合には、ステップ１３５において、最も高い信頼度値を有するカット点フレームをＣＭ開始点として出力し、処理を終了する。一方、ステップ１３４において上回っていなかった場合には、ステップ１３６において、入力されたＣＭ候補はＣＭではないと判定し、処理を終了する。
【００４３】
以上のようにして、この実施の形態のコマーシャル検出装置は、最終的に、ＣＭ区間の推定結果を出力する。
【００４４】
次に、このコマーシャル検出装置を用いて実際にＣＭの検出を行った実験結果について説明する。まず、カット及び無音区間の一方を用いてＣＭ推定を行う実験の結果を説明する。
【００４５】
実験１
検出されたカット及び検出された無音区間に対し、上述の区間間隔一定箇所の抽出、ＣＭ放映区間の判定及び連続性の評価の各処理を行った場合に、ＣＭ区間が正しく推定されているかを実験した。実験は、２０００年４月６日のＡＭ０：００〜２：００に東京地区の第４チャンネルにおいて放送された映像に対して行った。この時間帯に放映されたＣＭは実際には８９個であり、検出対象のＣＭは１５秒または３０秒の長さのものに限っている。カット（映像信号）については、上述の特徴量抽出部２５及びカット検出部２６での処理によって検出されたカット位置に対し、区間間隔一定箇所抽出部２２、ＣＭ放映区間判定部２３及び連続性評価部２４での各処理アルゴリズムを適用した。無音区間（音声信号）については、上述のコマーシャル検出装置における連続性評価部２４の出力をそのまま評価対象とした。結果を表１に示す。なお、結果については、カット、無音区間それぞれ２度テストを行い、その平均値を採用した。
【００４６】
【表１】

【００４７】
表１より、カットを利用する場合に比べて無音区間を利用する場合の方が、高い検出率、低い誤検出率が得られることが分かる。一方、未検出の原因としては、（１）ＣＭ放映区間判定の処理において、２つ以上のＣＭ放映区間を１つのＣＭ放映区間として検出してしまうこと、（２）無音区間未検出による検出もれ、が考えられる。
【００４８】
図１２は、２つ以上のＣＭ放映区間を１つのＣＭ放映区間として検出したことによるＣＭ未検出を説明する図である。実際には２つ以上のＣＭ放映区間が存在するにもかかわらず、ＣＭ放映区間の間隔が３０秒未満であるために、複数のＣＭ放映区間を１つのＣＭ放映区間として検出する場合が存在する。これは、ＣＭ放映区間の間に、数秒（例えば５秒程度）の長さの番組（本編）のエンディングが流れる場合等に生じる。１つのＣＭ放映区間として検出された場合、最もＣＭの多いＣＭ放送区間のＣＭ候補のみが検出され、その他の区間については未検出となってしまう。
【００４９】
そこで、このような場合におけるＣＭ候補が未検出となることへの対策として、図１３に示すように、以下に述べるようなものがある。
［１］ＣＭ候補の連続性評価の際に、先頭の無音区間から順番にチェックを行う。
［２］ＣＭ候補が連続する場合、連続する最後のＣＭ候補の終点位置を記憶しておく。
［３］現在評価するＣＭ候補の開始点が評価済みのＣＭ候補に対する終点位置より後ろかチェックし、後ろであれば一度カウントを打切り、ＣＭ候補抽出処理を行う。
［４］現在評価するＣＭ候補の開始点より再び［１］〜［３］の処理を行う。
【００５０】
この対策を上述のコマーシャル検出装置に組み込む場合には、連続性評価部２４において連続性を評価する際に、［１］〜［４］の処理を実行するようにすればよい。
【００５１】
図１４は、無音区間未検出によるＣＭ未検出を説明する図である。ＣＭ放映区間に含まれる最後のＣＭと番組（本編）との間に無音区間が存在しない場合や、番組（本編）とＣＭ放映区間に含まれる最初のＣＭとの間に無音区間が存在しない場合があり、さらには、無音検知方法の問題で無音区間が未検出となる場合がある。このような場合には、ＣＭ、特に最後尾や最先頭のＣＭを落としてしまう場面が見られる。図１４は、ＣＭ放映区間に含まれる最後のＣＭと番組との間に無音区間が存在しない場合の例を示している。
【００５２】
そこで、このような場合におけるＣＭが未検出となることへの対策として、図１５に示すように、以下に述べるようなものがある。
【００５３】
［１］検出されるＣＭ候補の最後尾に１つＣＭ候補を追加する（ＣＭの長さは未定とする）。
【００５４】
［２］追加したＣＭ候補に対しては、１５秒ＣＭ、３０秒ＣＭの双方と仮定して、特徴量抽出、カット検出及び信頼度判定の各処理を実行する。ただし、カット検出に際しては、通常よりも大幅に過小検出となるような検出パラメータを用い、また、信頼度の算出に際しても、通常よりも大幅にしきい値を高くして、ＣＭ候補として検出され難くする。大抵のものは、カットを利用した判定で落とされることになる。
【００５５】
実験２
未検出ＣＭへの以上の２通りの対策を加え、再び実験を行った。実験条件は実験１と同様であるが、無音区間についてのみ実験を行った。表２に対策前、対策後の検出性能比較結果を示す。
【００５６】
【表２】

【００５７】
未検出ＣＭへの対策を導入することにより、未検出ＣＭの数を２つに減らすことができた。一方、誤検出ＣＭの数が２つ増加した。この未検出ＣＭは、無音検出に失敗したため生じたものである。
【００５８】
次に、カット及び無音区間の双方を用いてＣＭを推定する実験を行った。
【００５９】
実験３
無音区間によりＣＭ候補を絞り込みカットを用いて検証する本実施の形態のコマーシャル検出装置を用い、ＣＭ推定実験を行った。実験は、２０００年４月６日のＡＭ０：００〜２：００に東京地区の第４チャンネルにおいて放送された映像に対して行った。この時間帯に放映されたＣＭは実際には８９個であり、これらのＣＭについて検知実験を行った結果を表３に示す。なお、実験２で述べた未検出ＣＭに対する２通りの対策を導入して実験を行った。
【００６０】
【表３】

【００６１】
無音区間のみでＣＭ推定を行う場合に比べ、無音区間＋カットを用いた場合、正常検出を減らすことなく誤検出を１７個→２個と大幅に減らすことができた。
【００６２】
実験４
次に、異なる時間帯の映像を加えて、本実施の形態のコマーシャル検出装置によるＣＭ推定実験を行った。実験は、２０００年４月６日のＡＭ０：００〜６：００に東京地区の第４チャンネルにおいて放映された全２１９個のＣＭを対象とした。その結果を表４に示す。
【００６３】
【表４】

【００６４】
表４より、実際に流れたＣＭのうち約９８％が正しく検出されていることが分かる。また、誤検出の数を３つに抑えることができた。検出性能８０％程度だったこれまでのビデオ信号を用いたＣＭ検出システムに比べ、大幅に性能を向上させることができた。
【００６５】
以上説明したように、無音区間とカットの組合せの導入及びＣＭの連続性に着目し、無音区間の位置及び連続性評価によりＣＭ候補を抽出し、カットの存在位置によりその信頼度を算出することにより、ＣＭ区間推定性能９８％と、ビデオ信号のみによる推定性能８０％に比べ、大幅に性能を向上させることができた。
【００６６】
なお、上記のコマーシャル検出システムでは、無音区間の位置及び連続性評価によりＣＭ候補を抽出し、カットの存在位置によりその信頼度を算出しているが、多少検出精度が低下するものの、カットと無音区間との適用の仕方を逆にすることも可能である。具体的には、カットの時間位置を検出し、このカットの時間位置に対して、区間間隔一定箇所を抽出し、ＣＭ放映区間を判定し、連続性評価によるＣＭ候補抽出を行う。そして、検出された無音区間を用いて、抽出されたＣＭ候補の信頼度判定を行う。すなわち、カットから抽出されたＣＭ候補に対し、ＣＭ候補の開始点及び終了点近辺に無音区間が存在し、ＣＭ候補の前後のいずれかにＣＭが存在するかどうかで、信頼度を算出し、算出された信頼度に基づいてＣＭ候補を出力する。
【００６７】
次に、新作ＣＭをデータベースに登録するための構成を説明する。この構成は、テレビジョン放送におけるＣＭを例えば上述したコマーシャル検出装置を用いて自動抽出し、既存のＣＭとの照合によりＣＭの新旧判定を行い、新作ＣＭのみをデータベースへ自動登録していくことを可能とするものである。図１６は、新作ＣＭをデータベースに登録するシステムを示すブロック図である。
【００６８】
このシステムは、上述のコマーシャル検出装置と組み合わされて使用されるものであって、コマーシャル検出装置の構成要素の一部分（具体的には特徴抽出部２５）を共有しており、テレビジョン放送波を受信する受信部１１からのテレビジョン映像信号あるいは予め蓄積部１２に蓄積された放送データ（映像信号）を入力とする。そして、この映像信号からフレーム特徴量を抽出する特徴量抽出部２５と、抽出された特徴量を保存する番組特徴量保存データベース４１と、ＣＭを登録するＣＭデータベース４２と、コマーシャル検出装置でのＣＭ検出結果に基づき、ＣＭ部分の特徴量を切り出す切り出し部４３と、切り出されたＣＭとＣＭデータベース４２に既に登録されているＣＭとを照合して新作ＣＭを判定する新作ＣＭ判定部４４と、新作ＣＭと判定されたＣＭについて検出漏れをチェックするための放送履歴確認部４５と、確かに新作ＣＭであると確認されたＣＭについて、名前やタイトルを付けてＣＭデータベース４２に登録するＣＭ登録部４６と、を備えている。特徴量抽出部２５には、画像信号フレームをキャプチャするキャプチャ部５１と、キャプチャされたフレームから特徴量を算出する特徴量計算部５２とが設けられている。
【００６９】
次に、図１６に示すシステムの動作を説明する。ここでは、フレームから抽出される特徴量として、上述のコマーシャル検出装置の場合と同様に、ＭＰＥＧ−７ＦＣＤのカラーレイアウト識別子が用いられるものとする。もちろん、他の特徴量を使用するようにしてもよい。
【００７０】
特徴量抽出部２５において、キャプチャ部５１が、入力される映像信号（放送波）からフレームをキャプチャし、特徴量計算部５２が、各フレームより特徴量としてカラーレイアウト記述子を抽出する。このとき呼び出し時間情報として放送時刻も求め、呼び出し時間情報及び特徴量を逐次、特徴量データとして番組特徴量保存データベース４１に保存する。
【００７１】
次に、切り出し部４３において、コマーシャル検出装置から入力するＣＭ検出結果（ＣＭ候補データ）に基づき、番組の特徴量データのうち、ＣＭ部分の特徴量データを切り出す。
【００７２】
次に、新作ＣＭ判定部４４において、切り出し部４３において切り出されたＣＭとＣＭデータベース４２に既に登録されているＣＭとを照合して、その切り出されたＣＭが新作ＣＭであるかどうかを判定する。ＣＭデータベース４２には、ＣＭが登録されており、各ＣＭに対して、それぞれＣＭ区間の特徴量、画像データ及び内容を示すメタデータが保持されている。切り出し部４３により切り出されたＣＭ候補の特徴量は、ＣＭデータベース４２に登録されている各ＣＭの特徴量と照合される。同一とみなされるＣＭがＣＭデータベース４２中に存在しない場合に、そのＣＭを新作ＣＭ候補とする。ＣＭの照合では、各ＣＭの先頭同士から順に照合するだけではなく、一方のＣＭの先頭位置をずらした照合も行う。
【００７３】
このようにして新作ＣＭ候補が抽出される。
【００７４】
次に、抽出された新作ＣＭ候補が本当に新作ＣＭであるかどうかを確認するために、放送履歴確認部４５において、過去にそのＣＭが放送されたかどうかを確認する。上述したコマーシャル検出システムであっても、いくばくかのＣＭの抽出漏れは避けられないため、新ＣＭ候補が検出された時点ですでにそのＣＭが放送されている可能性があり、ＣＭ放送履歴に漏れが生じることになる。そこで放送履歴確認部４５は、新作ＣＭ判定部４４により抽出された新ＣＭ候補と、番組特徴量保存データベース４１に保存されている番組特徴量全体との照合を行い、ＣＭの放送された回数およびその放送時間帯をチェックする。
【００７５】
放送履歴確認部４５によって新作ＣＭであると確認されたＣＭは、ＣＭ登録部４６によって、名前やタイトルを付けてＣＭデータベース４２に登録される。
【００７６】
また、放送履歴確認部４５を介さず、新作ＣＭ候補を全て登録することにより、放映された全ての新作ＣＭをＣＭデータベース４２に登録することが可能となる。
【００７７】
次に、この新作ＣＭ登録システムについて行った実験を説明する。同一ＣＭの有無を調べる実験を、約１週間にわたる１チャンネル分の放送波を利用して行った。予め放送回数のわかっている３０個のＣＭに対して実験を行ったところ、過剰検出も未検出もなく放送された時間及び回数をすべて正確に検出できた。
【００７８】
このように、この新作ＣＭ登録システムによれば、テレビジョン放送におけるＣＭを自動抽出し、既存のＣＭとの照合によりＣＭの新旧判定を行い、新作ＣＭのみをデータベースへ自動登録していくことが可能である。
【００７９】
また、この新作ＣＭシステムによれば、一定期間の間に初めて登場したＣＭのリスト、また全新作ＣＭのリストを作成することが可能である。
【００８０】
以上、本発明の好ましい実施の形態について説明したが、本発明が適用されるテレビジョン放送は、地上波でのテレビジョン放送に限定されるものではなく、衛星テレビジョン放送あるいはケーブルテレビジョン（ＣＡＴＶ）放送であってもよい。さらには、ネットワークを介してブロードキャストされる映像情報、例えば、インターネットなどのネットワークを介して送信される映像コンテンツをも含むものである。
【００８１】
【発明の効果】
以上説明したように本発明は、テレビジョン放送から精度よくＣＭ区間を推定できるようになるとともに、新作ＣＭを自動的にデータベースに登録できるようになる、という効果がある。
【図面の簡単な説明】
【図１】本発明の好ましい実施の形態のコマーシャル検出装置の構成を示すブロック図である。
【図２】区間間隔一定箇所抽出部における無音区間からのＣＭ候補抽出を示す概念図である。
【図３】ＣＭ候補リストの一例を示す図である。
【図４】区間間隔一定箇所抽出部における区間間隔一定箇所抽出の処理を説明するフローチャートである。
【図５】ＣＭ放映区間判定部におけるＣＭの放映区間の判定を示す概念図である。
【図６】ＣＭ放映区間判定部におけるＣＭの放映区間の判定の処理を示すフローチャートである。
【図７】図３に示すＣＭ候補区間に対してＣＭの放映区間の判定を行った例を示す図である。
【図８】連続性評価部における連続性評価によるＣＭ候補抽出（ＣＭ区間推定）を示す概念図である。
【図９】連続性評価部における連続性評価によるＣＭ候補抽出の処理を示すフローチャートである。
【図１０】図３に示すＣＭ候補区間と図７に示されるＣＭ放映区間に基づき、連続性評価によるＣＭ候補抽出を行った例を示す図である。
【図１１】信頼度判定部において最終的にＣＭ候補区間を候補データとして出力する処理を示すフローチャートである。
【図１２】ＣＭが未検出となる原因の１つを説明する図である。
【図１３】ＣＭが未検出となることへの対策を説明する図である。
【図１４】ＣＭが未検出となる別の原因を説明する図である。
【図１５】ＣＭが未検出となることへの対策を説明する図である。
【図１６】新作ＣＭを登録するためのシステムの構成を示す図である。
【図１７】音声多重モードを利用した従来のＣＭ区間検出方法を説明する図である。
【図１８】無音区間及びシーンチェンジを利用した従来のＣＭ区間検出方法を説明する図である。
【符号の説明】
１１受信部
１２蓄積部
２１無音区間検出部
２２区間間隔一定箇所抽出部
２３ＣＭ放映区間判定部
２４連続性評価部
２５特徴量抽出部
２６カット検出部
２７信頼度判定部
３１無音区間リスト保持部
３２ＣＭ候補リスト保持部
３３カット保持部
４１番組特徴量保存データベース
４２ＣＭデータベース
４３切り出し部
４４新作ＣＭ判定部
４５放送履歴確認部
４６ＣＭ登録部
５１キャプチャ部
５２特徴量計算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for automatically detecting commercials (advertisement broadcasts) during television broadcasting.
[0002]
[Prior art]
Commercial broadcasting during television broadcasting (generally abbreviated as CM (commercial message); hereinafter, also referred to as CM in this specification) is broadcast by an advertiser or a client such as an advertising agency with a broadcasting station. A contract is signed and audio data and video data provided by the client are broadcast between programs (main part). Such commercials are an important source of income for broadcasters for program production, and are also an important advertising medium for advertisers. In addition, the advertising agency is responsible for adjusting the CM broadcast between the advertiser and the broadcasting station, but whether or not the CM is broadcast as contracted is very important for any of these three parties. It is a serious problem. For this reason, many advertising agencies currently use a CM broadcast confirmation service, that is, a service for confirming whether or not a commercial is actually broadcast, together with a broadcast confirmation document submitted by a broadcasting station. Broadcasting stations are also introducing a system in which actual broadcast data and the output of a broadcast confirmation attached to an advertisement fee bill are properly linked. Advertisers are also expected to have a broadcast confirmation service provided by a third-party organization.
[0003]
In general, although the broadcast time of CMs is roughly determined, the program schedule itself is often changed due to emergency news or the convenience of the program itself (especially in the case of live broadcasting), so it is strictly determined. It is not done. Therefore, CM broadcast confirmation cannot be performed by the method of receiving only a specific time for a specific broadcast station and checking whether a specific CM is broadcast.
[0004]
Until now, CM broadcast confirmation has been to manually check the video of 24 hours 365 days and then create a survey report. In this case, the broadcast confirmation operator performs a work that requires a huge amount of time, such as visually confirming the television broadcast and naming the CM part. For this reason, the cost for CM broadcast confirmation is very high, and the burden on the operator is also very large. In addition, with this method, it is difficult to confirm the broadcast of the CM in real time because of the manual intervention. On the other hand, for a broadcasting station, it is important whether CM broadcasting is properly performed, and confirmation means that can immediately respond when a CM to be broadcast is not broadcast due to a trouble is important.
[0005]
Further, considering that all broadcast CMs are to be investigated, every time a new CM is broadcast, it is necessary to register the CM. At this time, it is necessary to distinguish whether the CM is known or new and to register only the new CM. However, if this operation is relied on manually, a huge amount of confirmation work time is required, and it is necessary to distinguish whether the CM is known or new, and the load is very large.
[0006]
Accordingly, there is a need for a television CM broadcast survey system that automatically detects CMs in television broadcasts and automatically identifies the CMs. In order to configure such a system, a system for estimating a section that is likely to be a CM during a television broadcast, a system for automatically registering a new broadcast CM, and a system for automatically identifying a CM being broadcast Is required.
[0007]
Conventionally, as a method of estimating a CM broadcast section during a television broadcast, there are a method of detecting a sound multiplex mode, a method of detecting a silent section and a screen change. Hereinafter, a conventional method for estimating a CM broadcast section will be described.
[0008]
A well-known method for separating the main program from the CM is a method for detecting switching to the audio multiplexing mode as described in Japanese Patent No. 2858758. Since the main program is often broadcast in the monaural mode and the CM is often broadcast in the stereo mode, in this method, as shown in FIG. This method is often used as a CM skip function of a video deck. However, this method has a problem that a plurality of CMs broadcast continuously cannot be individually divided, and that the performance of the main part is reduced due to an increase in programs that are stereo broadcasts.
[0009]
On the other hand, Japanese Patent Publication No. 6-66738 discloses CM section detection using silent sections and scene changes. A CM generally has (1) a silence interval of several tens of ms before and after the CM, and (2) generally 15 seconds and 30 seconds (at least in the case of a CM in Japan). It has the property of Using this property, it is possible to estimate a CM section by detecting a silent section and a scene change (cut point). Specifically, as shown in FIG. 18, the number of seconds from the time when it is determined that silence and cut occur simultaneously to the time when it is determined that silence and cut occur simultaneously is the number of CM broadcast seconds. Is determined as a CM candidate when it matches any of the predetermined number of seconds. However, in this method, since there are many places where the time interval is constant in the main part, that is, in the main part, there are many false detections, and the CM that should be detected due to silence or cut detection failure cannot be detected. There are problems such as cases.
[0010]
[Problems to be solved by the invention]
As described above, it is necessary to realize automatic detection of CM sections and automatic registration of a new CM in a database in order to achieve automation and real-time confirmation of CM broadcast (allowing a short delay). SUMMARY OF THE INVENTION An object of the present invention is to provide a commercial detection method and apparatus capable of accurately estimating a CM section from a television broadcast and automatically registering a new CM in a database.
[0011]
[Means for Solving the Problems]
  The commercial detection method of the present invention is a commercial detection method for detecting a commercial included in a television broadcast, wherein a silent section is detected from an audio signal of the television broadcast, and two silences are detected from the detected silent section. Based on the extracted CM candidate section, a stage where one or more commercials continuously exist is determined based on the stage of extracting a section where the sections exist apart at a predetermined time interval as CM candidate sections. And the stage ofFor all CM candidate sections included in the determined CM broadcast section, it is determined whether or not silence sections are continuously arranged at time intervals considered as commercials following the CM candidate section. A continuity evaluation stage in which CM candidates are extracted starting from a CM candidate section having the largest number of silent sections that are continuous at the time interval, and separated as silent sections that are continuously arranged at the time interval;Have
[0012]
  In the commercial detection method of the present invention,, TeFor each CM candidate extracted in the cut point detection stage for detecting the cut point from the video signal of the revision broadcast and in the continuity evaluation stage, if there is a cut point near the start point and end point of the CM candidate, the reliability is high. A step of calculating the reliability so that the reliability becomes high if there is another CM candidate before and after the CM candidate so as to increase, and a CM candidate having a high reliability is output. And an output stage.
[0013]
  The commercial detection device of the present invention is a commercial detection device that detects a commercial included in a television broadcast, and includes a silent interval detection means that detects a silent interval from a television broadcast audio signal, and a detected silent interval, Based on the extracted CM candidate section, one or more commercials continuously exist, and a section interval constant location extraction unit that extracts a section where two silent sections are separated by a predetermined time interval as a CM candidate section. CM broadcast section determination means for determining a CM broadcast section that is a section;For all CM candidate sections included in the determined CM broadcast section, it is determined whether or not silence sections are continuously arranged at time intervals considered as commercials following the CM candidate section. A continuity evaluation means for extracting CM candidates starting from a CM candidate section having the largest number of silent sections that are continuous at the time interval, and separating silent sections that are continuously arranged at the time interval;Have
[0014]
  In the commercial detection device of the present invention,, TeWith respect to each CM candidate extracted by the feature amount extraction means for extracting the feature amount from the frame of the video signal of the revision broadcast, the cut point detection means for detecting the cut point based on the feature amount, and the continuity evaluation means, the CM The reliability is high so that the reliability is high if there are cut points near the start point and end point of the candidate, and the reliability is high if there is another CM candidate before and after the CM candidate. It is preferable to provide reliability determination means for calculating a degree and outputting a CM candidate having a high reliability.
[0015]
In particular, in the present invention, erroneous detection and non-detection of a CM broadcast section are prevented by evaluating CM continuity. That is, a CM broadcast section candidate is extracted only in the silent section, and the certainty of the CM broadcast section is detected based on the position where the cut (scene change) exists. Alternatively, a CM broadcast segment candidate is extracted using only the cut point, and the likelihood of the CM broadcast segment as a CM broadcast segment is detected based on the location of the silent segment. This prevents erroneous detection and non-detection of the CM broadcast section.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Next, a preferred embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a commercial detection apparatus according to a preferred embodiment of the present invention.
[0017]
This commercial detection device receives a television signal (video signal and audio signal) from a receiving unit 11 that receives a television broadcast wave or broadcast data (video signal and audio signal) stored in the storage unit 12 in advance. Is. In this commercial detection device, since the CM section included in the broadcast wave is detected and the start and end times of the CM section are output, the video signal and the audio signal are processed independently. Since it is necessary to establish time synchronization, it is preferable that information indicating the time timing in the broadcast wave is added to the video signal and the audio signal.
[0018]
The commercial detection device shown in FIG. 1 includes a silence interval detection unit 21 that detects a silence interval in an audio signal, and a silence interval detected by the silence interval detection unit 21 with a time interval (CM length) having two silence intervals. As a CM candidate section, a section interval constant location extraction unit 22 that extracts a segment that is separated by a time interval generally used as a common candidate time interval, for example, 15 seconds or 30 seconds, and a CM extracted by the section interval constant location extraction unit 22 A CM broadcast segment determination unit 23 that selects CM broadcast segment candidates that are candidates for segments in which several CMs are continuously broadcast from the candidate segments, and continuity evaluation for all CM candidates in the CM broadcast segment candidates A continuity evaluation unit 24 for performing a frame feature, a feature amount extraction unit 25 for extracting a frame feature amount from a video signal, and a scene change ( The cut detection unit 26 detects a CM candidate section that is highly likely to be a CM section as a result of the continuity evaluation by the continuity evaluation unit 24. A reliability determination unit 27 that applies the cut points and finally outputs a CM candidate section as candidate data. The commercial detection apparatus also includes a silent section list holding unit 31 that holds a list of silent sections detected by the silent section detection unit 21 and a CM candidate section extracted by the section interval constant location extraction unit 22 as a CM candidate. A CM candidate list holding unit 32 that holds the list and a cut holding unit 33 that holds the time of the cut point (scene change) detected by the cut detection unit 36 are provided.
[0019]
This commercial detection apparatus estimates and extracts a CM broadcast section based on a silent section obtained from an audio signal and a cut position obtained from a video signal. Here, the fact that CM has the following features is used.
(A) CMs generally have a length of 15 seconds or 30 seconds.
(B) CMs tend to be broadcast continuously.
(C) The CMs are connected by silent sections and cuts.
That is, when the relationship between adjacent cut points satisfies the above three characteristics, the section is extracted as a CM candidate.
[0020]
Hereinafter, details of each of the above-described units will be described.
[0021]
The silent section detector 21 detects the silent section in real time from the audio signal. There are several well-known methods for detecting a silent period in an audio signal. Here, for example, if an audio signal is sampled at 8 bits (256 values) at a sampling frequency of 8 kHz, the length of 50 milliseconds is used. A method is adopted in which a unit is a unit, and if 395 samples or more out of 400 samples included in a 50 millisecond interval are 0 or 1, the 50 millisecond interval is a silent interval. To do.
[0022]
The section interval fixed part extraction unit 22 detects a section where two silence sections exist apart from each other by a certain time interval (for example, 15 seconds and 30 seconds) with respect to the silence section detected by the silence section detection unit 21, and a CM candidate section Extract as FIG. 2 is a conceptual diagram showing CM candidate extraction from a silent section in the section interval fixed location extraction unit 22. All the extracted time zones (start time: end time) of the CM candidate section are recorded in the CM candidate list. FIG. 3 shows an example of the CM candidate list.
[0023]
It should be noted that the process of extracting the constant interval intervals can be performed in real time. For example, assume that a buffer of 1 bit per 50 milliseconds is prepared in advance for 60 seconds of television broadcasting. Then, (1) Silence determination is performed for a newly input 50 millisecond interval, (2) the write address to the buffer is shifted by one bit (one unit), and (3) silence If “1”, “1” is recorded in the buffer, otherwise “0” is recorded. When it is considered that there is no sound, the bit corresponding to the section 15 seconds before is checked in the buffer, and when it is “1”, it is recorded as a CM candidate for 15 seconds. If it is “0”, the bit corresponding to the section 30 seconds before is checked, and if it is “1”, it is recorded as a 30-second CM candidate. A CM candidate section can be detected by repeating the processes (1) to (3).
[0024]
FIG. 4 summarizes this series of processes as a flowchart. First, in step 101, the time position of a silent section is acquired. Next, in step 102, it is determined whether or not there is a silent section at a certain time before the acquired time position (15 seconds or 30 seconds before, here priority is given to 15 seconds before). If there is a silent section, in step 103, a CM candidate is output with the silent section before that fixed time as the starting point and the silent section of interest as the ending point. That is, it is recorded in the CM candidate list. Thereafter, the process proceeds to step 104. If it is not a silent section in step 102, the process proceeds to step 104 as it is. In step 104, it is determined whether or not the currently silent section is the last silent section. If it is the last silent section, the process is terminated. The time position of the silent section is acquired and the process returns to step 102.
[0025]
Through the above processing, a fixed interval interval is extracted.
[0026]
Next, the process of determining the CM broadcast section in the CM broadcast section determination unit 23 will be described. FIG. 5 is a conceptual diagram showing this processing. Here, a CM broadcast section is selected from the CM candidate list. The CM broadcast section refers to a section in which several CMs are broadcast continuously.
[0027]
With only the above-described silent section detection and constant section interval extraction processing, erroneous detection across CMs is also regarded as a CM candidate. Therefore, the CM broadcast section determination unit 23 first extracts a CM broadcast section and performs a process of erasing CM candidates that overlap in the section. The process of deleting the duplicate CM candidates is temporarily stopped when the time interval Δt between CM candidates exceeds a certain value (for example, 30 seconds), and the first CM candidate appearing after the certain time interval is the next CM The processing is started again as belonging to the broadcast section. The value of 30 seconds here is the maximum duration that can be considered as a normal CM (except for a long CM that is only occasionally broadcast).
[0028]
FIG. 6 is a flowchart showing the CM broadcast section determination process. First, in step 111, all the start points and end points of CM candidates are arranged in time series as points on the time axis. In step 112, the time position of the start point is acquired. In step 113, the distance Δt between the acquired time position and the time position of the next point is calculated. In step 114, it is determined whether or not Δt is longer than a predetermined time length (30 seconds). If longer, in step 115, the acquired time position is output as the end point, and the next point is output as the start point. 116. If Δt is equal to or shorter than the predetermined time length in step 114, the process proceeds to step 116 as it is. In step 116, it is determined whether or not the point of interest is the last point. If it is the last point, the process ends. If it is not the last point, the time position of the next point is determined in step 117. Acquire and return to step 113.
[0029]
With the above processing, the CM broadcast section is determined.
[0030]
FIG. 7 shows processing when the above-described CM broadcast section determination is performed for each CM candidate section in the CM candidate list shown in FIG. From the CM candidate sections shown in FIG. 3, it can be seen that 0:01:30 to 0:02:45 and 0:25:15 to 0:26:30 are extracted as CM broadcast sections.
[0031]
Next, processing for CM candidate extraction (that is, CM section estimation) by continuity evaluation in the continuity evaluation unit 24 will be described. FIG. 8 is a diagram for explaining CM section estimation by continuity evaluation. In FIG. 8, a numerical value appended to a long and narrow rectangle representing a silent section represents how many CM candidates continue (number of consecutive CM candidates) following the silent section. Here, the following operations [1] to [3] are repeated for the CM broadcast section candidates obtained by the CM broadcast section determination unit 23 described above for the CM candidates included in the CM broadcast section candidates.
[1] It is checked whether there is a silent section 15 seconds or 30 seconds after the end point of the selected CM candidate.
[2] When there is a silent section in [1], it is sequentially checked whether or not there is further silence after the next 15 or 30 seconds. If there is no silent section in [1], the process is terminated.
[3] The same processing is performed for each silent section, and the silent section with the largest number of silent sections every 15 seconds or 30 seconds is selected.
[0032]
The selected CM candidate is taken as the head, and a silent section every 15 seconds or 30 seconds is used as a break to make a CM candidate.
[0033]
FIG. 9 is a flowchart showing the CM section estimation process based on the continuity evaluation. First, in step 121, the time position of the end point of the CM candidate is acquired. In step 122, it is determined whether an end point exists after a certain time (15 seconds or 30 seconds) after the acquired time position. If there is an end point, in

step

123, 1 is added to the count of the number of continuous CM candidates for the CM candidate of interest, and in step 124, the time position of the end point after a certain time is acquired. Then, the process returns to step 122. On the other hand, if the end point does not exist in step 122, it is determined in step 125 whether or not the focused CM candidate is the last CM candidate. If it is the last CM candidate, in step 126, each continuous CM candidate is output starting from the CM candidate with the largest number of continuous CM candidates, and the process ends. If it is not the last CM candidate in step 125, the time position of the end point of the next CM candidate is acquired in step 127 and the process returns to step 122.
[0034]
Through the above processing, a series of continuous CM candidate sections are extracted from the CM broadcast section.
[0035]
FIG. 10 shows how consecutive CM candidate sections are extracted from the candidate list shown in FIG. 3 and the CM broadcast sections (0:01:30 to 0:02:45) obtained in FIG. It shows what was done. In this example, 0:01:30 to 0:01:45, 0:01:45 to 0:02:00, 0:02:00 to 0:02:15, 0:02 as continuous CM candidate sections. Five CM candidate sections from: 15 to 0:02:30 and from 0:02:30 to 0:02:45 are extracted.
[0036]
Next, a process for extracting a cut (scene change) from the video signal will be described. For the CM broadcast section estimation, an appropriate process can be used as a process for extracting cuts. In this embodiment, the result of CM broadcast section estimation is used to create a new CM database. Since registration is also in the field of view, a cut in the video signal is detected based on the frame feature amount.
[0037]
The video signal is first input to the feature amount extraction unit 25. The feature amount extraction unit 25 captures each frame from the video signal, and generates a feature amount used for cut detection from the captured image. Various frame feature values are assumed. Here, a color layout descriptor adopted in MPEG (motion picture expert) -7 FCD (final committee draft) is used. Note that the feature quantity same as the feature quantity used here is also used as the feature quantity of the CM when registering the CM in the database.
[0038]
The cut detection unit 26 performs cut detection by performing a difference between frames with respect to the feature amount obtained by the feature amount calculation unit 25. There are various methods for detecting cuts based on feature amounts, as known to those skilled in the art, and here, these methods can be appropriately selected and used. In order to prevent omission of cut detection, parameters for cut detection are set so that the cut detection result is excessively detected.
[0039]
As described above, the CM candidate section is extracted based on the silent section in the audio signal, and the cut is detected from the video signal. Next, the reliability determination unit 27 determines whether each CM candidate extracted by the continuity evaluation unit 24 is a CM using a cut detection result. The conditions for CM are as follows.
(A) A cut exists near the start point and end point of a CM candidate.
(B) A CM exists before or after a CM candidate.
[0040]
In the determination of (a), investigation is performed from several frames before the start point to several frames later, and when a cut exists, it is checked whether or not the cut exists even after 15 seconds or 30 seconds. If there is an end cut corresponding to the start cut, the process proceeds to (b). In (b), the presence or absence of a cut 15 seconds or 30 seconds before the start cut or the presence or absence of a cut 15 seconds or 30 seconds after the end cut is checked. The candidate will be accepted as a CM.
[0041]
On the other hand, the CM start position is also determined at the same time. Since the investigation is performed from several frames before to several frames later, there is a possibility that the position of the detected CM is shifted by several frames as compared with the position where the broadcast is actually performed. For this reason, the reliability satisfying the above conditions (a) and (b) at the investigation stage is not immediately set as a CM, but the reliability of the CM is calculated, and all the investigation target frames are processed. A method of selecting a section having the highest CM reliability at the time of the proceeding is adopted. Here, the calculation of the reliability, which is a CM, uses the following two parameters and calculates the reliability as a score.
・ Additional points in proportion to the number of CMs adjacent to the CM.
-Evaluation of the time interval between the start cut and end cut. As the time approaches 15 seconds or just 30 seconds, points are added (when a neighboring CM is examined while allowing a deviation of several frames, the deviation is added as an evaluation value).
[0042]
FIG. 11 is a flowchart showing the processing of the reliability determination unit 27. First, in step 131, the time positions of the start point and end point of the CM candidate are acquired. In step 132, the presence / absence of cut point frames around the start point is checked. The number of cut points that are continuous at intervals and the deviation from a constant value (15 seconds or 30 seconds) of the time interval are obtained, and the reliability of the CM candidate is obtained. In step 134, it is determined whether or not the highest reliability value exceeds a predetermined threshold th. If so, in step 135, the cut point frame having the highest reliability value is output as the CM start point, and the process is terminated. On the other hand, if not exceeded in step 134, it is determined in step 136 that the input CM candidate is not a CM, and the process ends.
[0043]
As described above, the commercial detection apparatus according to this embodiment finally outputs a CM section estimation result.
[0044]
Next, experimental results of actual CM detection using this commercial detection apparatus will be described. First, the result of an experiment for performing CM estimation using one of a cut and a silent section will be described.
[0045]
Experiment 1
Whether the CM section is correctly estimated when each of the above-described extraction of the fixed section interval, determination of the CM broadcast section, and evaluation of continuity is performed on the detected cut and the detected silent section. Experimented. The experiment was conducted on a video broadcast on the fourth channel in the Tokyo area at AM 00: 00-2: 00 on April 6, 2000. There are actually 89 CMs broadcast during this time period, and the number of CMs to be detected is limited to those with a length of 15 or 30 seconds. For the cut (video signal), the section interval constant location extraction unit 22, the CM broadcast segment determination unit 23, and the continuity evaluation with respect to the cut position detected by the processing in the feature amount extraction unit 25 and the cut detection unit 26 described above. Each processing algorithm in the unit 24 was applied. For silent sections (speech signals), the output of the continuity evaluation unit 24 in the above-described commercial detection device was used as an evaluation target. The results are shown in Table 1. In addition, about the result, the cut and the silent section were tested twice and the average value was adopted.
[0046]
[Table 1]

[0047]
From Table 1, it can be seen that a higher detection rate and a lower false detection rate are obtained when the silent section is used than when the cut is used. On the other hand, as the cause of non-detection, (1) in the process of determining the CM broadcast section, two or more CM broadcast sections are detected as one CM broadcast section, and (2) detection by silent section undetected This is possible.
[0048]
FIG. 12 is a diagram for explaining CM non-detection due to detection of two or more CM broadcast sections as one CM broadcast section. Although there are actually two or more CM broadcast sections, since the interval of the CM broadcast sections is less than 30 seconds, there are cases where a plurality of CM broadcast sections are detected as one CM broadcast section. . This occurs, for example, when an ending of a program (main part) having a length of several seconds (for example, about 5 seconds) flows during a CM broadcast section. When it is detected as one CM broadcast section, only CM candidates in the CM broadcast section with the most CMs are detected, and the other sections are not detected.
[0049]
Therefore, as a countermeasure against the CM candidate not being detected in such a case, there is the following as shown in FIG.
[1] When evaluating the continuity of CM candidates, checks are performed in order from the first silent section.
[2] When CM candidates are consecutive, the end point position of the last consecutive CM candidate is stored.
[3] It is checked whether the starting point of the CM candidate to be evaluated is behind the end point position for the evaluated CM candidate. If it is behind, the count is stopped once and CM candidate extraction processing is performed.
[4] The processes [1] to [3] are performed again from the starting point of the CM candidate to be evaluated at present.
[0050]
When this measure is incorporated in the commercial detection device described above, the continuity evaluation unit 24 may perform the processes [1] to [4] when evaluating the continuity.
[0051]
FIG. 14 is a diagram for explaining CM non-detection due to silent section non-detection. When there is no silent section between the last CM included in the CM broadcast section and the program (main part), or when there is no silent section between the program (main part) and the first CM included in the CM broadcast section Furthermore, there is a case where the silent section is not detected due to the problem of the silent detection method. In such a case, there is a scene where the CM, particularly the tail or topmost CM, is dropped. FIG. 14 shows an example where there is no silent section between the last CM included in the CM broadcast section and the program.
[0052]
Therefore, as a countermeasure against the CM not being detected in such a case, there is the following as shown in FIG.
[0053]
[1] One CM candidate is added to the end of the detected CM candidate (the length of the CM is undetermined).
[0054]
[2] With respect to the added CM candidate, it is assumed that both 15-second CM and 30-second CM, and each process of feature amount extraction, cut detection, and reliability determination is executed. However, when detecting cuts, detection parameters that are significantly under-detected than usual are used, and when calculating the reliability, the threshold value is significantly higher than usual so that it is difficult to detect CM candidates. To do. Most things will be dropped by the judgment using the cut.
[0055]
Experiment 2
The above two measures against undetected CM were added and the experiment was performed again. The experimental conditions were the same as in Experiment 1, but the experiment was performed only for the silent section. Table 2 shows the detection performance comparison results before and after countermeasures.
[0056]
[Table 2]

[0057]
By introducing measures against undetected CMs, the number of undetected CMs could be reduced to two. On the other hand, the number of false detection CMs increased by two. This undetected CM is generated because the silent detection has failed.
[0058]
Next, an experiment was performed to estimate CM using both cut and silent sections.
[0059]
Experiment 3
A CM estimation experiment was performed using the commercial detection apparatus according to the present embodiment, which verifies CM candidates by using a cut-off cut based on silence intervals. The experiment was conducted on a video broadcast on the fourth channel in the Tokyo area at AM 00: 00-2: 00 on April 6, 2000. There are actually 89 CMs broadcast during this time period, and Table 3 shows the results of detection experiments performed on these CMs. The experiment was conducted by introducing two countermeasures against the undetected CM described in Experiment 2.
[0060]
[Table 3]

[0061]
Compared to the case where CM estimation is performed only in the silent section, when the silent section + cut is used, the number of false detections can be greatly reduced from 17 to 2 without reducing normal detection.
[0062]
Experiment 4
Next, CM estimation experiments using the commercial detection device of the present embodiment were performed by adding videos of different time zones. The experiment was conducted on a total of 219 CMs aired on the 4th channel in the Tokyo area at AM 0: 00 to 6:00 on April 6, 2000. The results are shown in Table 4.
[0063]
[Table 4]

[0064]
From Table 4, it can be seen that about 98% of the CMs actually flown are detected correctly. Moreover, the number of false detections could be suppressed to three. Compared to conventional CM detection systems using video signals, which had a detection performance of about 80%, the performance could be greatly improved.
[0065]
As described above, paying attention to the introduction of the combination of silent section and cut and the continuity of CM, CM candidates are extracted by evaluating the position and continuity of the silent section, and the reliability is calculated from the position of the cut. As a result, the CM section estimation performance of 98% and the estimation performance of only the video signal of 80% can be greatly improved.
[0066]
In the above commercial detection system, CM candidates are extracted by evaluating the position and continuity of the silent section, and the reliability is calculated based on the position of the cut. However, although the detection accuracy is somewhat reduced, the cut and silent It is also possible to reverse the method of application with the section. Specifically, a cut time position is detected, a section having a constant interval is extracted from the cut time position, a CM broadcast section is determined, and CM candidates are extracted by continuity evaluation. Then, the reliability of the extracted CM candidate is determined using the detected silent section. That is, for a CM candidate extracted from a cut, a reliability is calculated based on whether there is a silent section near the start point and end point of the CM candidate, and whether there is a CM before or after the CM candidate. CM candidates are output based on the calculated reliability.
[0067]
Next, a configuration for registering a new CM in the database will be described. In this configuration, CMs in television broadcasting are automatically extracted using, for example, the above-described commercial detection device, and new / old judgment is performed by comparing with existing CMs, and only new CMs are automatically registered in the database. It is possible. FIG. 16 is a block diagram showing a system for registering a new CM in the database.
[0068]
This system is used in combination with the commercial detection device described above, and shares a part of the components of the commercial detection device (specifically, the feature extraction unit 25). A television video signal from the receiving unit 11 to receive or broadcast data (video signal) stored in the storage unit 12 in advance is input. Then, a feature amount extraction unit 25 that extracts a frame feature amount from the video signal, a program feature amount storage database 41 that stores the extracted feature amount, a CM database 42 that registers a CM, and a CM in a commercial detection device Based on the detection result, a cutout unit 43 that cuts out the feature amount of the CM part, a new CM determination unit 44 that checks the cut out CM and a CM already registered in the CM database 42 to determine a new CM, and a new work A broadcast history confirmation unit 45 for checking a detection omission for a CM determined to be a CM, and a CM registration unit 46 for registering the CM confirmed to be a new CM in the CM database 42 with a name and a title. And. The feature amount extraction unit 25 includes a capture unit 51 that captures an image signal frame and a feature amount calculation unit 52 that calculates a feature amount from the captured frame.
[0069]
Next, the operation of the system shown in FIG. 16 will be described. Here, the color layout identifier of MPEG-7 FCD is used as the feature quantity extracted from the frame, as in the case of the commercial detection apparatus described above. Of course, other feature amounts may be used.
[0070]
In the feature amount extraction unit 25, the capture unit 51 captures a frame from the input video signal (broadcast wave), and the feature amount calculation unit 52 extracts a color layout descriptor as a feature amount from each frame. At this time, the broadcast time is also obtained as the call time information, and the call time information and the feature amount are sequentially stored in the program feature amount storage database 41 as feature amount data.
[0071]
Next, the cutout unit 43 cuts out feature amount data of the CM portion from the feature amount data of the program based on the CM detection result (CM candidate data) input from the commercial detection device.
[0072]
Next, the new CM determination unit 44 collates the CM cut out by the cutout unit 43 with the CM already registered in the CM database 42 and determines whether the cut out CM is a new CM. . CMs are registered in the CM database 42, and for each CM, metadata indicating the feature amount, image data, and contents of the CM section are stored. The feature amount of the CM candidate cut out by the cutout unit 43 is collated with the feature amount of each CM registered in the CM database 42. If no CM that is regarded as the same exists in the CM database 42, the CM is set as a new CM candidate. In the CM collation, not only the CMs are collated in order from the top but also the collation is performed by shifting the head position of one CM.
[0073]
In this way, new CM candidates are extracted.
[0074]
Next, in order to confirm whether or not the extracted new CM candidate is really a new CM, the broadcast history confirmation unit 45 confirms whether or not the CM has been broadcast in the past. Even in the commercial detection system described above, some of the CMs are inevitably missed, so there is a possibility that the CM has already been broadcast when a new CM candidate is detected. Leakage will occur. Therefore, the broadcast history confirmation unit 45 collates the new CM candidate extracted by the new CM determination unit 44 with the entire program feature quantity stored in the program feature quantity storage database 41, and determines the number of times the CM has been broadcast and Check the broadcast time zone.
[0075]
The CM confirmed as a new CM by the broadcast history confirmation unit 45 is registered in the CM database 42 with a name and title by the CM registration unit 46.
[0076]
Further, by registering all new CM candidates without going through the broadcast history confirmation unit 45, it is possible to register all the new CMs that have been aired in the CM database 42.
[0077]
Next, an experiment conducted on the new CM registration system will be described. An experiment to check for the presence of the same CM was performed using a broadcast wave for one channel for about one week. When an experiment was performed on 30 CMs whose broadcast frequency was known in advance, it was possible to accurately detect the time and frequency of the broadcast without excessive detection or undetected.
[0078]
In this way, according to this new CM registration system, CMs in television broadcasting can be automatically extracted, CM new / old judgment can be performed by comparing with existing CMs, and only new CMs can be automatically registered in the database. Is possible.
[0079]
Also, according to this new CM system, it is possible to create a list of CMs that have appeared for the first time in a certain period, or a list of all new CMs.
[0080]
The preferred embodiment of the present invention has been described above. However, the television broadcast to which the present invention is applied is not limited to a terrestrial television broadcast, but a satellite television broadcast or a cable television (CATV). ) It may be broadcast. Furthermore, it also includes video information broadcast via a network, for example, video content transmitted via a network such as the Internet.
[0081]
【The invention's effect】
As described above, the present invention has an effect that the CM section can be accurately estimated from the television broadcast and the new CM can be automatically registered in the database.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a commercial detection device according to a preferred embodiment of the present invention.
FIG. 2 is a conceptual diagram showing CM candidate extraction from a silent section in a constant section interval extraction unit.
FIG. 3 is a diagram illustrating an example of a CM candidate list.
FIG. 4 is a flowchart illustrating processing for extracting a constant interval interval at a fixed interval interval extraction unit;
FIG. 5 is a conceptual diagram illustrating determination of a CM broadcast section in a CM broadcast section determination unit.
FIG. 6 is a flowchart showing a process of determining a CM broadcast section in a CM broadcast section determination unit.
7 is a diagram showing an example in which a CM broadcast section is determined for the CM candidate section shown in FIG. 3; FIG.
FIG. 8 is a conceptual diagram showing CM candidate extraction (CM section estimation) by continuity evaluation in a continuity evaluation unit.
FIG. 9 is a flowchart showing CM candidate extraction processing by continuity evaluation in a continuity evaluation unit.
10 is a diagram illustrating an example in which CM candidate extraction is performed based on continuity evaluation based on the CM candidate section illustrated in FIG. 3 and the CM broadcast section illustrated in FIG. 7;
FIG. 11 is a flowchart illustrating a process of finally outputting a CM candidate section as candidate data in a reliability determination unit.
FIG. 12 is a diagram for explaining one of the causes of CM not being detected.
FIG. 13 is a diagram for explaining countermeasures against CM not being detected;
FIG. 14 is a diagram for explaining another cause of CM not being detected.
FIG. 15 is a diagram for explaining countermeasures against CM not being detected;
FIG. 16 is a diagram showing a configuration of a system for registering a new CM.
FIG. 17 is a diagram for explaining a conventional CM section detection method using a voice multiplex mode.
FIG. 18 is a diagram for explaining a conventional CM section detection method using a silence section and a scene change.
[Explanation of symbols]
11 Receiver
12 Accumulator
21 Silent section detector
22 Section interval fixed part extraction part
23 CM broadcast section judgment section
24 Continuity evaluation section
25 Feature extraction unit
26 Cut detector
27 Reliability judgment part
31 Silent section list holding section
32 CM candidate list holding unit
33 Cut holder
41 Program feature storage database
42 CM database
43 Cutout
44 New CM judgment section
45 Broadcast history confirmation section
46 CM Registration Department
51 Capture section
52 Feature amount calculator

Claims

A commercial detection method for detecting a commercial included in a television broadcast,
Detecting a silent section from the audio signal of the television broadcast;
Extracting from the detected silent section a section where two silent sections are separated by a predetermined time interval as a CM candidate section;
Determining a CM broadcast section that is a section in which two or more commercials continuously exist based on the extracted CM candidate section;
For all CM candidate sections included in the determined CM broadcast section, it is determined whether or not silence sections are continuously arranged at time intervals considered as commercials following the CM candidate section. As a result, a continuity evaluation step of extracting CM candidates with a CM candidate section having the largest number of silent sections continuous at the time interval as a head and separating silent sections arranged continuously at the time interval as separators;
A commercial detection method.

A cut point detection step of detecting a cut point from the video signal of the television broadcast;
For each CM candidate extracted in the continuity evaluation stage, if there is a cut point in the vicinity of the start point and end point of the CM candidate, the reliability is increased, and at least one before and after the CM candidate. Calculating the reliability so that the reliability is high if there are other CM candidates;
An output stage for outputting CM candidates with high reliability;
The commercial detection method according to claim 1, wherein:

The commercial detection method according to claim 2, wherein the cut point detection step includes a step of extracting a feature amount from a frame of the video signal and a step of detecting the cut point based on the feature amount.

Cutting out the feature amount corresponding to a commercial section based on CM candidates output in the output step;
Determining whether or not the commercial section corresponding to the cut out feature amount is a new commercial candidate by comparing the cut out feature amount with the feature amount registered in the CM database;
Registering the new commercial candidate as a new commercial in the CM database when it is determined to be a new commercial candidate;
The commercial detection method according to claim 3, further comprising:

In the continuity evaluation stage, when the start point of the currently evaluated CM candidate is behind the end point position of the already evaluated CM candidate, it is determined whether or not the silent sections are continuously arranged. The commercial detection method according to any one of claims 1 to 4 , wherein a process of extracting a CM candidate is performed by temporarily cutting off at the end point position and separating silent sections arranged continuously at the time interval. .

The commercial detection method according to any one of claims 1 to 5 , wherein the continuity evaluation step is executed assuming a CM candidate section that is continuous with the CM broadcast section immediately before or immediately after the CM broadcast section.

A commercial detection method for detecting a commercial included in a television broadcast,
Detecting a cut point from the video signal of the television broadcast;
Extracting a section in which two cut points are separated by a predetermined time interval from the detected cut points as a CM candidate section;
Determining a CM broadcast section that is a section in which two or more commercials continuously exist based on the extracted CM candidate section;
For all CM candidate sections included in the determined CM broadcast section, it is determined whether cut points are continuously arranged at time intervals considered as commercials following the CM candidate section. Results A continuity evaluation step of extracting CM candidates with the CM candidate section having the largest number of cut points continuous in the time interval as a head, and using the cut points continuously arranged in the time interval as a break,
Detecting a silent section from the audio signal of the television broadcast;
For each CM candidate output in the continuity evaluation stage, if there is a silent section near the start point and end point of the CM candidate, the reliability is increased, and at least one of the CM candidates before and after the CM candidate. Calculating the reliability so that the reliability is high if there are other CM candidates;
Outputting CM candidates with high reliability,
A commercial detection method comprising:

A commercial detection device for detecting a commercial included in a television broadcast,
A silent section detecting means for detecting a silent section from the audio signal of the television broadcast;
Section interval constant location extraction means for extracting a section where two silence sections are separated from each other by a predetermined time interval as a CM candidate section from the detected silence section;
CM broadcast section determination means for determining a CM broadcast section that is a section in which two or more commercials continuously exist based on the extracted CM candidate sections;
For all CM candidate sections included in the determined CM broadcast section, it is determined whether or not silence sections are continuously arranged at time intervals considered as commercials following the CM candidate section. As a result, continuity evaluation means for extracting CM candidates starting from a CM candidate section having the largest number of silent sections that are continuous at the time interval and separating silent sections that are continuously arranged at the time interval,
A commercial detection device.

A feature amount extracting means for extracting a feature amount from a frame of the video signal of the television broadcast;
A cut point detecting means for detecting a cut point based on the feature amount;
For each CM candidate extracted by the continuity evaluation means, if there is a cut point in the vicinity of the start point and end point of the CM candidate, the reliability is increased, and at least one before and after the CM candidate. The commercial detection apparatus according to claim 8 , further comprising: a reliability determination unit that calculates a reliability so that the reliability is high if another CM candidate is present, and outputs a CM candidate having a high reliability.