JP2011066602A - 放送信号処理装置、放送信号処理方法、放送信号処理プログラム、及び、記憶媒体 - Google Patents

Abstract

【課題】画質のより高い映像をユーザに表示することを可能とする。
【解決手段】放送信号処理装置１００は、コンテンツを放送する高解像映像データを含む第１放送信号、及び該コンテンツの低解像映像データを含む第２放送信号を受信し、受信したデータから画像データベースを生成する第１生成手段１０７と、生成された画像データベースによって低解像映像データを高画質化した高画質化映像データを生成する第２生成手段１１０と、（i）受信された第１放送信号の受信率、（ii）コンテンツの状況、及び（iii）画像データベースの生成の際に用いた高解像映像データと高画質化の対象となる低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、高解像映像データが形成する映像、低解像映像データが形成する映像、及び生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え手段１１１とを備える。
【選択図】図１

Description

本発明は、例えば地上デジタルテレビジョン放送の放送信号を受信可能な放送信号処理装置、放送信号処理方法、放送信号処理プログラム、及び、記憶媒体の技術分野に関する。

従来から、日本の地上デジタルテレビジョン放送（以下、単に「地デジ」と呼ぶ。）では、１つの周波数（物理）チャンネルにおいて、伝送特性の異なる複数のサービスが運用されている。現在、ほとんどの放送局で、固定受信向けサービス（以下、「１２セグ」又は「１２セグメント」と呼ぶ。）と部分受信向けサービス（以下、「ワンセグ」又は「１セグメント」と呼ぶ）とを、番組内容が同一なコンテンツで放送（以下、「サイマル放送」と呼ぶ）している。そのことから、例えば車載用の地デジ受信機等の放送信号処理装置では、１２セグの映像信号とワンセグの映像信号との受信状態によって、自動で編成チャンネル切り替え（サービス切り替え）を行う機能を搭載しているものが一般的となってきている。また、１２セグメントの映像は、一般的に高解像であり、ワンセグ映像は、一般的に低解像である。

この種の放送信号処理装置として、特許文献１等では、地上デジタル放送を受信した際のデータの誤り率と、受信位置と地上デジタル放送局との距離から、低画質放送と高画質放送それぞれの優先度を算出し、優先度に応じて、１２セグの映像信号とワンセグの映像信号とを切り替えで、表示すべき映像を決定する技術が開示されている。

また、特許文献２等では、１２セグメントの放送信号と1セグメントの放送信号とを切り替えて表示する際に、算出された合成比率で映像信号を合成して表示し、１２セグメント放送の受信状況に応じて合成比率を算出する技術が開示されている。

他方で、特許文献３や特許文献４等では、例えばピクセル画像等の低解像画像から、例えば超解像度画像等の高解像画像を生成する技術が開示されている。

特開２００７−１７４０４３号公報 特開２００８−６０８４８号公報 特開２００３−１８３９８号公報 特開２００５−２５３０００号公報

「H. Chang, D.-Y. Yeung, and Y. Xiong, "Super-resolution through neighbor embedding," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol.1, pp.275-282, 2004.」 「小野利幸，田口安則，三田雄志，井田孝，"増分符号を用いた隣接ブロックの適合度評価による学習型超解像，"信学技法，Vol.107，No.538，pp.307-312，2008．」 「上村健二，津村徳道，中口俊哉，菅谷隆，三宅洋一，"Texton置換に基づく画像の高解像度化手法，"映像情報メディア学会誌，Vol.60，No.10，pp.1-3，2006．」

しかしながら、上述した特許文献１等によれば、画質のより高い映像をユーザに表示することができないという技術的な問題点が生じる。

本発明は、例えば上述した従来の問題点に鑑みなされたものであり、画質のより高い映像をユーザに表示することが可能な放送信号処理装置、放送信号処理方法、放送信号処理プログラム、及び、記憶媒体を提供することを課題とする。

上記課題を解決するために、本発明に係る放送信号処理装置は、コンテンツを放送する
高解像映像データを含む第１放送信号、及び、前記コンテンツと同一のコンテンツを異なる放送形式で放送する低解像映像データを含む第２放送信号を受信可能な受信手段と、前記受信された第１放送信号に含まれる高解像映像データ、及び、前記受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースを生成する第１生成手段と、前記生成された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する第２生成手段と、（i）前記受信された第１放送信号の受信率、（ii）前記コンテンツの状況、及び（iii）前記画像データベースの生成の際に用いた前記高解像映像データと高画質化の対象となる前記低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、前記高解像映像データが形成する映像、前記低解像映像データが形成する映像、及び前記生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え手段とを備える。

本発明に係る放送信号処理装置によれば、例えばアンテナ、復調部、及びデコーダ部等を備えて構成される受信手段によって、コンテンツを放送する高解像映像データを含む第１放送信号、及び、低解像映像データを含む第２放送信号が受信される。低解像映像データは、高解像映像データのコンテンツと同一のコンテンツを異なる放送形式によって放送される。ここに、本発明に係る「放送形式」とは、例えばインターレース、プログレッシブ、又はフレームレートなどの映像の放送に関する各種の伝送形式、通信形式又は通信パラメータを意味する。

例えばメモリ及びプロセッサ等を備えて構成される第１生成手段によって、受信された第１放送信号に含まれる高解像映像データ、及び、受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースが生成される。

また、本発明に係る「画像データベース」とは、画像を構成する画素と、例えば特徴量、高周波成分、画素値等の複数種類の特性レベルに関する数値情報とを関係付けたデータベースを意味する。典型的には、この第１生成手段によって生成された画像データベースは、例えばメモリ等の記憶手段に上書き可能に記憶されてよい。これにより、画像データベースは、第１放送信号と第２放送信号とが同期したタイミングで、最新の状態を維持することができる。

例えばメモリ及びプロセッサ等を備えて構成される第２生成手段によって、生成された画像データベースによって、低解像映像データを高画質化した高画質化映像データが生成される。ここに、本発明に係る「高画質化」とは、上述した画像データベースを用いて、対象となる画像の解像度を高める、所謂、学習型超解像度処理を施すことを意味する。

例えばメモリ、プロセッサ及びコンパレータ等を備えて構成される切り替え手段によって、（i）受信された第１放送信号の受信率、（ii）コンテンツの状況、及び（iii）画像データベースの生成の際に用いた高解像映像データと高画質化の対象となる低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像として、高解像映像データが形成する映像、低解像映像データが形成する映像、及び生成された高画質化映像データが形成する映像のうちいずれか一つが選択される。

ここに、本発明に係る「コンテンツの状況」とは、第1放送信号に含まれるコンテンツと、第２放送信号に含まれるコンテンツが同一のコンテンツであるか否かを意味する。また、本発明に係る「類似度」とは、２種類の映像データが夫々形成する映像が類似している度合いを意味する。

ここに、本発明に係る「受信率」とは、第１放送信号に保持されるデータ量に対して、正確に受信できたデータ量の割合を意味する。この受信率は、データの誤り率と反比例する関係にある。より具体的には、受信率が高くなるに従って、ノイズ等に影響されないより高品位且つ適切な映像を、画像処理を経て、ユーザに視聴させることが可能である。

典型的には、受信された第１放送信号の受信率が閾値未満である場合、言い換えると、例えば無線通信において第１放送信号の受信状態が不安定である場合、切り替え手段によって、表示すべき映像が、高解像映像データが形成する映像から、生成された高画質化映像データが形成する映像へと切り替えられる。他方、受信された第１放送信号の受信率が閾値以上である場合、言い換えると、例えば第１放送信号の受信状態が良好である場合、切り替え手段によって、表示すべき映像が、生成された高画質化映像データが形成する映像から、高解像映像データが形成する映像へと切り替えられる。或いは、切り替え手段による表示すべき映像の切り替えが行われず、表示すべき映像として高解像映像データが形成する映像が引き続き選択される。

仮に、受信された第１放送信号の受信率に基づいて、表示すべき映像を高解像映像データが形成する映像から低解像映像データが形成する映像へと切り替えた場合、画質の高い映像をユーザに視聴させることができないという技術的な問題点が生じる。

これに対して、本発明によれば、切り替え手段によって、受信された第１放送信号の受信率が低い場合、表示すべき映像として、生成された高画質化映像データが形成する映像が選択される。これにより、低解像映像データが形成する映像と比較して、画質のより高い映像をユーザに視聴させることが可能である。典型的には、低解像映像データが形成する映像と比較して、高解像映像データの解像度により近い解像度を有する映像をユーザに視聴させることが可能である。

更に、別の観点では、本発明によれば、上述した第１生成手段によって、第１放送信号に含まれる高解像映像データ、及び、第１放送信号に同期した第２放送信号に含まれる低解像映像データが同期する都度、画像データベースが生成される。一般的に、動画の映像は、隣り合う２つのフレーム（或いは２つのフィールド）に夫々含まれる２つの画像は類似している度合いが高い。これにより、第１放送信号の受信率が低下する時点の直前に生成された画像データベースによって生成された高画質化映像データが形成する画像と、第１放送信号の受信率が低下する時点での高解像映像データが形成する画像とは類似している度合いが高くなる。これにより、第２生成手段において、低解像映像データを高画質化する際に、画像データベースを生成する際に用いた高解像映像データと、高画質化する低解像映像データの特徴が異なることによる高画質化の劣化を防ぐことができる。

このように、第１放送信号の受信率に基づいて、表示すべき映像を、高解像映像データが形成する映像から、高画質化映像データが形成する映像へと切り替えられることにより、第１放送信号の受信率の変化の影響をより低減させつつ、より画質の高い映像をユーザに視聴させることが可能である。

本発明に係る放送信号処理装置の一の態様では、前記切り替え手段は、前記受信された第１放送信号の受信率が閾値未満である場合、表示すべき映像を前記高解像映像データが形成する映像から前記高画質化映像データが形成する映像へ切り替え、前記受信された第１放送信号の受信率が閾値以上である場合、表示すべき映像を前記高解像映像データが形成する映像にする。

この態様によれば、低解像映像データが形成する映像と比較して、画質のより高い映像をユーザに、より的確に視聴させることが可能である。

本発明に係る放送信号処理装置の他の態様では、前記生成された高画質化映像データが形成する映像の特徴と、前記画像データベースを生成する際に用いた高解像映像データが形成する映像の特徴とが異なるか否かを判定する判定手段を更に備え、前記切り替え手段は、前記生成された高画質化映像データが形成する映像の特徴と、前記画像データベースを生成する際に用いた高解像映像データが形成する映像の特徴とが異なると判定される場合、表示すべき映像を前記高解像映像データが形成する映像から前記低解像映像データが形成する映像へ切り替える。

ここに、本発明に係る「映像の特徴」とは、典型的には、映像が有するコンテンツの性質や属性を意味する。

この態様によれば、判定手段によって、生成された高画質化映像データが形成する映像の特徴と、画像データベースを生成する際に用いた高解像映像データが形成する映像の特徴とが異なるか否かを判定することができ、高解像映像データの受信率が良好でない期間に、低解像映像データのシーンが大きく変化した場合においても、高画質化の精度が低下した高画質化映像データが形成する映像が表示されることなく、低解像映像データが形成する映像が表示される。

このように、生成された高画質化映像データが形成する映像の特徴と、画像データベースを生成する際に用いた高解像映像データが形成する映像の特徴とが異なるか否かを判定することにより、第１放送信号の受信率が良好でない期間と、低解像映像データのシーンが大きく変化した期間とが重なった場合においても、ユーザに、より適切な映像を視聴させることが可能である。

本発明に係る放送信号処理装置の他の態様では、前記第１放送信号の第１フレームレート及び前記第２放送信号の第２フレームレートのうちいずれか小さい方のフレームレートを、いずれか大きい方のフレームレートに変換するフレームレート変換手段を更に備え、前記第１生成手段は、前記いずれか大きい方のフレームレートに変換され、同じフレームレートになった高解像映像データ及び低解像映像データから前記画像データベースを生成する。

この態様によれば、フレームレート変換手段によって、第２放送信号のフレームレートと、第１放送信号のフレームレートとが、いずれか大きい方のフレームレートとなり一致する。これにより、画像データベースの更新を単位時間当たりより多くの頻度行うことが可能である。

この結果、第１放送信号の受信率が低下する時点での高解像映像データにより類似した高解像映像データによって生成した画像データベースを用いて、第２生成手段によって低解像映像データを高画質化した高画質化映像データが生成されるので、高画質化の精度をより向上させることが可能である。

本発明に係る放送信号処理装置の他の態様では、前記切り替え手段は、前記受信された第１放送信号の受信率が閾値未満である場合、表示すべき映像を前記高解像映像データが形成する映像から、前記高解像映像データが形成する映像の一部と前記生成された高画質化映像データが形成する映像の一部とを組み合せた映像へ切り替える。

この態様に係る閾値とは、例えば表示すべき映像の全画面表示に十分な映像の情報量に相当する受信率を意味する。

この態様によれば、表示すべき映像として、画面内で、第１放送信号を受信できている箇所は高解像映像データを表示し、第１放送信号を受信できていない箇所は高画質化映像データをユーザに表示する。

この結果、高解像度の画像である高解像映像データをより効率的に利用することができるので、全画面に高画質化映像データを表示する場合に比べ、ユーザに、より精細な高画質化映像を表示することができる。

本発明に係る放送信号処理装置の他の態様では、前記第２生成手段は、前記生成された画像データベースによって、前記低解像映像データの動きベクトルの情報から動きの存在する箇所を検出し、前記生成された画像データベースによって、前記低解像映像データにおいて動きの存在する箇所のみを高画質化した高画質化映像データを生成し、前記受信された第１放送信号に含まれる高解像映像データを記憶する記憶手段と、前記記憶された高解像映像データが形成する映像と前記生成された他の高画質化映像データとを合成した合成映像データを生成する第３生成手段とを更に備え、前記切り替え手段は、前記受信された第１放送信号の受信率に基づいて、表示すべき映像を前記高解像映像データが形成する映像から前記生成された合成映像データが形成する映像へ切り替える。

この態様によれば低解像映像データの一画像のうち動きの存在する部分を高画質化し、低解像映像データの一画像のうち動きの存在しない部分は高画質化しないので、低解像映像データの画像の全体を高画質化する場合と比較して、画像処理の対象となる処理量を低減できるので、実践上、大変好ましい。

本発明に係る放送信号処理装置の他の態様では、前記高解像映像データの第１走査方式及び前記低解像映像データの第２走査方式のうちいずれか一方の走査方式を、いずれか他方の走査方式に変換する走査方式変換手段を更に備え、前記第１生成手段は、前記いずれか他方の走査方式に変換され同じ走査方式になった高解像映像データ及び低解像映像データから前記画像データベースを生成する。

ここで、本発明に係る走査方式とは、インターレース方式かプログレッシブ方式のいずれか一つの走査の方式を意味する。

この態様によれば、画像データベースを生成する際の走査方式が高解像映像データと低解像映像データとにおいて共通であるので、高画質化処理の精度をより高めることができるので、実践上、大変好ましい。

本発明に係る放送信号処理装置の他の態様では、前記画像データベースを取得可能な取得手段を更に備え、前記第２生成手段は、前記取得された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する。

この態様によれば、低解像映像データに対応した画像データベースを予め取得できるので、サイマル放送していない場合においても、低解像映像データを、精度をより高めつつ高画質化できるので、実践上、大変好ましい。

上記課題を解決するために、本発明に係る放送信号処理方法は、コンテンツを放送する高解像映像データを含む第１放送信号、及び、前記コンテンツと同一のコンテンツを異なる放送形式で放送する低解像映像データを含む第２放送信号を受信可能な受信工程と、前記受信された第１放送信号に含まれる高解像映像データ、及び、前記受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースを生成する第１生成工程と、前記生成された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する第２生成工程と、（i）前記受信された第１放送信号の受信率、（ii）前記コンテンツの状況、及び（iii）前記画像データベースの生成の際に用いた前記高解像映像データと高画質化の対象となる前記低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、前記高解像映像データが形成する映像、前記低解像映像データが形成する映像、及び前記生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え工程とを備える。

本発明の放送信号処理方法によれば、上述した本発明の放送信号処理装置が有する各種利益を享受することが可能となる。尚、上述した本発明の放送信号処理装置が有する各種態様に対応して、本発明の放送信号処理方法も各種態様を採ることが可能である。

本発明の放送信号処理プログラムは、コンピュータを備える装置によって実行される放送信号処理プログラムであって、コンテンツを放送する高解像映像データを含む第１放送信号、及び、前記コンテンツと同一のコンテンツを異なる放送形式で放送する低解像映像データを含む第２放送信号を受信可能な受信手段と、前記受信された第１放送信号に含まれる高解像映像データ、及び、前記受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースを生成する第１生成手段と、前記生成された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する第２生成手段と、（i）前記受信された第１放送信号の受信率、（ii）前記コンテンツの状況、及び（iii）前記画像データベースの生成の際に用いた前記高解像映像データと高画質化の対象となる前記低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、前記高解像映像データが形成する映像、前記低解像映像データが形成する映像、及び前記生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え手段として前記コンピュータを機能させる。

本発明に係る放送信号処理プログラムの実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の放送信号処理装置に係る実施形態を比較的簡単に実現できる。

尚、上述した本発明の放送信号処理装置に係る実施形態における各種態様に対応して、本発明の放送信号処理プログラムに係る各実施形態も各種態様を採ることが可能である。

本発明の記憶媒体は、上述した、放送信号処理プログラム（但し、各種の態様を含む）を記憶している。

本発明に係る記憶媒体の実施形態によれば、上述した放送信号処理プログラムを、コンピュータに読み取らせることで、コンピュータを上述した本発明の放送信号処理装置に係る実施形態として適切に、機能させることが可能である。

第１実施形態に係る放送信号処理装置の全体構成を示すブロック図である。 第１実施形態に係る放送信号処理装置の全体動作の流れを示したフローチャートである。 第１実施形態に係る放送信号処理装置における受信処理及び高画質化処理の流れを示したフローチャートである。 第１実施形態に係る放送信号処理装置における画像データベースの生成処理の流れを示したフローチャートである。 第１実施形態に係る放送信号処理装置における表示すべき映像を選択する選択処理の流れを示したフローチャートである。 第１実施形態に係る放送信号処理装置における、１２セグ映像のフレームレートとワンセグ映像のフレームレートとを、概念的に示した模式図である。 第１実施形態に係る学習型超解像の一つの例の概念的なデータの流れを示すフローチャートである。 第１実施形態に係る放送信号受信装置によって、高画質化される様子を示した概念図である。 第２実施形態に係る放送信号処理装置の全体構成を示すブロック図である。 第４実施形態に係る放送信号処理装置の全体構成を示すブロック図である。 第５実施形態に係る放送信号処理装置の全体構成を示すブロック図である。

以下、図面を参照して本発明を実施するための最良の形態について説明する。

本実施形態に係る放送信号処理装置は、同じコンテンツ（又は番組コンテンツ）が異なる解像度を有する２種類の映像データ（以下、適宜、「画像」と称す）が、２種類の放送形式で夫々放送され、それら２種類の放送形式で夫々放送された２種類の映像データを含む２種類の放送信号を夫々受信し映像処理を施す信号処理装置である。詳細には、本実施形態に係る放送信号処理装置は、高解像度の画像と低解像度の画像とを夫々受信し、低解像度の画像を学習型の超解像処理で高画質化し、高解像度の画像、低解像度の画像、及び低解像度の画像が高画質化された高画質化画像のうちいずれか一つの画像を表示部によって表示可能な信号処理装置である。

＜第１実施形態＞
（全体構成）
先ず、本発明の第１実施形態の全体構成について説明する。ここに、図１は、第１実施形態に係る放送信号処理装置の全体構成を示すブロック図である。

放送信号処理装置１００は、例えば地上デジタルテレビジョン放送（所謂、地デジ）を受信して処理を行う装置である。一例としては、車載用の地デジ受信機が上げられる。放送信号処理装置１００は、同一のコンテンツが異なる放送形式によって放送されるハイビジョン放送（若しくは標準画質放送）と、ワンセグ放送とを夫々受信して種々の処理を行う。尚、ハイビジョン放送（若しくは標準画質放送）の放送信号によって、本発明に係る第１放送信号の一例が構成されている。また、ワンセグ放送の放送信号によって、本発明に係る第２放送信号の一例が構成されている。

このハイビジョン放送には１２セグ映像に相当する映像データ（以下、適宜「１２セグ映像データ」と称す）が含まれ、ワンセグ放送にはワンセグ映像（又は１セグ映像）に相当する映像データ（以下、「ワンセグ映像データ」と称す）が含まれる。尚、１２セグ映像データによって、本発明に係る高解像映像データの一例が構成されている。ワンセグ映像データによって、本発明に係る低解像映像データの一例が構成されている。

図１に示されるように、第１実施形態に係る放送信号処理装置１００は、アンテナ１０１、チューナー部１０２、復調部１０３、１２セグメントデコーダ部１０４、１セグメントデコーダ部１０５、フレーム位置制御部１０６、画像ＤＢ生成部１０７、１２セグメント放送受信状況判断部１０８、コンテンツ判定部１０９、高画質化部１１０、スイッチ部１１１、及び表示部１１２を備えて構成されている。

尚、図１中、実線の矢印は、映像データの流れを示し、点線の矢印は、各構成要素に各種の動作を行わせる制御信号の流れを示し、一点鎖線の矢印は、画像データベースからのデータの流れを示す。

チューナー部１０２は、アンテナ１０１を介して、ハイビジョン放送（若しくは標準画質放送）及びワンセグ放送のＲＦ信号を受信し、選択された受信帯域に同調して受信した信号波をＩＦ信号に変換するとともに、ＴＳ（Transport Stream）に対応するデータとして復調部１０３に出力する。

復調部１０３は、例えばＴＳ−Ｄｅｍｕｘ（Transport Stream-Demultiplexer）等によって構成され、入力されたＴＳ（Transport Stream）に対応するデータを、ＰＥＳ（Packetized Elementary Stream）に分離する。そして、復調部１０３は、当該分離した後のデータを、それぞれ、１セグメントデコーダ部１０５、及び１２セグメントデコーダ部１０４に出力する。尚、復調部１０３は、分離した後のデータをＡＡＣ（Advanced Audio Coding）デコーダに出力するが周知技術であるので、音声データの信号処理の流れについては省略する。また、復調部１０３は、ＥＩＴ（Event Information Table）から番組名や番組情報などに対応するデータを、サイマル放送を判定するために出力するが周知技術であるので、省略する。

１２セグメントデコーダ部１０４は、例えばＭＰＥＧ２ビデオデコーダ等によって構成され、入力されたデータに対してデコード処理を行い、当該デコード処理後の１２セグ映像データをフレーム位置制御部１０６、１２セグメント放送受信状況判断部１０８、及びスイッチ部１１１に出力する。詳細には、１２セグメントデコーダ部１０４は、このデコード処理と同時に、１２セグ映像に相当するＭＰＥＧ２におけるシンタックスなどの情報に基づいて、適応エラー補間の各検出を行ってよい。

１セグメントデコーダ部１０５は、例えばＨ．２６４デコーダ等によって構成され、入力されたデータに対してデコード処理を行い、当該デコード処理後のワンセグ映像データをフレーム位置制御部１０６、高画質化部１１０、及びスイッチ部１１１に出力する。詳細には、１セグメントデコーダ部１０５は、このデコード処理と同時に、ワンセグ映像に相当するＨ．２６４におけるシンタックスなどの情報に基づいて、適応エラー補間の各検出を行ってよい。尚、アンテナ１０１、チューナー部１０２、復調部１０３、１２セグメントデコーダ部１０４、及び、１セグメントデコーダ部１０５によって、本発明に係る「受信手段」の一例が構成されている。

フレーム位置制御部１０６は、同一のシーンを有する、高解像度の画像（即ち、１２セグ映像に含まれる１２セグ画像）のフィールドと、低解像度の画像（即ち、ワンセグ映像に含まれるワンセグ画像）のフレームとの時間軸上の位置合わせを行う。具体的には、フレーム位置制御部１０６は、ハイビジョン放送の１２セグ映像と、ワンセグ放送のワンセグ映像との遅延時間を検出し、遅延時間を画像処理に反映させる各種の制御を行う。より詳細には、フレーム位置制御部１０６は、ＹＵＶ（画像）データやＭＰＥＧ２やＨ．２６４のシンタックス要素などに基づいて、同一のシーンを有する１２セグ映像のフィールドと、ワンセグ映像のフレームとを、時間的に同期させる。

画像ＤＢ生成部１０７は、１２セグ映像に含まれる１２セグ画像と、この１２セグ画像に同期したワンセグ画像との組から画像データベースを生成する。ワンセグ画像などの低解像度画像と、１２セグ画像などの高解像度画像との組（若しくはセット）から画像データベースを生成する処理は、一般的に学習型画像処理と称される。尚、この画像ＤＢ生成部１０７によって、本発明に係る第１生成手段の一例が構成されている。

１２セグメント放送受信状況判断部１０８は、１２セグメントデコーダ部１０４から出力された１２セグ映像データのデータ量に基づいて、１２セグ映像データの受信率を判定し、その判定結果を、フレーム位置制御部１０６、画像ＤＢ生成部１０７、及びスイッチ部１１１に制御信号を介して通知する。典型的には、ハイビジョン放送の放送信号の受信率が閾値未満である場合、例えば無線通信においてハイビジョン放送の放送信号の受信状態が不安定であると判定可能である。他方、ハイビジョン放送の放送信号の受信率が閾値以上である場合、ハイビジョン放送の放送信号の受信状態が良好であると判定可能である。

コンテンツ判定部１０９は、１２セグ映像のフレームと、この１２セグ映像のフレームに時間的に同期したワンセグ映像のフレームとの位置合わせが行われた後で、１２セグ画像のコンテンツとワンセグ画像のコンテンツとが同一コンテンツであるかを判定する。尚、このコンテンツ判定部１０９によって、本発明に係る判定手段の一例が構成されている。

詳細には、１２セグ映像データとワンセグ映像データとを比較した結果、映像データの相関が所定値以上である場合には、１２セグ映像とワンセグ映像とが同一コンテンツであると判断してよい。より詳細には、１２セグ映像のフレームレートよりワンセグ映像のフレームレートは低い。具体的には、１２セグ映像のフレームレートが３０（ｆｐｓ）であるのに対して、ワンセグ映像は１５（ｆｐｓ）以下である。よって、コンテンツ判定部１０９は、ワンセグ映像がある場合にのみ映像データの比較を行ってよい。これにより、信号処理を簡略化することができる。

また、コンテンツ判定部１０９では、ＹＵＶ（画像）データやＭＰＥＧ２やＨ．２６４のシンタックス要素などに基づいて、全体的にシーンが変ったか否かを検出する。コンテンツ判定部１０９は、ワンセグ映像データ及び１２セグ映像データの両方に対して、当該検出を行う（詳しくは、同期されたワンセグ映像データ及び１２セグ映像データに基づいて検出を行う）。

高画質化部１１０は、上述した画像データベースを用いて、ワンセグ画像を高解像度化することにより、ワンセグ映像に高画質化処理を施し高画質化映像としてスイッチ部１１１に出力する。詳細には、上述した学習型画像処理によって生成された画像データベースを用いた画像の高解像度化は、一般的に学習型超解像と称される。加えて、この画像データベースを用いて対象画像を高解像度化する画像処理は、一般的に超解像処理と称される。尚、この学習型超解像の詳細については後述される。尚、この高画質化部１１０によって、本発明に係る第２生成手段の一例が構成されている。

スイッチ部１１１は、１２セグ映像データの受信率、１２セグ画像のコンテンツとワンセグ画像のコンテンツとが同一コンテンツであるか否かの判定結果、及び、シーンチェンジの有無等から１２セグ映像、ワンセグ映像、ワンセグ映像を高画質化した高画質化映像のうちいずれか一の映像を選択する選択処理を行う。典型的には、１２セグ映像データの受信率が閾値を超えない場合、言い換えると、例えば無線通信において１２セグ映像データの受信状態が不安定である場合、スイッチ部１１１によって、表示すべき映像として、ワンセグ映像の高画質化映像が選択され、１２セグ映像からワンセグ映像の高画質化映像へと切り替えられる。他方、１２セグ映像データの受信率が閾値を超える場合、言い換えると、例えば１２セグ映像データの受信状態が良好である場合、スイッチ部１１１による表示すべき映像の切り替えが行われず、１２セグ映像が選択される。また、受信率が閾値未満である場合で、受信率が閾値未満である期間が続いている間にシーンチェンジ等が発生した場合には、ワンセグ映像が選択される。

表示部１１２は、選択された映像を表示する。

（動作原理）
次に、図２乃至図７を参照して、第１実施形態に係る放送信号処理装置の動作原理について説明する。ここに、図２は、第１実施形態に係る放送信号処理装置の全体動作の流れを示したフローチャートである。図３は、第１実施形態に係る放送信号処理装置における受信処理及び高画質化処理の流れを示したフローチャートである。図４は、第１実施形態に係る放送信号処理装置における画像データベースの生成処理の流れを示したフローチャートである。図５は、第１実施形態に係る放送信号処理装置における表示すべき映像を選択する選択処理の流れを示したフローチャートである。

尚、本実施形態では、図２に示されるように、始めに受信処理及び高画質化処理（図３を参照）が行われ、次に、画像データベースの生成処理（図４を参照）と、表示すべき映像の選択処理（図５を参照）とが並列的に行われる。或いは、先ず、受信処理及び高画質化処理（図３を参照）が行われ、次に、画像データベースの生成処理（図４を参照）が行われ、最後に表示すべき映像の選択処理（図５を参照）が行われてよい。或いは、先ず、受信処理及び高画質化処理（図３を参照）が行われ、次に、表示すべき映像の選択処理（図５を参照）が行われ、最後に画像データベースの生成処理（図４を参照）が行われてよい。

（受信処理及び高画質化処理）
図３に示される受信処理及び高画質化処理では、先ず、チューナー部１０２によって、ハイビジョン放送（若しくは標準画質放送）及びワンセグ放送が受信され、復調部１０３によって、復調される（ステップＳ１０１）。

次に、１２セグメントデコーダ部１０４によってデコード処理が行われ、当該デコード処理後の１２セグ映像データが生成されると共に、１セグメントデコーダ部１０５によって、デコード処理が行われ、当該デコード処理後のワンセグ映像データが生成される（ステップＳ１０２）。

次に、高画質化部１１０によって、画像データベースを用いてワンセグ画像が高解像度化されることにより、ワンセグ映像に高画質化処理が施され高画質化映像がスイッチ部１１１に出力される（ステップＳ１０３）。ここで、図７を参照して、高画質化処理、所謂、上述した学習型超解像の詳細について説明する。ここに、図7は、第1実施形態に係る学習型超解像の一つの例の概念的なデータの流れを示すフローチャートである。

詳細には、図７に示されるように、高画質化処理、所謂、上述した学習型超解像における学習段階としては、学習画像を縮小した画像のm×m画素のブロックの特徴量（インデックスベクトル）を算出し、また、学習画像の高周波数成分を抽出し高周波数成分画像を生成する（ステップＳ１０）。次に、m×m画素のブロックのインデックスベクトルと、m×m画素のブロックと同一位置の高周波数成分画像のブロック（ハイバンドパッチ）の組を画像データベースとして生成する（ステップＳ２０）。ここに、本実施形態に係る画像データベースとは、画像を構成する画素と、例えば特徴量、高周波成分、画素値等の複数種類の特性レベルに関する数値情報とを関係付けたデータベースを意味する。

超解像処理段階では、高解像度化の対象となる低解像度画像に補間処理を行い、さらにm×m画素のブロックに分割することで補間された低解像度パッチを生成する（ステップＳ３０）。次に、各補間された低解像度パッチの特徴量と類似のインデックスベクトルを探索し、対応するハイバンドパッチを得る。得られたハイバンドパッチと補間された低解像度パッチを組み合わせることで高解像度のパッチを生成する（ステップＳ４０）。典型的には、上述した画像データベースは、低解像度用の特徴ベクトル空間と、高解像度用の特徴ベクトル空間とによって表現することができる。より典型的には、画像データベースは、低解像度の画像の3x3（即ち、エッジ成分）の第１パッチに対して、学習画像から作った低解像度用の特徴ベクトル空間に存在する似た形状の3x3の第２パッチに重みつけを行い、第１パッチと第２パッチとを足し合わせて表現することができる。学習画像から作った高解像度用の特徴ベクトル空間の9x9の第３パッチに対して、対応する重みを掛け合わせることによって、画像を高解像度化する。より具体的には、高周波成分に相当するエッジ成分が求まるので、この画像を拡大してから、そのエッジ成分を加算することにより、高解像度化してよい。

尚、画像データベースを用いた高画質化処理における画質改善の効果については、「H. Chang, D.-Y. Yeung, and Y. Xiong, “Super-resolution through neighbor embedding,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol.1, pp.275-282, 2004.」、「小野利幸，田口安則，三田雄志，井田孝，“増分符号を用いた隣接ブロックの適合度評価による学習型超解像，”信学技法，Vol.107，No.538，pp.307-312，2008．」、及び「上村健二，津村徳道，中口俊哉，菅谷隆，三宅洋一，“Texton置換に基づく画像の高解像度化手法，”映像情報メディア学会誌，Vol.60，No.10，pp.1-3，2006．」を参照されたし。

（画像データベースの生成処理）
図４に示される画像データベースの生成処理では、先ず、１２セグメント放送受信状況判断部１０８によって、ハイビジョン放送の受信状況が判断される（ステップＳ２０１）。ここで、ハイビジョン放送の受信状況が良好である場合（ステップＳ２０１：Ｙｅｓ）、フレーム位置制御部１０６によって、高解像度の画像（即ち、１２セグ映像に含まれる１２セグ画像）のフレームと、低解像度の画像（即ち、ワンセグ映像に含まれるワンセグ画像）のフレームとの位置合わせが行われる（ステップＳ２０２）。詳細には、上述したようにハイビジョン放送の１２セグ映像は、フレームレートが６０フィールド毎秒のインタレース画像によって構成される映像であり、ワンセグ放送のワンセグ映像は、フレームレートが最大１５フレーム毎秒のプログレッシブ画像によって構成される映像である。

ここで、図６を参照して、ハイビジョン放送の１２セグ映像のフレームレート、及びワンセグ放送のワンセグ映像のフレームレートの詳細について説明する。ここに、図６は、第１実施形態に係る放送信号処理装置における、１２セグ映像のフレームレートとワンセグ映像のフレームレートとを、概念的に示した模式図である。

また、図６に示されるように、１２セグ映像のフレーム及びワンセグ映像のフレームのうちいずれか一方のフレームがいずれか他方のフレームに対して遅延している場合がある。このため、上述したフレーム間の時間軸上の位置合わせを行い、同一のコンテンツを有するハイビジョン放送の１２セグ映像のフィールドと、ワンセグ放送のワンセグ映像のフレームとの組（セット）を時間軸上、検出する処理を行う必要がある。尚、本明細書では、同一のコンテンツを有する１２セグ映像のフィールドとワンセグ映像のフレームとの組を便宜上、「同一フレームの組」と称す。

具体的には、同一フレームの組を検出する処理は、１２セグ映像の画像（以下、適宜「１２セグ画像」と称す）とワンセグ映像の画像との相関関係を利用する方法などが考えられる。この相関関係を利用する方法としては、１２セグ画像をワンセグ画像と同等の解像度に変換し、ワンセグ画像との相関係数やＳＮ比等を求めて、それらの値が閾値以上である場合には同一コンテンツを夫々有する同一のシーンを表示していると判断する方法などがある。同一のコンテンツを有する１２セグ映像のフィールドとワンセグ映像のフレームとの時間軸上の差である遅延時間については、1度求めれば放送チャンネルがユーザによって変えられた場合や、シーンチェンジが発生した場合以外は一定であると推定される。これにより、例えば放送チャンネルを切り換えた場合やシーンチェンジが発生したにおいて、この遅延時間の検出をすればよい。

再び、図４に戻り、コンテンツ判定部１０９によって、１２セグ画像のコンテンツとワンセグ画像のコンテンツとが同一コンテンツであるかが判定される（ステップＳ２０３）。ここで、１２セグ画像のコンテンツとワンセグ画像のコンテンツとが同一のコンテンツであると判定される場合（ステップＳ２０３：Ｙｅｓ）、画像ＤＢ生成部１０７によって、１２セグ画像とワンセグ画像との組から最新の画像データベースが生成される（ステップＳ２０４）。

具体的には、１２セグ画像のコンテンツとワンセグ画像のコンテンツとが同一のコンテンツであるか否かは、同一フレームの組を検出する処理と概ね同様にして、１２セグ画像とワンセグ画像との相関関係に基づいて判定してよい。詳細には、同一のコンテンツであるか否かは、相関関係を示す指標と所定値との大小の比較に基づいて、判定してよい。尚、１２セグ画像のコンテンツとワンセグ画像のコンテンツとが同一のコンテンツであるか否かの判定は、復調部１０３などから取得される番組名や番組情報などの電子番組表などに基づいて行ってよい。このことに加えて、受信された放送がサイマル放送か否かの判定を行ってよい。

（表示すべき映像を選択する選択処理）
図５に示される表示すべき映像を選択する選択処理では、１２セグ映像、ワンセグ映像、及びワンセグ映像を高画質化した高画質化映像のうちいずれか一つの映像を選択し、表示部１１２に、選択された映像を表示させる処理を行う。

図５に示されるように、先ず、１２セグメント放送受信状況判断部１０８によって、ハイビジョン放送の受信状況が良好であるか否かが判定される（ステップＳ３０１）。ここで、ハイビジョン放送の受信状況が良好な場合（ステップＳ３０１：Ｙｅｓ）、スイッチ部１１１によって、１２セグ画像が選択され、表示部１１２によって１２セグ画像が表示される（ステップＳ３０２）。

他方、ステップＳ３０１）の判定の結果、ハイビジョン放送の受信状況が良好でない場合（ステップＳ３０１：Ｎｏ）、コンテンツ判定部１０９によって、ハイビジョン放送の１２セグ映像と、ワンセグ放送のワンセグ映像とが同一のコンテンツであるか否かが判定される（ステップＳ３０３）。ここで、１２セグ映像と、ワンセグ映像とが同一のコンテンツでない場合、即ち、１２セグ映像のコンテンツと、ワンセグ映像のコンテンツとが異なる場合（ステップＳ３０３：Ｎｏ）、スイッチ部１１１によって、ワンセグ画像が選択され、表示部１１２によってワンセグ画像が表示される（ステップＳ３０６）。

他方、ステップＳ３０３の判定の結果、１２セグ映像と、ワンセグ映像とが同一のコンテンツである場合（ステップＳ３０３：Ｙｅｓ）、更に、コンテンツ判定部１０９によって、１２セグ映像の受信状況が良好でない期間にシーンが大きく変わったか否かが判定される、即ち、画像データベースを生成する際に用いた１２セグ映像、所謂、学習映像のシーンと高画質化対象のワンセグ映像のシーンとの変化の度合いが閾値より小さいか否かが判定される（ステップＳ３０４）。ここに、本実施形態に係るシーンとは、映像が表示する場面を意味する。

このステップＳ３０４の判定の結果、画像データベースを生成する際に用いた１２セグ映像のシーンと高画質化対象のワンセグ映像のシーンとの変化の度合いが閾値より小さく、言い換えると、閾値を超えることなく、類似であると判定される場合（ステップＳ３０４：Ｙｅｓ）、スイッチ部１１１によって、ワンセグ映像を高画質化した高画質化映像が選択され、表示部１１２によって、この高画質化映像が表示される（ステップＳ３０５）。

他方、このステップＳ３０４の判定の結果、画像データベースを生成する際に用いた１２セグ映像のシーンと高画質化対象のワンセグ映像のシーンとの変化の度合いが閾値を超え、類似でないと判定される場合（ステップＳ３０４：Ｎｏ）、スイッチ部１１１によって、ワンセグ映像が選択され、表示部１１２によって、このワンセグ映像が表示される（ステップＳ３０６）。

このように、コンテンツ判定部１０９によって、１２セグ映像の受信状況が良好でない期間にシーンが大きく変わったか否かを判定することにより、１２セグ映像の受信状況が良好でない期間と、ワンセグ映像のシーンが大きく変化した期間とが重なった場合においても、高画質化の精度が低下した高画質化映像が表示されることなく、ワンセグ映像が表示される。何故ならば、１２セグ映像の受信状況が良好でない期間と、ワンセグ映像のシーンが大きく変化した期間とが重なった場合、画像データベースを生成する際に用いた１２セグ画像と、高画質化の対象となるワンセグ画像とで画像の特徴が顕著に異なり、高画質化の精度が低下してしまう可能性があるからである。

以上の結果、１２セグ映像の受信状況が良好でない期間にシーンが大きく変わったか否かを判定することにより、１２セグ映像の受信状況が良好でない期間と、ワンセグ映像のシーンが大きく変化した期間とが重なった場合においても、ユーザに、より適切な映像を視聴させることが可能である。

より具体的には、画像データベースを生成する際に用いた１２セグ映像のシーンと高画質化対象のワンセグ映像のシーンとの変化の度合いの判定には、シーンチェンジの検出処理を行い、シーンチェンジが発生した場合、この変化の度合いは閾値を超えており、画像データベースを生成する際に用いた１２セグ映像のシーンと高画質化対象のワンセグ映像のシーンとは類似でないと判断してよい。或いは、画像データベースを生成する際に用いた１２セグ映像の画像と、高画質化対象のワンセグ映像の画像とにおける、周波数成分のヒストグラム等の画像の特徴を示す情報に基づいて、画像データベースを生成する際に用いた１２セグ映像のシーンと高画質化対象のワンセグ映像のシーンとの類似度を判定してよい。或いは、ハイビジョン放送の１２セグ映像が受信できなかった時間が長くなるに従って、画像データベースを生成する際に用いた１２セグ映像のシーンと高画質化対象のワンセグ映像のシーンとの類似度は低下していると判定し、所定時間以上、ハイビジョン放送の１２セグ映像が受信できなかった場合、ワンセグ画像を自動的に選択し、表示するようにしてよい。

尚、表示部１１２における表示解像度と、１２セグ映像、ワンセグ映像、又は高画質化映像における解像度が異なる場合、１２セグ映像、ワンセグ映像、又は高画質化映像における解像度を、表示解像度に変換する処理を行うことにより、ユーザにより高画質な映像を視聴させることができるので、実践上、好ましい。

＜第１実施形態における作用と効果の第１の検討＞
仮に、ハイビジョン放送の放送信号の受信率に基づいて、ユーザに表示すべき映像を、１２セグ映像からワンセグ映像へと切り替える場合、画質の高い映像をユーザに視聴させることができないという技術的な問題点が生じる。

これに対して、第１実施形態によれば、上述したスイッチ部１１１によって、受信されたハイビジョン放送の放送信号の受信率に基づいて、表示すべき映像が、１２セグ映像から、ワンセグ映像を高画質化した高画質化映像へと切り替えられる。これにより、ワンセグ映像と比較して、画質のより高い映像をユーザに視聴させることが可能である。典型的には、ワンセグ映像と比較して、１２セグ映像の解像度により近い解像度を有する映像をユーザに視聴させることが可能である。

＜第１実施形態における作用と効果の第２の検討＞
次に、図８を参照して、第１実施形態に係る放送信号受信装置の作用と効果とについて更に検討する。ここに、図８は、第１実施形態に係る放送信号受信装置によって、高画質化される様子を示した概念図である。尚、図８中は、１２セグ映像データ、即ち、１２セグ画像と、ワンセグ映像データ、即ち、ワンセグ画像とが時間的に同期して伝送されると共に、これら同期して伝送される２つの１２セグ画像とワンセグ画像との組から画像データベースが生成される様子を示している。

第１実施形態によれば、上述した画像ＤＢ生成部１０７によって、ハイビジョン放送の受信状況又は受信率が良好である場合には、常にハイビジョン放送の１２セグ映像データ、及び、このハイビジョン放送の放送信号に同期したワンセグ映像に含まれるワンセグ映像データから画像データベースが生成される。これにより、ハイビジョン放送の放送信号の受信率が低下して、ハイビジョン放送の受信状態が不安定となり、１２セグ映像の画像をユーザに視聴させることが困難となった場合（図８中のＢ１を参照）でも、高画質化部１１０によって、ハイビジョン放送の放送信号の受信率が低下する時点の直前に生成された画像データベース（図８中のＡ１を参照）によって、ワンセグ映像を高画質化した高画質化映像を生成可能である。典型的には、動画の映像は、隣り合う２つのフレーム（或いは２つのフィールド）に夫々含まれる２つの画像は類似している度合いが高い。これにより、ハイビジョン放送の放送信号の受信率が低下した時点の画像と類似の画像で生成された画像データベースによって高画質化映像が生成されるため、精度の高い高画質化が可能である。

このように、ハイビジョン放送の放送信号の受信率に基づいて、ユーザに表示すべき映像を、１２セグ映像、ワンセグ映像、及びワンセグ映像を高画質化した高画質化映像のうちいずれか一の映像を選択し表示させることにより、ハイビジョン放送の放送信号の受信率の変化の影響をより低減させつつ、より画質の高い映像をユーザに視聴させることが可能である。

＜第２実施形態＞
（全体構成）
次に、図９を参照して、本発明の第２実施形態について説明する。図９は、第２実施形態に係る放送信号処理装置の全体構成を示すブロック図である。

尚、第２実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第２実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図９に示されるように、第２実施形態に係る放送信号処理装置２００は、アンテナ１０１、チューナー部１０２、復調部１０３、１２セグメントデコーダ部１０４、１セグメントデコーダ部１０５、フレームレート変換部２０１、フレーム位置制御部１０６ａ、画像ＤＢ生成部１０７、１２セグメント放送受信状況判断部１０８、コンテンツ判定部１０９、高画質化部１１０、スイッチ部１１１、及び表示部１１２を備えて構成されている。

フレームレート変換部２０１は、ワンセグ放送の放送信号のデコード処理後にフレームレート変換を行い、ワンセグ放送のフレームレートを１５フレーム毎秒から６０フレーム毎秒に拡張する。典型的には、このフレームレート変換は、隣り合う２つのフレームの動きベクトルから、内挿するフレーム数に応じて動きベクトルを分割し、分割した動きベクトル分を移動させて新たなフレームを生成するフレーム内挿方式に基づいて、行われてよい。尚、このフレームレート変換部２０１によって、本発明に係るフレームレート変換手段の一例が構成されている。また、フレーム位置制御部１０６ａは、ハイビジョン放送の１２セグ映像と、ワンセグ放送のワンセグ映像との遅延時間を検出し、遅延時間を画像処理に反映させる各種の制御を行う。

上述したように、地上デジタル放送におけるハイビジョン放送のフレームレートは60フィールド毎秒であるのに対して、ワンセグ放送のフレームレートは最大15フレーム毎秒であるため、異なるフレームレート間で同一のシーンが検出される。

仮に、ワンセグ放送のフレームレートに合わせて、画像データベースの生成又は更新を行った場合、ワンセグ画像が得られたときに画像データベースの生成又は更新が行なわれるので、１秒当たり最大で１５回行われる。

これに対して、第２実施形態によれば、フレームレート変換部２０１によって、ワンセグ放送の放送信号のデコード処理後にフレームレート変換が行われ、ワンセグ放送のフレームレートが１５フレーム毎秒から６０フレーム毎秒に拡張される。これにより、ワンセグ放送のフレームレートと、ハイビジョン放送のフレームレートとが一致するため、1秒間に６０回だけ画像データベースの更新を行うことが可能である。

このように第２実施形態によれば、１秒当たり６０回だけ画像データベースの更新を行うことができる。これにより、ハイビジョン放送の放送信号の受信率が低下する時点での１２セグ映像により類似した１２セグ映像の画像によって生成した画像データベースを用いて、高画質化部１１０によってワンセグ画像を高画質化できるため、高画質化の精度をより向上させることが可能である。

＜第３実施形態＞
次に、本発明の第３実施形態に係る放送信号処理装置について説明する。尚、第３実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様であるので説明を省略する。

第３実施形態に係る放送信号処理装置は、ハイビジョン放送の一画像を構成する１２セグ映像データの全部分のうち受信が成功した１２セグ映像データの部分と、受信が成功していない１２セグ映像データの部分が混在している場合、受信が成功した１２セグ映像データの部分と、ワンセグ映像に高画質化処理を施した高画質化映像データとを組み合わせ、この組み合わせた映像を、ユーザに表示する。

具体的には、第３実施形態に係る１２セグメント放送受信状況判断部１０８は、一画像内の部分領域毎に、ハイビジョン放送の受信状況の判断を行う。第３実施形態に係るスイッチ部１１１は、一画像内の受信が成功した１２セグ映像データに対応する部分については、この受信が成功した１２セグ映像データを用いる。加えて、第３実施形態に係るスイッチ部１１１は、一画像内の受信が成功していない１２セグ映像データに対応する部分については、ワンセグ映像に高画質化処理を施した高画質化映像データを用いる。

このように、第３実施形態は、一画像内の部分領域毎に、１２セグ映像データと高画質化映像データとを組み合わせて、ユーザに表示させる。これにより、高解像度の画像である１２セグ映像データを、より効率的に利用した映像を、ユーザに表示することができる。この結果、第３実施形態によれば、高解像度の画像である１２セグ映像データをより効率的に利用することができるので、ユーザに、より精細な高画質化映像を表示することができる。

＜第４実施形態＞
（全体構成）
次に、図１０を参照して、本発明の第４実施形態について説明する。図１０は、第４実施形態に係る放送信号処理装置の全体構成を示すブロック図である。尚、第４実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第４実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１０に示されるように、第４実施形態に係る放送信号処理装置４００は、アンテナ１０１、チューナー部１０２、復調部１０３、１２セグメントデコーダ部１０４、１セグメントデコーダ部１０５ａ、フレーム位置制御部１０６、画像ＤＢ生成部１０７、１２セグメント放送受信状況判断部１０８、１２セグ画像保持部４０１、コンテンツ判定部１０９、高画質化部１１０、画像合成部４０２、スイッチ部１１１、及び表示部１１２を備えて構成されている。

１２セグ画像保持部４０１は、受信が完了した１２セグ映像データが形成する画像を、例えば画像１枚に相当するデータ量だけ保持する。

画像合成部４０２は、１２セグ映像データが形成する画像と、ワンセグ映像に高画質化処理を施した高画質化映像データが形成する画像とを合成する
１セグメントデコーダ部１０５ａは、ワンセグ放送のデコード処理後のワンセグ映像データに含まれる動きベクトルに関する情報を、高画質化部１１０及び画像合成部４０２に出力している。

特に、第４実施形態に係る高画質化部１１０は、ワンセグ画像を高画質化する際に、動きベクトルに関する情報に基づいて、ワンセグ画像の一画像のうち動きがある部分に対して高画質化処理を施し、ワンセグ画像の一画像のうち動きがない部分に対して高画質化処理を施さない。動きがない部分に対しては、１２セグ画像保持部４０１に保持された１２セグ映像データが形成する画像をそのまま用いる。即ち、上述した画像合成部４０２は、一画像のうち動きがある部分の高画質化映像と、一画像のうち動きがない部分の１２セグ映像とを合成する。これにより、ユーザに、画質のより高い高解像度の画像を表示することが可能である。

この結果、第４実施形態によれば、ワンセグ画像の一画像のうち動きがある部分に対して高画質化処理を施し、ワンセグ画像の一画像のうち動きがない部分に対して高画質化処理を施さないので、低解像度画像であるワンセグ画像の全体に対して高画質化処理を施す場合と比較して、画像処理の対象となる処理量を低減できるので、実践上、大変好ましい。

＜第５実施形態＞
（全体構成）
次に、図１１を参照して、本発明の第５実施形態について説明する。図１１は、第５実施形態に係る放送信号処理装置の全体構成を示すブロック図である。

尚、第５実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第５実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１１に示されるように、第５実施形態に係る放送信号処理装置５００は、アンテナ１０１、チューナー部１０２、復調部１０３、１２セグメントデコーダ部１０４、デインターレース処理部５０１、１セグメントデコーダ部１０５、フレーム位置制御部１０６、画像ＤＢ生成部１０７、１２セグメント放送受信状況判断部１０８、コンテンツ判定部１０９、高画質化部１１０、スイッチ部１１１、及び表示部１１２を備えて構成されている。

ワンセグ放送のワンセグ映像は、プログレッシブ方式であるのに対して、ハイビジョン放送の１２セグ映像は、インタレース方式である。

特に、第５実施形態に係るデインターレース処理部５０１は、１２セグメントデコーダ部１０４によるデコード処理後の１２セグ映像データに対してデインタレース処理を行い、１２セグ映像をプログレッシブ画像に変換し、フレーム位置制御部１０６に出力する。

これにより、１２セグ映像に含まれる１２セグ画像のフレームと、この１２セグ画像に同期したワンセグ画像のフレームとの組から画像データベースを生成することが可能である。これにより、第５実施形態によれば、画像データベースを生成する際の構成単位が１２セグ画像とワンセグ画像とにおいて共通であるので、言い換えると、映像の情報量（即ち、ビットレート）を同じにさせるので、高画質化処理の精度をより高めることができるので、実践上、大変好ましい。

＜第６実施形態＞
次に、本発明の第６実施形態に係る放送信号処理装置について説明する。尚、第６実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様であるので説明を省略する。

上述したように高画質化部１１０は、画像データベースを用いて、ワンセグ画像を高解像度化することにより、ワンセグ映像に高画質化処理を施し高画質化映像としてスイッチ部１１１に出力する。特に、第６実施形態に係る高画質化部１１０は、この画像データベースを、画像ＤＢ生成部１０７から取得することに加えて又は代えて、例えばインターネットやケーブル回線等の有線通信網からのダウンロードによって取得してよい。或いは、第６実施形態に係る高画質化部１１０は、この画像データベースを、画像ＤＢ生成部１０７から取得することに加えて又は代えて、例えばＤＶＤやＢＤ等の可搬性の記録媒体に記録された画像データベースを複製し、メモリ等の記憶装置に格納することによって取得してよい。

典型的には、スポーツやアニメといったコンテンツのジャンルや種類に夫々対応した画像処理上の特徴に応じて、より適切な画像データベースを予め取得し、高画質化処理の対象となるワンセグ画像のジャンルや種類に応じて、予め取得された画像データベースのうち最適な画像データベースを選択する。

この結果、第６実施形態によれば、ワンセグ画像に対応した画像データベースを予め取得できるので、サイマル放送していない場合においても、ワンセグ画像に対して高画質化処理を、精度をより高めつつ施すことができるので、実践上、大変好ましい。

本発明は、エラー耐性が異なる系でサイマルコンテンツを受信するようなシステムに対して好適に適用することができる。具体的には、同一コンテンツを放送しているデジタル放送の受信機に適用することができる。例えば、ISDB-T（Integrated Services Digital Broadcasting for Terrestrial）方式又はISDB-S（Integrated Services Digital Broadcasting for Satellite）方式のデジタル受信機に適用することができる。また、地デジなどのデジタル放送と同一コンテンツのＩＰ（Internet Protocol）放送を受信する受信機にも適用することができる。

尚、上記では、高解像映像データの例として１２セグ映像データを示し、低解像映像データの例としてワンセグ映像データを示したが、高解像映像データ及び低解像映像データは、これらに限定されない。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う放送信号処理装置、放送信号処理方法、放送信号処理プログラム、及び、記憶媒体もまた本発明の技術的範囲に含まれるものである。

本発明は、地上デジタル放送受信機能を備えた、カーナビゲーション、携帯電話、HDDレコーダ、DVDレコーダ、BDレコーダ、液晶TV、PDP、有機EL、ケーブルデジタル放送受信端末、衛星デジタル放送受信端末、IP放送受信端末等に利用可能である。

加えて、本発明は、例えば静止画及び動画編集ソフトウェア、静止画及び動画再生ソフトウェアなどの、放送信号処理方法、放送信号処理プログラム、及び、当該放送信号処理プログラムが記録される記憶媒体に利用可能である。

１００、２００、４００、５００…放送信号処理装置、１０１…アンテナ、１０２…チューナー部、１０３…復調部、１０４…１２セグメントデコーダ部、１０５、１０５ａ…１セグメントデコーダ部、１０６、１０６ａ…フレーム位置制御部、１０７…画像ＤＢ生成部、１０８…１２セグメント放送受信状況判断部、１０９…コンテンツ判定部、１１０…高画質化部、１１１…スイッチ部、１１２…表示部、２０１…フレームレート変換部、４０１…１２セグ画像保持部、４０２…画像合成部、５０１…デインターレース処理部。

Claims (11)

1. コンテンツを放送する高解像映像データを含む第１放送信号、及び、前記コンテンツと同一のコンテンツを異なる放送形式で放送する低解像映像データを含む第２放送信号を受信可能な受信手段と、
   前記受信された第１放送信号に含まれる高解像映像データ、及び、前記受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースを生成する第１生成手段と、
   前記生成された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する第２生成手段と、
   （i）前記受信された第１放送信号の受信率、（ii）前記コンテンツの状況、及び（iii）前記画像データベースの生成の際に用いた前記高解像映像データと高画質化の対象となる前記低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、前記高解像映像データが形成する映像、前記低解像映像データが形成する映像、及び前記生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え手段と
   を備えることを特徴とする放送信号処理装置。
2. 前記切り替え手段は、前記受信された第１放送信号の受信率が閾値未満である場合、表示すべき映像を前記高解像映像データが形成する映像から前記高画質化映像データが形成する映像へ切り替え、前記受信された第１放送信号の受信率が閾値以上である場合、表示すべき映像を前記高解像映像データが形成する映像にすることを特徴とする請求項１に記載の放送信号処理装置。
3. 前記生成された高画質化映像データが形成する映像の特徴と、前記画像データベースを生成する際に用いた高解像映像データが形成する映像の特徴とが異なるか否かを判定する判定手段を更に備え、
   前記切り替え手段は、前記生成された高画質化映像データが形成する映像の特徴と、前記画像データベースを生成する際に用いた高解像映像データが形成する映像の特徴とが異なると判定される場合、表示すべき映像を前記高解像映像データが形成する映像から前記低解像映像データが形成する映像へ切り替えることを特徴とする請求項１又は２に記載の放送信号処理装置。
4. 前記第１放送信号の第１フレームレート及び前記第２放送信号の第２フレームレートのうちいずれか小さい方のフレームレートを、いずれか大きい方のフレームレートに変換するフレームレート変換手段を更に備え、
   前記第１生成手段は、前記いずれか大きい方のフレームレートに変換され、同じフレームレートになった高解像映像データ及び低解像映像データから前記画像データベースを生成することを特徴とする請求項１から３のうちいずれか一項に記載の放送信号処理装置。
5. 前記切り替え手段は、前記受信された第１放送信号の受信率が閾値未満である場合、表示すべき映像を前記高解像映像データが形成する映像から、前記高解像映像データが形成する映像の一部と前記生成された高画質化映像データが形成する映像の一部とを組み合せた映像へ切り替えることを特徴とする請求項１から４のうちいずれか一項に記載の放送信号処理装置。
6. 前記第２生成手段は、前記生成された画像データベースによって、前記低解像映像データにおいて動きの生じた箇所のみを高画質化した他の高画質化映像データを生成し、
   前記受信された第１放送信号に含まれる高解像映像データを記憶する記憶手段と、
   前記記憶された高解像映像データが形成する映像と前記生成された他の高画質化映像データとを合成した合成映像データを生成する第３生成手段と
   を更に備え、
   前記切り替え手段は、前記受信された第１放送信号の受信率に基づいて、表示すべき映像を前記高解像映像データが形成する映像から前記生成された合成映像データが形成する映像へ切り替えることを特徴とする請求項１から５のうちいずれか一項に記載の放送信号処理装置。
7. 前記高解像映像データの第１走査方式及び前記低解像映像データの第２走査方式のうちいずれか一方の走査方式を、いずれか他方の走査方式に変換する走査方式変換手段を更に備え、
   前記第１生成手段は、前記いずれか他方の走査方式に変換され同じ走査方式になった高解像映像データ及び低解像映像データから前記画像データベースを生成することを特徴とする請求項１から６のうちいずれか一項に記載の放送信号処理装置。
8. 前記画像データベースを取得可能な取得手段を更に備え、
   前記第２生成手段は、前記取得された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成することを特徴とする請求項１から７のうちいずれか一項に記載の放送信号処理装置。
9. コンテンツを放送する高解像映像データを含む第１放送信号、及び、前記コンテンツと同一のコンテンツを異なる放送形式で放送する低解像映像データを含む第２放送信号を受信可能な受信工程と、
   前記受信された第１放送信号に含まれる高解像映像データ、及び、前記受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースを生成する第１生成工程と、
   前記生成された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する第２生成工程と、
   （i）前記受信された第１放送信号の受信率、（ii）前記コンテンツの状況、及び（iii）前記画像データベースの生成の際に用いた前記高解像映像データと高画質化の対象となる前記低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、前記高解像映像データが形成する映像、前記低解像映像データが形成する映像、及び前記生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え工程と
   を備えることを特徴とする放送信号処理方法。
10. コンピュータを備える装置によって実行される放送信号処理プログラムであって、
    コンテンツを放送する高解像映像データを含む第１放送信号、及び、前記コンテンツと同一のコンテンツを異なる放送形式で放送する低解像映像データを含む第２放送信号を受信可能な受信手段と、
    前記受信された第１放送信号に含まれる高解像映像データ、及び、前記受信された第１放送信号に同期した第２放送信号に含まれる低解像映像データから画像データベースを生成する第１生成手段と、
    前記生成された画像データベースによって前記低解像映像データを高画質化した高画質化映像データを生成する第２生成手段と、
    （i）前記受信された第１放送信号の受信率、（ii）前記コンテンツの状況、及び（iii）前記画像データベースの生成の際に用いた前記高解像映像データと高画質化の対象となる前記低解像映像データとの類似度のうちの少なくとも１つに基づいて、表示すべき映像を、前記高解像映像データが形成する映像、前記低解像映像データが形成する映像、及び前記生成された高画質化映像データが形成する映像のうちいずれか一つを選択する切り替え手段と
    として前記コンピュータを機能させることを特徴とする放送信号処理プログラム。
11. 請求項１０に記載の放送信号処理プログラムを記憶したことを特徴とする記憶媒体。

Images