JP2006339737A - デジタル放送受信機 - Google Patents

Abstract

【課題】デジタル放送において、デジタル映像のアスペクト情報が放送局によって常に入力されているとは限らず、また、サイドパネル部分も無信号であるとは限らないため、受信装置においてはアスペクト比変換された画像であるか否かを判別することが困難であった。
【解決手段】複数種類のアスペクト比の映像を扱う放送信号を受信可能なデジタル放送受信機であって、映像デコーダによりデコードされた映像信号が格納された映像信号が、本来の映像のアスペクト比と異なるアスペクト比で送出するために付加的な画像が追加された映像であるか否かを判別する判別手段を備え、判別手段により、映像デコーダによりデコードする際に、映像信号中の特定領域の静止画像を検出することにより放送信号の付加的な画像の有無を判別することを特徴とするデジタル放送受信機である。
【選択図】図１

Description

本発明は、デジタル放送受信機に関するものである。

現在、放送方式のデジタル化により、従来のアナログ方式と比較して多数の番組を受信することが可能になり、また、視聴者としては、同時にたくさんの情報を入手したいため、複数の番組を同時に視聴したいという要望が多くなっている。そのため、放送受信機において、複数の番組を同時に視聴することが行われている。このような要望を満たすための従来の放送受信機の一般的な構成を図３２に示す。図３２は、２チャネルのデジタル放送受信機能を持つデジタル放送受信機の構成を示すブロック図である。

図３２において、１０はアンテナ、１０１，１０２は同調・復調を行うフロントエンド、２０１、２０２は映像や音声を分離するトランスポートデコーダ、３０１，３０２は映像の復号を行う映像デコーダ、４００はフレームメモリ、５０１、５０２は映像デコーダにより復号され、フレームメモリ４００に格納された映像信号の拡大縮小を行う拡大縮小処理部、６００は複数の経路により処理された映像信号の合成処理を行う多画面合成部、７００はテレビ画面に表示を行うための表示処理を行う映像表示部である。また、９００は上述した拡大縮小処理部５０１、５０２及び多画面合成部６００を制御する制御部、５０は外部から所定のリモコン信号を入力するためのリモコン、６０はリモコン信号の受信部である。なお、一般的にデジタル放送受信機においては音声の処理も行われるが、本発明とは無関係のため音声処理部の記載は省略する。

以上のように構成された図３２の従来のデジタル放送受信機について、以下その動作を説明する。アンテナ１０で受信された放送信号は、フロントエンド１０１に入力される。フロントエンド１０１は目的の放送周波数に同調し、放送方式に対応した復調方式で復調を行う。フロントエンド１０１から出力されたデータは、一般的にＭＰＥＧ２−ＴＳ形式となっておりトランスポートデコーダ２０１に入力される。トランスポートデコーダ２０１では、ＭＰＥＧ２−ＴＳから目的の番組のプログラム識別子（ＰＩＤ）にしたがって、映像ストリームが抽出され、出力される。トランスポートデコーダ２０１から出力された映像ストリームは、映像デコーダ３０１に入力され、映像データとしてデコードされ、フレームメモリ４００に格納される。フロントエンド１０２、トランスポートデコーダ２０２、映像デコーダ３０２についても同様の処理が行われる。

デコードされ、フレームメモリ４００に格納された映像は、拡大縮小処理部５０１，５０２において表示サイズに拡大、または縮小され、多画面処理部６００で１つの映像として合成され、映像表示部７００に表示される。また、前記の各部は制御部９００からの指示によって動作する。

ここで、デジタル放送において、アスペクト比が４：３の元映像を１６：９で送出する場合やアスペクト比が１６：９の元映像を４：３で送出する場合、放送局側は図３３のように両側（いわゆるサイドパネル方式又はピラーボックス方式）あるいは上下（いわゆるレターボックス方式）に無信号を付加して送信する。このような映像に対して、放送局側でｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎにパラメータを指定することがＡＲＩＢ ＴＲ−Ｂ１５に規定されている。

図３４は、このようなパラメータを処理するための映像デコーダ３０１の内部の構成を示した図である。図３４は、ＭＰＥＧ２形式で符号化されたストリームを復号化する映像デコーダの一実施形態である。図３４において、３１０はパケットのヘッダ部分を解析するヘッダ解析部、３２０は可変長復号部（以下ＶＬＤ）、３３０は逆量子化処理部（以下ＩＱ）、３４０は逆離散コサイン変換部（以下ＩＤＣＴ）、３５０は動き補償処理部（以下ＭＣ）、３６０はフレームメモリ、３７０はデコード制御部、３８０はサイドパネル検出部である。

映像デコーダ３０１にＭＰＥＧ２ストリームが入力されると、ヘッダ解析部３１０は、シーケンス、ピクチャ、スライス、マクロブロック、ブロックの各層のヘッダ情報を抽出し、それらをデコード制御部３７０に伝える。

一方、符号化データはＶＬＤ３２０で復号された後、ＩＱ３３０で係数処理、ＩＤＣＴ３４０で空間情報に変換される。ピクチャタイプがＩピクチャの場合にはそのままフレームメモリ３６０に書き込まれる。また、ピクチャタイプがＰピクチャまたはＢピクチャの場合にはフレームメモリ内の参照画像が読み出されてＭＣ３５０において動き補償処理が行われ、結果がフレームメモリ３６０に書き込まれる。

このとき、ヘッダ解析部３１０で抽出されたヘッダ情報のうち、上述したｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ、およびｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのパラメータがサイドパネル検出部３８０に入力される。サイドパネル検出部３８０は、ＡＲＩＢ ＳＴＤ−Ｂ２１の規定通りに、これらのパラメータを解釈し、サイドパネル情報として制御部９００に伝える。

制御部９００は、伝えられたサイドパネル情報およびユーザーがリモコン５０、リモコン受信部６０を経由して指示した画面の表示方法にしたがって、適切な映像の切り出し位置および拡大縮小率を算出し、拡大縮小処理部５０１、５０２に伝える。また、適切な表示位置を算出し、多画面処理部に伝える。

以上のように、放送信号の中にあらかじめ、サイドパネルあるいはレターボックスの情報が埋め込まれていた場合には、デコードされた映像を適切に切り出して表示することが可能である。
特開２００２−７７７６７号公報

しかしながら、サイドパネル方式あるいはレターボックス方式の場合に、ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ、およびｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎの情報の埋め込みは義務化されているわけではないので、全ての番組で前記情報が埋め込まれているわけではない。この場合、従来のデジタル放送受信機では、受信した映像データがアスペクト比が４：３と１６：９との間で、本来の映像のアスペクト比と異なるアスペクト比で送出するために付加的な画像が追加された映像であるか否かが不明であるため、画面の一部を切り出すことなく表示することになるため、サイドパネルあるいはレターボックス付きの放送の場合、無信号期間などの付加的な情報も表示してしまうため、実際の映像部分が小さく表示されてしまうという問題があった。

また、アナログ映像に対して無信号部分を検出する回路を持つ先行技術があるが、これをデジタル映像に対して適用したとしても、サイドパネル部分は無信号とは限らず、むしろ表示デバイスの焼き付きの保護の観点から模様等が入っている場合が多いので、検出できないという問題があった。

本発明は、複数種類のアスペクト比の映像を扱う放送信号を受信可能なデジタル放送受信機であって、放送信号を受信する受信手段と、受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、映像デコーダによりデコードされた映像信号を格納するフレームメモリと、フレームメモリに格納される映像信号が本来の映像のアスペクト比と異なるアスペクト比で送出するために付加的な画像が追加された映像であるか否かを判別する判別手段と、フレームメモリに格納された映像信号を出力する出力手段とを備え、判別手段により、映像デコーダによりデコードする際に、映像信号中の特定領域の静止画像を検出することにより放送信号の付加的な画像の有無を判別し、放送信号の付加的な画像がある場合には、出力手段により、放送信号に含まれる画像領域外の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機である。これにより、放送信号中に付加的な画像が追加されたことによりアスペクト比変換がなされた画像であることを示すパラメータが付加されていない場合であっても、適切にサイドパネル方式による放送信号であることが検出可能になり、画像表示する際に、無駄な画像部分を表示することによる画面の利用効率が低下することを防止することが可能になるものである。

また、本発明は、画像領域と特定領域の符号量の差を検出することにより、特定領域が静止画像により構成されているサイドパネル方式の放送信号であることを検出するデジタル放送受信機である。本発明は、この構成により、データの差分量のみを検出することにより、サイドパネル方式の放送信号であるか否かを検出することが可能になり、さらに、マクロブロック単位で処理することが可能になるため、最小限の演算量でサイドパネル方式の放送信号であることを検出することが可能になるものである。

また、本発明は、スキップマクロブロックの有無を検出することにより、サイドパネル方式の放送信号であることを検出するデジタル放送受信機である。本発明は、この構成により、静止画を確実に検出することが可能になるものである。

また、本発明は、画像領域外の量子化スケールを検出することにより、画像領域外が静止画像であることを判別することにより、サイドパネル方式の放送信号であることを検出するデジタル放送受信機である。本発明は、この構成により、最小限の演算量でサイドパネル方式の放送信号であることを検出することが可能になるものである。

また、本発明は、画像領域外のＤＣＴ係数を検出することにより、画像領域外が静止画像であることを判別することにより、サイドパネル方式の放送信号であることを検出するデジタル放送受信機である。本発明は、この構成により、精度の高い検出を行うことが可能になるものである。

また、本発明は、アスペクト比変換がなされた放送信号を受信可能なデジタル放送受信機であって、放送信号を受信する受信手段と、受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、映像デコーダによりデコードされた映像信号を格納するフレームメモリと、フレームメモリに格納される映像信号がアスペクト比変換されているか否かを判別する判別手段と、フレームメモリに格納された映像信号を出力する出力手段とを備え、判別手段により、放送信号に含まれる画像領域と画像領域外の境界領域の各ブロックのＤＣ成分の差分を算出して、放送信号のアスペクト比変換の有無を検出し、放送信号のアスペクト比変換がなされている場合には、出力手段により、放送信号に含まれる画像領域外の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機である。本発明は、この構成により、一般的に誤検出が起こりえる映像は少ないため、誤検出の可能性を低減することが可能になるものである。

また、本発明は、アスペクト比変換がなされた放送信号を受信可能なデジタル放送受信機であって、放送信号を受信する受信手段と、受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、映像デコーダによりデコードされた映像信号を格納するフレームメモリと、フレームメモリに格納される映像信号がアスペクト比変換されているか否かを判別する判別手段と、フレームメモリに格納された映像信号を出力する出力手段とを備え、判別手段により、放送信号に含まれる画像領域外の色調が所定のパターンであるか否かにより放送信号のアスペクト比変換の有無を検出し、放送信号のアスペクト比変換がなされている場合には、出力手段により、放送信号に含まれる画像領域外の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機である。本発明は、この構成により、画像領域外の色調パターンは限られているため、さらに、誤検出の可能性を低減することが可能になるものである。

放送信号中に付加的な画像が追加されたことによりアスペクト比変換がなされた画像であることを示すパラメータが付加されていない場合であっても、適切にサイドパネル方式による放送信号であることが検出可能になり、画像表示する際に、無駄な画像部分を表示することによる画面の利用効率が低下することを防止することが可能になるものである。

以下に本発明の実施の形態について、図面を参照しながら説明する。なお、ここで示す実施の形態はあくまでも一つの実施例であり、必ずしもこの実施の形態に限定されるものではない。

また、本実施の形態においては、放送局側においてアスペクト比変換器において、１６：９のアスペクト比の映像信号を４：３のアスペクト比の映像信号に変換した場合にレターボックス方式で出力される場合や４：３のアスペクト比の映像信号を１６：９のアスペクト比の映像信号に変換した場合にサイドパネル方式で出力される場合には、アスペクト比変換がなされる前の映像を「本来の映像」と定義し、アスペクト比変換がなされた映像信号中において、アスペクト比変換がなされる前の映像のみから構成され領域を「画像領域」と定義し、その画像領域に対して、アスペクト比変換を行うための付加的な画像が追加された領域を「特定領域」と定義する。

また、本実施の形態においては、アスペクト比変換がなされた映像信号としてサイドパネル方式の映像信号の例について説明するが、レターボックス形式についても同様の構成及び処理により実現することが可能になるものである。

（実施の形態１）
本実施の形態においては、本来の映像に付加された特定領域においては、一般的に中央の動画像部分からなる画像領域の視聴に影響を与えないよう、以下の特徴を持っている点に着目している。一点目は、特定領域が静止画像により構成されている点に着目した構成及び処理について、また、二点目は、特定領域が単一色またはグラデーションのついた帯、または色調が統一された派手でない模様により構成されている点に着目した構成及び処理について、また、三点目は、中央の映像との境界は垂直に区分けされる点に着目した構成及び処理について説明を行う。本発明は、これらの構成により、放送局から送信されるパラメータに依存することなく、映像自体の特徴に基づいて、サイドパネル方式の放送信号であるか否かを検出することが可能になるものである。

１．デコーダ部での特定領域の静止画像検出
（１−ａ） 符号量を利用した静止画像検出
以下、図１から図４を参照して、符号量により特定領域の静止画像を検出する方法について説明する。ＭＰＥＧ２規格に基づいた圧縮方式の場合、フレーム間予測符号化により時間軸方向の圧縮が行われるため、静止画の場合フレーム間の差分はほとんどなく、符号量は小さく抑えられる。これを利用して静止画かどうか判別し、サイドパネル付き映像の検出を行う。以下詳細に説明する。

本実施の形態１における、映像デコーダは、パケットのヘッダ部分を解析するヘッダ解析部３１０、可変長復号部（以下ＶＬＤ）３２０、逆量子化処理部（以下ＩＱ）３３０、逆離散コサイン変換部（以下ＩＤＣＴ）３４０、動き補償処理部（以下ＭＣ）３５０、フレームメモリ３６０、デコード制御部３７０、サイドパネル検出部３８０ａにより構成されている。映像デコーダ３０１にＭＰＥＧ２ストリームが入力されると、ヘッダ解析部３１０は、シーケンス、ピクチャ、スライス、マクロブロック、ブロックの各層のヘッダ情報を抽出し、それらをデコード制御部３７０に伝える。ここで、サイドパネル検出部３８０ａは、ヘッダ解析部３１０の出力及びＶＬＤ３２０の出力をもとにサイドパネルの検出を行う。

一方、符号化データはＶＬＤ３２０で復号された後、ＩＱ３３０で係数処理、ＩＤＣＴ３４０で空間情報に変換される。ピクチャタイプがＩピクチャの場合にはそのままフレームメモリ３６０に書き込まれる。また、ピクチャタイプがＰピクチャまたはＢピクチャの場合にはフレームメモリ内の参照画像が読み出されてＭＣ３５０において動き補償処理が行われ、結果がフレームメモリ３６０に書き込まれる。

図２は、図１に示すデジタル放送受信機のサイドパネル検出部３８０ａにおけるサイドパネル検出処理を説明するためのフローチャートである。図２に示すように、まず、ステップＳ１００において、符号量の総和を格納する変数ＮａおよびＮｂを０に初期化する。次にステップＳ１０１において、映像ストリーム中のピクチャヘッダを取得するため、ｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅを見つけるまでストリームを検索する。次にステップＳ１０２において、取得したピクチャヘッダに含まれるｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅが２または３、すなわちＰピクチャまたはＢピクチャであればステップＳ１０３のスライス層処理を行い、それ以外、すなわちＩピクチャの場合には処理を終了する。

ステップＳ１０３のスライス層処理について、図３を参照して説明する。スライス層処理Ｓ１０３においては、まずステップＳ１０３０においてマクロブロックの水平方向の座標を示す変数Ｘを−１に初期化する。次にステップＳ１０３１において変数Ｘに前マクロブロックからの水平方向の差分量を示すｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔを加え、変数Ｘが現マクロブロックの水平座標を示すようにする。次にステップＳ１０３２において、現マクロブロックの水平位置が特定領域（図４の領域ａをいう。以下サイドパネル部分とする）とそれ以外の画像領域（図４の領域ｂをいう。）のどちらに入るかを変数Ｘから判定する。サイドパネル方式の場合には予め所定の変数の値により特定領域と画像領域を判別することが可能となる。次に、領域ａに入っていればステップＳ１０３３ａに、領域ｂに入っていればステップＳ１０３３ｂに進む。ステップＳ１０３３ａにおいては、ブロック層の符号量を変数Ｎａに加算し、ステップＳ１０３３ｂにおいては、ブロック層の符号量を変数Ｎｂに加算する。次にステップＳ１０３４において、ストリーム中の次データがｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅであれば次のマクロブロックに対する処理を行うため、ステップＳ１０３１に戻り、そうでなければスライスの終了であるため、スライス層処理Ｓ１０３を終わる。

次にステップＳ１０４において次データがｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅかどうか調べ、一致すれば次のスライスに対する処理を行うためステップＳ１０３に戻り、そうでなければ処理を完了する。

この結果、変数Ｎａの値が大きく、変数Ｎｂの値も大きい場合は、映像全体が動画であるため、サイドパネルなしと判定する。また、変数Ｎａの値が大きく、変数Ｎｂの値が小さい場合は、領域ａが動画であるため、サイドパネルなしと判定する。一方、変数Ｎａの値が小さく、変数Ｎｂの値が大きい場合は、領域ａが静止画、領域ｂが動画であるため、サイドパネル付きと判定する。なお、変数Ｎａの値が小さく、変数Ｎｂの値も小さい場合は、映像全体が静止画であり、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

（１−ｂ） スキップマクロブロックを利用した静止画像検出
以下、図５から図６を参照して、符号量により特定領域の静止画像を検出する方法について説明する。Ｂ、Ｐピクチャでは、あるマクロブロックが参照画像と完全に一致する場合、スキップマクロブロックとして符号化が省略される場合がある。例えば、静止画の場合、時間軸では映像が変化しないため参照画像と一致することになり、スキップマクロブロックが使用される。本実施の形態においては、そのスキップマクロブロックを利用して静止画像を検出する。この構成により、本実施の形態においては、上述した符号良による静止画像の検出の場合と比較して、スキップマクロブロックの存在を検出するため、より高精度の検出を行うことが可能になるものである。なお、映像デコーダの構成については、上述した構成と同様の構成であるため、その説明を省略する。

図５は、図１に示すデジタル放送受信機のサイドパネル検出部３８０ａにおけるサイドパネル検出処理を説明するためのフローチャートである。図５に示すように、まず、ステップＳ１１０において、スキップマクロブロックの数の総和を格納する変数ＳａおよびＳｂを０に初期化する。次に、ステップＳ１１１において、映像ストリーム中のピクチャヘッダを取得するため、ｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅを見つけるまでストリームを検索する。次にステップＳ１１２において、取得したピクチャヘッダに含まれるｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅが２または３、すなわちＰピクチャまたはＢピクチャであればステップＳ１１３のスライス層処理を行い、それ以外、すなわちＩピクチャの場合には処理を終了する。

ここで、ステップＳ１１３のスライス層処理について図６を参照して詳細に説明する。スライス層処理Ｓ１１３においては、まずステップＳ１１３０において変数Ｘをｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔ−１の値を代入することにより初期化し、スライス先頭のマクロブロック水平位置を設定する。次にステップＳ１１３１において変数ＭＢＡＩに次のマクロブロックのｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔを代入する。

ここで、ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔは、次のマクロブロックの水平位置との差分量になるため、変数ＭＢＡＩが１より大きい場合には（ＭＢＡＩ−１）個のスキップマクロブロックが含まれることになる。次にステップＳ１１３２において、変数ＭＢＡＩを１と比較し、１より大きければスキップマクロブロックが含まれているので、ステップＳ１１３３ａに進み、そうでなければ（ＭＢＡＩ＝１の場合）、スキップマクロブロックは含まれていないので、次のマクロブロックの処理に進むため、ステップＳ１１３３ｂにおいて変数Ｘに１を加算して、ステップＳ１１３１に戻る。

次に、ステップＳ１１３３ａにおいて変数Ｘ０を０に初期化する。次にステップＳ１１３４において、スキップされる現マクロブロックの水平位置がサイドパネル部分（図４の領域ａ）とそれ以外の部分（図４の領域ｂ）のどちらに入るかを変数Ｘから判定する。領域ａに入っていればステップＳ１１３５ａに、領域ｂに入っていればステップＳ１１３５ｂに進む。ステップＳ１１３５ａにおいては、変数Ｓａに１を加算し、ステップＳ１１３５ｂにおいては、変数Ｓｂに１を加算する。次にステップＳ１１３６において、変数Ｘおよび変数Ｘ０にそれぞれ１を加算する。これにより、現マクロブロックの水平位置が１つ右に移動する。次にステップＳ１１３７において変数Ｘ０と変数ＭＢＡＩを比較し、変数Ｘ０が変数ＭＢＡＩよりも小さい場合には現マクロブロックもスキップマクロブロックであるので、ステップＳ１１３４に戻り、そうでなければ、ステップＳ１１３８に進む。

次にステップＳ１１３８において、ストリーム中の次データがｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅであれば次のマクロブロックに対する処理を行うため、ステップＳ１１３１に戻り、そうでなければスライスの終了であるため、スライス層処理Ｓ１１３を終わる。次にステップＳ１１４において次データがｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅかどうか調べ、一致すれば次のスライスに対する処理を行うためステップＳ１１３に戻り、そうでなければ処理を完了する。

この結果、変数Ｓａの値が小さく、変数Ｓｂの値も小さい場合は、映像全体が動画であるため、サイドパネルなしと判定する。また、変数Ｓａの値が小さく、変数Ｓｂの値が大きい場合は、領域ａが動画であるため、サイドパネルなしと判定する。一方、変数Ｓａの値が大きく、変数Ｓｂの値が小さい場合は、領域ａが静止画、領域ｂが動画であるため、サイドパネル付きと判定する。なお、変数Ｓａの値が大きく、変数Ｓｂの値も大きい場合は、映像全体が静止画であり、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

（１−ｃ） 量子化スケールを利用した静止画像検出
以下、図７から図８を参照して、量子化スケールを利用した静止画像の検出方法について説明する。量子化スケールを利用した方法では、静止画像の場合、映像フレーム間の差分がほとんどないことから、量子化スケールは小さい値になる。これを利用して静止画かどうか判別し、サイドパネル付き映像の検出を行う。この構成により、本願発明においては、量子化スケールの演算量が、マクロブロックに数個程度であるため、最小限の演算量でサイドパネル方式の放送信号であることを検出することが可能になるものである。以下詳細に説明する。なお、映像デコーダの構成については、上述した構成と同様の構成であるため、その説明を省略する。

図７は、図１に示すデジタル放送受信機のサイドパネル検出部３８０ａにおけるサイドパネル検出処理を説明するためのフローチャートである。図７に示すように、まず、ステップＳ１２０において、量子化スケール値の総和を格納する変数ＱＳＣａおよびＱＳＣｂを０に初期化する。次にステップＳ１２１において、映像ストリーム中のピクチャヘッダを取得するため、ｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅを見つけるまでストリームを検索する。次にステップＳ１２２において、取得したピクチャヘッダに含まれるｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅが２または３、すなわちＰピクチャまたはＢピクチャであればステップＳ１２３のスライス層処理を行い、それ以外、すなわちＩピクチャの場合には処理を終了する。

次に、図８を参照してスライス層処理Ｓ１２３について説明する。スライス層処理Ｓ１２３においては、まずステップＳ１２３０においてマクロブロックの水平方向の座標を示す変数Ｘを−１に初期化する。次にステップＳ１２３１において変数Ｘに前マクロブロックからの水平方向の差分量を示すｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔを加え、変数Ｘが現マクロブロックの水平座標を示すようにする。次にステップＳ１２３２において、現マクロブロックの水平位置がサイドパネル部分（図４の領域ａ）とそれ以外の部分（図４の領域ｂ）のどちらに入るかを変数Ｘから判定する。領域ａに入っていればステップＳ１２３３ａに、領域ｂに入っていればステップＳ１２３３ｂに進む。ステップＳ１２３３ａにおいては、現マクロブロックの量子化スケール値を変数ＱＳＣａに加算し、ステップＳ１２３３ｂにおいては、現マクロブロックの量子化スケール値を変数ＱＳＣｂに加算する。次にステップＳ１２３４において、ストリーム中の次データがｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅであれば次のマクロブロックに対する処理を行うため、ステップＳ１２３１に戻り、そうでなければスライスの終了であるため、スライス層処理Ｓ１２３を終わる。

次にステップＳ１２４において次データがｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅかどうか調べ、一致すれば次のスライスに対する処理を行うためステップＳ１２３に戻り、そうでなければ処理を完了する。

この結果、変数ＱＳＣａの値が大きく、変数ＱＳＣｂの値も大きい場合は、映像全体が動画であるため、サイドパネルなしと判定する。また、変数ＱＳＣａの値が大きく、変数ＱＳＣｂの値が小さい場合は、領域ａが動画であるため、サイドパネルなしと判定する。一方、変数ＱＳＣａの値が小さく、変数ＱＳＣｂの値が大きい場合は、領域ａが静止画、領域ｂが動画であるため、サイドパネル付きと判定する。なお、変数ＱＳＣａの値が小さく、変数ＱＳＣｂの値も小さい場合は、映像全体が静止画であり、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

（１−ｄ） ＤＣＴ係数レベルを利用した静止画像検出
以下、図９から図１０を参照して、ＤＣＴ係数レベルを利用した静止画像の検出方法について説明する。ＤＣＴ係数レベルを利用した検出方法は、静止画の場合、映像フレーム間の差分がほとんどないことから、ＤＣＴ係数は小さい値になる。これを利用して静止画かどうか判別し、サイドパネル付き映像の検出を行う。本発明においては、この構成により、各ブロックの差分を確認しているため、精度の高い検出を行うことが可能になるものである。以下詳細に説明する。なお、映像デコーダの構成については、上述した構成と同様の構成であるため、その説明を省略する。

図９は、図１に示すデジタル放送受信機のサイドパネル検出部３８０ａにおけるサイドパネル検出処理を説明するためのフローチャートである。図９に示すように、まず、ステップＳ１３０において、ＤＣＴ係数値の総和を格納する変数ＤＣＴａおよびＤＣＴｂを０に初期化する。次にステップＳ１３１において、映像ストリーム中のピクチャヘッダを取得するため、ｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅを見つけるまでストリームを検索する。次にステップＳ１３２において、取得したピクチャヘッダに含まれるｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅが２または３、すなわちＰピクチャまたはＢピクチャであればステップＳ１３３のスライス層処理を行い、それ以外、すなわちＩピクチャの場合には処理を終了する。

ここで、図１０を参照してスライス層処理Ｓ１３３について説明する。スライス層処理Ｓ１３３においては、まずステップＳ１３３０においてマクロブロックの水平方向の座標を示す変数Ｘを−１に初期化する。次にステップＳ１３３１において変数Ｘに前マクロブロックからの水平方向の差分量を示すｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔを加え、変数Ｘが現マクロブロックの水平座標を示すようにする。

次に、ステップＳ１３３２において、ＤＣＴ係数の総和を示す変数Ｃを０に初期化する。次に、ステップＳ１３３３において変数ＣにＤＣＴ係数を加算し、これをステップＳ１３３４でブロック内の全ＤＣＴ係数に対して処理を行うよう判定して、Ｓ１３３３を繰り返す。さらに、ステップＳ１３３５でマクロブロック内の全ブロックに対して処理を行うよう判定し、Ｓ１３３３およびＳ１３３４を繰り返す。

次に、ステップＳ１３３６において、現マクロブロックの水平位置がサイドパネル部分（図４の領域ａ）とそれ以外の部分（図４の領域ｂ）のどちらに入るかを変数Ｘから判定する。領域ａに入っていればステップＳ１３３７ａに、領域ｂに入っていればステップＳ１３３７ｂに進む。ステップＳ１３３７ａにおいては、現マクロブロックのＤＣＴ係数の総和である変数Ｃを変数ＤＣＴａに加算し、ステップＳ１３３７ｂにおいては、変数Ｃを変数ＤＣＴｂに加算する。次にステップＳ１３３８において、ストリーム中の次データがｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅであれば次のマクロブロックに対する処理を行うため、ステップＳ１３３１に戻り、そうでなければスライスの終了であるため、スライス層処理Ｓ１３３を終わる。次にステップＳ１３４において次データがｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅかどうか調べ、一致すれば次のスライスに対する処理を行うためステップＳ１３３に戻り、そうでなければ処理を完了する。

この結果、変数ＤＣＴａの値が大きく、変数ＤＣＴｂの値も大きい場合は、映像全体が動画であるため、サイドパネルなしと判定する。また、変数ＤＣＴａの値が大きく、変数ＤＣＴｂの値が小さい場合は、領域ａが動画であるため、サイドパネルなしと判定する。一方、変数ＤＣＴａの値が小さく、変数ＤＣＴｂの値が大きい場合は、領域ａが静止画、領域ｂが動画であるため、サイドパネル付きと判定する。なお、変数ＤＣＴａの値が小さく、変数ＤＣＴｂの値も小さい場合は、映像全体が静止画であり、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

２．デコーダ部でのサイドパネル部分の色調の特徴検出
次に、図１１から図１２を参照して、サイドパネル部分の色調の特徴を検出することによりサイドパネル部の有無を検出する方法について説明する。サイドパネル部分の色調を検出することによりサイドパネル部の有無を検出する方法においては、サイドパネル部分（図４の領域ａ）は、中央の画像領域（図４領域ｂ）に対して視覚上邪魔にならないよう、一般的に特定の一色か、これに多少の模様が入ったもの、またはグラデーションのかかったパターンになっている。これらの映像に対しては、隣り合うブロックにおけるＤＣ成分の差分値は小さいため、この特徴を利用してサイドパネルの検出が可能である。本発明においては、この構成により、サイドパネル部分の映像パターンは限られているため、より、精度の高い検出を行うことが可能になるものである。以下詳細に説明する。なお、映像デコーダの構成については、上述した構成と同様の構成であるため、その説明を省略する。

図１１は、図１に示すデジタル放送受信機のサイドパネル検出部３８０ａにおけるサイドパネル検出処理を説明するためのフローチャートである。図１１に示すように、まず、ステップＳ１４０において、隣接ブロックのＤＣ成分の差分の総和を格納する変数ＤＩＦａおよびＤＩＦｂを０に初期化する。次に、ステップＳ１４１において、映像ストリーム中のピクチャヘッダを取得するため、ｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅを見つけるまでストリームを検索する。次に、ステップＳ１４２において、取得したピクチャヘッダに含まれるｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅが１、すなわちＩピクチャであればステップＳ１４３のスライス層処理を行い、それ以外、すなわちＢピクチャまたはＰピクチャの場合には処理を終了する。

ここで、図１２を参照してスライス層処理Ｓ１４３について説明する。スライス層処理Ｓ１４３においては、まずステップＳ１４３０においてマクロブロックの水平方向の座標を示す変数Ｘを−１に初期化する。次にステップＳ１４３１において変数Ｘに前マクロブロックからの水平方向の差分量を示すｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔを加え、変数Ｘが現マクロブロックの水平座標を示すようにする。

次に、ステップＳ１４３２において、前ブロックとのＤＣ成分の差分値であるｄｃｔ＿ｄｃ＿ｄｉｆｆｅｒｅｎｔｉａｌの絶対値を変数ＤＩＦに代入する。次にステップＳ１４３３において、現マクロブロックの水平位置がサイドパネル部分（図４の領域ａ）とそれ以外の部分（図４の領域ｂ）のどちらに入るかを変数Ｘから判定する。領域ａに入っていればステップＳ１４３４ａに、領域ｂに入っていればステップＳ１４３４ｂに進む。ステップＳ１４３４ａにおいては、変数ＤＩＦを変数ＤＩＦａに加算し、ステップＳ１４３４ｂにおいては、変数ＤＩＦを変数ＤＩＦｂに加算する。

次に、ステップＳ１４３５でマクロブロック内の全ブロックに対して処理を行うよう判定し、Ｓ１４３２、Ｓ１４３３、Ｓ１４３４ａおよびＳ１４３４ｂを繰り返す。次に、ステップＳ１４３６において、ストリーム中の次データがｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅであれば次のマクロブロックに対する処理を行うため、ステップＳ１４３１に戻り、そうでなければスライスの終了であるため、スライス層処理Ｓ１４３を終わる。次に、ステップＳ１４４において、次のデータがｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅかどうか調べ、一致すれば次のスライスに対する処理を行うためステップＳ１４３に戻り、そうでなければ処理を完了する。

この結果、変数ＤＩＦａの値が大きい場合は、領域ａが特定のパターンにはなっていないため、サイドパネルなしと判定する。また、変数ＤＩＦａの値が小さく、変数ＤＩＦｂの値が大きい場合は、領域ａが特定のパターンになっており、領域ｂが通常映像であるため、サイドパネル付きと判定する。なお、変数ＤＩＦａの値が小さく、変数ＤＩＦｂの値も小さい場合は、映像全体が特定のパターンになっており、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

３．デコーダ部でのサイドパネル境界検出することによる静止画像検出
以下、図１３から図１５を参照して、サイドパネル部と画像領域との境界を検出することにより、サイドパネル部の有無を判別する方法について説明する。サイドパネル部と画像領域との境界を検出する方法においては、サイドパネル部分（図４の領域ａ）と中央の映像（図４の領域ｂ）とは垂直に区分けされている。この境界ではイントラブロックのＤＣ成分が大きく変化する。この特徴を利用してサイドパネルの検出が可能である。本発明においては、この構成により、以下詳細に説明する。なお、映像デコーダの構成については上述した構成と同様の構成であるため、その説明を省略する。

図１３は、図１に示すデジタル放送受信機のサイドパネル検出部３８０ａにおけるサイドパネル検出処理を説明するためのフローチャートである。図１３に示すように、まず、ステップＳ１５０において、隣接ブロックのＤＣ成分の差分の総和を格納する配列変数ＤＣＤＩＦの全要素を０に初期化する。ここで水平方向のブロック数をＮとしたときに配列変数ＤＣＤＩＦはＮ−１個の要素を持つ。次に、ステップＳ１５１において、映像ストリーム中のピクチャヘッダを取得するため、ｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅを見つけるまでストリームを検索する。次に、ステップＳ１５２において、取得したピクチャヘッダに含まれるｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅが１、すなわちＩピクチャであればステップＳ１５３のスライス層処理を行い、それ以外、すなわちＢピクチャまたはＰピクチャの場合には処理を終了する。

ここで、スライス層処理Ｓ１５３について、図１４を参照して詳細に説明する。スライス層処理Ｓ１５３においては、まずステップＳ１５３０においてマクロブロックの水平方向の座標を示す変数Ｘを−１に初期化する。次にステップＳ１５３１において、マクロブロック中の上下左右に並んだ４個のブロックのうち、上側のブロックのＤＣ成分の値を格納する変数ＤＣＰＲＥＶ０を１２８に初期化し、ステップＳ１５３２において、同じく下側のブロックのＤＣ成分の値を格納する変数ＤＣＰＲＥＶ１を１２８に初期化する。

次に、ステップＳ１５３３において、変数Ｘに前マクロブロックからの水平方向の差分量を示すｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔを加え、変数Ｘが現マクロブロックの水平座標を示すようにする。

次に、ステップＳ１５３４において、現マクロブロックに対するマクロブロック層の処理を行う。ここで、図１５を参照して、マクロブロック層処理Ｓ１５３４について詳細に説明する。マクロブロック層処理においては、まずステップＳ１５３４ａにおいて、マクロブロック中の左上のブロックのＤＣ成分の値を変数ＤＣＣＵＲに代入する。次にステップＳ１５３４ｂにおいて、変数ＤＣＤＩＦ［２Ｘ］に変数ＤＣＣＵＲと変数ＤＣＰＲＥＶ０との差分の絶対値を加算する。次にステップＳ１５３４ｃにおいて、変数ＤＣＰＲＥＶ０に変数ＤＣＣＵＲの値を代入する。

次に、ステップＳ１５３４ｄにおいて、マクロブロック中の右上のブロックのＤＣ成分の値を変数ＤＣＣＵＲに代入する。次にステップＳ１５３４ｅにおいて、変数ＤＣＤＩＦ［２Ｘ＋１］に変数ＤＣＣＵＲと変数ＤＣＰＲＥＶ０との差分の絶対値を加算する。次にステップＳ１５３４ｆにおいて、変数ＤＣＰＲＥＶ０に変数ＤＣＣＵＲの値を代入する。

次に、ステップＳ１５３４ｇにおいて、マクロブロック中の左下のブロックのＤＣ成分の値を変数ＤＣＣＵＲに代入する。次にステップＳ１５３４ｈにおいて、変数ＤＣＤＩＦ［２Ｘ］に変数ＤＣＣＵＲと変数ＤＣＰＲＥＶ１との差分の絶対値を加算する。次にステップＳ１５３４ｉにおいて、変数ＤＣＰＲＥＶ１に変数ＤＣＣＵＲの値を代入する。

次に、ステップＳ１５３４ｊにおいて、マクロブロック中の右下のブロックのＤＣ成分の値を変数ＤＣＣＵＲに代入する。次にステップＳ１５３４ｋにおいて、変数ＤＣＤＩＦ［２Ｘ＋１］に変数ＤＣＣＵＲと変数ＤＣＰＲＥＶ１との差分の絶対値を加算する。最後にステップＳ１５３４ｌにおいて、変数ＤＣＰＲＥＶ１に変数ＤＣＣＵＲの値を代入し、マクロブロック層の処理を完了する。

次に、ステップＳ１５３５において、ストリーム中の次データがｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅであれば次のマクロブロックに対する処理を行うため、ステップＳ１５３３に戻り、そうでなければスライスの終了であるため、スライス層処理Ｓ１５３を終わる。次にステップＳ１５４において次データがｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅかどうか調べ、一致すれば次のスライスに対する処理を行うためステップＳ１５３に戻り、そうでなければ処理を完了する。

この結果、配列変数ＤＣＤＩＦについて、領域ａとｂとの境界付近の水平位置に対する配列要素の値が、他の配列要素の値に比べて大きい場合、境界があると判別でき、サイドパネル付きと判断できる。なお、この実施例では１マクロブロックあたり４個のブロックが含まれる輝度信号に対する処理の場合を示したが、色差フォーマット４：２：０の色差信号の場合などマクロブロックあたりのブロック数が異なる場合についても、一部のステップが不要になるだけで処理手順は同じである。

（実施の形態２）
上述した各処理においては、図１に示す映像デコーダ３８０によるデコード中に得たデータにより、サイドパネルの有無を検出していたが、実施の形態２においては、図１６から図２２を参照して、フレームメモリに格納された映像デコード後のデータを使ってサイドパネル検出を行う。以下図面を参照しながら、詳細に説明する。

実施の形態２におけるデジタル放送受信機は、図１６に示すように、映像デコーダ３０１、３０２でデコードされた映像データ、外部アナログ入力からＡ／Ｄ変換部２０を経由した入力データ、さらに外部デジタル入力からＤＶＩレシーバー３０を経由した入力データは、フレームメモリ４００ｂに格納される。フレームメモリ４００ｂから表示に必要なデータを読み出して、サイドパネル検出部４５１、４５２においてサイドパネル検出を行い、その結果に基づいて拡大縮小部５０１、５０２で適切な映像サイズに拡大縮小し、多画面合成部６００で映像の合成を行って表示する。なお、外部デジタル入力からの一例としてＤＶＩレシーバーについて説明するが、本発明はこれに限定されるものではなく、デジタル信号を入力することが可能なインターフェースであればよい。このような構成により、実施の形態１と比較した場合、実施の形態１が圧縮された周波数領域でのデータに基づいてサイドパネルの判定を行うのに対して、実施の形態２では非圧縮の空間領域のデータに基づいてサイドパネル判定を行う点が異なっている。この方法では、非圧縮データを扱うため、実施の形態１と比較した場合に、デジタル放送受信機の回路規模は増加するが、放送波のみならず、外部入力を含む映像信号に対して判定が可能であるという特徴を持つ。

４．フレームメモリ後の映像処理でサイドパネル部分の静止画検出
以下に、図１７から図１８を参照して、フレームメモリに格納された映像データにより、サイドパネル部分が静止画像であるか否かを検出することにより、サイドパネルの有無を検出する方法について説明する。

図１７は、図１６に示すデジタル放送受信機のサイドパネル検出部４５１および４５２におけるサイドパネル検出処理を説明するためのフローチャートである。図１７に示すように、まず、ステップＳ２００において、映像フレーム間の差分値の総和を格納する変数ＤＦＳａおよびＤＦＳｂを０に初期化する。次にステップＳ２０１において、垂直方向のライン数を数える変数Ｙを０に初期化する。次にステップＳ２０２において、変数Ｙが画面全体のライン数に達したかどうか判定し、達していなければステップＳ２０３に進み、達していれば処理を終了する。

その、ステップＳ２０３においては、水平方向の画素数を数える変数Ｘを０に初期化する。次に、ステップＳ２０４において、変数Ｘが画面全体の水平画素数に達したかどうか判定し、達していなければステップＳ２０５に進み、達していればステップＳ２０７に進む。

ここで、ステップＳ２０５における画素単位の処理について、図１８を参照して詳細に説明を行う。画素単位の処理においては、まずステップＳ２０５０において変数Ａ１に現在の映像フレーム中の座標Ｘ，Ｙの位置の値をフレームメモリから読み出して代入する。次にステップＳ２０５１において変数Ａ０に１つ前の映像フレーム中の座標Ｘ，Ｙの位置の値をフレームメモリから読み出して代入する。次にステップＳ２０５２において変数ＤＦＳに変数Ａ１と変数Ａ０の差分の絶対値を代入する。次にステップＳ２０５３において、現画素の水平位置がサイドパネル部分（図４の領域ａ）とそれ以外の部分（図４の領域ｂ）のどちらに入るかを変数Ｘから判定する。領域ａに入っていればステップＳ２０５４ａに、領域ｂに入っていればステップＳ２０５４ｂに進む。ステップＳ２０５４ａにおいては、変数ＤＦＳを変数ＤＦＳａに加算し、ステップＳ２０５４ｂにおいては、変数ＤＦＳを変数ＤＦＳｂに加算し、画素単位処理を終了する。次に、画素単位処理終了後、ステップＳ２０６において、Ｘの値を１増やしてステップＳ２０４に戻る。また、ステップＳ２０７においては、Ｙの値を１増やした後、ステップＳ２０２に戻る。

この結果、変数ＤＦＳａの値が大きく、変数ＤＦＳｂの値も大きい場合は、映像全体が動画であるため、サイドパネルなしと判定する。また、変数ＤＦＳａの値が大きく、変数ＤＦＳｂの値が小さい場合は、領域ａが動画であるため、サイドパネルなしと判定する。一方、変数ＤＦＳａの値が小さく、変数ＤＦＳｂの値が大きい場合は、領域ａが静止画、領域ｂが動画であるため、サイドパネル付きと判定する。なお、変数ＤＦＳａの値が小さく、変数ＤＦＳｂの値も小さい場合は、映像全体が静止画であり、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

５．フレームメモリ後の映像処理でのサイドパネル部分の色信号の特徴（一定の色調）検出
以下に、図１９から図２０を参照して、フレームメモリに格納された映像データのサイドパネル部分が一定の色調のパターンであるか否かを検出することにより、サイドパネルの有無を検出する方法について説明する。図１９は、図１６に示すデジタル放送受信機のサイドパネル検出部４５１および４５２におけるサイドパネル検出処理を説明するためのフローチャートである。

図１９に示すように、まず、ステップＳ２１０において、画素間の差分値の総和を格納する変数ＤＦＨａおよびＤＦＨｂを０に初期化する。次にステップＳ２１１において、垂直方向のライン数を数える変数Ｙを０に初期化する。次にステップＳ２１２において、変数Ｙが画面全体のライン数に達したかどうか判定し、達していなければステップＳ２１３に進み、達していれば処理を終了する。

次に、ステップＳ２１３において、水平方向の画素数を数える変数Ｘを０に初期化する。さらに、ステップＳ２１４において、変数Ｘが画面全体の水平画素数に達したかどうか判定し、達していなければステップＳ２１５に進み、達していればステップＳ２１７に進む。画素単位処理ステップＳ２１５においては、画素単位の処理を行う。

ここで、図２０を参照して、画素単位処理ステップＳ２１５画素単位の処理について説明する。画素単位処理ステップＳ２１５の処理においては、まずステップＳ２１５０において変数Ｂ１に現在の映像フレーム中の座標Ｘ，Ｙの位置の値をフレームメモリから読み出して代入する。次にステップＳ２１５１において変数Ｂ０に現在の映像フレーム中の座標Ｘ−１，Ｙの位置の値をフレームメモリから読み出して代入する。

次に、ステップＳ２１５２において変数ＤＦＨに変数Ｂ１と変数Ｂ０の差分の絶対値を代入する。次に、ステップＳ２１５３において、現画素の水平位置がサイドパネル部分（図４の領域ａ）とそれ以外の部分（図４の領域ｂ）のどちらに入るかを変数Ｘから判定する。領域ａに入っていればステップＳ２１５４ａに、領域ｂに入っていればステップＳ２１５４ｂに進む。ステップＳ２１５４ａにおいては、変数ＤＦＨを変数ＤＦＨａに加算し、ステップＳ２１５４ｂにおいては、変数ＤＦＨを変数ＤＦＨｂに加算し、画素単位処理を終了する。画素単位処理終了後、ステップＳ２１６において、Ｘの値を１増やしてステップＳ２１４に戻る。また、ステップＳ２１７においては、Ｙの値を１増やした後、ステップＳ２１２に戻る。

この結果、変数ＤＦＨａの値が大きい場合は、領域ａが特定のパターンにはなっていないため、サイドパネルなしと判定する。また、変数ＤＦＨａの値が小さく、変数ＤＦＨｂの値が大きい場合は、領域ａが特定のパターンになっており、領域ｂが通常映像であるため、サイドパネル付きと判定する。なお、変数ＤＦＨａの値が小さく、変数ＤＦＨｂの値も小さい場合は、映像全体が特定のパターンになっており、どちらとも判定可能であるため、他の方法で検出した結果と合わせて総合的に判断するものとする。

なお、本実施例では、隣り合う水平画素の差分により判定を行ったが、垂直方向の差分を元に判定を行ったり、水平垂直両方の差分を元に判定を行っても良い。

５．フレームメモリ後の映像処理でサイドパネル境界検出
以下に、図２１から図２２を参照して、フレームメモリに格納された映像データのサイドパネル部分と画像領域との境界を検出することにより、サイドパネルの有無を検出する方法について説明する。

図２１は、図１６に示すデジタル放送受信機のサイドパネル検出部４５１および４５２におけるサイドパネル検出処理を説明するためのフローチャートである。図２１に示すように、まず、ステップＳ２２０において、画素間の差分値の総和を格納する配列変数ＤＦＳＵＭの各要素を０に初期化する。ここで配列変数ＤＦＳＵＭは、水平画素数をＮとしてＮ個の要素を持っている。次に、ステップＳ２２１において、垂直方向のライン数を数える変数Ｙを０に初期化する。次に、ステップＳ２２２において、変数Ｙが画面全体のライン数に達したかどうか判定し、達していなければステップＳ２２３に進み、達していれば処理を終了する。

ここで、ステップＳ２２３において、水平方向の画素数を数える変数Ｘを０に初期化する。次に、ステップＳ２２４において、変数Ｘが画面全体の水平画素数に達したかどうか判定し、達していなければステップＳ２２５に進み、達していればステップＳ２２７に進む。ステップＳ２２５においては、画素単位の処理を行う。

ここで、画素単位処理ステップＳ２２５について、図２２を参照して詳細に説明する。画素単位の処理においては、まずステップＳ２２５０において変数Ｂ１に現在の映像フレーム中の座標Ｘ，Ｙの位置の値をフレームメモリから読み出して代入する。次にステップＳ２２５１において変数Ｂ０に現在の映像フレーム中の座標Ｘ−１，Ｙの位置の値をフレームメモリから読み出して代入する。

次に、ステップＳ２２５２において変数ＤＦＨに変数Ｂ１と変数Ｂ０の差分の絶対値を代入する。次に、ステップＳ２２５３において、配列変数ＤＦＳＵＭのＸ番目の要素にＤＦＨを加算し、画素単位処理を終了する。画素単位処理終了後、ステップＳ２２６において、Ｘの値を１増やしてステップＳ２２４に戻る。また、ステップＳ２２７においては、Ｙの値を１増やした後、ステップＳ２２２に戻る。

この結果、配列変数ＤＦＳＵＭについて、領域ａとｂとの境界付近の水平位置に対する配列要素の値が、他の配列要素の値に比べて大きい場合、境界があると判別でき、サイドパネル付きと判断することが可能になる。

（実施の形態３）
上述したように、サイドパネル部分が静止画像により構成されている点に着目してサイドパネルを検出する方法、さらに、サイドパネル部分が単一色またはグラデーションのついた帯、または色調が統一された派手でない模様により構成されている点に着目してサイドパネルを検出する方法、さらに、中央の映像とサイドパネル部分との境界は垂直に区分けされる点に着目してサイドパネルを検出する方法について説明した。

しかしながら、例えば、アナログ放送でも同じ番組を４：３のアスペクト比で放送している場合、４：３の放送でも不自然にならないような映像の構成にしているため、１６：９の映像を４：３にカットして表示しても情報が著しく欠落するとは限らない。映像からサイドパネルを検出してカットするだけでなく、一定の受信条件を元にサイドパネル部分をカットするかどうかを判断することにより、サイドパネル検出の境界付近における頻繁な画面の切替により見にくくなることを、さけることが可能になる。また、受信条件に応じて、前記サイドパネル検出方法の判断レベルを変更することにより、より安定したサイドパネル検出が可能になる。

具体的な受信条件としては、地上波や衛星放送やケーブル放送等の受信した放送の種類、受信した放送の放送局、ＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）を参照して得た番組ジャンル情報などにより、１６：９の映像であっても一律４：３に両サイドをカットして表示したり、上述した実施の形態１及び実施の形態２で示した、サイドパネルの検出方法の判断レベルを変更する。なお、これらの複数の情報を参照して判別することも可能である。

以下、図２３を参照して、一定の条件に基づいてサイドパネル部分を削除して表示するか否かを判別する方法について説明する。なお、デジタル放送受信機の構成については上述した構成と同様の構成であるため、その説明を省略する。

図２３に示すように、ステップＳ２３０において、映像デコーダ３０１において、最初にＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）を取得し、ステップＳ２３１において、取得したＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）によりＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）のＰＩＤ（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ）を指定する。次に、ステップＳ２３２において、指定されたＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）により各ＥＳ〈Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ〉のＰＩＤを取得することにより、音声ストリームや映像ストリームをデコード（復号）する。ここで、ステップＳ２３３において、ＮＩＴ（Ｎｅｔｗｏｒｋ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）、ＥＩＴ（ＥｖｅｎｔＩｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）、ＳＤＴ（Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔａｂｌｅ）を参照して番組の情報を取得する。ＮＩＴのパケットには、変調周波数など伝送路の情報と放送番組を関連付ける情報が伝送されており、また、ＥＩＴのパケットには、番組の名称、放送日時、内容の説明などの番組に関する情報が伝送されており、また、ＳＤＴのパケットには、編成チャンネルの名称、放送事業者の名称などの編成チャンネルに関する情報が伝送されている。

次に、ステップＳ２３４において、Ｓ２３３により取得したＮＩＴ、ＥＩＴ、ＳＤＴの内容に基づいて、サイドパネル部分を削除するか否かを判別する。ここで、サイドパネル部分を削除するか否かは、例えば、ある放送局ａには、サイドパネル方式による放送番組が多く、一方、別の放送局ｂにはサイドパネル方式による放送番組が少ない場合には、上述したＮＩＴのパケットを参照して、放送局ａの場合にはサイドパネルを削除する一方（ステップＳ２３４）、放送局ｂの場合にはサイドパネルを削除することなく、拡大縮小処理部５０１及び拡大縮小処理部５０２において各番組の映像信号の拡大縮小の処理を行うとともに、それらの複数の画面を多画面合成部６００により合成し、映像表示部７００に表示して処理を終了する。

なお、この処理においては、放送波の内容や伝送経路に基づいて一律にサイドパネルを削除するか否かを判別する構成としたが、実施の形態１又は２で示した本発明の際のサイドパネルの検出方法の判断レベルを変更することも可能である。例えば、図３に示すブロック層の符号量を取得した場合において、Ｎａ及びＮｂの値に基づいて、サイドパネル領域において静止画像と判別する基準を変更することも可能である。

このような処理により、地上波や衛星放送やケーブル放送等の受信した放送の種類、受信した放送の放送局、ＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）を参照して得た番組ジャンル情報などにより、１６：９の映像であっても一律４：３に両サイドをカットして表示したり、上述した実施の形態１及び実施の形態２で示した、サイドパネルの検出方法の判断レベルを変更することが可能になる。

なお、本実施の形態における処理は、上述した実施の形態１から２処理と組み合わせてサイドパネルの処理を行うことも可能である。

さらに、ユーザーの指示で表示方法を変更した場合も含め、過去の判断結果を記憶しておき、同じ番組を視聴する場合にその設定で表示する。ユーザーの指示を判断に加えることができるため、より安定した判断が可能になる。また、番組の開始タイミングから切替が可能になる
さらに、放送局毎に実施の形態１又は２のサイドパネル部の特徴量を記憶しておき、受信中の映像のサイドパネル部の特徴量が記憶しているものと一致すれば、サイドパネル切り出しを行う。これにより、判断を誤る確率を減らすことができる。

（実施の形態４）
次に、本発明の実施の形態４について、図２４から図３１を参照して、説明する。上述した実施の形態１から３においては、サイドパネル部分を検出した場合に、番組の内容を表示する画像領域を拡大するために、サイドパネル部分を削除することにより、サイドパネル部分を表示することなく、画像領域を拡大して表示することが可能になるデジタル放送受信機について説明した。しかしながら、図２４に示すように、サイドパネル付きの映像のサイドパネル部分に、放送局のロゴマーク、時刻などが表示されている場合がある。これを二画面表示などの際に図２５のようにカットして表示してしまうと、これらの情報が欠けてしまうという問題がある。

そこで、本発明の実施の形態４においては、サイドパネル部分に有用なデータが組み込まれている場合には、例えば、二画面表示の際、図２６に示すようにカットしたサイドパネル部分の一方を反対側に表示すれば、少なくともサイドパネルの上半分は表示することができ、通常右上、または左上に表示される前記ロゴマーク、時刻表示などは隠れず表示可能である。以下詳細に説明する。

まず、第１の方法としては、サイドパネル付の映像信号を２領域に分割して処理することにより実現する方法が考えられる。第１の方法においては、図２７に示すように、本実施の形態４のデジタル放送受信機は、上述した実施の形態１から３の構成に加えて、拡大縮小回路５０３を追加している。この拡大縮小回路５０３は、フレームメモリ４００ｂから画面の表示位置を移動させるサイドパネル部分のデータを読み出して多画面合成回路６００ａに出力するようにする。具体的には、図２８に示す領域ｂ１に対する拡大縮小処理を拡大縮小回路５０１で行い、領域ａ１に対する拡大縮小処理を拡大縮小回路５０３で行い、多画面合成回路６００ａに対して領域ａ１を領域ｂ１の右側に表示するように設定することにより、図２６のような映像表示が可能となる。

次に、第２の方法としては、読み出しアドレス回路を使用して処理することにより実現する方法が考えられる。第２の方法においては、図２９のように、映像の各画素の座標（ｗｘ， ｗｙ）に対して、フレームメモリへの書き込みアドレスをＷＡＤＲとした場合に、
ＷＡＤＲ ＝ ＢＡＳＥ ＋ （ｗｙ・Ｗ） ＋ ｗｘ
の関係で書き込まれるとする。このとき、フレームメモリからの読み出しアドレスＲＡＤＲについて、図３０のように、画面の幅をＬ、切り出して反対側に表示する領域の幅をＰとして、画面の表示座標（ｒｘ， ｒｙ）に対して
ＲＡＤＲ ＝ ＢＡＳＥ ＋ （ｒｙ・Ｗ） ＋ ｒｘ ＋ Ｐ （ｒｘ ＋ Ｐ ＜ Ｌのとき）
ＲＡＤＲ ＝ ＢＡＳＥ ＋ （ｒｙ・Ｗ） ＋ ｒｘ ＋ Ｐ − Ｌ （ｒｘ ＋ Ｐ ≧ Ｌのとき）
という式にしたがって計算されるような回路を設けることにより、図２６のような画面表示が実現できる。この場合、第１の方法と比較して、表示の自由度は減るもののアドレス生成回路の追加だけで実現できる。

さらに、第３の方法としては、アドレスマップを利用して処理することにより実現する方法が考えられる。図３１のように、映像の各画素の座標（ｗｘ， ｗｙ）に対して、フレームメモリへの書き込みアドレスをＷＡＤＲ、画面の幅をＬとした場合に、
ＷＡＤＲ ＝ ＢＡＳＥ ＋ （ｗｙ・Ｌ） ＋ ｗｘ
の関係で書き込まれ、ｗｘがＬよりも大きな値となったときに、折り返って次のラインの左端にアクセスするようなアドレスマップとする。このとき、フレームメモリからの読み出しアドレスＲＡＤＲについて、切り出して反対側に表示する領域の幅をＰとして、画面の表示座標（ｒｘ， ｒｙ）に対して
ＲＡＤＲ ＝ ＢＡＳＥ ＋ （ｒｙ・Ｌ） ＋ ｒｘ ＋ Ｐ
という式にしたがって計算されるような回路を設けることにより、図２６のような画面表示が実現できる。

実際には、右側の映像は１ラインずれて表示されてしまうが、一般的にこの程度のずれは視覚上問題とならない場合が多く、もっとも簡単な構成で実現できる。

以上の処理により、サイドパネル付きの映像のサイドパネル部分に、放送局のロゴマーク、時刻などが表示されている映像を二画面表示する際に、サイドパネル部分のデータを削除することなく、二画面表示の際の無信号期間を利用して、サイドパネル部分のデータを適切に表示することが可能になるものである。

本発明のデジタル放送受信機は、サイドパネル方式の放送信号を検出し、適切に画像部分を表示処理を行い、画面の利用効率の低下を防止するデジタル放送受信機として有用である。

本発明の実施の形態１における映像デコーダのブロック図 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１における表示領域を説明する図 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態１におけるフローチャート 本発明の実施の形態２におけるデジタル放送受信機のブロック図 本発明の実施の形態２におけるフローチャート 本発明の実施の形態２におけるフローチャート 本発明の実施の形態２におけるフローチャート 本発明の実施の形態２におけるフローチャート 本発明の実施の形態２におけるフローチャート 本発明の実施の形態２におけるフローチャート 本発明の実施の形態３におけるフローチャート 本発明の実施の形態４における画面表示を説明する図 本発明の実施の形態４における画面表示を説明する図 本発明の実施の形態４における画面表示を説明する図 本発明の実施の形態４におけるデジタル放送受信機のブロック図 本発明の実施の形態４における表示領域を説明する図 本発明の実施の形態４における画面表示を説明する図 本発明の実施の形態４における画面表示を説明する図 本発明の実施の形態４における画面表示を説明する図 従来のデジタル放送受信機のブロック図 サイドパネル方式及びレターボックス方式の表示画面を説明する図 従来の映像デコーダのブロック図

符号の説明

１０ アンテナ
５０ リモコン
６０ リモコン受信部
１０１ フロントエンド
１０２ フロントエンド
２０１ トランスポートデコーダ
２０２ トランスポートデコーダ
３０１ 映像デコーダ
３０２ 映像デコーダ
４００ フレームメモリ
５０１ 拡大縮小処理部
５０２ 拡大縮小処理部
６００ 多画面合成部
７００ 映像表示部
９００ 制御部

Claims (12)

1. 複数種類のアスペクト比の映像を扱う放送信号を受信可能なデジタル放送受信機であって、前記放送信号を受信する受信手段と、前記受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、前記映像デコーダによりデコードされた映像信号を格納するフレームメモリと、前記フレームメモリに格納される映像信号が本来の映像のアスペクト比と異なるアスペクト比で送出するために付加的な画像が追加された映像であるか否かを判別する判別手段と、前記フレームメモリに格納された映像信号を出力する出力手段とを備え、前記判別手段により、前記映像デコーダによりデコードする際に、前記映像信号中の特定領域の静止画像を検出することにより前記放送信号の付加的な画像の有無を判別し、前記放送信号の付加的な画像がある場合には、前記出力手段により、前記放送信号に含まれる特定領域の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機。
2. 前記デジタル放送受信機は、前記映像信号中の前記画像領域及び特定領域の符号量を検出し、前記画像領域よりも前記特定領域の符号量が小さい場合には前記特定領域が静止画であると判別することにより、前記放送信号がアスペクト比変換なされていることを識別することを特徴とする請求項１記載のデジタル放送受信機。
3. 前記デジタル放送受信機は、前記映像信号中の前記画像領域及び特定領域のスキップマクロブロックの有無を検出し、前記画像領域よりも前記特定領域のスキップマクロブロックが多い場合には前記特定領域が静止画であると判別することにより、前記放送信号がアスペクト比変換なされていることを識別することを特徴とする請求項１記載のデジタル放送受信機。
4. 前記デジタル放送受信機は、前記映像信号中の前記特定領域の量子化スケールを検出し、前記量子化スケールの値が所定の値よりも小さい場合には、前記特定領域が静止画であると判別することにより、前記放送信号がアスペクト比変換なされていることを識別することを特徴とする請求項１記載のデジタル放送受信機。
5. 前記デジタル放送受信機は、前記映像信号中の前記特定領域のＤＣＴ係数を検出し、前記ＤＣＴ係数の値が所定の値よりも小さい場合には、前記特定領域が静止画であると判別することにより、前記放送信号がアスペクト比変換なされていることを識別することを特徴とする請求項１記載のデジタル放送受信機。
6. アスペクト比変換がなされた放送信号を受信可能なデジタル放送受信機であって、前記放送信号を受信する受信手段と、前記受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、前記映像デコーダによりデコードされた映像信号を格納するフレームメモリと、前記フレームメモリに格納される映像信号がアスペクト比変換されているか否かを判別する判別手段と、前記フレームメモリに格納された映像信号を出力する出力手段とを備え、前記判別手段により、前記放送信号に含まれる画像領域と特定領域の境界領域の各ブロックのＤＣ成分の差分を算出して、前記放送信号のアスペクト比変換の有無を検出し、前記放送信号のアスペクト比変換がなされている場合には、前記出力手段により、前記放送信号に含まれる特定領域の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機。
7. デジタル放送受信機は、前記画像領域と前記特定領域との境界領域のＤＣ成分の差分が、前記画像領域よりも大きい場合には、前記放送信号はアスペクト比変換がなされていると判別することを特徴とする請求項６記載のデジタル放送受信機。
8. アスペクト比変換がなされた放送信号を受信可能なデジタル放送受信機であって、前記放送信号を受信する受信手段と、前記受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、前記映像デコーダによりデコードされた映像信号を格納するフレームメモリと、前記フレームメモリに格納される映像信号がアスペクト比変換されているか否かを判別する判別手段と、前記フレームメモリに格納された映像信号を出力する出力手段とを備え、前記判別手段により、前記放送信号に含まれる特定領域の色調が所定のパターンであるか否かにより前記放送信号のアスペクト比変換の有無を検出し、前記放送信号のアスペクト比変換がなされている場合には、前記出力手段により、前記放送信号に含まれる特定領域の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機。
9. アスペクト比変換がなされた放送信号を受信可能なデジタル放送受信機であって、前記放送信号を受信する受信手段と、前記受信手段により受信した放送信号中の映像信号をデコードする映像デコーダと、前記映像デコーダによりデコードされた映像信号を格納するフレームメモリと、前記フレームメモリに格納される映像信号がアスペクト比変換されているか否かを判別する判別手段と、前記フレームメモリに格納された映像信号を出力する出力手段とを備え、前記判別手段により、前記フレームメモリに格納された映像信号のフレーム間の差分量により前記放送信号のアスペクト比変換の有無を検出し、前記放送信号のアスペクト比変換がなされている場合には、前記出力手段により、前記放送信号に含まれる特定領域の信号を削除した映像信号を出力することを特徴とするデジタル放送受信機。
10. 前記デジタル放送受信機は、前記映像信号中の前記画像領域及び特定領域のフレーム間の差分量を検出し、前記画像領域の差分量が大きく、前記特定領域の差分量が小さい場合には前記放送信号はアスペクト比変換された放送信号であると判別することを特徴とする請求項９記載のデジタル放送受信機。
11. 前記デジタル放送受信機は、前記特定領域に画像以外の情報が含まれている場合には、前記出力手段により前記放送信号に含まれる特定領域の信号を削除することなく出力することを特徴とする請求項１から１０いずれか記載のデジタル放送受信機。
12. アスペクト比変換がなされた放送信号を受信可能なデジタル放送受信機であって、複数の放送信号を受信可能な受信手段と、前記受信手段により受信した複数の放送信号の映像信号をデコードする映像デコーダと、前記映像デコーダによりデコードされた映像信号を格納するフレームメモリと、前記フレームメモリに格納される映像信号がアスペクト比変換されているか否かを判別する判別手段と、前記フレームメモリに格納された映像信号を拡大又は縮小する処理を行う処理手段と、前記処理手段により拡大又は縮小した複数の映像信号を出力する出力手段とを備え、前記判別手段により、アスペクト比変換がなされていると判別し、且つ、前記映像信号に含まれる特定領域に情報が含まれている場合には、前記処理手段により、少なくとも一つの映像信号を縮小し、前記特定領域の情報の信号を削除することなく、画面中の前記複数の放送信号の画像領域以外の領域に出力することを特徴とするデジタル放送受信機。

Images