JP4960463B2

JP4960463B2 - 映像信号処理装置及び映像信号処理方法

Info

Publication number: JP4960463B2
Application number: JP2010016230A
Authority: JP
Inventors: 広昭古牧
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-01-28
Filing date: 2010-01-28
Publication date: 2012-06-27
Anticipated expiration: 2030-01-28
Also published as: JP2011154587A; US20130308053A1; US20110181778A1

Description

本発明は、映像信号処理装置及び映像信号処理方法に係わり、特に汎用プロセッサを用いたコンテンツ適応型の超解像処理に関する。

近年、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ)のマルチコア化等によって、ＣＰＵの処理能力は飛躍的に向上している。この高い処理能力を持ったＣＰＵと他のハードウェアを画像処理等で協調動作させることによって更なる処理能力の向上が期待される。

画像処理の先行技術ではインターレース映像のアップサンプリング時における垂直解像度を高めるためにスペクトル伸張をおこなっている（特許文献１参照）。
また、例えば特許文献２に記載されている内容は、フィルム素材の映像信号（テレシネ変換された映像信号）の画質の劣化を低減するノイズ除去装置および方法を提供するとあり、入力信号に応じてノイズ除去のレベルを変えるというものである。

また、例えば特許文献３に記載されている内容は、画像処理におけるＩ／Ｐ変換で、複数のＩ／Ｐ変換方法の内からＣＰＵの負荷に合わせて動的にＩ／Ｐ変換方法を選択するというものである。

しかしながら、映像ソースの種類に適応して画像の高画質化処理方法を変更する技術は開示されていなかった。

特開２００７−３００６８７号公報特開２００８−２８３３４２号公報特開２０００−１３７５２号公報

本発明は、映像ソースの種類に適応して画像の超解像処理を行なう技術を提供することを目的とする。

上記課題を解決するために、本発明の映像信号処理装置は、フィルム素材又はビデオ素材の映像信号が入力される入力手段と、前記入力手段に前記フィルム素材の映像信号が入力された場合、入力された前記フィルム素材の映像信号に関する色成分と輝度成分の両方に対して自己合同性を用いた超解像処理を行う第１処理手段と、前記入力手段に前記ビデオ素材の映像信号が入力された場合、入力された前記ビデオ素材の映像信号に関する色成分に対して自己合同性を用いた超解像処理を行う第２処理手段とを備えたことを特徴とする。

また、本発明の映像信号処理方法は、入力される映像信号がフィルム素材の映像信号かビデオ素材の映像信号かを判別し、前記判別結果がフィルム素材の映像信号の場合には前記入力される映像信号に関する色成分と輝度成分の両方に対して自己合同性を用いた超解像処理を行い、前記判別結果がビデオ素材の映像信号の場合には前記入力される映像信号に関する色成分に対して自己合同性を用いた超解像処理を行うことを特徴とする。

本発明によれば、映像ソースの種類に適応して画像の超解像処理を行なう映像信号処理装置及び映像信号処理方法が得られる。

この発明の一実施形態を示すDTVセットの概略ブロック構成図。同実施形態の機能拡張ブロックを示すブロック構成図。同実施形態のビデオ素材の映像に対する超解像処理の効果を説明するために示す図。同実施形態のフィルム素材の映像に対する超解像処理の効果を説明するために示す図。本発明の一実施形態に係わる映像信号処理装置を用いた放送受信装置の一例を示すブロック図。

本発明による実施形態を図１乃至図５を参照して説明する。
本実施形態は、汎用プロセッサを用いた、4:2:0(60i)映像のYUV4:2:2 へまたは YUV4:4:4(60p)への変換処理ならびに超解像処理（モデルを用いた高周波成分の付加による高画質化処理）に関するものである。

（構成の説明）
図1および図2に本実施形態のDTVセットの機能構成を示す。まず図１は、この発明の一実施形態を示す映像信号処理部等のブロック構成図である。
この映像信号処理部は構成要素として、機能拡張ブロック１、DTV基本ブロック２、高画質化ブロック３、パネル４を備えており、更に関連する部分として高音質化ブロック５、スピーカー６を付属している。

機能拡張ブロック１を説明する前にまずDTV基本ブロック２は、図示せぬBS/CS波アンテナと接続されBS/CSデジタルのアンテナ波入力を行なう。またDTV基本ブロック２は、図示せぬ地上波アンテナと接続され地上デジタルのアンテナ波入力を行なう。またDTV基本ブロック２は、ネットワークと接続され、汎用のWebアクセスに加えて外部のNASへのアクセス(録画および再生)、DLNA機能(DMS: Digital Media Server, DMP: Digital Media Player, DMR: Digital Media Renderer)、VOD: Video On Demand機能、ガジェット情報採取、等を行なうよう構成されている。

高画質化ブロック３は、DTV基本ブロックからYUV映像入力信号を受け、超解像処理、フレーム挿入処理、バックライト制御等を行いパネル４へのRGB映像信号出力を行なう。

高音質化ブロック５は、DTV基本ブロックからデジタル音声入力信号を受け、DAC処理、増幅処理等を行いスピーカー６へのアナログ音声信号出力を行なう。
図２は実施形態の機能拡張ブロック１を示すブロック構成図である。さて機能拡張ブロック１は構成要素として、汎用プロセッサ1-1、SouthBridge1-2、主記憶1-3、Boot-ROM1-4を備えている。

汎用プロセッサ1-1は、拡張機能ブロック１の中核を成す汎用プロセッサ(マルチコアプロセッサモジュール + NorthBridge)である。
SouthBridge1-2は、汎用プロセッサ1-1の入出力機能、いわゆるSouthBridge機能として動作するコンパニオンチップである。SouthBridge1-2は以下の図示せぬ機能ブロックを内蔵する。

（１）プロセッサバスインターフェース(ex. FlexIO)
（２）E-Bus(汎用プロセッサ1-1のブートを行なうBoot-ROM1-4を接続)
（３）Gb-Ether(ネットワーク/NASとの通信路)
（４）PCI(DTV基本ブロックとの通信路)
（５）MPEG-TS In(DTV基本ブロック２からの放送波受信ストリーム入力)
（６）Video Out(DTV基本ブロック２への映像出力)
（７）Audio Out(DTV基本ブロック２への音声出力)
主記憶1-3は、汎用プロセッサ1-1の主記憶機能として動作するメモリである。
（超解像処理に関わる動作の説明）
次に図３と図４とにより、ビデオ素材の映像とフィルム素材の映像とに対する超解像処理に関わる図２の機能拡張ブロック１を主体とする動作について説明する。ビデオ素材の映像とフィルム素材の映像の判別に関する技術については、既出願特許(特願P2009-156004号等)を参照されたい。

図３は、実施形態のビデオ素材の映像に対する超解像処理の動作を説明するために示す図である。
DTV基本ブロック２より受信した放送波=MPEG2-TS YUV4:2:0(60i)のビデオ素材映像に対しては、次の処理を行なう。即ち、ベースバンド情報にデコードする際に情報量が輝度の1/4となる色情報のみをi/p変換し、60p化した色情報に対する、モデルとして自己合同性を用いた超解像処理を適用して得られた結果(の半分)をオリジナルの60i輝度情報に付加することにより、ベースバンドのYUV4:2:2(60i)映像としてDTV基本ブロック２へ返送する。

ここでYUV4:2:0は、画像の水平・垂直2×2ピクセルのうち、Cb信号を上2ピクセルから1ピクセル取り、Cr信号を下2ピクセルから1ピクセル取る方式である。なおフレームごとにCbとCrの位置を反転させる。輝度信号は1ピクセルごとにとる（デジタル放送ではこれが採用されている）。１ピクセルあたりの情報量は12bit(= Y_8bit + UV_16bit/4)となる。放送やDVDビデオの映像フォーマットとして広く採用されている。

またYUV4:2:2は、水平2ピクセルから色差信号を1ピクセル分だけとる形式である。輝度信号は1ピクセルごとにとる。各成分を8bitで量子化すると1ピクセルは16bit(= Y_8bit + UV_16bit/2)の情報量となる。主に業務用ビデオのフォーマットとして採用されている。

また次に触れるYUV4:4:4は、水平4ピクセルにつき、輝度成分と２つの色差成分を各4ピクセルずつサンプルする方式である。各成分を8bitで量子化すると、1ピクセルあたりの情報量は24bit(= Y_8bit + UV_16bit/1)となる。

図４は、実施形態のフィルム素材の映像に対する超解像処理の動作を説明するために示す図である。
DTV基本ブロック２より受信した放送波=MPEG2-TS YUV4:2:0(60i)のフィルム素材映像に対しては、ベースバンド情報にデコードする際に(色と輝度の両方に対して)24p再現をおこない、24p化した色と輝度の両方に対して自己合同性を用いた超解像処理を適用して、ベースバンドのYUV4:4:4(24p)映像としてDTV基本ブロック２へ返送する。

その他実施形態の変形例としては、複数フレームを用いた超解像処理への適用がある。これは前述の実装例において、i/p変換の簡略化で生まれたプロセッサ性能を用い、自己合同性を用いた超解像処理よりも高負荷な、従来よりの撮像モデルを用いた複数フレームを使った超解像処理を実行する。

以上図３と図４とにより、汎用プロセッサを用いた、4:2:0(60i)映像のYUV4:2:2 へのまたは YUV4:4:4(60p)への変換処理ならびに超解像処理に関して説明した。

即ち図３では、現行DTVセットと同等の動き適用型i/p変換は汎用プロセッサ上でS/W実装するには高負荷な処理となるため、数百GFLOPS程度の性能を持つ汎用プロセッサにおいては情報量が輝度の1/4となる色情報に対してのみ、汎用プロセッサ上でS/W実装したi/p変換および超解像処理を適用する事により、現行DTVにおける輝度信号に対する再構成型超解像処理に対して色情報に対する自己合同性を用いた超解像処理の効果を加味する事ができる。

これに対して図４では、対象とする映像が24pのフィルム素材であればi/p変換処理は極低負荷(TOP/BOTTOM各Filedの単純合成)となるため、余ったプロセッサパワーを用いて現行DTVにてH/W実装している再構成型超解像処理を効果として上回る自己合同性を用いた超解像処理をおこなう事により、現行のDTVを凌駕する超解像処理を実現する事ができる。

次に、本発明の一実施形態である映像信号処理部を実際にハードウェアに使用した場合の実施形態について、図面を用いて説明する。図５は、映像信号処理部を適用した放送受信装置の一実施形態であるデジタル放送受信装置等の放送受信装置の構成の一例を示すブロック図である。

（放送受信装置の構成と動作）
放送受信装置１００は、図５に示すように一例として放送受信装置であり、制御部３０は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置１００は、再生側を構成するＭＰＥＧデコーダ部１６と、装置本体の動作を制御する制御部３０とを主たる構成要素としている。放送受信装置１００は、入力側のセレクタ部１４と出力側のセレクタ部２０とを有しており、入力側のセレクタ部１４には、ＢＳ／ＣＳ／地上波デジタルチューナ部１２と、ＢＳ／地上波アナログチューナ部１３が接続される。また、ＬＡＮ等やメール機能をもった通信部１１がデータバスに接続されて設けられている。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１２からの復調信号を一時格納するバッファ部１５と、格納された復調信号であるパケットを種類別に分離する分離部１７と、分離部１７から供給された映像音声用のパケットにＭＰＥＧデコード処理を施し映像音声信号を出力するＭＰＥＧデコーダ部１６と、操作情報等を重畳するための映像信号を生成し映像信号に重畳するＯＳＤ（On Screen Display）重畳部３４を有している。放送受信装置１００は、更に、ＭＰＥＧデコーダ部１６からの音声信号に増幅処理等を施す音声処理部１８と、ＭＰＥＧデコーダ部１６及びＯＳＤ重畳部３４から映像信号を受けて、所望の映像処理を施す映像処理部１９と、音声信号及び映像信号の出力先を選択するセレクタ部２０と、音声処理部１８からの音声信号に応じて音声を出力するスピーカー部２１と、セレクタ部２０に接続されて与えられた映像信号に応じた映像を液晶表示画面等に表示する表示部２２と、外部装置との通信を行うインタフェース部２３を有する。

ここで、映像処理部１９は、インターレース信号の輝度信号を輝度変換する上述した映像信号処理部１０と、スケーリング処理を行なうスケーリング部４３と、映像信号のγ補正を行なうγ補正部４４を有している。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１２及びＢＳ／地上波アナログチューナ部１３からの映像情報等を適宜記録する記憶部３５と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部３６を有しており、これらは、データバスを介して制御部３０に接続されている。放送受信装置１００は、更に、データバスを介して制御部３０に接続されユーザの操作やリモコンＲの操作を受ける操作部３２及び操作信号を表示する表示部３３を有している。ここで、リモコンＲは、放送受信装置１００の本体に設けられる操作部３２とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。

このような構成をもった放送受信装置１００は、放送信号が受信アンテナからＢＳ／ＣＳ／地上波デジタルチューナ部１２等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部１７により、種類別のパケットに分離され、音声映像用パケットがＭＰＥＧデコーダ部１６等でデコード処理されて映像音声信号となって、音声処理部１８及び映像処理部１９に供給される。映像処理部１９は、与えられた映像信号について、映像信号処理部１０により輝度信号が変換されてバランスのよい特性をもった映像信号が出力され、スケーリング部４３ではスケーリング処理が施され、γ補正部４４では、映像信号のγ補正が施された後に、セレクタ部２０に供給される。

セレクタ部２０は、制御部３０の制御信号に応じて例えば表示部２２に映像信号を供給し、これにより映像信号に応じた映像が表示部２２に表示される。また、音声処理部１８からの音声信号に応じた音声がスピーカー部２１から出力される。

また、ＯＳＤ重畳部３４で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部１９を経てこれに応じた映像が表示部２２に表示される。

上述した放送受信装置１００で、ＤＴＶ基本ブロック２は大別して、上記のチューナ部１２，１３・通信部１１と、ＭＰＥＧデコーダ部１６や映像処理部１９を中心とする機能拡張ブロック１に相当する部分からの信号を処理する部分との、２つの部分とを発明に関連の深い処理部分として機能させている。

なお機能拡張ブロック１としては、映像処理部１９のうちでは、更に映像信号処理部１０が図１の機能ブロックのうち映像処理に関わる部分として構成されている。
以上汎用プロセッサを用いた映像処理システムにおいて、MPEG圧縮されたYUV 4:2:0(60i)映像(ex. デジタル放送波)に超解像処理を適用する際に、ビデオ素材の映像に対しては、色のi/p変換および、色の超解像処理を適用し、フィルム素材の映像に対しては、輝度・色両方の24p再現および、輝度・色両方の超解像処理を適用する事を特徴とする、コンテンツ適応型の超解像処理を説明した。

本実施形態では汎用プロセッサによるi/p変換時の負荷と超解像処理を最適化する事を目的としてビデオ素材映像(i/p変換が複雑=高負荷が求められる)に対しては色情報のみのi/p変換および超解像処理を適用し、フィルム素材映像に対してのみ24p再現(変換が簡単=軽負荷で処理できる)を実施し輝度と色の両方に対して超解像処理実施する事を特徴としている。

実施形態の効果としてビデオ素材映像に対しては、H/Wによる超解像(既存技術)の前処理として色の超解像(クロマアップサンプリング)が追加されるため解像感が増している。またフィルム素材映像に対して、輝度と色の両方に対して汎用プロセッサを用いた最適な超解像処理を適用できるため更なる解像感の向上が期待できる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば汎用プロセッサを用いた映像処理として説明したが、相当する処理部分をハードウェアに置き換えることは発明の本質を変えるものではない。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１…機能拡張ブロック、２…DTV基本ブロック、３…高画質化ブロック、４…パネル、５…高音質化ブロック、６…スピーカー、１０…映像信号処理部、１５…バッファ部、１６…ＭＰＥＧデコーダ部、１７…分離部、１８…音声処理部、１９…映像処理部、Ｒ…リモコン。

Claims

フィルム素材又はビデオ素材のインターレース形式の映像信号が入力される入力手段と
、
前記入力手段に前記フィルム素材の映像信号が入力された場合、入力された前記フィル
ム素材の映像信号に関する色成分と輝度成分とをＩ／Ｐ変換する第１変換手段と、
前記入力手段に前記フィルム素材の映像信号が入力された場合、前記第１変換手段によ
りＩ／Ｐ変換された前記フィルム素材の映像信号に関する色成分と輝度成分の両方に対し
て自己合同性を用いた高周波成分の付加による高画質化処理である超解像処理を行う第１
処理手段と、
前記入力手段に前記ビデオ素材の映像信号が入力された場合、入力された前記ビデオ素
材の映像信号に関する色成分を動き適用型Ｉ／Ｐ変換する第２変換手段と、
前記入力手段に前記ビデオ素材の映像信号が入力された場合、前記第２変換手段により
Ｉ／Ｐ変換された前記ビデオ素材の映像信号に関する色成分に対して自己合同性を用いた
高周波成分の付加による高画質化処理である超解像処理を行う第２処理手段と、
を備える映像信号処理装置。
さらに放送信号を受信するチューナを備え、このチューナの出力を前記入力される映像
信号として用いることを特徴とする請求項１記載の映像信号処理装置。
汎用演算を行なうＣＰＵを更にそなえ、前記超解像処理はこのＣＰＵを用いた超解像処
理であることを特徴とする請求項１記載の映像信号処理装置。