JP5188272B2 - 映像処理装置及び映像表示装置 - Google Patents

Description

本発明は、映像の動きベクトルを検出して動き補正型フレームレート変換を行う技術に関し、特に映像中に所定方向に移動する文字テロップを含む場合に好適なフレームレート変換の技術に関する。

動画性能を改善するために、映像の動きベクトルから補間フレームを生成して入力映像信号のフレームレート変換を行う技術が従来から知られている。かかるフレームレート変換において、映像の動きベクトルを誤検出した場合、本来の映像にはない映像がノイズとして現れる（以下、映像の破綻と呼ぶ）こととなり、画質の劣化の原因となる。特に映画中の文字テロップや、番組の最後に流れるような文字テロップのスクロール等に代表される文字情報は、背景の映像とは全く異なる動き（もしくは動かない）をするため、その動きベクトルの検出が難しく、映像の破綻が起きやすい。また視聴者が注目しやすい場所であるため、破綻の認識率も高い。

フレームレート変換技術において、映像中の文字テロップを含む領域を検出するための従来技術としては、例えば特許文献１に記載のものが知られている。

特開２００３−２７１９７０号公報

上記特許文献１は、通常の映像（物体）にも適用されるブロックマッチング処理で文字テロップの領域と動き量を求めているため、文字とそれ以外の物体との識別が精度良く行えない可能性がある。また、特許文献１は、映像中に複数の動きを持つ文字テロップが存在する場合については考慮されていない。

本発明は、映像中に文字テロップが含まれる場合でも、より高画質な、すなわち映像の破綻を低減したフレームレート変換技術を提供するものである。

本発明は、入力映像信号中の文字テロップに関する特徴量を検出して当該文字テロップの領域及び動き情報を検出し、当該文字テロップの領域については当該検出された文字テロップの動き情報を用いることで、他の部分とは異なる補間処理を行ようにしたことを特徴とするものである。

ここで、文字テロップの領域と動きは、１フレームにおける文字テロップの動きに対応したライン数の度数を示す第１のヒストグラムと、ライン単位における文字の動き情報のヒストグラムを示す第２ヒストグラムとにより検出してもよい。

また、前記入力映像信号が、第１の動き周期（例えば毎秒２４（２５）フレーム／フィールド）を持つ映像と、該第１の動き周期よりも短い第２の動き周期（例えば毎秒６０（５０）フレーム／フィールド）を持つ文字情報とを含む場合は、フレームレート変換のための処理を停止するようにしてもよい。

本発明によれば、映像中に文字テロップが含まれる場合でも、より高画質に（映像の破綻を低減して）フレームレート変換処理を行うことが可能となる。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

図１は、本発明の第一の実施形態である映像表示装置の構成の一例を示すブロック図である。

以下、本実施例の構成、動作については、映像中に２種類の動きの文字テロップがある図３のような映像をフレームレート変換する場合を例にして説明するものとする。図３において、文字テロップ301、302はそれぞれ図中矢印の方向に、3 pix / frame (3ppf)、15 pix / frame (15ppf)で動いているものとする。

図１において、入力信号101はまず、RGB/YCｂCr変換部102において、輝度信号Yと色差信号CｂCrに変換される。この輝度信号Yと色差信号CｂCrは、文字テロップ検出部106へ入力されると共に、メモリI/F部114に入力され、画像メモリ115に一旦蓄えられた後、1フレーム遅延信号105として出力される。

ラインメモリ部103では、入力信号101（現フレーム信号104）、及び1フレーム遅延信号105をそれぞれ1ライン遅延させた信号を映像部動き検出部111、補間フレーム生成部113へ出力する。

文字テロップ検出部106には、現フレーム信号104及び１フレーム前信号105（以下、前フレームと呼ぶ場合も有る）の輝度信号Ｙのみ入力され、入力画像において文字テロップ部分を検出し、当該文字テロップについて他とは個別に補間処理するための選択補間用イネーブル信号109と110、及び文字テロップのスクロール速度である動き量107及び108を出力する。本実施例では、１枚の映像中に動きが異なる２種類の文字テロップに対して良好な補間処理を行うために、各文字テロップ、例えば図３に示された文字テロップ301、302に対応した２つの選択補間用イネーブル信号109と110、及び２つの動き量107及び108を出力可能に構成される。当然、２つ以上出力するように構成してもよいし、文字テロップが１種類であれば、選択補間用イネーブル信号及び動き量を１つずつ出力するようにしてもよい。

映像部動き検出部111へは、ラインメモリで１ライン文遅延された輝度信号Ｙのみが入力され、文字部を含んだ映像全体の動きベクトル112の検出を行い、検出された動きベクトル112を補間フレーム生成部113へ出力する。この動きベクトル112は、例えば時間的に連続する２つのフレーム、すなわち現フレームと前フレームとの中間に補間フレームを挿入する場合では、まず補間フレーム中のある注目画素（補間画素）を通る直線を複数設定する。その直線は、補間フレームの前後にある２フレーム（現フレーム及び前フレーム）のそれぞれに設けられた所定の矩形状領域内に設定される。その領域内に設定された複数の直線それぞれについて、当該直線が通過する上記２フレームの画素同士の差分を演算する。そして、その差分が最も小さい直線を、当該注目画素（補間画素）に対応する動きベクトルとして設定する。ここでは、この映像部動き検出部111における動きベクトルの検出方法の詳細に関しては、例えば特開2006-165602号公報や特開2007-082030号公報等において公知であるのでその説明を省略する。本実施形態は、映像の動き検出の方法として、これらの文献に示された方法以外にもブロックマッチング法、勾配法、位相相関法等を適用することができる。

補間フレーム生成部113では、（文字テロップ部分以外の）映像部に関しては、前記映像部動き検出部111からの動きベクトル112を用いて、文字テロップ部分については、各動き量107及び108を当該文字テロップ部分の動きベクトルとして用いて、補間処理を行って補間フレーム生成を行う。上記動き量107及び108が適用される領域、すなわち文字照りテロップ領域は、文字テロップ検出部106から出力された選択補間用イネーブル信号109及び110によって指定されるものとする。

上記補間処理は、例えば時間的に連続する現フレームと前フレームとの中間に補間フレームを挿入する場合では、補間フレーム中のある注目画素を通る動きベクトルによって指し示された上記２フレームの画素同士の平均値（もしくは補間フレームと現フレームまたは前フレームとの時間的距離に応じた加重平均）を求める処理である。かかる補間処理の詳細についても、上記文献に記載されており公知であるので、ここでは省略することとする。上記のようにして作成された補間フレームは、画像メモリ115とメモリＩ/Ｆ114の動作により、入力映像信号中のフレーム列に挿入される。例えば、入力映像信号のフレームレート（フレーム周波数）が６０Ｈｚであり、それを２倍の１２０Ｈｚにフレームレート変換する場合は、入力映像信号中の１つフレームおきに１つの補間フレームが挿入される。この処理の詳細についても、上記特開2006-165602号公報や特開2007-082030号公報に記載されているのでここでは省略する。

YCbCr/RGB変換部116では、YCｂCr信号をRGBへ変換する。前記RGB変換されたデータは、タイミングコントローラ部117を経由し、例えば液晶パネルやＰＤＰ等で構成されたFPDパネル118に出力される。

図２は、図１における、文字テロップ検出部106の一具体例を示したものである図２において、高輝度／エッジ検出部203では、ラインメモリ部103からの現フレーム信号104及び1フレーム前信号105を入力し、文字の特徴量として高輝度且つ高エッジが存在する部分を現フレーム信号104、及び1フレーム前信号105のそれぞれに対して検出する。文字部分は、他の映像に比べて一般的に輝度が高く、かつ他の映像との輝度差が大きくその変化が急峻であるため、本実施例では、入力された映像信号から文字の特徴量として高輝度且つ高エッジの信号を抽出することで、映像から文字の部分を良好に検出できるようにしている。かかる高輝度且つ高エッジの信号は、ここで、高輝度の信号とは、所定閾値以上の輝度値を持つ信号であり、例えば輝度信号Ｙの階調が256階調（8bitのデジタル信号）である場合には、例えば150階調以上の輝度であるものとする。また、高エッジの信号とは、輝度信号Ｙをハイパスフィルタリング（或いは一次または二次微分）することにより抽出された高周波成分（エッジ成分）のうち、所定閾値以上のものとする。

さらに、本実施例に係る高輝度／エッジ検出部203では、上記エッジに関しては、例えば微分回路等を利用して立ち上がりエッジと立ち下りエッジとをそれぞれ検出することにより、下記４種類の文字の特徴量に関する信号を出力するものとする。
現フレーム信号の高輝度且つ立ち上がりエッジ
現フレーム信号の高輝度且つ立ち下がりエッジ
１フレーム前信号の高輝度且つ立ち上がりエッジ
１フレーム前信号の高輝度且つ立ち下がりエッジ
つまり、本実施例においては、現フレーム信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が現フレーム信号の高輝度且つ立ち下がりエッジまで継続する期間を現フレームの文字テロップの領域とする。また、１フレーム前信号の高輝度且つ立ち上がりエッジを基点とし、所定値以上でほぼ一定レベルの高輝度の信号が１フレーム前信号の高輝度且つ立ち下がりエッジまで継続する期間を１フレーム前の文字テロップの領域とする。このようにして、各フレームにおいて文字テロップが存在する領域が特定される。このような文字領域を特定するため上記４つの信号（つまり各フレームの高輝度且つ立ち上がり／立下りエッジ）を、以下では「文字領域データ」と呼ぶこととする。

一方、動き検出部204では、上記高輝度／エッジ検出部203で検出された文字領域データを用いて文字テロップのスクロール速度（つまり動き量）を検出して文字テロップのための動き量ヒストグラムを作成する。そして、この文字テロップ動き量のヒストグラム情報から、文字テロップの出現パタンを識別して文字テロップ識別信号208を出力するとともに、文字テロップの動き量107と108を検出して出力する。本実施例においては、動き検出部204では、図３に示したように、例えば映像中の主要な動きを持つ２種類の文字テロップ動き量107（3ppf）と108（15ppf）を出力するものとする。文字テロップ動き量のヒストグラムから文字テロップ識別信号208及び動き量107、108を生成するための構成の詳細については後述する。さらに、動き検出部204は、誤検出の防止のために、ラインマスクイネーブル信号209を出力する。

補間イネーブル生成部205では、動き検出部204から検出された動き量107、108とラインマスクイネーブル信号209とを用いて文字テロップ部分の補間用イネーブル信号210を作成する。ここでは、補間用イネーブル信号210は図３で示された文字テロップ301、302に対応した２種類の信号を含むものとする。セレクタ部206では、文字パタン認識信号208に応じて、２つの補間用イネーブル信号210のいずれかを選択して選択補間用イネーブル信号109または110を出力する。

図４は、図２における動き検出部204の一具体例を示したものである。図４のデータシフト処理部401には、図２における高輝度／エッジ検出部203から出力された４つの信号、すなわち文字領域データが入力される。データシフト処理部401では、現フレームまたは１フレーム前の文字領域データを１ドット（ピクセル）ずつシフトする。本実施例においては、このシフト量を0〜30とすることで、動き量30ppfまで検出可能とする。

そしてデータシフト処理部401とマッチング処理部402により、上記文字領域データをシフトしつつ、当該文字領域データから文字テロップの動き量を検出する。例えば、データシフト処理部401で現フレームにおける文字領域データを基準として１ピクセルずつ水平方向にシフト（ずらし）ながら、マッチング処理部402で１フレーム前の文字領域データと比較する。ここで、マッチング処理部402は、現フレームにおける文字領域データのある画素と、１フレーム前の文字領域データのうち、上記ある画素と空間的に同一位置に存在する画素とを比較する。尚、この実施例では、静止した文字も検出可能とするため、シフト量は０から開始するものとする。その比較の結果得られた差分値が所定値以下の場合、両者が「マッチング」したものとし、その「マッチング」した画素の数をここでは「マッチング量」とする。

よって、実際の映像において文字テロップが１フレーム前から現フレームにかけて１０ドット動いた場合は、現フレームにおける文字領域データを１０ピクセルシフトしたときに、１フレーム前の文字領域データとのマッチング量が最大となる。つまり、このマッチング量を検出することで、文字テロップの動き量を特定することができる。このマッチング量を求める処理は、本実施例ではシフト量が30画素となるまで行うものとする。上記の例では、現フレームにおける文字領域データを１ピクセルずつシフトして前フレームの文字領域データと比較したが、逆に、前フレームにおける文字領域データを１ピクセルずつシフトして現フレームの文字領域データと比較してもよい。尚、エッジ部分の検出方法としては、例えば本出願人により既に出願された特開2007-316293号公報に記載されたものが知られており、その詳細については、当該文献を参照することにより明らかになるので、説明を省略する。

ラインヒストグラム検出部400では、0〜30の各シフト量（つまり動き量）毎に、前記マッチング処理部402により演算されたマッチング量をフレーム単位でカウントする。例えば、動き量１０（文字領域データのシフト量１０）でのマッチング演算において、各ラインのマッチング量が図５（ａ）に示すような値であり、所定閾値の値を300とした場合、動き量１０が存在するラインは同図（ｂ）のようになり、カウント数は、５となる。つまり、動き量１０（ppf）で動いている物体が存在するラインがそのフレーム中に５ライン存在する、という情報を得る。これにより、図７において後述するような、縦軸をライン数、横軸を動き量としたラインヒストグラムを得ることができる。このラインヒストグラムによって、ある１フレームにおける文字テロップが存在するラインの数や、後述するように文字テロップの出現パタンを特定することができる。尚、図５では文字テロップが存在しない領域でもマッチング量が検出されているが、これは文字以外の映像に対しても文字の特徴量（高輝度かつ高エッジ部分）を検出する場合があるためである。しかしながら、マッチング量と比較される所定閾値を適切にする（本実施例では300）とすることにより、文字以外の映像に対して検出された文字の特徴量の影響を排除もしくは軽減することができる。尚、上記所定閾値は、１ラインの水平方向画素数の２０〜６０％程度とすることができる。

一方、画素ヒストグラム検出部404では、0〜30の各シフト量（つまり動き量）毎に、前記マッチング処理部402により演算されたマッチング量をライン単位でカウントすることで画素ヒストグラムを得る。例えば、図６（ａ）において、動き量１０（ppf）で動く物体を含む所定ライン6001におけるヒストグラム分布は、同図（ｂ）のようになる。つまり、図６（ｂ）は、ある１つのライン601においては、動き量１０（ppf）で動く文字を最も多く含んでいることを示している。

ここで、図６（ｂ）において動き０の部分においてもカウント値があるのは、図６（ａ）において、動き文字のない部分は、動き０としてマッチングされる可能性が高いからである。また、背景が一般の映像であるような場合においては、もっと複雑なヒストグラム形状になることが予想されるが、本実施例では、高輝度且つ高エッジという文字の特徴量を検出することにより動き検出の条件を文字テロップにフォーカスさせているため、高い検出精度を保つことが可能である。また、より支配的な動き量のみ取り出すために、ヒストグラム情報の平滑化処理を行ってもよい。

パタン判定部405では、前記ラインヒストグラム403検出部で得られたラインヒストグラム、及び画素ヒストグラム検出部404で得られた画素ヒストグラムを用いて、入力映像中の文字テロップ表示状態、すなわち文字テロップのパタンを識別する。その文字テロップのパタンの一例を図７に示す。

図７のNo.0は、映像中に文字テロップが存在しない場合を示しており、その場合は、上記文字領域データが検出されないので、文字の動き量に関するラインヒストグラム及び画素ヒストグラムにおいて、各動き量の度数は０となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムの度数が全動き量に渡って０の場合は、映像中に文字テロップが存在しないと判定することができる。

No.1の上の例は、ある映像のLine1に静止する文字が存在する場合である。この場合は、上述したマッチング処理により、文字領域データのシフト量０でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量０の度数が最大となる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が０の度数が最大の場合は、ある映像に静止する文字が存在すると識別することができる。

No.1の下の例は、ある映像のLine1に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量１０でマッチング量が最大となるので、図示されるように、ラインヒストグラムにおいて動き量１０の度数が最も大きくなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が１０の度数が最大の場合は、ある映像に動き量１０の文字が存在していると識別することができる。

No.2の上の例は、ある映像のLine1に静止する文字が、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量０と１０のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量０と１０の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部403で検出されたラインヒストグラムにおいて、動き量が０と１０の度数がそれぞれ所定値よりも大きい場合は、ある映像に静止する文字と動き量１０の文字が存在すると識別することができる。

No.2の下の例は、ある映像のLine1に左方向に3ppfで動く文字テロップが、Line2に左方向に10ppfで動く文字テロップが存在する例である。この場合は、上述したマッチング処理により、文字領域データのシフト量３と１５のマッチング量が大きくなるので、図示されるように、ラインヒストグラムにおいて動き量３と１５の度数が各々所定値を超えたピークとなる。換言すれば、ラインヒストグラム検出部4003で検出されたラインヒストグラムにおいて、動き量が３と１５の度数がそれぞれ所定値よりも大きい場合は、ある映像に動き量３と１５の文字が存在すると識別することができる。

このように、本実施例では、ラインヒストグラムを検出することによって文字テロップの表示状態、すなわち出現パタンを識別することができる。更にラインヒストグラムにおいて、度数が所定値を越える、もしくは最大の動き量を文字テロップの動き量とすることができる。

更に、本実施例では、上述のように画素ヒストグラム検出部404によって１フレームにおける複数ライン毎に、動き量の画素ヒストグラムを検出している。例えば、入力映像信号の有効ライン数が1080本である場合、あるフレームの1番目のラインから1080番目のラインまで、順次ライン毎に動き量の画素ヒストグラムを検出する。これによって、あるフレーム内における文字テロップが存在するラインを特定できる。

例えば、図７において、Line1が580番目のライン、Line2が950番目のラインであるものとする。図７のNo.1の上の例では、検出されたLine1の画素ヒストグラムが動き０で最大となっており、対応するラインヒストグラムと一致している。このような場合、580番目のラインに文字テロップが存在すると判定できる。同様に、No.1の下の例では、検出されたLine1の画素ヒストグラムが動き１０で最大となっており、対応するラインヒストグラムと一致しているので、580番目のラインに文字テロップが存在すると判定できる。

また、No.2の上の例では、Line1の画素ヒストグラムが動き０と１０でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが０の静止文字テロップが存在し、Line2に動きが１０の文字テロップが存在することを判定できる。同様にNo.2の下の例では、Line1の画素ヒストグラムが動き３と１５でピークとなっており、対応するラインヒストグラムと一致しているため、580番目のラインに動きが３の文字テロップが存在し、Line2に動きが１５の文字テロップが存在することを判定できる。

本実施例において文字テロップの例としている図３のパタンは、２つのピークが存在するラインヒストグラムのプロファイルから図７におけるパタン２となる。つまりパタン判定部405は、図７に示されるように、No.2の下方のラインヒストグラムにおいて動き量３及び１５の２箇所においてその度数が所定値を超える（すなわち２つのピークが存在する）ので、現在の入力映像が２種類の動きテロップ情報があることを示す文字パタン認識信号（ここでは例えばパタン２の”２”という値）208を生成し、図２のセレクタ206及び補間イネーブル生成部205へ出力する。更に、No.2の下方のラインヒストグラムでは、動き量３及び１５において度数が所定値を超えているため、前記２種類の文字テロップに夫々対応する動き量107及び108を生成し、図１の補間フレーム生成部113、図２の補間イネーブル生成部205及びラインマスク生成部409へ出力する。この例の場合、動き量3ppfと動き量15ppfという値を２種類の動き量406として出力する。

また、画素ヒストグラム検出部404で得られた画素ヒストグラムにおいて、出現度数が最大となる動き量を検出することによりライン単位での最大動き量408を出力する。このとき、各ライン中の最大値が出力されるタイミングは１ライン分遅れるため、図１に示すように、映像部動き検出部106、補間フレーム生成部107に入力するデータに対して、文字テロップ検出部106へ1ライン前の信号104を入力している。図３の映像が入力された場合、ライン1では動き量３、ライン２では動き量１５という値が各ラインに出力される。

ラインマスク生成部409では、前記フレーム単位での支配的な２種類の動き量107及び108と、ライン毎に検出した支配的な動き量408から、マスクをかけるべきラインを判定してそのラインに対するラインマスクイネーブル信号209を出力する。図３の例の場合、ライン１（例えば580本目のラインで動き量３）に対して、動き量１５のイネーブルが生成されないようにマスクをかけ、当該ライン１では動き量３のイネーブルのみ生成されるようにする。具体的には、フレーム単位での支配的な２種類の動き量107、108とライン単位での支配的な動き量408とをそれぞれ比較し、値が同じ（若しくは異なっていても所定範囲内）でラインについては０、異なるラインについては１をラインマスクイネーブル信号209として、図２の補間イネーブル生成部205へ出力する。

同様に、ライン２（例えば950本目のラインで動き量１５）に対して、動き量３のイネーブルが生成されないようにマスクをかけ、当該ライン２では動き量１５のイネーブルのみ生成されるようにする。どの動き量がどのラインに対応するか、及びマスクをかけるべきラインは、上述したようにラインヒストグラムとライン毎の画素ヒストグラムとの対応関係により特定することができる。

図８は、図２における補間イネーブル生成部205の一具体例を示したものである。図８において、第１イネーブル生成部806は、高輝度／エッジ検出部203から出力された上述の文字領域データとパタン判定部405からの動き量107が入力される。そして、1フレーム前信号の文字領域データに対して、現フレーム信号の文字領域データを動き量107分だけ水平方向にシフト（遅延）させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積を演算する。これにより、動き量107で動いている文字領域データ（例えば図３の文字301）を識別、特定する。第２イネーブル生成部8007は、高輝度／エッジ検出部203から出力された文字領域データとパタン判定部405からの動き量108が入力される。これも同様にして、現フレーム信号の文字領域データを動き量108分だけ水平方向にシフト（遅延）させ、このシフトさせたものと1フレーム前信号の文字領域データの論理積をとることにより、動き量108で動いている文字領域データ（例えば図３の文字302）を識別、特定する。尚、前記において現フレームの代わりに1フレーム前信号の方をシフトさせてもよい。

補間イネーブル判定部808では、図２のパタン判定部405からの文字パタン認識信号208と、図２のラインマスク生成部409からのラインマスクイネーブル信号209から、前記動き量107及び108で動く文字領域データの各々に対して、イネーブルの有効／無効を判定する。例えば今、入力映像が、図３のようにフレーム内に２種類の動きを有する文字テロップが存在する場合（つまりパタン２）を例にして補間イネーブル判定部808の動作を説明する。この場合、補間イネーブル判定部808は、パタン判定部405からの文字パタン認識信号208が「パタン２」であるので、文字テロップが存在する２つの領域について、ラインマスクイネーブル信号209を用いてイネーブルの有効／無効を判定する。第１イネーブル生成部806で識別され出力された文字領域データ（例えば図３の文字301）に対しては、ラインマスクイネーブル信号209が０の場合の時のみ有効とし、１の場合は無効で０クリアされる。第２イネーブル生成部807で識別され出力された文字領域データも同様に、ラインマスクイネーブル信号209が０の場合の時のみ有効とし、１の場合は無効で０クリアされる。本マスク処理により、そのラインにおいて最も支配的な動き方向にのみイネーブルを生成することができ、誤検出による弊害を防止することが可能となる。

補間イネーブル伸張／トレース部809では、文字領域データのみに掛けられているイネーブルを、文字を含む領域全体に拡げる処理を行う。これにより、図３のように動きが異なる２つの文字テロップが存在する場合は、それぞれの文字領域を含む領域に対応する補間用イネーブル信号210を生成する。この拡張処理は、例えば特開2007-316293号公報に記載された手法を参照されたい。この拡張処理は、省略することもできる。

図３の映像が入力された場合、上記拡張処理により、動き量107（3ppf）に対する補間イネーブルが図９（ａ）、動き量108（15ppf）に対する補間イネーブルが同図（ｂ）として出力されるようになる。尚、図９において、白くされた楕円形の部分が、イネーブルが掛けられたエリアである。

最終的に図２のセレクタ部206にて、文字パタン認識信号208に応じてイネーブル信号の出力切替を行い、動き検出部204からの2種類の動き量107、108と共に、前記各動き量に対応した補間イネーブル信号109、110を出力する。ここで、文字パタン認識信号208がパタン１の場合は、補間イネーブル信号は１つのみ出力され、パタン２の場合は各文字領域に対応して２つ出力される。またパタン１の場合は、動き量は107の１つのみ、パタン２の場合は、動き量は107と108の２つが出力される。また前記セレクタ部206においては、例えば図７において、文字が存在しないパタン０の場合は、補間イネーブル信号210は２つとも０、パタン1のように、１種類の文字しか存在しない場合は、補間イネーブル信号210のうち一方のイネーブル信号は０とするような動作を行う。

文字テロップ検出部105によって検出された２種類の文字の動き量107、108と、前記各動き量を持つ文字が存在するエリアを示す補間イネーブル信号109、110を補間フレーム生成部107へ出力することにより、補間フレーム生成部107では、入力映像のうち補間イネーブル信号109/110で示された領域、すなわち文字テロップの領域をマスクする。これにより補間フレーム生成部107は、マスクされた領域（すなわち補間イネーブル信号109、110で示された文字テロップ領域）については動き量107、108を用いて上述した補間処理を行う。一方、文字テロップ領域以外の背景映像については、映像動き検出部101からの動きベクトルを用いて補間処理が行われる。従って、本実施例によれば、文字テロップとそれ以外の映像領域とを個別に（独立して）補間処理を行うことができ、背景映像部の動きの影響による文字エリアの破綻、もしくはその逆の現象を防ぐことが可能となる。

以上のように、本実施例では、文字の特徴量を検出し、更に動き量毎の度数を示す上記ラインヒストグラムと画素ヒストグラムを作成しているので、映像中に存在する複数の動き文字テロップを検出することが可能となる。且つ各文字テロップの動き量それぞれに対応するイネーブルを生成することができるため、精度良く各動きテロップを識別処理することが可能となる。

尚、本実施例においては映像中に２種類の動きテロップが存在する場合について述べたが、図２における動き検出部204、及び補間イネーブル生成部205の処理系を複数持たせることによって、２種類以上の文字テロップにも対応可能である。

また、本実施例においては、映像信号の入出力段にマトリクス変換部を置き、文字テロップの動き量の検出系は全て輝度信号Ｙのみを用いる構成としているが、これに限定されるものではない。例えばＲＧＢ信号をそのまま用いて動き量を検出してもよいし、もしくはＲＧＢ信号と輝度信号Ｙを組み合わせたデータを利用して検出する構成としてもよい。このような構成とすることで、例えば白以外の色付きテロップの動き量の検出精度が向上される。また、白以外の色付きテロップの動き量の検出精度をさらに高めるために、例えば、ＲＧＢ信号をＨＳＶ信号に変換するためのRGB／HSV変換器（図示せず）を別に設け、これにより入力されたＲＧＢ信号から色相（Hue：Ｈ値）、及び彩度（Saturation：Ｓ値）情報を生成し、これを文字テロップ検出部106に入力して文字テロップの動き量を検出するようにしてもよい。このように色情報を加味することにより、文字テロップの検出精度の向上を図ることが可能となる。

次に、本発明に第２実施例について図１０〜１４を参照しつつ説明する。この第２実施例は、入力映像中の文字テロップ表示状態が、例えば図１１に示されるような同一ライン上に複数の動きテロップが存在するパタン３のケースの場合でも文字テロップの領域と動きを識別可能にしたことを特徴としている。第１の実施例の構成では、ライン単位で動き検出やイネーブル制御をしているため、パタン３の場合は同一ラインに含まれる２つの動きのうちどちらか一方の動きにしか対応できない。これに対し、本実施例では、画素単位で動き検出やイネーブル制御をすることにより、同一ラインに複数の動き量の文字テロップが存在する場合においても、それらを分離し、処理することが可能としている。

この第２実施例は、第１実施例と比較して、（１）第１実施例では、文字テロップの動きを検出するために、現フレーム及び前フレームデータの１ライン前の信号を用いたが、第２実施例では、これに加え、更に、現フレーム及び前フレームデータの５ライン前の信号も用いている点、（２）文字領域データである高輝度かつ高エッジのデータは、上記５ライン前の信号に基づいて生成している点、及び（３）図２及び図８に示された補間イネーブル生成部の構成が異なっている点、が異なっている。この第２実施例に係る補間イネーブル生成部の一具体例は図１０に示される。

図１０において、図８に示した補間イネーブル生成部の一例と同一の構成要素に関しては、同一の符号を付してその説明を省略する。図１０の具体例は、図８に示した構成において、第１イネーブル生成部806及び第２イネーブル生成部807と補間イネーブル判定部808との間にエリア判定部120を加えたものであり、エリア判定部120の一具体例は図１２に示されている。

図１２に示された回路は、ある対象画素の位置を中心にした所定エリアにおいて、同一ラインに含まれる複数の動き量（ここでは、動き量１、動き量２とする）で動く文字テロップのそれぞれについて、そのエッジをカウントすることにより、その画素の本来の動きを決定するものである。図１２において、図１０の第１イネーブル生成部806から出力された動き量１でのイネーブル信号121は、ラインメモリ122に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部123によって10クロック、すなわち10ピクセル分遅延される。一方、図１０の第２イネーブル生成部807から出力された動き量２でのイネーブル信号124は、ラインメモリ125に入力されて10ライン分遅延され、続いて10clk遅延処理及びHSTカウント部126によって10クロック、すなわち10ピクセル分遅延される。ここで、本実施例においては上記のように５ライン前のデータを入力しているため、上述の10ライン遅延及び10clk遅延処理を行うことによって、例えば図１３に示すような対象画素135を中心としてＶ:±5×Ｈ:±5のエリアを参照することが可能となる。

10clk遅延処理及びHSTカウント部123及び126では、同一ラインに含まれる動き量１、動き量２に対してそれぞれエッジの個数をカウントし、それぞれ、各動き量に対応したカウント数127及び128を出力する。ここで、エッジのカウントは、図１３のエリアにおける各画素のうち、所定値よりも高いエッジを有する画素の個数をカウントするものとする。よって、本実施例においては、カウント数の最大値は121(11×11)である。今、動き量１のエッジのカウント数127をN_MV1、動き量２のエッジのカウント数128をN_MV２、所定閾値をN_THとし、また動き量１のエリアマスク信号132をAM1_mk、動き量２のエリアマスク信号133をAM2_mkとした場合、エリアマスク生成部129では、以下のような処理を行う。
N_MV1≧N_MV2、且つ N_MV1≧N_THの場合、AM1_mk=0、AM2_mk=1
N_MV2≧N_MV1、且つ N_MV2≧N_THの場合、AM1_mk=1、AM2_mk=0
上記以外の場合、AM1_mk=1、AM2_mk=1
このようにして、エリアマスク生成部129は、動き量１のエリアマスク信号132を動き量２のエリアマスク信号133を生成して図２のセレクタへ出力する。

上記処理について、図１１に示したパタン３を拡大した図１４を参照して説明する。図１４（ａ）において、「ＡＢＣ」を含む文字列141は静止（これを動き量１とする）、「あいうえおかきく」を含む文字列142は画面右から左へ15ppf（これを動き量２とする）で動いているものとする。図中の四角いエリア143は、図１３に示されたＶ:±5×Ｈ:±5画素のエリアを示している。対象画素144、対象画素145に対するエリアヒストグラムをそれぞれ図１４（ｂ）、（ｃ）に示す。上記の演算により、対象画素144では動き量２のイネーブルがマスクされ（AM2_mk=1）、対象画素145では動き量１のイネーブルがマスクされる（AM1_mk=1）。

この結果、パタン３の場合、補間イネーブル判定部808からは、EN伸張、トレース処理部809を通して、動き量１(0ppf)の文字列141を含む領域に対応するイネーブル146と、動き量２(15ppf)の文字列142を含む対応するイネーブル147を出力する。

以上のように、本実施例では、同一ライン上に複数の動き文字が存在する場合においても、画素単位でイネーブル制御を行うことにより、これら複数の文字を背景映像から分離し、また個別に補間処理することが可能となる。

また、図１０の補間イネーブル判定部808では、文字パタンが３のときは、エリアマスク信号のみ利用し、パタン１、２の場合にはエリアマスク信号とラインマスク信号の論理和をとることで、パタン１、２に関しても実施例１同等の効果を得ることが可能である。

また、本実施例においては、エリアヒストグラムを、対象画素を中心としてV:±5×H:±5画素としているが、これに限定されるものではない。例えば、エリアを11×11以上としてもよく、またエリアの形状を可変（正方形ではなく長方形等）等することにより、より検出精度が向上する。さらに、入力画像の画素数（SD or FullHD等）により、エリアサイズを適応制御する構成としても良い。

また、上記第１、２実施例においては、文字テロップの水平方向の動きのみで説明を行ってきたが、例えば所定数ラインメモリを装備させ、所定ライン分のデータを文字テロップ検出部へ入力させることで縦方向への動きの対応も可能である。さらには、１つのフレームを例えば複数の所定エリアブロック単位に分割し、その所定エリア単位で上述した動き量の検出や文字領域の特定処理をする構成とすれば、縦、横、斜め方向の動きへの対応も可能となる。

図１５は、本発明の第３実施例における映像処理装置に適用されるフレームレート変換装置の構成の一例を示している。

本実施例は、動き周期が異なる物体が混在する映像に対してフレームレート変換処理を良好にするものであり、例えば、24(25)コマで構成されるテレシネ信号に60(50)コマで構成される文字情報が表示される場合において、動き補正フレームレート変換機能をオフようにしている。これにより、フレームレート変換処理に伴う文字情報のガタツキを防ぐことができる。尚、図１５において、図１に示した回路と同一の構成要素に関しては、同一の符号を付してその説明を省略する。

テレシネ検出部152は、入力映像信号151がテレシネ信号（映画ソース）であるか否かを検出し、テレシネ判別信号を出力する。テレシネ判別の方法は、現フレームデータと、メモリＩ／Ｆ114及び画像メモリ115によって得られた１フレーム前データとの差分情報から、2-3プルダウンの位相を検出するもので、一般的に知られている技術であるため詳細はここでは記載しない。文字テロップ検出部153は、入力映像中の文字テロップの動きを第１実施例で説明したものと同様な方法により検出し、結果を出力する。その構成は、第一、第二の実施例にて説明した構成のものとしても良いし、単純に動き文字テロップの有無を検出するだけの機能を持ったものでも良い。動きベクトル検出部154では、第１実施例で説明したものと同様な方法により現フレームデータと１フレーム前データから映像の動きベクトルを検出する。この動きベクトルの検出は、これ以外にも、ブロックマッチング法、勾配法、位相相関法等を用いてもよい。補間フレーム生成部155は、前記動きベクトル検出部154（場合によっては文字テロップ検出部153からも）からの動きベクトル情報に基づいて、第１実施例で説明したものと同様な方法により補間フレームを生成する。ここで、動きベクトル検出部154、補間フレーム生成部155、メモリインターフェース部156のそれぞれには、テレシネ検出部152からのテレシネ判別信号が入力されており、入力映像が映画（つまり2-3、2-2プルダウン方式のテレシネ信号のフォーマット）かそれ以外かでその動作を切り替えている。

ＴＶにおける映画放送においては、例えば映画の宣伝情報等の文字情報を後から映像に重畳させて放送するものが多い。この場合、映像部は2-3プルダウンされた毎秒24コマの映像であるのに対し、文字情報は毎秒60コマの映像である。図１５のシステムに、かかる映像入力があった場合、テレシネ検出部152では通常、メインの映像部が24コマであるため、当該映像入力はテレシネ信号のフォーマットである映画と判定する。その場合、前記文字情報の部分も含めて映画として認識し、動き補正フレームレート変換を行ってしまうため、元々60コマで構成されていた文字情報部分は、ガタツキが発生してしまう。この理由について図１６を使って説明する。

図１６において、同一アルファベット（大文字）で現しているフレームは、同一のフレーム情報であることを示し、また小文字のアルファベットは文字情報の内容を示している。24コマの映画をTVで放送する場合は、2-3プルダウンによって毎秒60コマ化されて図１６（ａ）のように送られてくる。一方、宣伝情報等の文字情報データは、元々毎秒60コマであるために、（ｂ）のように送られてくる。補間フレーム生成部195では、テレシネ検出部152によって入力映像がテレシネ信号であると判別され、その判別信号を受けた場合は、その図中矢印で示されたキーフレーム（複数の同一映像内容のフレームのうち、時間的に最先のフレーム）の位置を検出し、そのキーフレーム間での動き検出を行い、補間フレームを生成する。ここで“ｄ”を映像中の文字情報データの動き量とした場合、（ａ）のキーフレームと同じ矢印位置の文字データのフレームを見ると、等速“ｄ”で動いているはずの文字データが２ｄ、３ｄの動き量となり、フレーム毎に動き量が異なっていることが分かる。従って、フレーム毎に異なる動きが検出され、その動きに対応した補間フレームが生成されるため、文字情報データ部分はガタツクこととなる。

そこで本実施例では、テレシネ検出部152において入力映像がテレシネ信号のフォーマット（すなわち映画）と判定された場合、文字テロップ検出部153により、その映像中に動きテロップがある場合には、動き補正フレームレート変換動作をオフし、現フレームをスルー処理（つまり、そのまま出力）する。つまり、テレシネ信号フォーマットの映画放送中に動きテロップがある場合は、何もせずそのまま表示する。本処理により、映像部の動画質改善は見込めなくなることになるが、文字情報データのガタツキの弊害を改善することができる。

以上のように、本実施例では、入力映像が映画の場合で且つ、映像中に動きテロップがある場合には、動き補正フレームレート変換処理をオフすることによって、動きテロップのガタツキ弊害を防止することが可能となる。

また、本実施例では、全てハードウエアにて処理を行う構成としているが、これに限るものではなく、必要情報（テレシネ信号、動き文字テロップ有無情報等）を外部マイコンから読出し、マイコン側でソフトウェア処理する構成としても良い。

図１７は、本発明の第４の実施形態である文字テロップ検出部の構成の一例を示すブロック図である。図１７において、図２に示した第一の実施形態における画像表示装置と同一の構成要素に関しては、同一の符号を付してその説明を省略する。

本実施の形態が第１の実施例と異なる点は、黒文字等低輝度のテロップを検出できるように、低輝度、エッジ検出手段を設けたところにある。本実施例によれば、輝度の高くない文字テロップに関しても、動画質改善が可能となる。

一般放送においては、様々な色、輝度のテロップが重畳される。一般的な文字テロップは背景と比較して高輝度なものが多いが、中には黒文字等輝度の低いテロップも存在するため、高輝度且つエッジが存在する、という条件だけではそれを検出することができない。文字が低輝度でも、背景の輝度が高い場合はエッジを捉えることができるが、厳密に文字部分を捉えているわけではない。

そこで、本実施例では、高輝度／エッジ検出部203に加え、もう１系統低輝度テロップ用の低輝度／エッジ検出部171を追加することで、低輝度テロップの検出を行う。高輝度、エッジ検出部203と低輝度／エッジ検出部171は、その構成は同一としても構わない。具体的には、輝度判定において、高輝度、エッジ検出部2003では所定閾値以上という条件で検出を行うのに対し、低輝度、エッジ検出部23001では所定閾値以下という条件で検出を行う。エリア補正部172では、前記高輝度／エッジ検出部203からのエリア出力と、低輝度／エッジ検出部171からのエリア出力の論理和を取り、高輝度、低輝度両方の条件を満たすエリアのエッジ信号が出力される。この後の動作は、第１、２の実施例と同じである。

以上のように、本実施例では、高輝度テロップに加え、低輝度のテロップに関しても検出可能となり、動画質改善効果を得ることができる。

また、本実施例においては、輝度、エッジ検出系を２系統持たせることで、高輝度、低輝度文字テロップへの対応を図っているが、これに限るものではなく、２系統以上持たせることで、文字テロップの輝度を細かく判別可能にして文字テロップを識別精度を向上させるようにしてもよい。

本発明の第１実施例に係る映像処理装置の一具体例を示す図。 第１実施例に係る文字テロップ検出部106の一具体例を示す図である。 ２種類の動きを持つ文字テロップの一例を示す図。 第１実施例に係る動き検出部204の一具体例を示す図。 第１実施例に係るラインヒストグラムの検出の一例を示す図。 第１実施例に係る画素ヒストグラムの検出の一例を示す図。 第１実施例に係る文字表示パタンの例を説明するための図。 第１実施例に係る補間イネーブル生成部205の一具体例を示す図。 第１実施例に係るイネーブル出力イメージ図である。 本発明の第２実施例に係る補間イネーブル生成部205の一具体例を示す図。 文字表示パタンの別の例を説明するための図。 第２実施例に係るエリア判定部120の一具体例を示す図。 第２実施例に係るエリアヒストグラムのカウント領域の一例を示す図。 第２実施例の動作を説明するための図。 本発明の第３実施例に係る映像処理装置の一例を示す図。 テレシネ信号における文字情報の動きを示す図。 本発明の第３実施例であって、動き検出部204の他の例を示す図。

符号の説明

101…入力信号、102…RGB/YCｂCr変換部、103…ラインメモリ、104…現フレーム1ライン前データ、105…1フレーム前1ライン前データ、106…文字テロップ検出部、107、108…文字テロップの動き量、109、110…文字テロップ有／無信号、111…映像部動き検出部、112…映像部動きベクトル、113…補間フレーム生成部、114…メモリインターフェース部、115…画像メモリ、116…ＹＣbＣｒ/RGB変換部、117…タイミングコントロール部、118…FPDパネル。

Claims (10)

1. 入力映像の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、
   前記入力映像について、１フレーム内において、各動き量毎にその動き量で動いている物体が存在するラインの数を示す第１のヒストグラムを生成し、１ライン内において、各動き量毎の画素数を示す第２のヒストグラムを生成し、前記第１のヒストグラム及び前記第２のヒストグラムに基いて、前記入力映像に文字テロップが含まれていない状態、前記入力映像に静止した文字テロップが含まれている状態、前記入力映像に動きのある文字テロップが含まれている状態、前記入力映像に静止した文字テロップと動きのある文字テロップとの両者が含まれている状態、および前記入力映像に異なる動きの複数種類の文字テロップが含まれている状態のいずれの状態であるかを判定し、及び動きのある文字テロップがある場合の該動きのある文字テロップのライン及び動き量を判定することにより、前記入力映像に含まれる文字テロップの有無及び前記入力映像に含まれる文字テロップの動き量を検出する文字テロップ検出部と、
   前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報または前記動きベクトル生成部によって生成された動きベクトルを用いて、前記入力映像について補間処理を行い補間フレームを生成する補間フレーム生成部と、
   前記補間フレーム生成部によって生成された補間フレームを前記入力映像のフレーム列とを組み合わせて、前記入力映像のフレームレートと異なるフレームレートの映像を生成する映像信号生成部とを備え、
   前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップ領域に対応する補間処理を、前記文字テロップ領域以外の他の映像部分の補間処理とは異ならせて行うことを特徴とする映像処理装置。
2. 請求項１記載の映像処理装置において、前記文字テロップ検出部は、さらに前記入力映像中における文字テロップに関する特徴量として前記入力映像の輝度及びエッジを検出するための検出部を含み、前記入力映像のうち前記検出された輝度が所定閾値以上で、かつ検出されたエッジが所定閾値以上の部分を前記文字テロップとして検出することを特徴とする映像処理装置。
3. 請求項２記載の映像処理装置において、前記検出部を複数系統設け、互いに輝度が異なる少なくとも２種類の文字検出を可能としたことを特徴とする映像処理装置。
4. 請求項２または請求項３記載の映像処理装置において、前記検出部は、前記入力映像のＲＧＢ値、または輝度情報Ｙ及びＲＧＢ値を用いて前記文字テロップの特徴量としての輝度及びエッジの検出を行うことを特徴とする映像処理装置。
5. 請求項２記載の映像処理装置において、更に、前記入力映像をＨＳＶ色空間へ変換するＨＳＶ変換手段を備え、前記入力映像中の輝度情報Ｙと、前記ＨＳＶ変換手段により得られた色相Ｈ値及び彩度Ｓ値から前記文字テロップの特徴量としての前記輝度及びエッジの検出を行うことを特徴とする映像処理装置。
6. 入力映像の現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを用いて映像の動きベクトルの情報を検出する動きベクトル検出部と、
   前記入力映像について、１フレーム内において、各動き量毎にその動き量で動いている物体が存在するラインの数を示す第１のヒストグラムを生成し、１ライン内において、各動き量毎の画素数を示す第２のヒストグラムを生成し、前記第１のヒストグラム及び前記第２のヒストグラムに基いて、前記入力映像に文字テロップが含まれていない状態、前記入力映像に静止した文字テロップが含まれている状態、前記入力映像に動きのある文字テロップが含まれている状態、前記入力映像に静止した文字テロップと動きのある文字テロップとの両者が含まれている状態、および前記入力映像に異なる動きの複数種類の文字テロップが含まれている状態のいずれの状態であるかを判定し、及び動きのある文字テロップがある場合の該動きのある文字テロップのライン及び動き量を判定することにより、前記入力映像に含まれる文字テロップの有無及び前記入力映像に含まれる文字テロップの動き量を検出する文字テロップ検出部と、
   前記文字テロップ検出部で検出された前記文字テロップの領域及び動き情報または前記動きベクトル生成部によって生成された動きベクトルを用いて、前記入力映像について補間処理を行い補間フレームを生成する補間フレーム生成部と、
   前記補間フレーム生成部によって生成された補間フレームを前記入力映像のフレーム列とを組み合わせて、前記入力映像のフレームレートと異なるフレームレートの映像を生成する映像信号生成部と、
   前記映像信号生成部が生成した映像を表示する表示部とを備え、
   前記補間フレーム生成部は、前記文字テロップ検出部で検出された前記文字テロップ領域に対応する補間処理を、前記文字テロップ領域以外の他の映像部分の補間処理とは異ならせて行うことを特徴とする映像表示装置。
7. 請求項６記載の映像表示装置において、前記文字テロップ検出部は、さらに前記入力映像中における文字テロップに関する特徴量として前記入力映像の輝度及びエッジを検出するための検出部を含み、前記入力映像のうち前記検出された輝度が所定閾値以上で、かつ検出されたエッジが所定閾値以上の部分を前記文字テロップとして検出することを特徴とする映像表示装置。
8. 請求項７記載の映像表示装置において、前記検出部を複数系統設け、互いに輝度が異なる少なくとも２種類の文字検出を可能としたことを特徴とする映像表示装置。
9. 請求項７または請求項３記載の映像表示装置において、前記検出部は、前記入力映像のＲＧＢ値、または輝度情報Ｙ及びＲＧＢ値を用いて前記文字テロップの特徴量としての輝度及びエッジの検出を行うことを特徴とする映像表示装置。
10. 請求項７記載の映像表示装置において、更に、前記入力映像をＨＳＶ色空間へ変換するＨＳＶ変換手段を備え、前記入力映像中の輝度情報Ｙと、前記ＨＳＶ変換手段により得られた色相Ｈ値及び彩度Ｓ値から前記文字テロップの特徴量としての前記輝度及びエッジの検出を行うことを特徴とする映像表示装置。

Images