JP2006270997A - 画像補間装置 - Google Patents

Abstract

【課題】処理速度を大幅に削減することができ、途切れのない滑らかなフレーム画像を生成することができるようにする。
【解決手段】パターン情報生成部１００において、フィールド画像の隣接３ラインで対向画素間の輝度値２回差分演算（Ａ−２×Ｃ＋Ｅ）とコアリング処理、情報収集処理により画像ラインパターンのパターン情報を生成する。補間パターン予測部１２０において、画像ラインパターンの情報から各画像ラインパターンの補間方向、補間距離を予測する。補間パターン決定部１４０において、画像ラインパターンのデータベース１３０を基に補間すべき位置を決定する。補間実行部１５０において、補間を実行する。
【選択図】図１

Description

本発明は、走査線数が異なるテレビジョン方式のアップコンバートや、インターレース走査映像信号から順次走査映像信号に変換するにあたり、フィールド画像からフレーム画像を生成する際等のライン補間による画像補間装置に関する。

従来、走査線数が異なるテレビジョン方式のアップコンバートや、画像の高細精化のために、インターレース映像からプログレッシブ映像を生成する走査線補間方法として、静止画に対してはフレーム内補間が行われる。しかし、動画においては、フレーム相関が崩れ、フレーム内補間では動きのある縦線がギザギザに誤変換される等の不具合が発生するため、フィールド内補間が行われる。

フィールド内補間の方法としては、簡便な方法として、補間すべきラインとして前ラインをそのまま用いるライン補間方法や、上下のラインの平均値を用いるライン補間方法がある。前者の補間方法では、斜線等のような垂直方向に相関の無い画像では画像の輪郭線にギザギザが生じ、また、後者の補間方法では画像にボケが生じるといった画像の劣化を伴っていた。

これらの欠点を解決する手法として、特許文献１に記載の補間方法がある。この補間方法では、補間すべきラインの各画素を、その画素の周辺において最も相関の強い方向の画素情報を用いて補間するものである。まず、補間画素から放射状に延びるどの方向の画素信号が最も相関が強いかを知るために、垂直方向、右斜め方向，左斜め方向の隣接画素の差分絶対値を求める。この差分絶対値が最小となる方向が最も相関が強い方向であると判断して、その方向にある各画素の平均値を求め、それを補間画素の値とする。

しかしながら、この方法では、補間すべきラインの各画素について、即ち、１画素毎について、少なくとも上記のような３方向の差分絶対値を算出し、さらに、それらの差分絶対値の最小を判断して補間画素の値を求めるという処理を必要とする。このため、補間処理速度が遅く、また画像中のエッジ部分以外の領域（画素値が変化しない領域）のように、いずれの方向においても相関の強さに差がない場合でも上記の一連の処理を行うので、無駄な処理時間が費やされており、補間の処理速度が遅く、相関を求める画素の範囲を拡大することも困難であった。
従って、傾斜角度の小さな斜線のように、かなり離れたところで相関をもつ画像の補間を行う場合には、それらの相関の強い画素を使った補間ができないために、補間精度が悪くなり、依然として斜線部のエッジにガタツキが生じることにもなっていた。

特許文献２には、上記公報の欠点を改善するために、補間の処理速度を向上させるとともに、処理速度の向上に伴って相関を求める範囲を拡大し、補間の精度を向上させる方法が開示されている。以下に、この公報に開示されている画像の補間方法について図１３乃至図１６と共に説明する。

先ず、この補間方法は、図１３に示すように、２次元画像の隣接するｎラインとｎ＋１ラインの各画素を比較して、それぞれのライン上の２次元画像のエッジ箇所ａ，ｂを検出する。補間すべき補間ラインでは、前記エッジが検出されたａ，ｂ間以外では隣接するいずれかのラインの画素を用いて補間することとし、補間ラインのエッジ部を求める。

次いで、図１３に示すように、エッジ箇所ａ，ｂでは隣接するいずれか一方のライン（ｎライン）上の注目画素（ここではＡとする）を中心とした「画素数」と「補間位置からのシフト量」からなる近傍画素列（３，０）として設定し、これと相関のある対象画素列（３，１）を隣接する他方のライン（ｎ＋１ライン）の中から選出する。
ここで、近傍画素列と対象画素列との相関を取るための一般式としては、近傍画素列＝（２ｍ＋１、０）、対象画素列＝（２ｍ＋１、±Ｙ）を用い、ｍ＝Ｙ＝１，２，３，４，５ぐらいまでを順に可変して行く。

まず、図１４に示すように、近傍画素列（３，０）と対象画素列（３，１）との間で、図中矢印のような画素対で演算を行い、画素レベルの差が所定の基準値内かどうかで相関の判定を行う。図１５に示す場合は、中央画素対に相関がないため、ｍ＝Ｙ＝２とし、それぞれ近傍画素列を（５，０）、対象画素列を（５，２）とし、図中矢印のような画素対で演算を行う。図中矢印のような画素対での演算で相関有りとを判断されると、その時の補間位置からのシフト量が２画素となる。図１６に示すように、ａ部とｂ部が２画素ズレている。求めた画素数の半数だけ、前記選出した画素列または近傍画素列を位置ズレ方向とは逆の方向にシフトした画素列、即ち、Ａから右へ１画素シフトしたｃ点を中心とする画素列を用いて補間する。
特開昭６３−１８７７８５号公報 特開平５−３０４８７号公報

特許文献２に示される補間方法は、一般的に行われている画素単位による補間方法に比べ画素列による補間を取り入れ、処理速度を向上させる発明である。従って、画素列のエッジ部分を決定するために、エッジ部付近において、少なくとも３画素から１１画素程度まで画素シフトを行いながらライン間演算を行うものである。このため、演算時間がかかる点では未だ問題の残る方法である。さらに、この補間方法は、画像の輪郭を滑らかにする方法であり、水平に近い細線画像のように、ライン間で画像が途切れた場合の修復ができないという問題も有している。

本発明の目的は、処理速度を大幅に削減することができ、途切れのない滑らかなフレーム画像を生成することができる画像補間装置を提供することにある。

本発明は、入力画像に対し各画像ライン間の補間を行う画像補間装置において、
入力画像の対象画素と、該対象画素に隣接する画素との差分特性を求めて、ライン方向に共通の差分特性を有する連続画素列である画像ラインパターンを抽出するとともに、該画像ラインパターンに関する情報を生成するパターン情報生成手段と、各ライン間における画像ラインパターンのうち前記パターン情報が一致するものを取り出し、ライン間に補間可能な画像ラインパターンを決定する補間パターン決定手段と、補間可能な画像ラインパターン間に補間画素列を設定して補間を実行する補間実行手段と、を具備したことを特徴とする画像補間装置である。

また、本発明は、入力画像に対し各画像ライン間の補間を行う画像補間装置において、
入力画像の対象画素と、該対象画素に隣接する画素との差分特性を求めて、ライン方向に共通の差分特性を有する連続画素列である画像ラインパターンを抽出するとともに、該画像ラインパターンに関するパターン情報を生成するパターン情報生成手段と、前記パターン情報に基づいて、補間可能な画像ラインパターンの存在位置に関する予測情報を生成する補間予測手段と、各ライン間における画像ラインパターンのうち前記パターン情報が一致するものを取り出し、前記予測情報に基づいてライン間に補間可能な画像ラインパターンを決定する補間パターン決定手段と、補間可能な画像ラインパターン間に補間画素列を設定して補間を実行する補間実行手段と、を具備したことを特徴とする画像補間装置である。

また、本発明は、前記パターン情報生成手段が、入力画像の対象画素と該対象画素に対向する隣接ラインの画素との輝度値の各差を加えた２回差分値を求める２回差分値演算手段と、画素毎の２回差分値を複数の種類に分類する正規化手段と、前記正規化手段で求めた分類に基づいて、ライン方向に連続する同種類の画素列を画像ラインパターンとして認識して抽出するパターン抽出手段と、前記画像ラインパターンとして認識した画素列の情報を収集する情報収集手段と、前記画像ラインパターンに対するコアリング処理を行うコアリング手段と、を具備することを特徴とする画像補間装置である。

また、本発明は、前記情報収集手段が、前記画像ラインパターン内の最大輝度値を収集する手段と、前記画像ラインパターン開始位置からの最大輝度位置までの最大輝度増加量を収集する手段と、最大輝度位置から前記画像ラインパターン終了位置までの最大輝度減少量を収集する手段と、前記画像ラインパターン内の最小輝度値を収集する手段と、前記画像ラインパターン開始位置からの最小輝度位置までの最大輝度減少量を収集する手段と、最小輝度位置から前記画像ラインパターン終了位置までの最大輝度増加量を収集する手段と、を少なくとも１つは具備することを特徴とする画像補間装置である。

また、本発明は、前記コアリング手段が、前記画像ラインパターン内の画像の歪みとノイズを検出する検出手段と、前記検出手段の検出データに基づいて、前記画像ラインパターンを削除する編集が必要か否かを判定する編集判定手段と、編集が必要と判定された画像ラインパターンに対して削除編集を実行する編集実行手段と、を具備することを特徴とする画像補間装置である。

また、本発明は、前記補間パターン予測手段が、前記パターン情報から補間可能方向／補間不可能方向を予測する補間方向予測手段を具備することを特徴とする画像補間装置である。

また、本発明は、前記補間パターン予測手段が、前記パターン情報が一致する画像ラインパターンが存在する位置までの距離を予測する検索距離予測手段と、一致する画像ラインパターンと補間しても画像に破たんが生じない距離を予測する補間実行距離予測手段と、を具備することを特徴とする画像補間装置である。

また、本発明は、前記補間パターン決定手段が、画像ラインパターンの情報から一致している可能性のある画像ラインパターンを検索する一致パターン検索手段と、検索された画像ラインパターン同士のパターン情報が一致するかを判定するパターン一致判定手段と、一致すると判定された画像ラインパターンをベクトル判定するベクトル判定手段と、を具備することを特徴とする画像補間装置である。

また、本発明は、前記補間パターン決定手段が、画像ラインパターンの情報から一致している可能性のある画像ラインパターンを検索する一致パターン検索手段と、検索された画像ラインパターン同士のパターン情報が一致するかを判定するパターン一致判定手段と、一致すると判定された画像ラインパターンが補間可能方向に存在するかを判定する補間方向判定手段と、補間可能方向にあると判定された画像ラインパターンをベクトル判定するベクトル判定手段と、を具備することを特徴とする画像補間装置である。

また、本発明は、前記補間パターン決定手段が、画像ラインパターンの情報から一致している可能性のある画像ラインパターンを検索する一致パターン検索手段と、検索された画像ラインパターン同士のパターン情報が一致するかを判定するパターン一致判定手段と、一致すると判定された画像ラインパターンまでの距離が補間実行距離より短いかを判定する補間実行距離判定手段と、補間実行距離より短いと判定された画像ラインパターンをベクトル判定するベクトル判定手段と、を具備することを特徴とする画像補間装置である。

また、本発明は、前記補間実行手段が、補間を実行する区間を決定する手段と、補間する画素列を設定する補間画素列設定手段と、を具備することを特徴とする画像補間装置である。

上記にて説明された本発明により以下の効果がもたらされる。
本発明によれば、画像ラインパターンを抽出するとともに、該画像ラインパターンに関する情報を生成し、ライン間に補間可能な画像ラインパターンを決定して、補間可能な画像ラインパターン間に補間画素列を設定して補間を実行するので、処理速度を大幅に削減することができる。さらに、フィールド画像において、ライン間に画像の途切れがある場合であっても、隣接ライン上の一致画素列で補間実行することができ、途切れのない滑らかなフレーム画像を生成することができる。

本発明によれば、パターン情報生成手段が画像ラインパターンの画素列の情報収集して、画素単位の演算を排除することで、処理速度の向上を図っている。特に、情報収集手段がパターンとして連続する画素列の情報を入力画像から収集することによって、一致するパターンの検索を画素列演算を不用として、補間処理速度を大幅に向上させることができる。

本発明によれば、コアリング処理を行うことにより、歪みやノイズを検出し、画像表示に影響のない目立たない箇所や判断しにくい箇所を削除するので、画質を維持しながら補間処理速度を大幅に改善できる。

本発明によれば、補間可能な画像ラインパターンの存在位置を予測するので、誤謬のないライン補間が可能となる。

本発明によれば、画像ラインパターンのパターン情報が一致するかを判定し、補間可能な画像ラインパターンを決定するので、演算処理をスピーディに実行できる。特に、一致すると判定した画像ラインパターンに対してベクトル判定を行うので、誤認のないライン補間が可能となる。

本発明によれば、パターン情報が一致する画像ラインパターン間の画素列を設定して補間するので、水平に細線画像のように、ライン間で画像が途切れた場合でも途切れのないなめらかのフレーム画像を生成することができる。

以下に、本発明の実施の形態について、図１乃至図１２を参照しながら説明する。
図１は、本発明に係る画像補間装置の一実施形態の構成を示すブロック図である。図２は入力画像の１例として白い背景１に黒い細線映像のフィールド画像２が写し出されたモニタ画面を示している。図３は、図２に示す拡大ポイント３の入力映像ラインと補間ラインを示している。同図において、Ａ，Ｃ，Ｅ，Ｇ，Ｉ，Ｋは入力映像ラインであり、Ｂ，Ｄ，Ｆ，Ｈ，Ｊは、補間ラインを示す。

図１に示す画像補間装置は、パターン情報生成部１００、補間パターン予測部１２０、画像データベース１３０、補間パターン決定部１４０、補間実行部１５０を備えた構成である。そして、フィールド画像の隣接３ラインで対向画素間の輝度値２回差分演算（Ａ−２×Ｃ＋Ｅ）とコアリング処理、情報収集処理により画像ラインパターンのデータベースを生成する第１ステップと、画像ラインパターンの情報データから各画像ラインパターンの補間方向、補間距離を予測する第２ステップと、画像ラインパターンのデータベースを基に補間すべき位置を決定する第３ステップと、補間を実行する第４ステップとによる補間を行う。

以下に、図１の画像補間装置の各部について詳述する。

＜パターン情報生成部＞
まず、パターン情報生成部１００における画像ラインパターンの生成について説明する。
パターン情報生成部１００は、縦方向輝度値の２回差分演算部１０１、正規化処理部１０２、パターン抽出部１０３、縦方向相関検出部１０４、情報収集部１０５、コアリング処理部１１０から構成される。更にコアリング処理部１１０は、パターン内画像の歪み・ノイズ検出部１１１、パターン編集判定部１１２、パターン編集実行部１１３から構成される。

パターン情報生成部１００に入力されたフィールド画像は、縦方向輝度値の２回差分演算部１０１に入力される。縦方向輝度値の２回差分演算部１０１は、各画素の縦方向輝度値の２回差分値を演算する。ここで、縦方向輝度値の２回差分値とは、対象画素の輝度値と、対象画素に隣接するライン上にあって縦方向に対象画素に対向する画素の輝度値との両差分値を加えた値である。
例えば、２回差分値を±５１２の範囲とし、図３において、ＡラインＣラインＥライン、ＣラインＥラインＧライン、ＥラインＧラインＩライン、ＧラインＩラインＫラインのそれぞれの入力画像の３ライン間で輝度２回差分値を演算する。すなわち、Ｃライン、Ｅライン、Ｇライン、Ｉラインの画素を対象画素とし、対象画素の直上直下の対向画素との輝度値の２回差分値を求める。ＡラインＣラインＥラインの３画像ラインを例に取れば、縦方向輝度値の２回差分の演算は下記のようなものになる。

Ｃライン上対象画素の縦方向輝度値の２回差分値＝Ａライン対向画素の輝度値−２×Ｃライン対象画素の輝度値＋Ｅライン対向画素の輝度値

縦方向相関検出部１０４では、縦方向輝度値の２回差分演算部１０１で使用される３画像ラインの間に、縦方向に相関性があるかを検出する。例えば、図３に示す上記３画像ラインのそれぞれ画素に対し、輝度値の横方向増減方向や、輝度値の横方向増減量、横方向の輝度値の２回差分値を求める。これらが隣接する画像ラインの縦方向において同じ時、縦方向の相関性があるとしている。

次いで、正規化処理部１０２では、設定されている閾値を基に各画像ライン上画素の縦方向輝度値の２回差分値の正規化処理が行われ、各画像ライン上画素データを＋、−、０の３種類に分類する。パターン抽出部１０３では、このうち＋または−の同じ種類が連続している区間であって、縦方向相関検出部１０４により縦方向相関が無いと検出された区間を画像ラインパターンとして抽出する。
抽出された画像ラインパターンとは、対象画素の２回差分値に基づいて、輝度差分特性（２回差分値における＋、０、−の分類が該当）を求め、共通の輝度差分特性を有するライン方向への連続画素列のことである。

このとき、情報収集部１０５では、パターン抽出部１０３で抽出された画像ラインパターンのデータ（パターン情報）を収集しておく。収集するパターン内部のデータとしては、例えば、パターン内の最大／最小輝度値、パターン内の横方向（ライン方向）の輝度値の増減の幅と方向、パターン両端の輝度値、パターン両端の輝度値の増減量等がある。情報収集部１０５で収集するデータは、縦方向輝度値の２回差分演算部１０１で使用した入力画像ライン３ライン全てについて行うと、補間の精度が向上する。

さらに、抽出されたパターンは、コアリング処理部１１０のパターン内画像のノイズ歪み・ノイズ検出部１１１において、パターン内部の画像の歪みやノイズの有無を検出する。画像の歪みとは、例えば、パターン内の輝度波形に複数の極大／極小点や、パターン内の輝度波形に鋭角な変化点である。また、ノイズとは、基準ドットサイズに届かないドットである。
次いで、パターン編集判定部１１２では、上記のような歪みやノイズが検出された場合、入力画像ラインパターンを削除する編集をすべきかどうかを編集基準値と比較して判定する。この編集基準値は、各歪みやノイズの程度に応じて総合的に判断できるように設定されている。そして、削除判定された画像ラインパターンは、パターン編集実行部１１３により削除される。

図４は、パターン情報生成部１００において、上記の処理を経て得られた画像ラインパターンを示す図である。同図において、４０〜４３と、６２〜６５は−に分類された画像ラインパターン、５１〜５４は＋に分類された画像ラインパターン、その他は０に分類された画像ラインパターンである。パターン情報生成部１００では、図４に示すように画像ライン毎に切り分けが終わった画像ラインパターンについて、各パターン毎に開始位置、長さ、符号、情報収集部１０５で収集したデータとして作成し、補間パターン予測部１２０にデータを送る。

＜補間パターン予測部＞
補間パターン予測部１２０における補間方向、検索距離、補間実行距離の予測について説明する。
補間パターン予測部１２０は、補間方向予測部１２１、検索距離予測部１２２、補間実行距離予測部１２３から構成される。
補間パターン予測部１２０では、パターン情報生成部１００において生成された画像ラインパターンのデータを使って、補間可能な画像ラインパターンの有無の可能性や、補間可能な画像ラインパターンまでの距離を予測する。

補間パターン予測部１２０の補間方向予測部１２１は、画像ラインパターンの左右両端の情報を比較する。
例えば、図５において、ＣラインＥラインＧラインの３画像ラインから生成されたＥライン上の画像ラインパターン５２の左端の位置、画像ラインＥ−２３，２４の輝度の増減量と、Ｅライン上の画像ラインパターン５２の右端直下のＧライン上の位置、画像ラインＧ−３０，３１の輝度の増減量を比較する。補間方向予測部１２１は、増減が逆方向だったり増減量が大きく異なっている場合、画像ラインパターン５２の右下方向への接続は無効である（以下：補間不可能方向）と予測する。さらに、右上、左上、左下についても同様の方法で、補間可能方向／補間不可能方向を予測する。

つぎに、補間パターン予測部１２０の検索距離予測部１２２は、入力された画像ラインパターンの左右両端の輝度値を比較し、一致するパターンが存在するであろう位置までの距離を予測する。
例えば、図５において、ＣラインＥラインＧラインの３画像ラインから生成されたＥライン上の画像ラインパターン５２の左端の位置、画像ラインＥ−２４の輝度値と、Ｅライン上の画像ラインパターン５２の右端直下のＧライン上の位置、画像ラインＧ−３０の輝度値との差分を、Ｅライン上の画像ラインパターン５２の右端直下のＧライン上の位置、画像ラインＧ−３０，３１の輝度の増減量で除算し、結果を右下方向へ連続するパターン（補間可能なパターン）までの距離とする。同様に、左下方向についても距離を計算する。

そして、補間パターン予測部１２０の補間実行距離予測部１２３は、入力された画像ラインパターン内の輝度の変化量、長さ等から、一致するパターンと補間しても画像に破たんが生じない距離を予測する。
例えば、図５において、ＣラインＥラインＧラインの３画像ラインから生成されたＥライン上の画像ラインパターン５２の輝度の変化量が小さくて、長さが短い時、２〜３ドット離れた一致するパターンと補間しても画像に破たんが生じないとする。

補間パターン予測部１２０では、パターン情報生成部１００で生成されたデータに、上記のような各種予測データを加えて、画像データベース１３０に送る。

＜画像パターンデータベース＞
画像データベース１３０では、パターン情報生成部１００および補間パターン予測部１２０の処理の結果得られたデータ（予測情報）が画像パターンデータとして格納される。
格納されるデータの量は、フィールド内全部の場合もあるが、補間パターン決定部１４０や補間実行部１５０で必要とする複数ライン分だけ格納する場合もある。

＜補間パターン決定部＞
補間パターン決定部１４０は、パターン検索部１４１、パターン一致判定部１４２、パターン一致条件設定部１４３、補間方向判定部１４４、補間実行距離判定部１４５、ベクトル判定部１４６、ベクトル判定条件設定部１４７からなる構成である。

パターン検索部１４１では、画像データベース１３０から入力された画像パターンデータについて、画像データベース１３０に格納されている他ラインの画像パターンデータの中から一致している可能性のあるパターンデータを検索する。
例えば、補間パターン予測部１２０の検索距離予測部１２２で予測された検索距離に基づいて、画像パターンデータの中心を軸として左右それぞれ２地点ずつ、合わせて４地点に存在する画像パターンデータを探し出す。ここで左側の２地点でみつかった画像パターンデータが違うものであった場合は、画像パターンデータの中心に近い側の＋、−の符号が一致する画像パターンデータを採用する。右側の２地点についても同様に行う。したがって、最大で画像パターンデータの左右に１つずつ画像パターンデータが抽出される。

図６では、検索距離予測部１２２で予測された検索距離に基づいて、入力画像ラインＥ−１７，１８，１９，２０，２１，２２，２３の区間にある画像パターンデータ４２と一致する可能性のあるパターンの検索の様子を示している。入力画像ラインＥの画像パターンデータ４２の中心を軸として、左側では、検索した２地点とも入力画像ラインＧ−１１，１２，１３，１４，１５，１６，１７の区間にある画像パターンデータ４３が抽出される。右側では、検索した入力画像ラインＥの画像パターンデータ４２の中心に近い入力画像ラインＧ−１８，１９，２０，２１，２２，２３，２４の区間にある画像パターンデータ５３が見つかる。しかし、入力画像ラインＥ上の画像パターンデータ４２とは＋、−の符号が一致しないので、最終的に入力画像ラインＧ−２５，２６，２７，２８，２９，３０，３１の区間にある画像パターンデータ６３が抽出される。

今、補間パターン決定部１４０が、画像データベース１３０に登録されている画像パターンデータを処理する場合に、フィールド画像のライン単位に上のラインから下方向に１ラインずつ順次処理を進める構成になっているとする。すると、現在判定を行う対象である画像パターンデータは、上方向にある基となる画像パターンデータ（以下：基パターンデータ）と比較することになる。
そこで、パターン一致判定部１４２では、パターン一致条件設定部１４３に設定された条件に基づいて、パターン検索部１４１での検索の結果抽出された画像パターンデータと基パターンデータの内容が一致しているかを判定する。

パターン一致判定部１４２で判定する内容としては、パターン内の最大／最小輝度値、パターン内の輝度の増減の幅と方向、パターン両端の輝度値、パターン両端の輝度の増減量等、パターン情報生成部１００の情報収集部１０５で収集したデータの詳しい内容である。これら画像パターンデータの内容の差がパターン一致条件設定部１４３に設定された閾値以内であれば、基パターンデータとパターン検索部１４１での検索の結果抽出された画像パターンデータは一致していると判定する。基パターンデータと一致していると判定された画像パターンデータを、以下で候補パターンデータと呼ぶ。

例えば、図４に示すように、入力画像ラインＥ−２４，２５，２６，２７，２８，２９，３０の区間にある画像パターンデータ５２と入力画像ラインＧ−１８，１９，２０，２１，２２，２３，２４の区間にある画像パターンデータ５３とは、パターン内の最大／最小輝度値、パターン内の輝度の増減の幅と方向、パターン両端の輝度値、パターン両端の輝度の増減量等のデータの差が、パターン一致条件設定部１４３に設定された条件以内なので、入力画像ラインＥ上の画像パターンデータ５２と入力画像ラインＧ上の画像パターンデータ５３は一致していると判定される。

また、入力画像ラインＥ−１７，１８，１９，２０，２１，２２，２３の区間にある画像パターンデータ４２と入力画像ラインＧ−２５，２６，２７，２８，２９，３０，３１の区間にある画像パターンデータ６３とでは、パターン内の輝度の増減方向が逆向きなので、パターン一致条件設定部１４３に設定された条件からはずれるため、入力画像ラインＥ上の画像パターンデータ４２と入力画像ラインＧ上の画像パターンデータ６３は一致していないと判定される。

このとき、左右の２つの画像パターンデータについてこの一致判定を行うが、左右両方のパターンが一致していると判定された場合には、誤抽出である可能性が高いため、左右両方の一致判定を破棄し、両方共に一致していないとして扱う。
以上の結果、図７に示すように入力画像ラインの区間にある画像パターンデータが一方向のみに候補パターンデータが存在するとして特定される。

次に補間方向判定部１４４では、一致していると判定された候補パターンデータと基パターンデータの接続方向と、補間パターン予測部１２０の補間方向予測部１２１から入力された、候補パターンデータと基パターンデータそれぞれの補間可能方向／補間不可能方向との間で判定を行う。

まず基パターンデータから候補パターンデータが存在する方向が補間可能方向になっているかの判定を行い、次に候補パターンデータから基パターンデータが存在する方向が補間可能方向になっているかの判定を行う。この両者の判定がともに有効であった場合、候補パターンデータは補間可能な方向にあると判断される。
例えば、画像ラインＥの画像パターンデータ５２と画像ラインＧの画像パターンデータ５３の間での判定では、まず、基パターンデータである画像ラインＥの画像パターンデータ５２の左下方向が補間可能方向になっているかの判定を行い、続いて、候補パターンデータである画像ラインＧの画像パターンデータ５３の右上方向が補間可能方向になっているかの判定を行う。

次に補間実行距離判定部１４５では、補間パターン予測部１２０の間実行距離予測部１２３から入力された補間実行距離に基づき、一致しているとして抽出された候補パターンデータと基パターンデータの間の距離についての判定を行う。候補パターンデータと基パターンデータの間の距離が、補間実行距離より小さい場合、候補パターンデータは補間可能な距離に存在すると判断される。

さらに、実際の画像においては途切れの有る細線やエッジ部等が存在する場合が有り、一致パターンの誤抽出を防止するために、ベクトル判定を行う。
今、補間パターン決定部１４０が、画像データベース１３０に登録されている画像パターンデータを処理する場合に、フィールド画像のライン単位に上のラインから下方向に１ラインずつ順次処理を進める構成になっているとする。すると、現在判定を行う対象である基パターンデータと上方向のラインに属する画像パターンデータの間では、既に一致関係の有無が決定されている。そこでベクトル判定部１４６では、現在判定を行っている基パターンデータに対して、この基パターンデータを候補パターンデータとする１ライン上の基パターンデータが存在しないか画像データベース１３０に問い合わせる。

１ライン上の基パターンデータが存在しない場合は、現在の基パターンデータと候補パターンデータの一致関係を画像データベース１３０に登録して処理を終える。
１ライン上の基パターンデータが存在した場合は、現在の基パターンデータ、候補パターンデータを加えた３パターンについてベクトル判定を行う。これはベクトル判定条件設定部１４７の設定に基づいて、３つの画像パターンデータの開始位置・長さ・重なり量などについての判定（ベクトル判定）を行い、この３つの画像パターンデータが連続的に補間されるべきパターンであるかどうかが判定される。

例えば、入力画像ラインＥ上の画像パターンデータ４２が基パターンデータのとき、基パターンデータ４２には候補パターンデータとして入力画像ラインＧ上の画像パターンデータ４３が存在する。この時既に、１ライン上の入力画像ラインＣ上の画像パターンデータ４１と画像パターンデータ４２の一致関係が決定されているので、３つの画像パターンデータ４１，４２，４３の開始位置・長さ・重なり量について判定を行う。
本実施形態では、図７に示すように、３つの画像パターンデータ４１，４２，４３とも同じ長さであり、また、３つの画像パターンデータとも直線上にならんでいるため、連続的に補間されるべきパターンであると判定される。

＜補間実行部＞
次に、補間実行部１５０における補間実行処理について説明する。
補間実行部１５０は、補間実行区間決定部１５１、補正手段１５３、補間画素列演算部１５２、動き情報処理部１５４から構成される。
補間実行区間決定部１５１では、補間パターン決定部１４０から入力された一致関係情報と、画像データベース１３０から得られる基パターンデータと候補パターンデータの開始位置と長さのデータから、補間実行区間の位置と長さを決定する。

補間実行区間の長さは、基パターンデータの長さと候補パターンデータの長さの平均を補間実行区間の長さにしている。また、補間実行区間の位置は、基パターンデータのある上側画像ラインと候補パターンデータのある下側画像ラインに挟まれる補間ライン上で、基パターンデータの中心点と候補パターンデータの中心点の中央が、補間実行区間の中心点になるように決定している。
但し、補間実行区間の位置と長さの決定方法は、上記方法に限定されるものでは無い。

図８および図９に補間実行区間決定部１５１において決定された補間実行区間を示す。本実施例では、画像ラインの基パターンデータと候補パターンデータの長さを同じに表現しているため、補間実行区間も同じ長さになる。
画像ラインＥの基パターンデータ４２と画像ラインＧの候補パターンデータ４３の補間実行区間は補間ラインＦ上の区間７２であり、画像ラインＥの基パターンデータ５２と画像ラインＧの候補パターンデータ５３の補間実行区間は補間ラインＦ上の区間８２である。

次に、補間画素列演算部１５２では、補間実行区間決定部１５１において決定された補間実行区間に対する補間画素列を作成する。
基パターンデータと候補パターンデータの長さが同じ場合、基パターンデータと候補パターンデータの各画素の平均を取ったものが補間画素列である。
基パターンデータと候補パターンデータの長さが異なっている場合は、基パターンデータと候補パターンデータの画像画素列を補間ラインＦの補間実行区間５３と同じ長さになるように拡大または縮小した後、各画素の平均を取ったものが補間画素列である。拡大／縮小を用いなくても、基パターンデータと候補パターンデータの開始位置・長さを調整する方法もあり、上記方法に限らない。

図１０および図１１に補間画素列演算部１５２において作成された画像データを、補間実行区間決定部１５１において決定された補間実行区間に上書きした状態で示す。本実施形態では、画像ラインの一致パターンと補間ラインの補間実行区間の長さを同じに表現しているため、拡大／縮小等、長さを調整する処理は行われない。例えば、画像ラインＥの基パターンデータ４２と画像ラインＧの候補パターンデータ４３の画像画素列は同じなので、補間実行区間は補間ラインＦ上の区間７２に上書きされている画素列は基パターンデータ４２や候補パターンデータ４３と全く同じになる。

上記処理により、各補間実行区間に対する補間画素列が設定され、動き情報処理部１５４では入力された動き情報を使って別フィールドとの調和をとり、補正手段１５３にて補間ラインの周りの画素との調和を取ながら、補間画素列にて補間実行区間の画素に上書きまたは既にある補間実行区間の画素とブレンドすることで、ライン補間が実行される。ただし、動き情報処理部１５４や補正手段１５３は必ず必要な手段とは限らない。

なお、補間ライン上の補間実行区間以外の画素は従来技術の補間方法で補間を行う。従来技術の補間方法とは、例えば、上下入力画像ラインの画像データの平均値で補間ラインを補う方法や上入力ラインの画像データで補間ラインを補う方法、また、次フィールド画像で補間ラインを補う方法等がある。

本発明に係る画像補間装置の一実施形態の構成を示すブロック図である。 白い背景に黒い細線映像のフィールド画像が写し出されたモニタ画面の説明図である。 図２のフィールド画像の拡大図である。 画像ライン位置での画像ラインパターンを示す説明図である。 画像ラインパターンの両端部分から補間パターン予測を行う説明図である。 一致する画像ラインパターンを検索する説明図である。 一致するパターン検索終了時のベクトル方向を示す説明図である。 １ライン補間する時の画像ラインパターンと補間実行位値の関係図である。 １ライン補間後のフレーム拡大図と補間実行位置の関係図である。 複数ラインに渡った画像ラインパターンと補間実行位置の関係図である。 複数ライン補間後のフレーム拡大図と補間実行位置の関係図である。 複数ライン補間後のフレーム拡大図である。 従来技術に係る画像の補間方法における画像ラインと補間ライン上での各画素列の位置関係を示す説明図である。 従来技術に係る画像の補間方法における近傍画素列と対象画素列との相関を求める処理を示す説明図である。 従来技術に係る画像の補間方法におけるその他の近傍画素列と対象画素列との相関を求める処理を示す説明図である。 従来技術に係る画像の補間方法におけるエッジ個所での補間を示す説明図である。

符号の説明

１００ パターン情報生成部
１０１ 縦方向輝度値の２回差分演算部
１０２ 正規化処理部
１０３ パターン抽出部
１０４ 縦方向相関検出部
１０５ 情報収集部
１１０ コアリング処理部
１１１ パターン内画像の歪み・ノイズ検出部
１１２ パターン編集判定部
１１３ パターン編集実行部
１２０ 補間パターン予測部
１２１ 補間方向予測部
１２２ 検索距離予測部
１２３ 補間実行距離予測部
１３０ 画像データベース
１４０ 補間パターン決定部
１４１ パターン検索部
１４２ パターン一致判定部
１４３ パターン一致条件設定部
１４４ 補間方向判定部
１４５ 補間実行距離判定部
１４６ ベクトル判定部
１４７ ベクトル判定条件設定部
１５０ 補間実行部
１５１ 補間実行区間決定部
１５２ 補間画素列演算部
１５３ 補正手段
１５４ 動き情報処理部

Claims (2)

1. 入力画像に対し各画像ライン間の補間を行う画像補間装置において、
   入力画像の対象画素と、該対象画素に隣接する画素との差分特性を求めて、ライン方向に共通の差分特性を有する連続画素列である画像ラインパターンを抽出するとともに、該画像ラインパターンに関する情報を生成するパターン情報生成手段と、
   各ライン間における画像ラインパターンのうち前記パターン情報が一致するものを取り出し、ライン間に補間可能な画像ラインパターンを決定する補間パターン決定手段と、
   補間可能な画像ラインパターン間に補間画素列を設定して補間を実行する補間実行手段と、
   を具備したことを特徴とする画像補間装置。
2. 入力画像に対し各画像ライン間の補間を行う画像補間装置において、
   入力画像の対象画素と、該対象画素に隣接する画素との差分特性を求めて、ライン方向に共通の差分特性を有する連続画素列である画像ラインパターンを抽出するとともに、該画像ラインパターンに関するパターン情報を生成するパターン情報生成手段と、
   前記パターン情報に基づいて、補間可能な画像ラインパターンの存在位置に関する予測情報を生成する補間予測手段と、
   各ライン間における画像ラインパターンのうち前記パターン情報が一致するものを取り出し、前記予測情報に基づいてライン間に補間可能な画像ラインパターンを決定する補間パターン決定手段と、
   補間可能な画像ラインパターン間に補間画素列を設定して補間を実行する補間実行手段と、
   を具備したことを特徴とする画像補間装置。

Images