JP4908440B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像データの画質を改善する画像処理装置及びその方法に関する。

ぼやけた画像に対して、被写体や文字の境界など輝度が変化する部分、すなわち、画像のエッジ領域を処理することで、画質を鮮鋭にできる。例えば、特許文献１や非特許文献１では、図１６に示すように、入力された画像において、ソベルオペレータ（例えば、非特許文献２参照）を用いてエッジ領域か否かを画像の画素毎に判定し、エッジ領域である場合に、その周辺に対して再構成型超解像という鮮鋭化処理を行う。

ソベルオペレータは、図６に示すように判定画素の上下の画素の輝度差を調べることで水平方向のエッジを検出するものと、図７に示すように左右の画素の輝度差を調べることで垂直方向のエッジを検出するものの２種類がある。そして、判定画素を中心にした３ｘ３画素に対して、図６や図７の係数で積和演算を行い、その出力値を用いてその判定画素がエッジ領域にあるか否かを決定する。

非特許文献１では、水平方向と垂直方向の２つのソベルオペレータの出力の絶対値和が閾値よりも大きいときにエッジ領域と判定している。例えば、図１０に示すようなエッジ領域が入力されたときの、ソベルオペレータによるエッジ検出結果を図１１に示す。図１０の丸印は画素を表し、白色や黒色はその輝度を表す。ここでは輝度を簡単のため２階調にしているが、実際はこの中間的な輝度値もあり、その場合、例えば、輝度値は０から２５５の２５６段階である。図１１の正方形がエッジ領域と判定された位置を示す。このように、実際のエッジ領域に沿って正しく検出される。
特開２００７−３１０８３７公報 井田，松本，五十川，「画像の自己合同性を利用した再構成型超解像」電子情報通信学会技術研究報告，電子情報通信学会，２００７年１２月，第１０７巻，第３７９号，CS２００７−５２，p.１３５−１４０ 末松良一，山田宏尚著，「画像処理工学」初版，株式会社コロナ社，２０００年１０月，p.１０５

上記のようにソベルオペレータを用いれば、画像のエッジ領域を検出でき、そのエッジ領域に鮮鋭化などの画像処理を施すことで効果的に画質を改善できる。

しかし、例えば図１２に示すように、輝度の細かい明暗変化を考えた場合に、３画素程度の長さの短いエッジ領域があるので、ソベルオペレータでは図１３のようにエッジ領域として検出する。

ところが、このように多くの短いエッジ領域が互いに異なる向きである部分は、テクスチャ領域と呼ばれ、被写体や文字の境界ではない。そのため、鮮鋭化処理は不要であり、処理量の節約の点から、エッジ領域として検出したくない部分であるが、エッジ領域として検出されるという問題点がある。

そこで本発明は、上記した問題点に鑑みて、テクスチャ領域ではないエッジ領域だけを検出できる画像処理装置及びその方法を提供することを目的とする。

本発明は、画像を入力する入力部と、前記画像中において、逐次的に設定する判定画素に対して、前記判定画素を含むテンプレートブロックの各画素値を求める画素値設定部と、前記テンプレートブロックを囲むように、前記テンプレートブロックと同じ形状で、かつ、同じ大きさの参照ブロックを複数配置する配置部と、前記テンプレートブロックを囲んだ前記複数の参照ブロックの画素値のそれぞれと、前記テンプレートブロックの各画素値のブロックマッチング誤差をそれぞれ求める誤差算出部と、前記複数のブロックマッチング誤差中の最小値が、前記複数のブロックマッチング誤差全体の中のはずれ値のときには前記判定画素がエッジ領域にあると判定し、前記はずれ値でないときには前記判定画素がエッジ領域にないと判定する判定部と、を有する画像処理装置である。

本発明によれば、テクスチャ領域ではないエッジ領域だけを検出でき無駄な処理を省くことができる。

以下、本発明の一実施形態に係る画像処理装置について図面に基づいて説明する。

（第１の実施形態）
以下、本発明の第１の実施形態に係る画像処理装置について図１〜図８、図１０〜図１８、図２０、図２１に基づいて説明する。

（１）画像処理装置の構成
図１は、本実施形態の画像処理装置のブロック図である。

画像処理装置は、メモリ１０２，１０６、画像処理部１０４、差分器１０８、エッジ判定部１１０を有している。

画像処理部１０４、差分器１０８、エッジ判定部１１０の各機能は、コンピュータに格納されたプログラムによっても実現できる。

（２）メモリ１０２とメモリ１０６
メモリ１０２には、処理対象の画像データ１０１が外部から入力され格納される。

メモリ１０２に格納した画像に対して、例えば画面の左上から右向きに、上方から下方の順序で逐次的に各画素を判定画素として設定し、エッジ領域か否かを各々において判定していく。

そのために、メモリ１０２から、判定画素を中心にしたＮｘＮ画素を、テンプレートブロック１０３として読み出し、メモリ１０６に格納する。

図３に、判定画素とテンプレートブロックと参照ブロックの位置関係を示す。図３において黒丸が画素を表し、Ｎ＝３の例である。

判定画素を含むテンプレートブロックの周囲を囲むように１３個の参照ブロックを設定する。参照ブロック１はテンプレートブロックの左上に配し、それを１画素だけ右に移動したものが参照ブロック２、図では省略したが、参照ブロック３，４，５，６が続き、テンプレートブロックの右上が参照ブロック７である。ここから１画素ずつ下に移動しながら、参照ブロック８〜１３までを設定する。ここで、参照ブロック１は、テンプレートブロックから左に３画素、上に３画素ずれた例を示したが、このずれは３画素より大きくてもよく（図２０参照）、小さくてもよい（図２１参照）。すなわち、テンプレートブロックと参照ブロックの間に隙間があっても、逆に両ブロックが重なってもよい。

なお、エッジ領域は一般に両方向に延びているので、図３に示すように参照ブロックは、テンプレートブロックを半周で囲むようにする。

図１に示すように、メモリ１０２から参照ブロック１の輝度値、すなわち、画素値１０３を読み出し、差分器１０８に送る。同時に、メモリ１０６からテンプレートブロックの画素値１０７も読み出し、差分器１０８に送る。

（３）差分器１０８
差分器１０８では、参照ブロック１とテンプレートブロックとのブロックマッチング誤差（以下、単に「誤差」という）１０９を算出する。

誤差１０９としては、互いに同じ位置にある画素の画素値の差分の絶対値和や２乗和を用いる。そして誤差１０９をエッジ判定器１１０に送る。

このようにして、参照ブロック１〜１３まで順に切り替えながら、それぞれの誤差１０９をエッジ判定器１１０に送る。

（４）誤差の分布
（４−１）エッジ領域
図１７に、エッジ領域に配置されたテンプレートブロックと、その参照ブロックの様子を示す。丸印が画素であり、その白黒が画素の輝度値を表す。ここでは簡単のため輝度は２階調で示すが、一般の写真などは多階調で、輝度は例えば０から２５５までの２５６階調である。

テンプレートブロックと参照ブロック１を比較すると、９画素のうち５画素の輝度が大きく異なる。したがって、この誤差は大きな値となる。また、図示していない参照ブロックのほとんどにおいて、参照ブロック１と同様に誤差は大きくなる。その中で、参照ブロック５だけは、９画素のうち、中央の１画素が異なるだけで誤差が特に小さくなる。このようなエッジ領域において、参照ブロック毎に算出された誤差のグラフを図４に示す。図４のように、テンプレートブロックがエッジを含む場合、その近くにある、輝度パターンが類似した参照ブロックとの誤差が特に小さくなり、それ以外の参照ブロックとの誤差は大きくなる。

（４−２）テクスチャ領域
図１８に、テクスチャ領域に配置されたテンプレートブロックと、その参照ブロックの様子を示す。

この場合には、テンプレートブロックと各参照ブロックの輝度パターンは常にまちまちであり、図５に示したグラフのように、ある参照ブロックで誤差が特に小さくなることはない。

（５）エッジ判定器１１０
図１のエッジ判定器１１０では、上記のような誤差の分布の違いを利用し、ある参照ブロックの誤差が他の誤差よりも特に小さいときに、その判定画素はエッジ領域にあると判定し、そうでないときには、その判定画素はエッジ領域にないと判定する。

具体的には、次の判定方法がある。

第１の方法は。誤差の最小値が、誤差全体、ここでは１３個の誤差の中でのはずれ値であるときにエッジ領域とする。

第２の方法は、誤差の最小値をＭ、誤差の平均をＡとしたときに、Ｍ／Ａが閾値よりも小さいときにエッジ領域と判定する。

第３の方法は、１番小さい誤差値と、２番目に小さい誤差値の差分が閾値よりも大きいときにエッジ領域と判定する。

第４の方法は、誤差の最小値が、「誤差の平均−係数ｘ標準偏差」より小さいときにエッジ領域と判定する。

図１４と図１５に、エッジ領域とテクスチャ領域のそれぞれにおいて、本実施形態におけるエッジ領域と判定されるときのテンプレートブロックの例を示す。

図１４に示すように、長いエッジ領域があればそれに沿って、ソベルオペレータと同様に正しくエッジを検出できる。

一方、図１５に示すように、テクスチャ領域では、ソベルオペレータと異なり、エッジと誤検出されることはない。なお、エッジ領域が検出されないのでテンプレートブロックは図示していない。

（６）画像処理部１０
図１に示すように、判定結果１１１を画像処理部１０４に送る。同時に、メモリ１０２から画像データ１０３を画像処理部１０４に送る。

画像処理部１０４では、判定結果１１１によりエッジ領域とされた周辺で鮮鋭化（非特許文献２参照）などの画像処理を行う。

画面内の各画素を判定画素にしながら処理を繰り返し、画質が改善された画像データ１０５を外部に出力する。

エッジ判定と画像処理の順序は、画素毎の判定がなされる度に、その周囲だけに画像処理を行ってもいいし、画面全体の画素の判定を行った後に、まとめて、画像処理を行ってもいい。

（７）画像処理装置の動作
図２に、本実施形態によるフローチャートを示す。

ステップ２０１において、判定画素を含むようにテンプレートブロックを設定する。

ステップ２０２において、各参照ブロックとテンプレートブロックの誤差を計算する。

ステップ２０３において、ある参照ブロックの誤差が他の誤差より特に小さいときに、判定画素はエッジ領域にあると判定し、そうでないときに、エッジ領域にないと判定する。

ステップ２０４において、エッジ領域に所定の画像処理を行う。

（第２の実施形態）
次に、第２の実施形態の画像処理装置について図９と図１９に基づいて説明する。

本発明は、画像処理において、単純な鮮鋭化でなく、画像を高解像度化、つまり画素数を増やす、または、拡大しながら同時に鮮鋭化を行うフレーム内再構成型超解像（非特許文献２参照）にも有効である。

フレーム内再構成型超解像では、入力画像の各画素を順次、注目画素としながら、そのエッジ領域に沿った対応点を複数探索し、注目画素の画素値を対応点の標本値としてコピーする。このようにして標本点の密度を上げてからＰＯＣＳ法やＭＡＰ法等の再構成処理により画質を鮮鋭にする。

図１の画像処理部１０４において、このフレーム内再構成型超解像を行うが、この方式は、画像のエッジ領域で特に有効であることから、判定結果１１１によりエッジ領域とされた部分にのみ注目画素を設定して対応点探索を行い、エッジ領域以外では、対応点探索を行わない。

本実施形態の画像処理装置のブロック図を図１９に示す。画像データ１０３をメモリ１０２，１０６から読み出しながら判定結果１１１を得るところまでは、図１と同じなので説明は省略する。

（１）仮拡大部１９０１
エッジ判定の一方で、画像データ１０３を仮拡大部１９０１に入力する。

仮拡大部１９０１では、例えば３次畳込み内挿法や双一次内挿法などで画像データ１０３の画素数を増やし、仮拡大画像データ１９０２としてメモリ１９０９に送り記憶する。

（２）対応点検出部１９０３
また、画像データ１０３を対応点検出部１９０３に入力する。

対応点検出部１９０３では、画像データ１０３の画素を一つずつ注目画素とし、その対応点を同じ画像内から小数精度で探索し、対応点の位置情報１９０４をメモリ１９０５に送り記憶する。

多くの対応点の位置情報が記憶された後、メモリ１９０５から対応点の位置情報１９０６を画像変換部１９０７に送る。

（３）画像変換部１９０７
画像変換部１９０７では、画像データ１０３にある、注目画素の画素値と、対応点の位置情報１９０６にある対応点の位置で高解像度画像データ１９０８を標本化した値の誤差を計算し、その誤差が小さくなる方向に値を修正した高解像度画像データ１９１１でメモリ１９０９を上書きする。

この高解像度画像の更新を複数回行った後に、鮮鋭化した画像データ１９１０として外部に出力する。

（４）動作
図９に、画像処理としてフレーム内再構成型超解像を行う場合のフローチャートを示す。ステップ９０１からステップ９０３は、図２と同じであるので説明は省略する。

そして、ステップ９０４において、エッジ領域にフレーム内再構成型超解像の処理を行う。

（５）効果
非特許文献２では、エッジ検出にソベルオペレータを用いているが、本実施形態では、テクスチャ領域ではないエッジ領域を検出できるので、無駄な処理がなくなり、短時間で画像全体の鮮鋭化を行える。

また、フレーム内再構成型超解像は、本実施形態のように、輝度の類似パターンが近くにある性質を利用している。したがって、類似パターンが近くにあることを事前に確認することで、画質を確実に改善できる。

また、本実施形態においては、テンプレートブロックの位置から誤差最小の参照ブロックの方向にエッジ領域があると推定できるので、そのエッジ領域の向きを判定結果１１１に含めて、エッジ判定器１１０から対応点検出部１９０３に送る。そして、そのエッジ領域の向きにだけ対応点の探索を行えば、対応点探索の処理量を節約できる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変更例１
上記実施形態において、図８に示すようにエッジ判定の前に画面全体に対して平坦領域検出を行ってもよい。

例えば、画面を大きめのブロックに分け、それぞれにおいて輝度値の分散を計算し、分散が閾値よりも小さいときに平坦領域と判定する。平坦領域はもともと鮮鋭化の必要はないので、平坦領域と判定された部分の画素は判定画素とはしないで、エッジ判定や画像処理を行わないことで、全体の処理量を節約できる。

（２）変更例２
参照ブロックは、テンプレートブロックを、１周を囲むように配置してもよい。半周の場合には、前述したように、特に小さな誤差がエッジ領域で１つ現れ、１周の場合には通常２つ現れる。

したがって、エッジ判定方法として、１周の場合には、１番目に小さい誤差と２番目に小さい誤差の平均値が残りの誤差の平均値よりも所定位置以上小さいときにエッジ領域と判定する方法も有効である。

本発明の第１の実施形態に係る画像処理装置のブロック図である。 同じく画像処理装置のフローチャートである。 エッジ検出におけるブロック配置である。 エッジ検出における誤差の様子である。 エッジ検出における誤差の様子である。 従来のエッジ検出用オペレータである。 従来のエッジ検出用オペレータである。 第１の実施形態に係るフローチャートである。 第２の実施形態に係るフローチャートである。 長いエッジ領域の画像データの例である。 長いエッジ領域にソベルフィルタを施した結果である。 短いエッジ領域の画像データの例である。 短いエッジ領域にソベルフィルタを施した結果である。 長いエッジ領域に本実施形態によるエッジ検出を施した結果である。 短いエッジ領域に本実施形態によるエッジ検出を施した結果である。 従来のフローチャートである。 長いエッジ領域に本実施形態によるエッジ検出を施している過程である。 短いエッジ領域に本実施形態によるエッジ検出を施している過程である。 第２の実施形態に係る画像処理装置のブロック図である。 エッジ検出におけるブロック配置である。 エッジ検出におけるブロック配置である。

符号の説明

１０２ メモリ
１０４ 画像処理部
１０６ メモリ
１０８ 差分器
１１０ エッジ判定部

Claims (13)

1. 画像を入力する入力部と、
   前記画像中において、逐次的に設定する判定画素に対して、前記判定画素を含むテンプレートブロックの各画素値を求める画素値設定部と、
   前記テンプレートブロックを囲むように、前記テンプレートブロックと同じ形状で、かつ、同じ大きさの参照ブロックを複数配置する配置部と、
   前記テンプレートブロックを囲んだ前記複数の参照ブロックの画素値のそれぞれと、前記テンプレートブロックの各画素値のブロックマッチング誤差をそれぞれ求める誤差算出部と、
   前記複数のブロックマッチング誤差中の最小値が、前記複数のブロックマッチング誤差全体の中のはずれ値のときには前記判定画素がエッジ領域にあると判定し、前記はずれ値でないときには前記判定画素がエッジ領域にないと判定する判定部と、
   を有する画像処理装置。
2. 前記判定部は、
   前記複数のブロックマッチング誤差中の最小値をＭ、前記複数のブロックマッチング誤差の平均をＡとしたときに、Ｍ／Ａが閾値よりも小さいときに前記判定画素がエッジ領域にあると判定し、Ｍ／Ａが前記閾値よりも大きいときに前記判定画素がエッジ領域にないと判定する、
   請求項１記載の画像処理装置。
3. 前記判定部は、
   前記複数のブロックマッチング誤差中の１番小さい誤差値と、２番目に小さい誤差値の差分が、閾値よりも大きいときに前記判定画素がエッジ領域にあると判定し、前記閾値よりも小さいときに前記判定画素がエッジ領域にないと判定する、
   請求項１記載の画像処理装置。
4. 前記判定部は、
   前記複数のブロックマッチング誤差中の最小値が、Ｃ（但し、Ｃ＝誤差の平均−係数ｘ誤差の標準偏差である）よりも小さいときにエッジ領域にあり、Ｃよりも大きいときに前記判定画素がエッジ領域にないと判定する、
   請求項１記載の画像処理装置。
5. 前記配置部は、前記複数の参照ブロックを、前記テンプレートブロックに対し半周だけ囲むように配置する、
   請求項１記載の画像処理装置。
6. 前記配置部は、前記複数の参照ブロックを、前記テンプレートブロックに対し１画素づつずらして配置する、
   請求項１記載の画像処理装置。
7. 前記画像中の輝度値の変化がない領域を平坦領域として検出する平坦領域検出部をさらに有し、
   前記画素値設定部は、前記検出した平坦領域には、前記判定画素を設定せず、前記平坦領域以外に前記判定画素を設定する、
   請求項１記載の画像処理装置。
8. 前記判定部でエッジ領域を判定した前記画像を鮮鋭化処理する画像処理部をさらに有する、
   請求項１記載の画像処理装置。
9. 前記判定部でエッジ領域を判定した前記画像を高解像度化処理する画像処理部をさらに有する、
   前記画像処理部は、
   前記画像の各画素を一つずつ注目画素として順次設定する注目画素設定部と、
   前記画像の画素数よりも多い画素数である仮高解像度画像の画素値を仮高解像度画素値として算出する仮高解像度画素値算出部と、
   前記注目画素に対して、少なくとも１つ以上の対応点を小数精度で前記仮高解像度画像中に算出する対応点算出部と、
   前記注目画素の画素値と、前記対応点における前記仮高解像度画像の標本値との誤差に応じて高解像度の画素値を算出する画素値算出部と、
   を有する請求項１記載の画像処理装置。
10. 前記対応点算出部は、前記テンプレートブロックから、前記複数のブロックマッチング誤差中の最小値が得られた前記参照ブロックの方向に前記対応点を探索する、
    請求項９記載の画像処理装置。
11. 前記誤差算出部は、
    前記複数の参照ブロックの画素値のそれぞれと、前記テンプレートブロックの各画素値の差分の絶対値和、または、２乗和から前記ブロックマッチング誤差を求める、
    請求項１記載の画像処理装置。
12. 画像を入力する入力ステップと、
    前記画像中において、逐次的に設定する判定画素に対して、前記判定画素を含むテンプレートブロックの各画素値を求める画素値設定ステップと、
    前記テンプレートブロックを囲むように、前記テンプレートブロックと同じ形状で、かつ、同じ大きさの参照ブロックを複数配置する配置ステップと、
    前記テンプレートブロックを囲んだ前記複数の参照ブロックの画素値のそれぞれと、前記テンプレートブロックの各画素値のブロックマッチング誤差をそれぞれ求める誤差算出ステップと、
    前記複数のブロックマッチング誤差中の最小値が、前記複数のブロックマッチング誤差全体の中のはずれ値のときには前記判定画素がエッジ領域にあると判定し、前記はずれ値でないときには前記判定画素がエッジ領域にないと判定する判定ステップと、
    を有する画像処理方法。
13. 画像を入力する入力機能と、
    前記画像中において、逐次的に設定する判定画素に対して、前記判定画素を含むテンプレートブロックの各画素値を求める画素値設定機能と、
    前記テンプレートブロックを囲むように、前記テンプレートブロックと同じ形状で、かつ、同じ大きさの参照ブロックを複数配置する配置機能と、
    前記テンプレートブロックを囲んだ前記複数の参照ブロックの画素値のそれぞれと、前記テンプレートブロックの各画素値のブロックマッチング誤差をそれぞれ求める誤差算出機能と、
    前記複数のブロックマッチング誤差中の最小値が、前記複数のブロックマッチング誤差全体の中のはずれ値のときには前記判定画素がエッジ領域にあると判定し、前記はずれ値でないときには前記判定画素がエッジ領域にないと判定する判定機能と、
    をコンピュータによって実現する画像処理プログラム。

Images