JP2004007696A - インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム - Google Patents

Abstract

【課題】現在の画像処理法及びシステムを使った際に生じる、エイリアシング及びその他の画像アーチファクトに関する問題を解決する。
【解決手段】開示されているエッジ適応補間のための方法は、エッジがピクセルを通って伸張しているか否か判定する段階を含んでいる。もし通っていれば、エッジに対応する、方向のグループそして次に特定の方向を判定することができる。本方法は、更に、そのピクセルに関するパラメータ（例えば、輝度）の値を求める段階を含んでいる。一般的に、これらの動作は画像内にギザギザを生じ難くする。随意的に、後処理を行って、画像内にドット欠陥が生じ難いようにすることもできる。開示されているシステムは、本方法を実行するための命令を含むコードを備えたコンピュータ読み取り可能媒体を含んでいる。
【選択図】　　　　　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、概括的には画像処理の分野に、より厳密には、ピクセル化された画像の解像度を改良するのに使用される方法及びコンピュータ読み取り可能媒体に関する。
【０００２】
【従来の技術】
従来型のディスプレイモニターは、通常は、運動の幻影を作り出すために、高い周波数で変化する、ビデオフィールドの高速シーケンスの形態をしたビデオ画像を表示する。テレビカメラ及びその他のビデオのソースは、一般的には、フルフレームの画像を作るわけではなく、この種のビデオソースは、通常、各フルフレーム画像の約半分のラインから成るフィールドを、例えば、毎秒その様なフィールドを６０個の割合（インターレース方式システムの場合）で作る。一つ置きのフィールドが、ビデオデータの一つ置きのラインを含んでいる。言い換えると、或るフィールドは奇数番号のラインを含んでおり、その次のフィールドは偶数番号のラインを含んでいる。従って、ビデオの各フィールドは、「奇数」フィールド又は「偶数」フィールドとして識別することができる。
【０００３】
代表的なインターレース方式システムでは、ビデオフィールドのシーケンスは、この様に奇数フィールドと偶数フィールドが交互に入れ替わる形態をしている。一連のフィールドを受信する従来型のディスプレイモニターは、各ビデオフィールドをこの順で再生する。各フィールドは、テレビスクリーンのようなディスプレイスクリーン上に、走査ラインの半分だけ表示される。例えば、最初に奇数番号の走査ラインを使って奇数フィールドが表示され、次に偶数番号の走査ラインを使って偶数フィールドが表示され、それが繰り返される。ディスプレイは、スクリーンを左上から右上に横切ってラスターを走査して第１走査ラインを形成し、次にラスターをスクリーン左端の最初の位置の僅か下の位置に戻す。しかしながら、ラスターの戻る位置は、第１走査ラインの直下ではなく、交互するフィールド上の走査ラインが間に入れるだけの空間が設けられている。ラスターは、次に、スクリーンを横切って右端まで走査して第２走査ラインを形成し、これをスクリーンの下端まで繰り返す。
【０００４】
走査ラインの間隔はモニターのサイズの関数であるが、一般的には、間に入る走査ライン（他方のフィールドの第１走査ライン）を、最初のフィールドの完了後に、引けるようになっている。ラスターが、各走査ラインを走査した後スクリーンの左端に視認できない状態で戻るのは、フライバック即ち水平リフレッシュステージであり、視認できる左から右へのラインよりも遙かに高速で行われる。この様なやり方で、約４８５本の有効走査ラインが作り出され（例えば、優勢な米国ビデオフォーマットにおいて）１つのビデオフレームが完成するが、ビデオフレームの半分が各フィールドに表示される。
【０００５】
ラスターは、スクリーンの下端に達すると、「垂直帰線間隔」ステージの間に左上角の最初の位置に、視認できない状態で戻る。水平及び垂直帰線間隔ステージは、高速で視認できない。従来型のテレビでは、このインターレース・ビデオ走査の方式が、垂直リフレッシュ速度と、垂直解像度と、制限された帯域幅との間の適切な妥協策となっている。
【０００６】
しかしながら、従来型のテレビシステムで使用されている、奇数フレームと偶数フレームを交互するインターレース方式には、ラインフリッカ、ラインクロール、ドットクロール、限定された水平解像度、閃光偽色、広領域フリッカのような各種の欠点のあることがよく知られている。更に、大スクリーンディスプレイに対する要求が増えるにつれて、これらの問題はもっと明白なものとなり、克服すべき重大な問題と化している。３Ｄ組合せフィルタリングやインターレース−プログレッシブ変換のような様々な技法が、これら従来型テレビ信号の欠点を克服すべく開発されてきた。
【０００７】
インターレース−プログレッシブ変換（インターレース−ノンインターレース変換とも呼ばれる）は、インターレース信号における隣接する２本のラインの間の欠落ラインを生成することに関わっている。運動適応インターレース−プログレッシブ変換は、現在利用できるインターレース−プログレッシブ変換（ＩＰＣ）において広範囲に使用されている。その様なＩＰＣでは、各ピクセルは、運動ピクセルか静止ピクセルに分類される。各静止ピクセルに対して、連続するフィールドの間には運動がないので、対応する欠落ピクセルを生成するためにフィールド挿入が行われる。映像の静止部分に関して、同一の垂直解像度が維持されることになる。各運動ピクセルに対して、対応する欠落ピクセルを生成するためフィールド間補間が行われる。
【０００８】
殆どのＩＰＣは、通常、フィールド間補間に垂直補間のみを使っている。従って、映像フレームの運動部分に対して運動効果（モーション・エフェクト）はないことになる。しかし、ギザギザ（ジャギー）のあるエッジは、画像オブジェクトが斜めエッジを有する結果となる。補間の結果生じるギザギザのエッジは、視覚的には目障りな表示欠陥となり、場合によってはインターレースの表示よりも程度の劣ったものになりかねない。エッジ適応補間を使ってディスプレイ信号を処理すれば、先行技術のシステムによる運動適応インターレース−プログレッシブ変換の結果生じかねないギザギザエッジ効果を、取り除くか軽減することができる。しかしながら、既存のエッジ適応補間法は、不正確な画像エッジ検出のために画像欠陥も起こしやすい。
【０００９】
エイリアシング（ギザギザエッジ）及び垂直解像度の低下は、インターレース−プログレッシブ変換が補正しようとしている飛び越し走査の欠点である。画像は人間の視覚システム（ＨＶＳ）内に非常に高速に連続して記録される（例えば、毎秒（半解像度の画像）５０又は６０フィールド）にもかかわらず、飛び越し走査の特性そのもののため、脳には、一時に半分の画像走査ラインしか提示されない。しかしながら、この画像速度は、全ての場合に、２つのフィールドを全解像度のフレームに統合することを保証するものではない。飛び越し走査の１つの影響は、各フィールドの低解像度の構造が、或る状態の下で明白になると言うことである。この状態は、画像の内容、画像の運動のタイプと大きさ、視認距離、視認角度、画像の明るさ、環境の光のレベル、サイズやキャリブレーションのようなディスプレイの特性によって決まる。
【００１０】
【発明が解決しようとする課題】
観察者の画像の見方も、各フレームの２つのフィールドの統合に影響する。ある程度、ＨＶＳの画像統合は、観察者が相当な程度一定の視野を維持していることに依存している。従って、観察者が瞬きし、自分の目を動かして画像のいろいろな部分をピックアップするほど、各対のフィールドの統合は悪化し、全体的な垂直解像度の認識も低下し、他の画像のアーチファクトも明らかになる。
【００１１】
更に、運動が生じると、特に、最初に飛び越し走査されたビデオシーケンスの２つのフィールドの間で生じると、フレーム当たり２つのフィールドの統合は、画像間の相関関係が少なくなるほど減少する。その結果、走査に似た構造、運動中のオブジェクトのエッジに沿った鋸歯状のアーチファクト、運動中の画像の領域で認識される垂直解像度の相当な低下が、よく見えるようになりかねない。現存するエッジ適応補間及びインターレース−プログレッシブの方法並びにシステムは、これら画像問題を部分的に解決しているに過ぎない。
【００１２】
図１Ａは、半解像度のインターレース走査ビデオフィールドの矢印部分がエイリアシング（ギザギザ）を呈している様子を示している。図１Ｂは、全解像度プログレッシブ走査ビデオフレームでの、同じ画像フィールドを示している。解像度は大幅に上がっているが、先行技術による画像処理法及びシステムを使うと、エイリアシング及びその他の画像アーチファクトがなお生じ得ることを示している。
【００１３】
【課題を解決するための手段】
エッジ適応補間のための方法を使えば、ピクセルを通してエッジの方向をより正確に判定することができる。本方法は、エッジの方向を判定した後、ピクセルに関するパラメータの第１値（例えば、輝度）を判定する段階を含んでいてもよい。通常、これらの動作は、画像内のギザギザラインを起こりにくくする。随意的に、後処理を実行して、画像内のドット欠陥を起こり難くしてもよい。システムは、本方法を実行するための命令を含むコードを備えたコンピュータ読み取り可能媒体を含んでいる。
【００１４】
或るセットの実施形態において、ピクセル化された画像の解像度を改良する方法は、第１グループのピクセル及び第２グループのピクセルに関するデータを受け取る段階を含んでいる。本方法は、また、画像内のエッジが第１及び第２グループのピクセルの間に位置する第１ピクセルを通過しているか否かを判定する段階も含んでいる。本方法は、更に、エッジが第１セットの方向に伸張しているか第２セットの方向に伸張しているかを判定して選択されたセットの方向を識別する段階を含んでいる。本方法は、また更に、選択されたセットの方向の中の特定の方向が実際の方向に近いことを判定する段階を含んでいる。本方法は、更にまた、特定の方向の判定に応じて第１ピクセルに関するパラメータの第１値を求める段階を含んでいる。
【００１５】
別のセットの実施形態では、コンピュータ読み取り可能媒体は、本方法を実行するための命令を含むコードを含んでいる。コンピュータ読み取り可能媒体は、ハードディスク、フロッピーディスク、ＲＡＭ、ＲＯＭなどの形態をしていてもよい。
【００１６】
以上の概略的な記述及び以下の詳細な記述は、例示して説明することを目的としており、本発明に制限を加えるものではなく、本発明は特許請求の範囲に述べることによってのみ定義されるものである。
【００１７】
【発明の実施の形態】
本発明及びその利点は、図面を参照しながら以下の詳細な説明を読めば、より完全に理解頂けるであろう。図中、同様の構成要素には同様の参照番号を付している。なお、当業者には、図中の構成要素は単純化と明確化を期して描かれており、必ずしも縮尺が合っているわけではないことを理解頂けよう。例えば、本発明の実施形態を理解し易くするため、図中幾つかの構成要素の寸法は他の構成要素に比べ誇張されたものとなっている。
【００１８】
本発明の好適な実施形態を添付図に示すが、各図で、同様の又は対応する部分を示すのに、同様の参照番号を用いている。
【００１９】
エッジ適応補間のための方法は、エッジがピクセルを貫いて伸張しているか否かを判定する段階を含んでいる。そうであれば、方向のグループ、次いでエッジに対応する特定の方向が決定される。本方法は、更に、当該ピクセルに関するパラメータの第１値（例えば、輝度）を決定する段階を含んでいる。通常、これらの動作は、画像内にギザギザのラインが起こり難いようにする。随意的に、後処理を行って画像内にドット欠陥が起こり難いようにすることもできる。当該ピクセルに関するパラメータの第２値を求めることもできる。後処理を行う場合、当該ピクセルにはパラメータの第２値を割り当てることができる。そうでない場合は、第１値を用いてもよい。システムは、本方法を実行するための命令を含むコードを備えたコンピュータ読み取り可能媒体を含んでいる。
【００２０】
以下に説明する実施形態の詳細に入る前に、幾つかの用語を定義又は明確化する。ここでは、「より近い」という用語及び他の比較する用語は、３つ以上のものを比較する場合は「最も近い」という意味に解するものとする。
【００２１】
「実際の画像」、「実際のエッジ」、「実際の方向」という用語は、ピクセル化された画像が対応する物理的なオブジェクト又は異なる画像に対応する。実際の画像、実際のエッジ、実際の方向は、ピクセル化された画像として出力されることになる入力の一部である。理想的には、ピクセル化された画像は、実際の画像と実質的に同じである。
【００２２】
ここでは、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」及びその派生形の用語は、全て非排他的包含を意味するものとする。例えば、構成要素のリストを備えているプロセス、物品又は装置は、必ずしもそれらの構成要素のみに限定されるわけではなく、明確にリストに挙げられていない、或いはその様なプロセス、物品又は装置に本来備わっているその他の構成要素を含んでいてもよい。更に、そうでないと明確に述べられていない限り、「又は」は、包含的又はであり、排他的又はではない。例えば、条件Ａ又はＢは、Ａが真（又は存在する）且つＢが偽（又は存在しない）、Ａが偽（又は存在しない）且つＢが真（又は存在する）、ＡとＢ両方が真（又は存在する）、の何れでも満足される。
【００２３】
画像のオブジェクトのエッジに沿ってエッジ適応補間を行うため、欠落ピクセルを通り過ぎるエッジの方向を正しく判定する（変換されている飛び越し走査信号内の、既存の隣接するラインの間に補間されるラインを形成するために生成されるピクセル）。考えられるエッジの方向を検出するために各種のウィンドウサイズを使用することができる。例えば、図２は、補間されるピクセル１２を生成するためにエッジの方向を検出するのに使用することのできる７ｘ２ピクセル（補間されるラインの各側にある２本の飛び越し走査信号ラインからの７対のピクセルで、各ピクセル対内の１つのピクセルは各飛び越し走査ラインに属している）ウィンドウ１０を示している。７ｘ２ピクセルウィンドウ１０の場合、エッジ方向ライン１４で示されるように、７つの可能なエッジ方向がある。それぞれ７つのピクセルを有する２つの行は、本方法の残りを続ける前に、プロセッサ又はシステムが受信するデータとなる。
【００２４】
図２に示すように、７ｘ２ピクセルウィンドウ１０の上側の飛び越し走査ラインはピクセルＹ００からＹ０６を、下側のラインはピクセルＹ１０からＹ１６を備えている。これに比べ、３ｘ２ピクセルウィンドウは、エッジを設定することのできる可能な方向は３つのみである。従って、７ｘ２ピクセルウィンドウ１０を使用してエッジ方向を検出するのに必要な計算リソースが、３ｘ２ピクセルウィンドウの場合よりも大きいことは容易に理解できる。ウィンドウサイズが大きいほど、必要な計算リソースは大きくなる。更に、ウィンドウが大きいほど、誤ったエッジ方向検出が生じ易い。
【００２５】
誤ったエッジ方向が生じると、補間された画像上にドット欠陥が生じる結果となりかねない。先行技術によるエッジ適応補間法及びシステムの中には、必要な計算リソースと更には誤ったエッジ方向検出の可能性を最小化するために、３ｘ２ピクセルウィンドウを採用しているものもある。しかしながら、３ｘ２ピクセルウィンドウでは、補間は、４５°、９０°、１３５°の方向に沿ってしか行えない。その結果、大部分の画像オブジェクトに沿うエッジ上には、エイリアシング（ギザギザ）が生じることになる。
【００２６】
多くの実施形態は、ウィンドウ内のピクセルの行（グループ）に少なくとも５個のピクセルを使用している（例えば、５ｘ２ピクセルウィンドウ）。１行内のピクセルの数に関して理論的に最大数があるわけではないが、ピクセル数が多すぎると、計算時間が許容不可能なレベルにまで増してしまう。７ｘ２ピクセルウィンドウ１０を使うと、エッジ方向を検出でき、更に後処理を採用して、例えば誤った方向検出により生じたアーチファクトを全て除去することもできる。行は実質的に互いに平行な方向に伸張する。
【００２７】
本実施形態は、階層方式を使って、ビデオ信号を処理するのに必要な計算リソースを低減することができる。本実施形態は、先ず、関心対象のピクセルに沿ってエッジが存在するか否かを検出する。エッジが検出されなければ、或いは検出されたエッジが垂直方向に沿っていれば、エッジ方向検出の出力は９０°となる（補間は垂直方向に沿って行われる）。エッジが有れば、次の動作は、エッジの方向が０°から９０°の範囲に沿っているのか、９０°から１８０°の範囲に沿っているのかを検出することになる。エッジ方向の範囲が判定されると、各範囲（即ち、０°から９０°の範囲と、９０°から１８０°の範囲）内の３つの可能な方向の中から、エッジ方向が、より正確に検出される。誤ったエッジ方向を検出し、検出されたエッジ方向に従った補間に沿って欠陥を生じる可能性もある。実施形態は、更に、後処理ブロックを備えてこれらの欠陥を除去し、より信頼性の高い無欠陥の画像を作り出すことができる。
【００２８】
図２に戻るが、図２は、補間されるピクセル１２に沿ったエッジ方向を検出するのに使用できる７ｘ２ピクセルウィンドウ１０を示している。ピクセルＹ００からＹ０６は、補間されるラインのすぐ上の飛び越し走査ライン内のピクセルであり、ピクセルＹ１０からＹ１６は、補間されるラインのすぐ下の飛び越し走査ライン内のピクセルである。図２に示すように、このエッジ適応補間法の実施形態は、以下のことを備えている。即ち、検出されたエッジがピクセルＹ００とＹ１６に交差するエッジ方向ライン１４（１６１．５°のエッジ方向に対応）に沿っている場合は、補間されるピクセル１２の輝度値は（Ｙ００＋Ｙ１６）／２に等しく設定される。検出されたエッジがピクセルＹ０１とＹ１５を結ぶエッジ方向ライン１４（１５３．５°のエッジ方向に対応）に沿っている場合は、補間されるピクセル１２の輝度値は（Ｙ０１＋Ｙ１５）／２に等しく設定される。検出されたエッジがピクセルＹ０２とＹ１４を結ぶエッジ方向ライン１４（１３５°のエッジ方向に対応）に沿っている場合は、補間されるピクセル１２の輝度値は（Ｙ０２＋Ｙ１４）／２に等しく設定される。検出されたエッジがピクセルＹ０４とＹ１２を結ぶエッジ方向ライン１４（４５°のエッジ方向に対応）に沿っている場合は、補間されるピクセル１２の輝度値は（Ｙ０４＋Ｙ１２）／２に等しく設定される。検出されたエッジがピクセルＹ０５とＹ１１を結ぶエッジ方向ライン１４（２６．５°のエッジ方向に対応）に沿っている場合は、補間されるピクセル１２の輝度値は（Ｙ０５＋Ｙ１１）／２に等しく設定される。検出されたエッジがピクセルＹ０６とＹ１０を結ぶエッジ方向ライン１４（１８．５°のエッジ方向に対応）に沿っている場合は、補間されるピクセル１２の輝度値は（Ｙ０６＋Ｙ１０）／２に等しく設定される。そうでなければ、補間されるピクセル１２の輝度値は（Ｙ０３＋Ｙ１３）／２に等しく設定され、これは、検出されたエッジ方向が９０°のライン１４に沿っているか、エッジが無いかの何れかに対応している。ここの説明では、ピクセル（例えば、Ｙ００−Ｙ１６）という表現は、ピクセルを特定しその輝度値を指すものとする。
【００２９】
上記議論は、エッジ方向ライン１４の内の１つに沿ってエッジが検出されることを前提条件としている。しかし、エッジ適応補間における難しい動作は、エッジ方向を検出することである。エッジ方向を検出するための方法は、以下に詳細に述べるエッジ方向検出アルゴリズムを備えている。更に、多くの実施形態は、エッジ適応ＩＰＣの中で、及び、本出願の譲受人に譲渡されている２００１年１０月２０日出願の「３Ｄ　Ｙ／Ｃ組合せフィルターとインターレース−プログレッシブ変換器の単一チップ統合のための方法及びシステム」と題する関連米国特許出願に開示されているような、運動及びエッジ適応ＩＰＣの中でも実施することができる。ここに述べる多くの実施形態は、ＨＤＴＶ（高定義テレビ）ディスプレイモニター、ＨＤＴＶ対応ディスプレイモニター、順次走査ディスプレイモニターで実施することができる。
【００３０】
上に述べたように、多くの実施形態は、エッジ方向検出に必要な計算を単純化するために、階層方式を使用することができる。最も単純な形態では、補間されるピクセル１２を通るエッジの方向を識別するのに３つの動作がある。第１は、補間されるピクセル１２を通るエッジが存在するか否かを判定することである。第２は、補間されるピクセル１２を通るエッジが存在する場合には、７ｘ２ピクセルウィンドウ内の７つの可能性のあるエッジ方向を３つのグループに区分けして、検出されたエッジをそのグループの１つに割り当てることである。第１のグループは、１８．５°、２６．５°、４５°（０°から９０°の範囲）を含んでいる。第２のグループは、９０°の方向を含んでおり、これは、エッジが存在しないか、エッジが９０°の方向に沿って存在しているかの何れかであることを意味している。第３の最後のグループは、１３５°、１５３．５°、１６１．５°（９０°から１８０°の範囲）を含んでいる。９０°方向を除いて、各方向のグループの中の方向の数は、
（Ｎ_ｐｒ―１）／２
に等しいかこれに近い整数であり、Ｎ_ｐｒは各ウィンドウの行の中のピクセルの数である。
【００３１】
第２の動作は、検出されたエッジが所属するグループを識別することから成っている。第３に、そのエッジ方向が方向のグループに割り当てられたら、そのエッジ方向が第１又は第３のグループ内にある場合は、本実施形態を使って、第１及び第３の各グループ内の３つの可能性のある方向の中からエッジ方向を判定することである。
【００３２】
図２には７ｘ２ピクセルウィンドウ１０のみを示しているが、当該技術分野では周知のように、ピクセルウィンドウ１０を含む画像は、複数のピクセルと複数のラインを含んでいてもよい。エッジ検出及びエッジ適応補間法は補間ラインの各ピクセル毎に実行することができる。従って、１４個のピクセルを使って補間ライン内の新しいピクセルそれぞれを補間することができる（尤も、各ピクセルを使って２つ以上のピクセルを補間することもできる）。これが、補間されるピクセルを１つ生成するのにピクセルを２個（例えば、補間されるピクセル１２の真上のピクセルと真下のピクセルだけ）しか使わない先行技術によるシステム及び方法と対照的なところで、この先行技術によるシステム及び方法では表示画像にギザきざエッジ欠陥が生じやすい。この他のピクセルウィンドウサイズ（例えば、５ｘ２や９ｘ２ウィンドウ）を使ってもよいが、それは計算の複雑さと性能の妥協の結果である。７ｘ２ピクセルウィンドウ１０は、計算の複雑さと性能の良好な妥協策である。
【００３３】
図３は、エッジ適応補間法全体の実施形態の論理ブロック線図である。図４−７は、以下詳細に論議するが、エッジ方向検出アルゴリズムの実施形態を示している。図３に示すように、エッジ検出ブロック１４は、図２のピクセルＹ００からＹ０６及びピクセルＹ１０からＹ１６に関する輝度値を入力として受け取る。図２を参照して論議したように、これらのピクセルは、補間するラインの直ぐ上及び直ぐ下のライン内に位置するピクセルである。エッジ検出ブロック１４は、補間するピクセル（例えば、補間ピクセル１２）を通過するエッジがあるか否かを判定する。エッジ検出ブロック１４の論理出力は、範囲検出ブロック１６とエンコーダ１６に入力として供給される。
【００３４】
この実施形態では、範囲検出ブロック１６で、検出されたエッジ方向が０°から９０°の範囲のグループ内にあるか９０°から１８０°の範囲のグループ内にあるかを判定する。範囲検出ブロック１６からの論理出力は、２ビット信号ＥＧ＿ＤＩＲ信号２８であるが、図４を参照しながらより詳細に論議する。ＥＧ＿ＤＩＲ信号２８は、方向検出ブロック１８及び２０に入力として供給される。方向検出ブロック１８は、検出されたエッジ方向を０°から９０°の範囲で判定し、方向検出ブロック２０は、検出されたエッジ方向を９０°から１８０°の範囲で判定する。エッジ検出ブロック１４は、エッジを検出しなかったか又はエッジ方向が９０°であった場合、エンコーダ２２に直接入力を供給する。方向検出ブロック１８及び２０からの出力は、エッジ検出ブロック１４からの出力と共に、エンコーダ２２に入力として供給される。
【００３５】
エンコーダ２２は、エッジ検出ブロック１４からの１ビット出力信号と、方向検出ブロック１８及び２０からの２ビット出力信号を入力として受け取る。エンコーダ２２は、３ビット選択器信号ＥＧ２３を出力として供給するが、これは、補間ブロック２４への選択器入力として使用される。図９を参照しながら後に詳しく説明するが、補間ブロック２４は、ピクセルＹ００からＹ０６の中の１つのピクセルとピクセルＹ１０からＹ１６の中の１つのピクセルの対である、整合ピクセル対の平均輝度値を入力として受け取るマルチプレクサ９４を備えている。エンコーダ２２は、補間されるピクセル１２を通過するエッジの検出されたエッジ方向（又はエッジが無いこと）に対応する信号を出力する。
【００３６】
補間ブロック２４は、選択器ＥＧ信号２３を入力として受け取り、図９に示すような７つの他の入力の中から１つの出力を選択する。この補間ブロック２４への７つの他の入力は、それぞれ、１つのピクセル対に関する輝度値の平均を含んでおり、この各ピクセル対は、図２に示す方向ライン１４のどれか１本が交差する２つのピクセルで構成されている。更に、各ピクセル対の２つのピクセルは、補間されるピクセル１２を含むラインの直ぐ上の飛び越し走査線内の１つのピクセルと、直ぐ下の飛び越し走査線内の１つのピクセルとで構成されている。補間ブロック２４からの出力は、表示画像内に生成されることになる、補間されるピクセル１２に関する輝度値である。補間ブロック２４の出力は、後処理ブロック２６に送られるが、後処理ブロック２６は、補間されるピクセル１２の直ぐ上と直ぐ下のピクセル（Ｙ０３とＹ１３）に関する輝度値も、入力として受け取る。後処理ブロック２６は、補間プロセスの一部として生成されたかもしれない欠陥を除去し、無欠陥の輝度値を備えた清浄な出力信号２８を、表示される画像内の補間されるピクセル１２を生成するために供給する。
【００３７】
図４から７は、図３に関して上に説明したプロセスをより詳細に示している。図４から７は、更に、エッジ検出アルゴリズムの実施形態も示している。図４であるが、右相関、中央相関及び左相関信号が、図２及び３に関して論議した７つのピクセル対の輝度値から生成される。各ピクセル対内の２つのピクセルの輝度値の差異を、各ピクセル対毎に、差異ブロック３６で受け取る。グループ３（Ｙ００−Ｙ１６、Ｙ０１−Ｙ１５、Ｙ０２−Ｙ１４）のピクセル対に関するピクセル対輝度値差異を加算ブロック３２で合計して、和信号を絶対値ブロック３４に送り、絶対値ブロック３４は、和の絶対値を受け取って、それを相関信号３８として出力する。左相関信号３８は、従って、｛（Ｙ００−Ｙ１６）＋（Ｙ０１−Ｙ１５）＋（Ｙ０２−Ｙ１４）｝の絶対値に等しい。
【００３８】
同様に、グループ１（Ｙ０４−Ｙ１２、Ｙ０５−Ｙ１１、Ｙ０６−Ｙ１０）のピクセル対に関する輝度値を使って、右相関信号４０を生成する。右相関信号４０の値は、従って、｛（Ｙ０６−Ｙ１０）＋（Ｙ０５−Ｙ１１）＋（Ｙ０４−Ｙ１２）｝の絶対値に等しい。中央相関信号３９は、ピクセルＹ０３とＹ１３（補間されるピクセル１２の直ぐ上と直ぐ下のピクセル）から成るピクセル対内のピクセルの輝度値の間の差異の絶対値を（絶対値ブロック３４で）受け取って、同様に生成される。中央相関信号３９は、従って、（Ｙ０３−Ｙ１３）の絶対値に等しくなる。これら各相関値において、Ｙ００からＹ０６及びＹ１０からＹ１６は、図２に示す対応するピクセルの輝度値を表す。
【００３９】
なお、人間の目は輝度の差異には非常に敏感なので、本実施形態では、画像ピクセルの輝度値を使用している。人間の目は輝度の差異に比較して色の差異には相対的に鈍感なので、ピクセルの彩度値（色）は、エッジに沿う補間には使用していない。しかし、色彩値又は他のパラメータを、ここの述べる方法と共に、エッジ検出の代わりに、又はエッジ検出と組み合わせて使用してもよい。更に、図２に示すように、エッジ方向は、補間されるピクセル１２、及び補間されるピクセル１２の直ぐ上のラインと直ぐ下のライン上にあるピクセルで構成される一対のピクセルと交差する、エッジ方向ライン１４の内の１つに沿って引く方法で最終的に決められる。多くの実施形態では、検出されたエッジ方向ライン１４が交差するピクセル対の両ピクセルの輝度値を平均して、補間されるピクセル１２の輝度を生成する。
【００４０】
補間されるピクセル１２を通るエッジの存在は、エッジ検出ブロック１４で判定される。図４のエッジ検出ブロック１４は、図３のエッジ検出ブロック１４と同一である。更に、図５は、図３及び４のエッジ検出ブロック１４を詳細に表したものである。図５は、エッジ検出ブロック１４の論理を示している。エッジ検出ブロック１４は、左相関信号３８、中央相関信号３９、右相関信号４０、閾値信号６２を、入力として受け取る。左相関信号３８、中央相関信号３９、右相関信号４０は、３点中央フィルター５０への入力として供給され、３点中央フィルター５０は、３つの入力信号の中間値を出力として供給する。例えば３点中央フィルター５０への３つの入力信号が１、７、１０の値を有している場合、出力は値７を有する入力信号となる。３点中央フィルター５０からの出力は、比較器５２への「Ａ」入力として供給される。比較器５２は、中央相関信号３９も（入力「Ｂ」で）入力として受け取り、これを３点中央フィルター５０からの出力と比較する。２つの信号が等しければ、比較器５２は論理１を出力として供給する。比較器５２への２つの入力信号が等しくなければ、比較器５２は論理０を出力として供給する。比較器５２からの出力はＡＮＤゲート５８の入力として供給される。
【００４１】
左相関信号３８及び右相関信号４０は、差異ブロック５３への入力としても供給され、差異ブロック５３は、２つの信号の差異を取り、それを絶対値ブロック５４へ入力として供給する。絶対値ブロック５４は、入力信号値の絶対値を生成する。絶対値ブロック５４からの出力は、比較器ブロック５６へ入力Ａとして供給される。比較器ブロック５６は、入力Ｂで閾値６２も受け取る。比較器ブロック５６は、入力ＡとＢを互いに比較し、入力Ａへの信号が入力Ｂへの信号と等しいかそれより大きければ、比較器ブロック５６からの出力は論理１となる。入力Ａが閾値６２（入力Ｂ）より小さければ、比較器ブロック５６からの出力は論理０となる。比較器ブロック５６からの出力は、ＡＮＤゲート５８に第２入力として供給される。
【００４２】
ＡＮＤゲート５８は、従って、比較器５２からの出力と比較器５６からの出力を入力として受け取り、エッジ存在信号６０を出力として供給する。エッジ存在信号６０は、ＡＮＤゲート５８への入力が共に１であれば、論理１となる。これは、（ｉ）中央相関信号３９が、左相関信号３８、中央相関信号３９及び右相関信号４０の中央値であり、（ｉｉ）左相関信号３８と右相関信号４０の差異の絶対値が、閾値信号６２に等しいかそれより大きいという条件に対応している。閾値信号６２は、任意に設定された値を取ることができ、代表的値は約３２である。閾値信号６２の値は、所与の用途に対して設定することができるが、通常は用途毎に変更させることはない。
【００４３】
図４に戻るが、図５からのエッジ存在信号６０は、マルチプレクサ３０へ入力として供給される。エッジ存在信号６０は、マルチプレクサ３０が選択器信号として使用し、マルチプレクサ３０への他の２つの入力（垂直方向信号３１、又はＥＧ＿ＤＩＲ信号４１）のどちらがマルチプレクサ３０の出力となるかを選択する。
【００４４】
エッジ検出アルゴリズムの実施形態の第１の動作は、従って、補間されるピクセル１２にエッジが存在するか否かを、中央相関信号３９が、左相関信号３８、中央相関信号３９及び右相関信号４０の中央値であるか否かを判定し、更に、左相関信号３８と右相関信号４０の差異の絶対値が、閾値信号６２に等しいかそれより大きいか否かを判定することによって判定する段階から成っている。これらの条件が共に真である場合は、エッジが存在すると判定され、そうでない場合には、エッジは存在しないか、又はエッジが９０°方向に沿って存在している（この状態は、エッジが存在していないかのように処理される）。
【００４５】
図４に戻るが、次の動作は、検出されたエッジがどちらの方向グループに属しているかを判定することである。これは、範囲検出ブロック１６で行われるが、範囲検出ブロック１６は、左相関信号３８と右相関信号４０を入力として受け取る。範囲検出ブロック１６は、左相関信号３８を右相関信号４０と比較する。左相関信号３８の値が右相関信号４０の値よりも小さい場合は、エッジ方向は、９０°から１８０°の方向範囲に対応するグループ３に属する。そうでなければ、エッジ方向は、０°から９０°の方向範囲に対応するグループ１に属する。範囲検出ブロック１６からのＥＧ＿ＤＩＲ１出力信号４１は、エッジ方向がグループ１内にあれば論理０、エッジ方向がグループ３内にあれば論理１である。
【００４６】
ＥＧ＿ＤＩＲ１信号４１は、二方向マルチプレクサ３０に入力「１」として供給される。垂直方向入力信号３１は、第２の入力（入力０）としてマルチプレクサ３０に供給される。垂直方向入力信号３１は、垂直方向（９０°）に沿って検出されたエッジを表している。従って、本方法が、エッジが存在している、又は存在していないと判定すると、エッジが存在し、エッジが属する方向グループが存在している場合は、マルチプレクサ３０は、エッジ存在信号６０、ＥＧ＿ＤＩＲ１信号４１、垂直方向信号３１を入力として受け取り、ＥＧ＿ＤＩＲ信号２８を出力として供給する。ＥＧ＿ＤＩＲ信号２８は、補間されるピクセル１２を通過する検出されたエッジが属するグループを示す２ビットの信号である。ＥＧ＿ＤＩＲ信号２８が論理００を含んでいれば、検出されたエッジの方向は９０°である。ＥＧ＿ＤＩＲ信号２８が論理１０を含んでいれば、検出されたエッジの方向は０°から９０°のグループにある。最後に、ＥＧ＿ＤＩＲ信号２８が論理１１を含んでいれば、検出されたエッジの方向は９０°から１８０°の方向グループにある。ＥＧ＿ＤＩＲ信号２８は、図３の方向検出ブロック１８及び２０への入力として供給され、その論理を、それぞれ、図７及び６に詳細に示す。
【００４７】
エッジが存在すると判定され、検出されたエッジの方向が方向グループに割り当てられると、本方法の次の動作は、７ｘ２ピクセルウィンドウ１０の７本の可能性のある方向ライン１４の内のどのラインに沿ってエッジが存在しているかを判定することである。図６及び７は、検出されたエッジの方向が９０°から１８０°の範囲にあるのか０°から９０°の範囲にあるのか既に判定されているときに、検出されたエッジの方向を判定するための実施形態を示す論理ブロック線図である。この論議は図６に焦点を当てるが、図７に関する論議も実質的に同じである。
【００４８】
図６は、本方法が、エッジの方向が９０°から１８０°の範囲にあると分かっている場合に、エッジ方向のグループからどの様にしてエッジの方向を検出するかを示している。図６は、図３のエッジ方向検出ブロック２０の詳細な論理ブロック線図である。同様に、図７は、図３のエッジ方向検出ブロック１８の詳細な論理ブロック線図である。図４に示す方向グループ３に属する３つのピクセル対（即ち、Ｙ００−Ｙ１６、Ｙ０１−Ｙ１５、Ｙ０２−Ｙ１４）それぞれにおける各ピクセルの輝度値の差異は、図６に示すように、個々の差異ブロック６６で判定され、各差異信号は、個々の絶対値ブロック７０に出力される。各絶対値ブロック７０は、各入力信号の絶対値を出力信号として最小値プロセッサ７２に供給する。
【００４９】
最小値プロセッサ７２は、この様に、対応するピクセル対の輝度値の差異の絶対値にそれぞれ対応する３つの入力を（入力点Ａ、Ｂ、Ｃで）受け取る。最小値プロセッサ７２は、３つの入力信号を比較して、どれが最小の輝度値であるかを判定する。入力Ａは、ピクセルＹ００とＹ１６の輝度値の差異の絶対値に対応する信号を受け取る。入力Ｂは、ピクセルＹ０１とＹ１５の輝度値の差異の絶対値に対応する信号を受け取る。入力Ｃは、ピクセルＹ０２とＹ１４の輝度値の差異の絶対値に対応する信号を受け取る。而して、信号Ｃの値が、信号Ｂの値に等しいかそれより小さく、且つ信号Ａの値に等しいかそれより小さければ、エッジの方向は１３５°である（検出されたエッジの方向は、ピクセルＹ０２−Ｙ１４を通る）。そうではなく、信号Ｂの値が、信号Ａの値に等しいかそれより小さく、且つ信号Ｃの値に等しいかそれより小さければ、エッジの方向は１５３．５°である（検出されたエッジの方向は、ピクセルＹ０１−Ｙ１５を通る）。どちらでもなければ、エッジの方向は１６１．５°である（検出されたエッジの方向は、ピクセルＹ００−Ｙ１６を通る）。
【００５０】
信号Ａが最小値であれば、最小値プロセッサ７２からの出力は、３ビットの論理信号１００であり、論理１は最小値に割り当てられ、論理０は非最小値に割り当てられる。同様に、信号Ｂが最小であれば、最小値プロセッサ７２からの出力は、論理信号０１０となる。同じく、点Ｃへの信号入力が最小であれば、最小値プロセッサ７２からの出力は、論理信号００１となる。但し、信号Ａ、Ｂ、Ｃの内の２つ以上が最小値となる場合もあり、例えば３つ全てが等しければ、３つとも最小であり、最小値プロセッサ７２からの出力は、論理信号１１１となる。最小値プロセッサ７２からの３つの１ビット出力信号は、エンコーダ８０に入力され、エンコーダ８０は、更に、図４の２ビットのＥＧ＿ＤＩＲ信号２８を入力として受け取る。
【００５１】
エンコーダ８０は、この様に５ビットを入力信号として受け取り、２ビットのｒｉｇｈｔ＿ｅｄｇｅ信号８２を出力として供給する。ｒｉｇｈｔ＿ｅｄｇｅ信号８２と、０°から９０°の方向の範囲に関する図７に示す論理からの対応するｌｅｆｔ＿ｅｄｇｅ信号８３とは、先にも論議したように、図３のエンコーダ２２に、入力として供給される。ｒｉｇｈｔ＿ｅｄｇｅ信号８２は、エッジが存在しないことを示す論理値００、検出されたエッジの方向が１３５°であることを示す論理値０１、検出されたエッジの方向が１５３．５°であることに対応する論理値１０、検出されたエッジの方向が１６１．５°であることに対応する論理値１１を備えている。最小値が２つ以上ある場合は、９０°に近い方向が選ばれる。ｒｉｇｈｔ＿ｅｄｇｅ信号８２に対する値は、エンコーダ８０への各種可能な入力に対応するため、エンコーダ８０の論理値にエンコードされる。
【００５２】
同様に、図７は、エッジが０°から９０°の方向の範囲を通過すると判定された場合の、対応する論理を示している。図７の論理は、図６の論理と実質的に同じで、違うのは、異なるピクセル対を使用することだけである。図７の同様な番号を付した構成要素は、図６の同様な番号を付した構成要素に対応し、グループ１のピクセル対のピクセルの輝度値に対応する異なる入力に関する同じ機能を提供する。
【００５３】
図３に戻るが、検出されたエッジの方向が判定されると、ｒｉｇｈｔ＿ｅｄｇｅ信号８２とｌｅｆｔ＿ｅｄｇｅ信号８３はエンコーダ２２に渡される。エッジ検出ブロック１４からの１ビット出力信号も、エッジが存在するか否かを示すためにエンコーダ２２に入力される。エンコーダ２２は、この様に、入力として５ビットを受け取り、３ビットの出力ＥＧ信号を補間ブロック２４に供給する。エンコーダ２２の論理を図８に示す。図８及び９に示すように、ＥＧ信号２３の値は、図３のエッジ適応補間ブロック２４への１５の入力の１つであり、図９のマルチプレクサ９４への７つの入力信号の１つを選択するのに使用され、それが図３の後処理ブロック２６への、補間されるピクセル１２に関する輝度値としての出力となる。
【００５４】
図９は、図３の補間ブロック２４内の論理を示す単純化された論理ブロック線図である。図９を見れば分かるように、補間ブロック２４は、図２のピクセルＹ００からＹ０６及びピクセルＹ１０からＹ１６に関する輝度値を入力として受け取る。７つのピクセル対はそれぞれ、（先に述べたように）個々の加算ブロック９０で合計された輝度値を有している。各ピクセル対輝度値の和は、個々の除算回路ブロック９２に送られ、和は２で除される。結果は、各ピクセル対の輝度値を平均したものとなり、各平均輝度値信号がマルチプレクサ９４に入力として供給される。７つの平均輝度値信号に加えて、マルチプレクサ９４は、ＥＧ信号２３を入力として受け取る。ＥＧ信号２３は、７つの平均輝度値信号のどれをマルチプレクサ９４からの出力信号９６として供給するかを判定する選択器信号として動作する。マルチプレクサ９４からの出力信号９６、即ち補間ブロック２４からの出力信号９６は、補間されるピクセル１２に関する輝度値に相当する。言い換えると、出力信号９６は、表示画像上に、補間されるピクセル１２を生成するのに使用することができる。
【００５５】
図９に示すように、補間されるピクセル１２を生成する段階は、補間されるピクセル１２を通過するエッジの、検出されたエッジの方向に沿って位置するピクセル対内のピクセルの平均輝度値を計算する段階を含んでいる。補間されるピクセル１２の輝度値は、補間されるピクセル１２を含む補間されるラインの直ぐ上のラインと直ぐ下のライン内にあり、ここに記載する教示に従って判定した、検出されたエッジの方向に沿って位置する２つのピクセルの平均輝度に等しい値を有することになる。従って、検出されたエッジの方向が１８．５°の方向ライン１４に沿っていれば、補間されるピクセル１２の輝度値は、ピクセルＹ０６の輝度値とピクセルＹ１０の輝度値を加えて２で除したものとなる。この様に、各エッジ検出ライン１４に沿う検出されたエッジの方向に対し、補間されるピクセル１２の対応する輝度値は、以下のように求められる。
【００５６】
Ｉｆ（検出されたエッジの方向＝１８．５°）　　ｔｈｅｎ　Ｘ＝（Ｙ０６＋Ｙ１０）／２
Ｅｌｓｅ（検出されたエッジの方向＝２６．５°）　　ｔｈｅｎ　Ｘ＝（Ｙ０５＋Ｙ１１）／２
Ｅｌｓｅ（検出されたエッジの方向＝４５°）　　ｔｈｅｎ　Ｘ＝（Ｙ０４＋Ｙ１２）／２
Ｅｌｓｅ（検出されたエッジの方向＝１３５°）　　ｔｈｅｎ　Ｘ＝（Ｙ０２＋Ｙ１４）／２
Ｅｌｓｅ（検出されたエッジの方向＝１５３．５°）　ｔｈｅｎ　Ｘ＝（Ｙ０１＋Ｙ１５）／２
Ｅｌｓｅ（検出されたエッジの方向＝１６１．５°）　ｔｈｅｎ　Ｘ＝（Ｙ００＋Ｙ１６）／２
Ｅｌｓｅ　　　　　　　　　　　　　　　　　　　　　Ｘ＝（Ｙ０３＋Ｙ１３）／２
但し、Ｘは補間されるピクセル１２の輝度値である。
【００５７】
なお、ディスプレイシステムに入力として供給されるビデオ信号は、複合ビデオ信号の形態でもよい。複合ビデオ信号は、ＮＴＳＣ信号、ＰＡＬ信号、或いは当業者に既知の何れの信号でもよい。ＮＴＳＣは、全米テレビジョン規格委員会の略で、毎秒約６０ハーフフレーム（飛び越し走査）のリフレッシュ速度を有する複合ビデオ信号を規定している。各フレームは５２５のラインを含み、１６００万の異なるカラーを含有することができる。入力として供給される複合ビデオ信号は、ＮＴＳＣ規格に基づく現在のテレビ規格よりも遙かに解像度の優れた、高定義対応テレビ用の信号でもよい。位相入れ替えラインの略であるＰＡＬ規格は、欧州で支配的なテレビ規格である。ＮＴＳＣが毎秒６０ハーフフレームで５２５ラインの解像度であるのに対して、ＰＡＬは毎秒５０ハーフフレームで６２０ラインである。ＰＡＬ仕様とＮＴＳＣ仕様は業界人には周知である。
【００５８】
ある例では、エッジの方向を検出しエッジ対応補間を実行するための方法は、エッジ方向検出エラーがあると、歪んだ出力を生成する結果となる。この様に歪んだ出力がディスプレイに直接送られると、ドットノイズのような画像欠陥が生じかねない。エッジ方向検出エラーは、どの様なアルゴリズムでも、特に非常に詳細な画像では起こり得ることである。従って、この様なエッジ方向検出エラーに伴うアーチファクトを補正するために、多くの実施形態では、エッジ適応補間の後に後処理を設けてノイズを取り除くようにしている。
【００５９】
図３に戻るが、後処理は後処理ブロック２６で行われるが、後処理ブロック２６は、補間されるピクセル１２の直ぐ上のピクセルと直ぐ下のピクセルに関する輝度値と、補間されるピクセル１２の直ぐ左と直ぐ右の先に補間されたピクセルに関する輝度値と、新しく補間されたピクセル１２自身に関する輝度値（図３の補間ブロック２４からの出力）も入力として受け取る。このプロセスは、図１０及び１１を参照しながら詳しく説明する。
【００６０】
図１０は、ここに記載する教示に従って後処理に使用されるピクセルの図である。図１０は、新しく補間されるピクセル１２と、ピクセルＹ０３及びピクセルＹ１３（補間されるピクセル１２の直ぐ上と直ぐ下のピクセル）を含んでいる。図１０は、更に、補間されるピクセル１２のそれぞれ直ぐ左と直ぐ右に先に補間されたピクセルである、補間されたピクセルＸｌ及び補間されたピクセルＸｒを含んでいる。補間ピクセル１２、Ｘｌ、Ｘｒは、エッジ対応補間の後に、但し後処理アルゴリズムがそれらに適用される前に示される。図１０は、従って、後処理ブロック２４への入力、並びにそれら相互の関係を示している。
【００６１】
図１１は、図３の後処理ブロック２６の論理を示す、詳細なブロック線図である。後処理ブロック２６は、５点中央値フィルター１００を備えており、５点中央値フィルター１００は、ピクセルＹ０３及びＹ１３に関する輝度値、並びに補間ピクセル１２、Ｘｌ、Ｘｒに関する輝度値を入力として受け取る。補間されるピクセル１２（Ｘ）は、補間されるラインの直ぐ上のラインと直ぐ下のライン内のピクセルを使用して補間されるので、補間されるピクセル１２の直ぐ上と直ぐ下のピクセルに沿って（即ち、Ｙ０３、Ｘ、Ｙ１３に沿って、但し、Ｘは、ピクセル１２にエッジ適応補間を施した結果）垂直方向の高周波成分は無いはずである。このため、補間されるピクセル１２の輝度値がＹ０３及びＹ１３両ピクセルの輝度値よりも高い場合、又は補間されるピクセル１２の輝度値がＹ０３及びＹ１３両ピクセルの輝度値よりも低い場合、補間されるピクセル１２に関して計算された輝度値は正しくない、又は正しくないエッジ方向検出によって生じたドットノイズを含んでいると見なされる。中央値フィルターが衝撃ノイズを取り除く能力を有していることは、当技術分野では既知である。本方法は、５点中央値フィルター１００を使ってドットノイズを取り除く。
【００６２】
図１０及び１１に示すように、後処理ブロック２６では、２つの動作が行われる。各ピクセル輝度値が５点中央値フィルター１００に入力され、フィルター１００は、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４を出力として供給する。Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４は、５点中央値フィルター１００への５つの入力信号からの中央信号値である。従って、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４は、ピクセルＹ０３、Ｙ１３、補間ピクセル１２、Ｘｌ、Ｘｒの中の中央輝度値に対応する信号に等しい。Ｙ０３は、補間されるピクセル１２の直ぐ上のピクセルの輝度値であり、Ｙ１３は、補間されるピクセル１２の直ぐ下のピクセルに関する輝度値であり、Ｘｌは、補間されるピクセル１２の直ぐ左にエッジ適応補間によって生成されたピクセルに関する輝度値であり、Ｘｒは、補間されるピクセル１２の直ぐ右にエッジ適応補間によって生成されたピクセルに関する輝度値である。この様に、後処理法の実施形態は、エッジ検出及びエッジ適応補間法の実施形態によって補間されるラインに関して先に生成された３つのピクセルの輝度値を入力として受け取る段階と、後処理クリーンアップ基準に３つの輝度値を使用する段階を含んでいる。画像の境界にピクセルがある場合、後処理は行われず、画像の境界にあるピクセルは、補間ブロック２４から来たままの形態でディスプレイに送られる。
【００６３】
後処理での第２の動作として、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４をピクセルＹ０３及びＹ１３の輝度値の平均と比較して、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４とこの平均の間の差異が事前設定値より大きいか否かを判定する。差異が事前設定値より大きい場合、補間結果は信頼性がないと見なされ、補間されるピクセル１２に関する出力値は、補間されるピクセル１２の直ぐ上と直ぐ下のピクセルの平均の出力値に置き換えられる。
【００６４】
この様に、図１１を見れば分かるように、ピクセルＹ０３及びＹ１３に関する輝度値は加算ブロック１１０で加算され、その和は除算ブロック１２０に供給され、２で除される。除算ブロック１２０からの出力は、ｖｅｒｔｉｃａｌ＿ｉｎｔ信号１２２で、この信号１２２は、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４と共に差異ブロック１３０に供給され、差異ブロック１３０は２つの信号の差異を作る。この差異は、絶対値ブロック１４０に入力として供給され、絶対値ブロック１４０は、差異の絶対値を取り、それを比較器１６０に入力（入力Ａ）として供給する。ｖｅｒｔ＿ｉｎｔ信号１２２は、積算ブロック１５０へも入力として供給され、積算ブロック１５０はｖｅｒｔ＿ｉｎｔ信号１２２に係数１７０を掛ける。ｖｅｒｔ＿ｉｎｔ信号１２２と係数１７０の積で構成される積信号１５１は、比較器１６０に第２の入力（入力Ｂ）として供給される。係数１７０は、１より小さな任意の所定の値で、通常は約０．７５に設定されるが、他の値でもよい。
【００６５】
比較器１６０では、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４とｖｅｒｔ＿ｉｎｔ信号１２２の間の差異がｖｅｒｔ＿ｉｎｔ信号１２２と係数１７０の積よりも大きい場合（即ち、比較器１６０のＡ入力がＢ入力より大きい場合）、マルチプレクサ１８０からの出力（出力信号２８）は、ピクセルＹ０３及びＹ１３の平均輝度値に対応するｖｅｒｔ＿ｉｎｔ信号１２２と選択される。そうでない場合、マルチプレクサ１８０から出力信号２８（即ち、後処理ブロック２６からの出力信号）はＸ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４となる。比較器１６０は、Ａ入力の信号とＢ入力の信号とを比較し、信号Ａが信号Ｂよりも大きい場合は論理１を、信号Ａが信号Ｂと等しいかそれより小さい場合には論理０を出力する。
【００６６】
従って、論理１は、Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４とｖｅｒｔ＿ｉｎｔ信号１２２の間の差異の絶対値が大きすぎる場合（即ち、ｖｅｒｔ＿ｉｎｔ信号１２２と係数１７０の積よりも大きい場合）のマルチプレクサ１８０への出力であり、これは補間結果が信頼できない場合に相当する。マルチプレクサ１８０へ論理１が入力されると、出力信号２８としてｖｅｒｔ＿ｉｎｔ信号１２２が選択される。Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４とｖｅｒｔ＿ｉｎｔ信号１２２の間の差異の絶対値がｖｅｒｔ＿ｉｎｔ信号１２２と係数１７０の積よりも大きくない場合、補間は信頼できると見なされる。次に、マルチプレクサ１８０は、比較器１６０から論理０入力を受け取り、出力信号２８として、５点中央値フィルター１００からの出力信号（Ｘ＿ａｆｔｅｒ＿ｍｅｄｉａｎ信号１２４）を選択する。出力信号２８は、後処理ブロック２６から画像表示装置に供給され、補間される画像の一部として表示される。
【００６７】
図１２Ａは、垂直補間だけを使用した場合のインターレース−プログレッシブ変換の結果を示す、画像の部分的スクリーンショットである。図１２Ａでは、ギザギザエッジ２００がはっきりと見える。図１２Ｂは、エッジ適応補間及びエッジ検出アルゴリズムの実施形態を使用した、後処理無しの、インターレース−プログレッシブ変換後の、同じ画像の部分的スクリーンショットである。画像の解像度が著しく改良されているのが分かる。しかしながら、矢印１５０で示すように、ドットノイズが出来ているのが見える。最後に、図１２Ｃは、ここに述べた後処理を含めた教示の方法の実施形態を使用したインターレース−プログレッシブ変換後の、同じ画像の部分的スクリーンショットを示す。見て取れるように、図１２Ｂのドットノイズは、図１２Ｂと同じ領域を指している図１２Ｃの矢印１５０で示すように、取り除かれている。
【００６８】
後処理の感度と信頼性は、ｖｅｒｔ＿ｉｎｔ信号１２２と係数１７０の積を変える（即ち、係数１７０の値を変える）ことによって制御することができる。後処理ブロック２６は、従って、補間されるピクセル１２に関するエッジ適応補間値か、補間されるピクセル１２の直ぐ上と直ぐ下のピクセルの平均である垂直補間値の何れかを出力として供給することができる。係数１７０は、２つの値のうち信頼性のある方が後処理ブロック２６から出力されるように、エッジ補間の感度を調整する働きをする。
【００６９】
以上の実施形態は、コンピュータ又はテレビ装置のようなシステムの一部としてのコンピュータ読み取り可能媒体に実装することができる。代わりに、本システムは、集積回路のような遙かに小さいものとすることもできる。システム内のプロセッサは、コンピュータ読み取り可能媒体にアクセスして、システムに関する命令のセットとして中にあるコードを実行することができる。コンピュータ読み取り可能媒体には、ハードドライブ、ＣＤ　ＲＯＭ、集積回路ＲＡＭ又はＲＯＭなどが含まれる。この様に、各実施形態は、ＭＩＰプロセッサ内のＣＰＵ、又は論理がエッチングで組み込まれたカスタムメイドのチップに実装することができる。典型的には、各実施形態は、補間を実行するのに必要な計算リソースを低減するためハード結線してもよい。各実施形態は、シングルチップ集積アプリケーションに開示してあるようなインターレース−プログレッシブ変換チップに実装することもできる。各実施形態は、この様に、ディスプレイへの画像信号の中の欠陥を低減するという利点を提供する。先行技術とは違って、画像のエッジ適応補間で通常生じ易いアーチファクトを、後処理で取り除くことができる。エッジ適応補間プロセス及びインターレース−プログレッシブ変換を良好に実行できる結果となる。
【００７０】
上記明細書では、特定の実施形態に言及しながら本発明を説明してきた。しかしながら、当業者には理解頂けるように、特許請求の範囲に述べる本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができる。即ち、明細書並びに図面は、制限を加えるものではなく説明のためのものと解されるべきであり、その様な修正は全て本発明の範囲に含まれるものとする。
【００７１】
以上、恩典、各種利点、問題に対する解を特定の実施形態について説明してきた。しかしながら、恩典、利点、問題に対する解、及び何らかの恩典、利点、解を生ぜしめ或いは明白にするあらゆる要素は、請求項の一部又は全部の重要な、必要な、又は基本的な特徴又は要素であると解釈されるべきではない。
【図面の簡単な説明】
【図１Ａ】半解像度の飛び越し走査ビデオフィールドであり、エイリアシングを呈している様子を示している。
【図１Ｂ】図１Ａと同じ画像フィールドで、全解像度順次走査ビデオフレームの場合を示している。
【図２】エッジ方向を検出して補間ピクセル１２を生成する実施形態の使用することのできる、７ｘ２ピクセルウィンドウ１０を示している。
【図３】エッジ適応補間法及びシステム全体の実施形態の論理ブロック線図を示す。
【図４】エッジ検出アルゴリズムの実施形態のより詳細な論理ブロック線図を示す。
【図５】図３及び４のエッジ検出ブロック１４をより詳細に示したものである。
【図６】図３の方向検出ブロック２０のより詳細な論理ブロック線図を示す。
【図７】図３の方向検出ブロック１８のより詳細な論理ブロック線図を示す。
【図８】図３のエンコーダ２２の論理を示す。
【図９】図３の補間ブロック２４内の論理を示す単純化した論理ブロック線図である。
【図１０】後処理法の実施形態に用いられるピクセルを示す図である。
【図１１】図３の後処理ブロック２６の論理を示す、より詳細なブロック線図である。
【図１２Ａ】垂直補間のみを使用するインターレース−プログレッシブ変換の結果を示す画像の部分的スクリーンショットである。
【図１２Ｂ】図１２Ａと同じ画像の部分的スクリーンショットであり、エッジ適応補間及びエッジ検出アルゴリズムの実施形態を用いたインターレース−プログレッシブ変換後のものであり、後処理は行っていないものである。
【図１２Ｃ】図１２Ａ及び図１２Ｂと同じ画像の部分的スクリーンショットを示しており、後処理を含む、教示している方法及びシステムの実施形態を用いたインターレース−プログレッシブ変換後のものである。
【符号の説明】
１０　　７ｘ２ピクセルウィンドウ
１２　　補間されるピクセル
Ｙ００−Ｙ１６　　ピクセル
１４　　エッジ検出ブロック
１６　　範囲検出ブロック
１８、２０　　方向検出ブロック
２２、８０　　エンコーダ
２４　　補間ブロック
２６　　後処理ブロック
３０、９４、１８０　　マルチプレクサ
３２、９０、１１０　　加算ブロック
３４、５４、７０、１４０　　絶対値ブロック
３６、５３、６６、１３０　　差異ブロック
３８、３９、４０　　相関信号
５０、１００　　中央値フィルター
５２、５６、１６０、１８０　　比較器
５８　　ＡＮＤゲート
６０　　エッジ存在信号
６２　　閾値信号
７２　　最小値プロセッサ
９２、１２０　　除算ブロック
１５０　　積算ブロック

Claims (29)

1. ピクセル化された画像の解像度を改良する方法において、
   第１グループのピクセル及び第２グループのピクセルに関するデータを受け取る段階と、
   前記画像内のエッジが、前記第１及び第２グループのピクセルの間に位置する第１ピクセルを通過しているか否か判定する段階と、
   前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているかを判定して、選択されるセットの方向を識別する段階と、
   前記選択されたセットの方向の中の特定の方向が実際の方向に近いと判定する段階と、
   前記特定の方向の判定に応じて、前記第１ピクセルに関するパラメータの第１値を求める段階と、から成ることを特徴とする方法。
2. 前記第１及び第２グループのピクセルは、それぞれ、少なくとも５個のピクセルを含んでいることを特徴とする、請求項１に記載の方法。
3. 前記第１及び第２グループのピクセルは、それぞれ、７個のピクセルを含んでいることを特徴とする、請求項１に記載の方法。
4. 前記第１グループのピクセルは第１の方向に伸張し、
   前記第２グループのピクセルは、前記第１の方向と実質的に平行な第２の方向に伸張していることを特徴とする、請求項１に記載の方法。
5. 前記第１及び第２グループのピクセルは、それぞれ、同数のピクセルを含んでいることを特徴とする、請求項１に記載の方法。
6. 前記第１及び第２セットの方向それぞれに含まれる方向の数は、Ｎ_ｐ１を前記第１グループのピクセルの中のピクセルの数として、
   （Ｎ_ｐ１−１）／２
   に等しいか、それに近い整数であることを特徴とする、請求項５に記載の方法。
7. 前記第１セットの方向は０度から９０度の範囲にあり、
   前記第２セットの方向は９０度から１８０度の範囲にあることを特徴とする、請求項１に記載の方法。
8. 前記エッジが、第１セットの方向に伸張しているか又は第２セットの方向に伸張しているかを判定する前記段階は、前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているか又は約９０度である第３方向に伸張しているかを判定する段階を含んでいることを特徴とする、請求項７に記載の方法。
9. 前記画像内のエッジが、前記第１及び第２グループのピクセルの間に位置する第１ピクセルを通過しているか否か判定する前記段階と、
   前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているかを判定して、選択されるセットの方向を識別する前記段階の動作は、
   前記第１及び第２グループのピクセル内の、方向に対応する各ピクセル対に関して、前記ピクセル対の間の前記パラメータの値の差異を求める段階と、
   前記第１及び第２セットの方向それぞれに関する前記差異を合計して、第１合計差異と第２合計差異を形成する段階と、
   前記第３方向に対応する前記ピクセル対の間の前記パラメータの値の差異を求めて第３方向差異を形成する段階と、
   前記第１合計差異、第２合計差異及び第３方向差異に関する絶対値を求める段階と、
   前記第１合計差異、第２合計差異及び第３方向差異に関する中央値を求めて、中央値を識別する段階と、
   前記第１合計差異と第２合計差異の間の差異の絶対値を求めて、差分合計差異を形成する段階と、
   前記第３方向差異が前記中央値ではなく、且つ前記第１合計差異が前記第２合計差異よりも小さい場合は、前記第１セットの方向を前記選択されるセットの方向と識別する段階と、
   前記第３方向差異が前記中央値ではなく、且つ前記第２合計差異が前記第１合計差異よりも小さい場合は、前記第２セットの方向を前記選択されるセットの方向と識別する段階と、から成ることを特徴とする、請求項８に記載の方法。
10. 前記選択されたセットの方向の中の特定の方向が前記実際の方向に近いと判定する前記段階は、
    前記選択されたセットの方向の中の或る方向に対応するピクセル対それぞれに関し、前記ピクセル対の間の前記パラメータの値の差異を求める段階と、
    前記値の差異に関する絶対値を求める段階と、
    前記絶対値の内どれが低い値を有しているかを判定する段階と、
    前記低い値に対応する前記方向を前記特定の方向と識別する段階と、から成ることを特徴とする、請求項１に記載の方法。
11. 前記パラメータは輝度であることを特徴とする、請求項１に記載の方法。
12. 前記第１ピクセルに関する前記パラメータの前記第１値を求める前記段階は、
    前記第１及び第２グループのピクセルからどの特定のピクセルが前記特定の方向に対応するか識別する段階と、
    前記特定のピクセルに関する前記パラメータの値の平均を求める段階と、
    前記平均に等しい前記第１値を設定する段階と、から成ることを特徴とする、請求項１に記載の方法。
13. 前記第１値を求めた後で、前記第１ピクセルに関する前記パラメータの第２値を求める段階を更に含むことを特徴とする、請求項１に記載の方法。
14. 前記第２値を求める段階は、
    以下のピクセル、即ち、
    前記第１グループのピクセルの中で前記第１ピクセルに最も近い第２ピクセルと、
    前記第２グループのピクセルの中で前記第１ピクセルに最も近い第３ピクセルと、
    前記第１及び第２グループのピクセルの間に在り、前記第１ピクセルに直ぐに隣接している第４ピクセルと、
    前記第１及び第２グループのピクセルの間に在り、前記第１ピクセルに直ぐに隣接して前記第４ピクセルの反対側に在る第５ピクセルとに関する前記パラメータの値を求める段階と、
    前記第１、第２、第３、第４、第５ピクセルに関する前記パラメータの中央値を求める段階と、
    前記第２及び第３ピクセルに関する前記パラメータの平均値を求める段階と、
    前記中央値と前記平均値のどちらを前記第２値に使用するか判定する段階と、から成ることを特徴とする、請求項１３に記載の方法。
15. 内部に包含されたコードを有しているコンピュータ読み取り可能媒体において、前記コードが、
    第１グループのピクセル及び第２グループのピクセルに関するデータを受け取るための命令と、
    画像内のエッジが、前記第１及び第２グループのピクセルの間に位置する第１ピクセルを通過しているか否かを判定するための命令と、
    前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているかを判定して選択されるセットの方向を識別するための命令と、
    前記選択されたセットの方向の中の特定の方向が実際の方向に近いことを判定するための命令と、
    前記特定の方向の判定に応じて、前記第１ピクセルに関するパラメータの第１値を求めるための命令と、を含んでいることを特徴とするコンピュータ読み取り可能媒体。
16. 前記第１及び第２グループのピクセルは、それぞれ、少なくとも５個のピクセルを含んでいることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
17. 前記第１及び第２グループのピクセルは、それぞれ、７個のピクセルを含んでいることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
18. 前記第１グループのピクセルは第１の方向に伸張し、
    前記第２グループのピクセルは、前記第１の方向と実質的に平行な第２の方向に伸張していることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
19. 前記第１及び第２グループのピクセルは、それぞれ、同数のピクセルを含んでいることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
20. 前記第１及び第２セットの方向それぞれに含まれる方向の数は、Ｎ_ｐ１を前記第１グループのピクセルの中のピクセルの数として、
    （Ｎ_ｐ１−１）／２
    に等しいか、それに近い整数であることを特徴とする、請求項１９に記載のコンピュータ読み取り可能媒体。
21. 前記第１セットの方向は０度から９０度の範囲にあり、
    前記第２セットの方向は９０度から１８０度の範囲にあることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
22. 前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているかを判定するかめの前記命令は、前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているか又は約９０度である第３方向に伸張しているかを判定するための命令を含んでいることを特徴とする、請求項２１に記載のコンピュータ読み取り可能媒体。
23. 前記画像内のエッジが、前記第１及び第２グループのピクセルの間に位置する第１ピクセルを通過しているか否かを判定するための前記命令と、
    前記エッジが、第１セットの方向に伸張しているか、第２セットの方向に伸張しているかを判定して選択されるセットの方向を識別するための前記命令の動作は、
    前記第１及び第２グループのピクセル内の、方向に対応する各ピクセル対に関して、前記ピクセル対の間の前記パラメータの値の差異を求めるための命令と、
    前記第１及び第２セットの方向それぞれに関する前記差異を合計して、第１合計差異と第２合計差異を形成するための命令と、
    前記第３方向に対応する前記ピクセル対の間の前記パラメータの値の差異を求めて第３方向差異を形成するための命令と、
    前記第１合計差異、第２合計差異及び第３方向差異に関する絶対値を求めるための命令と、
    前記第１合計差異、第２合計差異及び第３方向差異に関する中央値を求めて、中央値を識別するための命令と、
    前記第１合計差異と第２合計差異の間の差異の絶対値を求めて、差分合計差異を形成するための命令と、
    前記第３方向差異が前記中央値ではなく、且つ前記第１合計差異が前記第２合計差異よりも小さい場合は、前記第１セットの方向を前記選択されるセットの方向と識別するための命令と、
    前記第３方向差異が前記中央値ではなく、且つ前記第２合計差異が前記第１合計差異よりも小さい場合は、前記第２セットの方向を前記選択されるセットの方向と識別するための命令と、から成ることを特徴とする、請求項２２に記載のコンピュータ読み取り可能媒体。
24. 前記選択されたセットの方向の中の特定の方向が実際の方向に近いことを判定するための前記命令は、
    前記選択されたセットの方向の中の或る方向に対応するピクセル対それぞれに関し、前記ピクセル対の間の前記パラメータの値の差異を求めるための命令と、
    前記値の差異に関する絶対値を求めるための命令と、
    前記絶対値の内どれが低い値を有しているかを判定するための命令と、
    前記低い値に対応する前記方向を前記特定の方向と識別するための命令と、から成ることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
25. 前記パラメータは輝度であることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
26. 前記第１ピクセルに関する前記パラメータの前記第１値を求めるための前記命令は、
    前記第１及び第２グループのピクセルからどの特定のピクセルが前記特定の方向に対応するか識別するための命令と、
    前記特定のピクセルに関する前記パラメータ値の平均を求めるための命令と、
    前記平均に等しい前記第１値を設定するための命令と、から成ることを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
27. 前記第１値を求めた後で、前記第１ピクセルに関する前記パラメータの第２値を求めるための命令を更に含むことを特徴とする、請求項１５に記載のコンピュータ読み取り可能媒体。
28. 前記第２値を求めるための命令は、
    以下のピクセル、即ち、
    前記第１グループのピクセルの中で前記第１ピクセルに最も近い第２ピクセルと、
    前記第２グループのピクセルの中で前記第１ピクセルに最も近い第３ピクセルと、
    前記第１及び第２グループのピクセルの間に在り、前記第１ピクセルに直ぐに隣接している第４ピクセルと、
    前記第１及び第２グループのピクセルの間に在り、前記第１ピクセルに直ぐに隣接して前記第４ピクセルの反対側に在る第５ピクセルとに関する前記パラメータの値を求めるための命令と、
    前記第１、第２、第３、第４、第５ピクセルに関する前記パラメータの中央値を求めるための命令と、
    前記第２及び第３ピクセルに関する前記パラメータの平均値を求めるための命令と、
    前記中央値と前記平均値のどちらを前記第２値に使用するか判定するための命令と、から成ることを特徴とする、請求項２７に記載のコンピュータ読み取り可能媒体。
29. 請求項１５に記載のコンピュータ読み取り可能媒体を備えていることを特徴とする、ピクセル化された画像を表示するためのシステム。

Images