JP2007504719A - 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法 - Google Patents

Abstract

画像における赤目の検出及び補正を行うシステム(10)及び方法が説明される。一態様では、入力画像(12)がサブサンプリングされて、サムネイル画像(44)が生成され、このサムネイル画像(44)において、赤目ピクセルエリア(18)が検出される。別の態様では、当初の色値を備えたピクセルのラインを有する入力画像(12)が処理される。入力画像(12)の各エリアに対応する１つ又は複数の赤目ピクセルエリアが検出される。検出された赤目ピクセルエリアに対応する入力画像(12)の各ピクセルは、隣接するライン(262)のピクセルに関係なくライン(260)ごとに赤目ピクセル又は非赤目ピクセルとして分類される。赤目ピクセルとして分類された入力画像(12)のピクセルの当初の色値は補正される。
【選択図】図１

Description

本発明は、画像における赤目を検出して補正するシステム及び方法に関する。

関連出願の相互参照
本出願は、次の同時係属出願に関連する。即ち、Huitao Luo等によって２００３年４月２８日に出願され、「DETECTING AND CORRECTING RED-EYE IN A DIGITAL IMAGE」と題する米国特許出願第１０／４２４，４１９号、及びHuitao Luo等によって本出願と同日付で出願され、「DETECTING AND CORRECTING RED-EYE IN AN IMAGE」と題する米国特許出願第１０／６５３，０１９号（代理人整理番号第２００３１３３４２−１号）に関連する。これらの出願のそれぞれは、参照により本明細書に組み込まれる。

背景
赤目は、フラッシュ照明を有するカメラによって取り込まれた画像に見られる人の瞳孔の不自然な赤みがかった着色の現れである。赤目は、フラッシュからの光が、人の網膜の血管に反射してカメラに戻ることにより生じる。

赤目の影響を低減するためのいくつかの技術が提案されている。レンズからフラッシュまでの距離が小さなカメラの共通の赤目低減の解決法は、最終フラッシュを用いて露光して画像を取り込む前に、１回又は複数回の前露光フラッシュを使用することである。各前露光フラッシュは、人の瞳孔のサイズを縮小することに貢献し、したがって、最終フラッシュからの光が人の網膜から反射して、カメラにより取り込まれる可能性が低減される。一般に、前露光フラッシュ技術は通常、赤目を低減するだけであり、無くすことはない。

カラー画像における赤目の検出及び補正を行うための多数の画像処理技術が提案されている。一般に、これらの技術は通常、半自動又は自動である。半自動の赤目検出技術は、人間の入力に依存する。例えば、いくつかの半自動赤目低減システムでは、不具合が補正可能となる前に、ユーザが、システムに対して、赤目を含む画像のエリアを手動で特定しなければならない。多くの自動赤目低減システムは、赤目エリアが検出される前の予備的な顔検出ステップに依存する。共通の自動的手法は、画像において顔を検出すること、及びその後に、検出された各顔内で目を検出することを含む。目の位置が突き止められた後、検出された目の位置に対応する画像エリアの形状、着色、及び明るさに基づいて、赤目が特定される。一般に、顔検出に基づく自動赤目低減技術は、高度な計算資源要件及びメモリ資源要件を有する。さらに、顔検出アルゴリズムのほとんどは、直立した正面像に向きを合わせた顔しか検出できず、これらの手法は、画像平面に対して面内又は面外に回転した顔を検出することはできない。

組み込みシステムは、多くの場合、デバイス、機器、又はツール等のより大きなシステムに組み込まれる処理システムである。組み込みシステムは通常、限られた処理能力を提供し、且つ通例は限られたメモリ資源にアクセスするコンピュータハードウェア、ソフトウェア、又はファームウェアを含む。コンピュータプリンタは一般に、基本ユーザインターフェースを提供する組み込みシステムを含み、この基本ユーザインターフェースによって、ユーザは、手動でボタンを押下し、印刷の開始及び停止を行い、それ以外にプリンタの制御及びプリンタのステータスの検査を行うことが可能になる。組み込みアプリケーション環境において機能を実施するためのどの解決法も、組み込みシステムの限られた処理能力の制約条件、及び限られたメモリ資源の制約条件内で動作しなければならない。その結果、画像における赤目の検出及び補正等の機能を実施することは、組み込みアプリケーション環境における課題となる。

概要
本発明は、画像における赤目の検出及び補正を行うシステム及び方法を特徴とする。

一態様では、本発明は、入力画像を処理するための方式（システム及び方法）を特徴とする。本発明の方式によれば、入力画像がサブサンプリングされて、サムネイル画像が生成され、このサムネイル画像において、赤目ピクセルエリアが検出される。

別の態様では、本発明は、当初の色値を備えたピクセルのラインを有する入力画像を処理するための方式（システム及び方法）を特徴とする。本発明の方式によれば、入力画像の各エリアに対応する１つ又は複数の赤目ピクセルエリアが検出される。検出された赤目ピクセルエリアに対応する入力画像の各ピクセルは、隣接するラインのピクセルに関係なくラインごとに赤目ピクセル又は非赤目ピクセルとして分類される。赤目ピクセルとして分類された入力画像のピクセルの当初の色値は補正される。

本発明の他の特徴及び利点は、図面及び特許請求の範囲を含めて、以下の説明から明らかになるであろう。

詳細な説明
以下の説明では、同じ参照番号を用いて同じ要素が特定される。さらに、図面は、例示的な実施形態の主要な特徴を図的な態様で示すことが意図されている。図面は、実際の実施形態のあらゆる特徴を示すことが意図されておらず、示された要素の相対的な寸法を示すことが意図されていない。図面は一律の縮尺に従わずに描かれている。

一般に、本明細書で説明される赤目の検出及び補正の実施形態は、このような機能が望まれる任意のシステム又は方法に組み込まれ得る。しかしながら、これらの実施形態は、一般に限られた処理資源及びメモリ資源を有する組み込み環境への組み込みに特に適している。

Ｉ．システムの概観
図１は、デジタル入力画像１２における赤目ピクセルの検出及び補正を行うためのシステム１０の一実施形態を示し、このシステム１０は、赤目検出モジュール１４及び赤目補正モジュール１６を含む。赤目検出モジュール１４は、赤目を含む可能性のある、入力画像１２におけるエリア１８を自動的に検出する。赤目補正モジュール１６は、検出された赤目エリア１８を自動的に補正して、補正画像２０を生成する。一般に、システム１０の赤目検出モジュール１４及び赤目補正モジュール１６は、任意の特定のハードウェア又はソフトウェア構成に限定されず、むしろ、それらモジュールは、デジタル電子回路又はコンピュータのハードウェア、ファームウェア、デバイスドライバ、若しくはソフトウェアを含む、任意のコンピューティング環境又は処理環境で実施され得る。これらの赤目検出モジュール１４及び赤目補正モジュール１６は、デジタルカメラ、プリンタ、及びポータブル電子デバイス（例えば、携帯電話及び携帯情報端末）を含む、多種多様な電子デバイスのいずれかのハードウェアに組み込まれ得る。

図２は、本明細書で説明される検出及び補正の実施形態の例示的なアプリケーション環境３０を示す。デジタルカメラ３２（例えば、米国カリフォルニア州パロアルトのHewlett-Packard社から販売されているＨＰ（登録商標）PHOTOSMART（登録商標）デジタルカメラ）は、シーンの画像を取り込み、取り込まれた画像をメモリカード３４（例えば、安全デジタル（ＳＤ（secured digital））マルチメディアカード（ＭＭＣ））に格納する。このメモリカード３４は、プリンタシステム３８（例えば、米国カリフォルニア州パロアルトのHewlett-Packard社から販売されているPHOTOSMART（登録商標）プリンタ）のスロット３６に差し込まれ得る。プリンタシステム３８は、メモリカード３４に格納された入力画像に対応するデータにアクセスし、入力画像における赤目を自動的に検出して補正し、補正画像２０のハードコピー４０を印刷する。いくつかの具現化形態では、プリンタシステム３８は、補正画像２０を印刷する前に補正画像２０のプレビューを表示し、印刷を続行するためにユーザの確認を待つ。

図３は、図２のプリンタシステムアプリケーション環境３０に適合した赤目の検出及び補正のプロセスの具現化形態の作業フロー図を示す。このプロセスの具現化形態では、入力画像１２がサブサンプリングされて、サムネイル画像が生成される（ステップ４２）。このサムネイル画像は、任意に圧縮されて、圧縮サムネイル画像が生成され、それによって、サムネイル画像４４を格納するのに必要なメモリが低減される（ステップ４６）。この圧縮サムネイル画像は、その後の処理のために圧縮解除される（ステップ４７）。赤目検出モジュール１４は、圧縮サムネイル画像４４において赤目領域１８を検出する（ステップ４８）。検出された赤目エリア１８に基づいて、赤目補正モジュール１６は、圧縮サムネイル画像４４を補正し、補正された（及び、必要に応じて圧縮解除された）サムネイル画像５０を生成する（ステップ５２）。赤目検出モジュール１４は、当初の入力画像１２のサムネイルに対して作用するので、処理資源及びメモリ資源の一方又は双方が限られている環境において赤目領域を迅速に検出することができる。

印刷を続行するためのユーザ確認に応答して、赤目補正モジュール１６は、検出された赤目エリア１８を、所定の出力解像度にスケーリングされた入力画像のバージョンにマッピングする（ステップ５４）。赤目補正モジュール１６は、所定の出力解像度で入力画像の赤目を補正して、補正画像２０を生成する（ステップ５６）。以下で詳述されるように、いくつかの具現化形態では、赤目補正モジュール１６は、隣接するラインのピクセルデータに関係なくラインごとに赤目を補正する。このように、赤目補正モジュール１６は、処理資源及びメモリ資源の一方又は双方が厳しく制限される組み込み環境で動作できると同時に、それにもかかわらず、並外れた実時間の赤目補正結果を提供することができる。

いくつかの具現化形態では、赤目補正モジュール１６は、ユーザの確認を待つことなしに、検出された赤目ピクセルエリアを自動的に補正する。

以下で詳述されるように、赤目検出モジュール１４は、サブサンプリングステップ、圧縮ステップ、及びスケーリングステップによって本質的に導入されるエラー及び他のアーティファクトを補償する態様で赤目領域を検出し、その結果、入力画像における赤目が高精度で検出される。さらに、赤目補正モジュール１６は、入力画像１２において検出された赤目ピクセルを、自然に見える態様で、及び赤目検出モジュール１４によって検出された真っ赤な赤目等の特別な部類の赤目を処理する態様で補正する。

II．赤目ピクセルエリアの検出
図４及び図５を参照すると、いくつかの具現化形態では、赤目検出モジュール１４は、以下のように、サムネイル画像４４において赤目を自動的に検出する。赤目検出モジュール１４は、サムネイル画像４４に基づいて赤さマップ６０を計算し（ステップ６２）、赤さマップ６０をフィルタリングして、候補赤目ピクセルエリアマップ６４を生成する（ステップ６６）。赤目検出モジュール１４は、赤さ検証フィルタに基づいて、マップ６４から候補赤目ピクセルエリアをフィルタリングする（ステップ６８）。さらに、赤目検出モジュール１４は、グレースケールマップ７０を計算し、候補赤目ピクセルエリアマップ６４から、サムネイル画像４４のエリアに位置する各候補赤目ピクセルエリアをフィルタリングし、このフィルタリングされる各候補赤目ピクセルエリアは、少なくとも１つの各隣接ピクセルエリアに対して、所定のグレースケールコントラストしきい値よりも小さな、計算されたグレースケールのコントラストを有する（ステップ７２）。また、赤目検出モジュール１４は、１つ又は複数のローカル検証フィルタに基づいて、候補赤目ピクセルエリアマップ６４の候補赤目ピクセルエリアをフィルタリングし、この１つ又は複数のローカル検証フィルタは、セグメント化検証フィルタ（ステップ７３）及びスキントーン（肌の色合い）検証フィルタ（ステップ７４）を含む。また、候補赤目ピクセルエリアは、ペアにされ、ペアにされていないあらゆる候補赤目ピクセルエリアも、マップ６４からフィルタリングされる（ステップ７６）。赤目ピクセルエリアマップ６４に残っている候補赤目ピクセルエリアは、検出された赤目ピクセルエリア１８に対応し、赤目補正モジュール１６によって使用されて、補正画像２０が生成される。

Ａ．グローバルスクリーニング
「グローバル候補赤目ピクセルエリアの検出」
図６を参照すると、動作中、赤目検出モジュール１４は最初に、サムネイル画像４４のピクセルの赤さの程度（measure：尺度、基準）を計算して、赤さマップ６０を生成する（ステップ８０）。ピクセルの赤さのさまざまな異なる程度のいずれも、サムネイル画像４４から赤さマップ６０を生成するために使用することができる。いくつかの実施形態では、ピクセルの赤さの程度は、全ピクセルエネルギーの程度に対する赤成分のピクセルエネルギーの程度の比に基づいて計算される。例えば、一具現化形態では、ピクセルの赤さの程度（Ｒ）は、次のようにして計算される。

Ｒ＝（α・ｒ＋β・ｇ＋γ・ｂ）／（ｒ＋ｇ＋ｂ＋ｄ） （１）
ここで、ｒ、ｇ、及びｂは、それぞれ入力画像１２の赤成分のピクセル値、緑成分のピクセル値、及び青成分のピクセル値であり、α、β、及びγは重み係数であり、ｄは、特異点を回避して、より高い重みを明るいピクセルに与えるために選択された値を有する所定のコントラストである。ｒ、ｇ、及びｂのそれぞれが［０，２５５］の範囲の値を有する１つの例示的な具現化形態では、α＝２５５、β＝γ＝０であり、ｄは８の値を有する。図７Ａ及び図７Ｂに示されるように、式（１）のマッピングに基づいて、赤目検出モジュール１４は、サムネイル画像４４の各ピクセルの赤さを、式（１）によって与えられた赤さの値を有する赤さマップ６０の対応するピクセルにマッピングする。

１つの例示的な具現化形態では、赤さマップ６０のピクセルの赤さの程度（Ｒ０）は、次のようにして計算される。即ち、ｒ＞ｇ、ｒ＞ｂの場合には、Ｒ０＝（２５５・ｒ）／（ｒ＋ｇ＋ｂ＋ｄ）で計算され、そうでない場合には、Ｒ０＝０である。赤さマップ６０を計算するのに使用され得る他の代表的な赤さの程度（Ｒ１、Ｒ２、Ｒ３、Ｒ４）は、以下の式（２）〜（５）で表される。

Ｒ１＝ｒ^２／（ｒ＋ｇ＋ｂ＋１）^２ （２）
Ｒ２＝ｒ^２／（ｇ＋ｂ）^２ （３）
Ｒ３＝（ｒ＋ｂ）／（ｒ＋ｇ＋ｂ＋１） （４）
Ｒ４＝Ｃｒ／（Ｃｂ＋１）^２ （５）
ここで、ｒ、ｇ、及びｂは、それぞれ入力画像１２の赤成分のピクセル値、緑成分のピクセル値、及び青成分のピクセル値であり、Ｃｒ及びＣｂは、ＹＣｂＣｒ色空間における入力画像１２の赤クロミナンス成分のピクセル値及び青クロミナンス成分のピクセル値である。

図６に戻って参照し、並びに図８Ａ及び図８Ｂを参照すると、赤目検出モジュール１４は、赤さマップ６０において、予備的な一組の候補赤目ピクセルを特定する（ステップ８２；図６）。いくつかの具現化形態では、この予備的な一組の候補赤目ピクセルは、赤さマップ６０に２次元赤さフィルタを適用することによって特定される。１つの例示的な具現化形態では、以下の２次元赤さ有限インパルス応答（ＦＩＲ）フィルタが、赤さマップ６０のピクセルの赤さの程度に適用される。

この２次元赤さフィルタは、中央のカーネルピクセルエリア、及びカーネルピクセルエリアの周囲のピクセルエリアに関して定義される。図８Ａ及び図８Ｂに示されるように、式（６）の特定のＦＩＲフィルタの具現化形態は、辺の長さｄ１の正方形のカーネルエリア８４（ＡＲ１）、及び辺の長さｄ２の正方形のピクセルエリアと中央のカーネルピクセルエリア８４との間に画定された長方形の経路に対応する周囲のピクセルエリア８６（ＡＲ２）に関して定義され、この場合、ｄ１＜ｄ２（例えば、ｄ２＝２・ｄ１）である。いくつかの具現化形態では、カーネルエリアＡＲ１内、及び周囲のエリアＡＲ２内のピクセルの平均値を、積分画像処理を使用して計算することができ、ここで、入力画像Ｉ（ｘ，ｙ）の積分画像Ｓ（ｘ，ｙ）は、次のように定義される。

積分画像Ｓが与えられると、任意の長方形（ｘ１，ｘ２］及び（ｙ１，ｙ２］内の画像ピクセルの合計は、以下の式によって得られることができる。

Ｓｕｍ（ｘ１，ｘ２，ｙ１，ｙ２）＝Ｓ（ｘ２，ｙ２）−Ｓ（ｘ２，ｙ１）−Ｓ（ｘ１，ｙ２）＋Ｓ（ｘ１，ｙ１） （８）
式（８）に基づいて、任意の長方形内のピクセルの平均値を、３つの整数の加算／減算及び１つの除算で効率的に得ることができる。上述した具現化形態では、エリアＡＲ１及びＡＲ２にそれぞれわたる平均ピクセル値ＡＰＶ_Ｒ１及びＡＰＶ_Ｒ２が計算され、式（６）の２次元ＦＩＲが、赤さマップ６０に適用されて、赤さマップの対応する各領域の以下の赤さスコア（ＲＳ１）が生成される。

ＲＳ１＝ＡＲ１−ＡＲ２ （９）
別の具現化形態では、非線形ＦＩＲフィルタが赤さマップ６０に適用されて、赤さマップの対応する各領域の以下の赤さスコア（ＲＳ２）が生成される。

ＲＳ２＝ＡＰＶ_Ｒ１＋ｗ・（ＡＰＶ_Ｒ１／ＡＰＶ_Ｒ２）^４ （１０）
ここで、ｗは、一定の重み係数であり、実験的に求められ得る。この式では、ＡＰＶ_Ｒ１は、中央のカーネル正方形ＡＲ１の絶対的な赤さを表し、（ＡＰＶ_Ｒ１／ＡＰＶ_Ｒ２）は、中央の正方形ＡＲ１と周囲のエリアＡＲ２との間のコントラストを表す。式（１０）の赤さスコアＲＳ２は、赤いドット領域がどれくらい十分に赤くなければならないかを定式化すると同時に、その周囲の領域に対してどれくらい高いコントラストを呈さなければならないかも定式化する。上述した具現化形態では、赤目エリアは、正方形の候補ピクセルエリアによって近似される。他の実施形態では、赤目エリアは、異なる形状（例えば、長方形、円、又は楕円）によって近似され得る。

図９を参照すると、一組の赤さスコアが、選択されたカーネルサイズｄ１について計算された後、実験的に求められたしきい値が、計算された赤さスコアに適用されて、候補赤目ピクセルを特定する２値マップが生成される。一具現化形態では、この２値マップの「０」（黒のピクセル）は背景ピクセルを表し、「１」（白のピクセル）は候補赤目ピクセルを表す。異なるカーネルサイズについて赤さスコアの計算、及びしきい値化のプロセスを繰り返すことにより、複数の２値マップが生成される。これらの結果としての２値マップは、すべての２値マップにわたって各ピクセル位置にＯＲ論理演算子を適用することにより結合され、候補赤目ピクセルを特定する最終２値マップ８８が作成される。この最終２値マップ８８の候補赤目ピクセルは、多種多様な既知のピクセル接続性アルゴリズムの任意の１つを使用して、ピクセル接続性に基づき、赤目クラス及び非赤目クラスにセグメント化され、赤目クラスにセグメント化された各ピクセルエリアは、候補赤目エリアとしてラベル付けされる。いくつかの実施形態では、添付の付録で説明されるストライプベースのセグメント化手法を用いて、最終２値マップ８８の赤目ピクセルをセグメント化する。本明細書に示された実施形態では、各候補赤目エリアは、境界長方形（又はボックス）によって表される。他の実施形態では、候補赤目ピクセルエリアは、長方形でない形状によって表され得る。

いくつかの実施形態では、多数の高速なヒューリスティックスが、最終２値マップ８８の候補赤目エリアに適用されて、フォールスアラームが排除される。フォールスアラーム（即ち、実際の赤目エリアに対応する可能性のない候補赤目ピクセルエリア）を排除するために、縦横比検査技術、及び形状解析技術を含む、既知の赤目ピクセル技術を使用することができる。例えば、いくつかの具現化形態では、非定型的に伸長された候補赤目エリアが、候補赤目ピクセルエリアマップ６４から除去される。

「グローバル候補赤目ピクセルエリアの検証」
図１０、図１１、図１２Ａ、及び図１２Ｂを参照すると、赤目検出モジュール１４は、マップ６４の各候補赤目エリアに検証テストを適用して、各候補赤目エリアがそれ自体十分に赤く、且つその周囲よりも赤いことを保証する。これらの検証テストは、候補赤目エリアに適用され、個々のピクセルには適用されない。

最初に、小さな赤目エリアを候補赤目ピクセルエリアマップ６４に保持するために、小さな候補赤目ピクセルエリアが処理される（ステップ９０）。図１１に示されるように、各候補赤目ピクセルエリアのサイズがしきい値と比較される（ステップ９２、９４）。候補赤目ピクセルエリアのサイズがしきい値よりも小さい場合、候補赤目ピクセルエリアは拡大される（ステップ９６）。例えば、いくつかの具現化形態では、１ピクセルに等しい候補赤目ピクセルエリアの各サイズの寸法（例えば、図示された実施形態における長方形の候補赤目ピクセルエリアの幅又は高さ）が、２ピクセルに拡大される。拡大された候補赤目ピクセルエリアの周囲のピクセルエリアが生成される（ステップ９８）。いくつかの具現化形態では、拡大されたピクセルエリアの周囲の領域は、拡大された候補赤目ピクセルエリアと同じサイズを有する８つの最も近い隣接ピクセルエリアに分割される。拡大された候補赤目ピクセルエリア、及び最も近い隣接ピクセルエリアのそれぞれから成るピクセルエリアの組について、平均の赤さの値が計算される（ステップ１００）。最も高い平均の赤さの値を有する、この組におけるピクセルエリアが、候補赤目ピクセルエリアとして選択されて、当初の候補赤目ピクセルエリアに取って代わる（ステップ１０２）。いくつかの具現化形態では、当初の候補赤目ピクセルエリアが、幅及び高さにおいてｄｗ及びｄｈだけそれぞれ拡大されるべきである場合、最も近い隣接ピクセルエリアの周囲の領域と重なる不確定領域が作成される。拡大された候補赤目ピクセルエリアの新たな位置は、不確定領域内の拡大されたボックスを、最も高い平均の赤さの値を有する位置へ移動させることによって求められる。

図１０に戻って参照し、並びに図１２Ａ及び図１２Ｂを参照すると、候補赤目ピクセルエリアは、赤さのコントラストしきい値に基づいて、予備的な一組の赤目候補エリアからフィルタリングされる（ステップ１０４）。従来の欲張り（greedy）探索プロセスが、最初に、各候補赤目ピクセルエリア１０６に適用されて、新しい赤目ピクセルエリア内のピクセルの平均の赤さが減少しない条件の下で、候補赤目ピクセルエリア１０６のサイズを最大にする。上述した整合フィルタリングプロセスによって特定された候補赤目ピクセルエリアは通常、サムネイル画像４４の実際の赤目エリアよりも小さいので、欲張り探索プロセスは、拡大された候補赤目エリア１０８がサムネイル画像４４の赤目（もしあれば）を覆う可能性を増加させる。

次に、拡大された各候補赤目ピクセルエリア１０８の平均の赤さが、その８つの隣接ボックス１１０の平均の赤さと比較され、これら８つの隣接ボックスのそれぞれは、対応する拡大された候補赤目エリア１０８と同じサイズを有する（図１２Ｂを参照）。所与の候補赤目エリア１０８と周囲のボックスとの間の最小のペアになったコントラストがしきい値未満である場合、この所与の候補赤目エリアは、予備的な赤目候補マップから除去される。候補赤目エリア１０８のピクセルの平均の赤さ（CenterAverage）と隣接エリアのそれぞれのピクセルの平均の赤さ（NeighborAverage［ｋ］、ここで、ｋ＝１，２，…，８）との差に基づいて、コントラスト値が計算される。以下の条件が満たされる場合、候補赤目ピクセルエリアは、候補赤目ピクセルマップ６４から除去される。

ＭＩＮ（CenterAverage−NeighborAverage［ｋ］）＜ＣＭＩＮ （１１）
ここで、ｋ＝１，２，…，８であり、ＭＩＮは、計算されたコントラストの程度の最小値を計算する関数であり、ＣＭＩＮは、実験的に求められた最小の赤さのコントラストしきい値である。式（１１）の条件が満たされない場合、テスト対象の候補赤目エリアは、さらに検証のために送られる。

図１０、図１３Ａ、図１３Ｂ、及び図１４を参照すると、いくつかの実施形態では、赤目検出モジュール１４は、上述した赤さ検証プロセス後に残っている候補赤目ピクセルエリアを、グレースケールコントラストしきい値に基づいて、候補赤目エリアマップ６４からフィルタリングする（ステップ１１２；図１０）。このプロセスでは、候補赤目ピクセルエリアは、周囲のエリアよりも暗いか否かに基づいてフィルタリングされる。最初に、Ｇ＝ＭＩＮ（Ｇ１，Ｇ２）によって与えられるグレースケールマッピングＧに従ってサムネイル画像４４のピクセルをマッピングすることにより、グレースケールマップ７０（図５）が計算され、ここで、ＭＩＮは、Ｇ１及びＧ２の最小値を出力する関数である。Ｇ１及びＧ２は、以下によって与えられる。

Ｇ１＝０．２９９×ｒ＋０．５８７×ｇ＋０．１１４×ｂ （１２）
Ｇ２＝０．２９９×（２５５−ｒ）＋０．５８７×ｇ＋０．１１４×ｂ （１３）
ここで、ｒ、ｇ、及びｂは、領域内の各ピクセルの赤値、緑値、及び青値であり、グレースケール値は、各ピクセルについて得られ、領域にわたって平均化される。このグレースケールマッピングでは、Ｇ１は、（ｒ，ｇ，ｂ）から計算された従来のグレースケールマッピングであるのに対して、Ｇ２は、（２５５−ｒ，ｇ，ｂ）から計算されたグレースケールマッピングである。グレースケールマッピングＧ２は、「真っ赤な」赤目の場合（即ち、赤目エリアがその周囲よりもずっと明るく見える場合）を取り扱う。上記手法によれば、このような非定型的な「真っ赤な」赤目は、通常の赤目と同じ態様で処理することを可能にするグレースケールチャネルにマッピングされる。

既知の探索技術が、計算されたグレースケールマップ７０に対して実行され、虹彩に対応する１つ又は複数のエリアの位置が突き止められる。図示された実施形態では、虹彩エリアは正方形として表される。この実施形態では、上述した赤さ検証プロセス後に残っている各候補赤目ピクセルエリア１０８は、各瞳孔エリアに対応するものと仮定され、各瞳孔エリアは、対応する虹彩エリア１１４（図１３Ａでは正方形として示される）と等しいか、又はそれよりも小さなサイズを有する。各候補赤目エリア１０８は、必ずしもその関連したグレースケール虹彩エリア１１４と同一であるとは限らないことに留意されたい。この探索アルゴリズムの設計では、虹彩エリア１１４は、その候補赤目エリア１０８と同じ中心を共有するものと仮定される。虹彩エリア１１４のサイズは、候補正方形ボックス１１６を、その８つの最も近くの隣接体（図１３Ｂの番号０〜７）のそれぞれと比較することに基づいて求められる。特に、周囲のエリア０〜７を包含する初期エリアが、９つの等しいサイズの最も近くの隣接ボックス（０〜９と付番された）に区分化される。最終の最適グレースケールボックス１１４（又は正方形）のサイズは、中央のボックス１１６（ボックス８）とその周囲の隣接体（ボックス０〜７）との間のグレースケールコントラストを最大にするサイズを選択することによって求められる。この探索プロセスでは、１つの変数しか必要とされない。即ち、中央のボックス１１６の辺の長さしか必要とされない。一具現化形態では、総当り探索技術を用いて、グレースケール虹彩エリア１１４の最終のサイズが求められる。

グレースケール虹彩エリア（又はボックス）１１４の最終のサイズが求められると、最終のグレースケール虹彩エリア１１４と周囲のボックス（０〜７）との間のグレースケールコントラストを使用して、その虹彩エリアがサムネイル画像４４の実際の虹彩に対応することが検証される。図１４に示されるように、候補虹彩エリア１１４の周囲のエリアは、８つの等しいサイズのボックスに区分化される。ボックスｋの平均グレースケールをＮ（ｋ）として示し、ｋ＝０，１，…，８である（ここで、Ｎ［８］は、中央の虹彩ボックスに対応する）。それぞれの一組の５つの連続した隣接ボックスから成る循環的なサブセット１２０、１２２、１２４、１２６、１２８、１３０、１３２、１３４のそれぞれは、以下によって示され得る。

｛Ｎ（ｋ％８），Ｎ（（ｋ＋１）％８），…，Ｎ（（ｋ＋４）％８）｝ （１４）
ここで、％はモジュロ演算子であり、ｋ＝０，１，…，７である。これによって、赤目が、処理されるべきサムネイル画像４４における顔のエッジに位置する状況が可能になる。周囲のボックスの８つのサブセットから、最も均一なサブセット１２０〜１３４が、中央の候補ボックスとのグレースケールコントラスト（ＣＧＲＡＹ）の程度を計算するための基準として選択される。即ち、
ＣＧＲＡＹ＝ＡＶＥＲ｛Ｎ（ｍ％８），Ｎ（（ｍ＋１）％８），…，，Ｎ（（ｍ＋４）％８）｝／Ｎ（８） （１５）
ここで、ｍ＝ａｒｇｍｉｎ ＳＴＤ｛Ｎ（ｋ％８），Ｎ（（ｋ＋１）％８），…，Ｎ（（ｋ＋４）％８）｝であり、ｋ＝０，１，…，７であり、ＡＶＥＲ｛ａ（１），ａ（２），…，ａ（ｎ）｝は配列｛ａ（ｋ）｝の平均を表し、ＳＴＤ｛ａ（１），ａ（２），…，ａ（ｎ）｝は配列｛ａ（ｋ）｝の標準偏差を表す。式（１５）のグレースケールコントラスト計算に基づいて、実験的に決定されたしきい値未満の、計算されたコントラストの程度を備えた、対応する候補虹彩エリアを有する候補赤目ピクセルエリアは、候補赤目ピクセルエリアマップ６４から除去される。

Ｂ．ローカル検証
図４に戻って参照すると、上述したグローバル赤さ検証フィルタ及びグレースケール検証フィルタが適用された（ステップ６８、７２）後、候補赤目ピクセルエリアマップ６４は、一組の候補赤目ピクセルエリア１０８を含み、これらの候補赤目ピクセルエリア１０８のそれぞれは、サムネイル画像４４における赤目エリアのおおよその位置及びサイズに対応する可能性がある。いくつかの実施形態では、赤目検証モジュール１４は、候補赤目ピクセルエリアマップ６４に１つ又は複数のローカル検証プロセスを適用して、候補赤目ピクセルエリアマップ６４から候補赤目ピクセルエリアをさらにフィルタリングする。以下の実施形態では、セグメント化検証フィルタ及びスキントーン検証フィルタが、サムネイル画像４４の局所的なエリアに適用されて、候補赤目ピクセルエリアマップ６４の候補が検証される（ステップ７３、７４）。これらの分類技術は、通常の赤目が、非赤領域（即ち、目の白い領域）によって取り囲まれた赤領域（即ち、虹彩）であり、さらにスキントーン領域（即ち、顔）によって大部分取り囲まれた赤領域であるという観察に少なくとも部分的に基づいてモデル化される。

「セグメント化検証」
セグメント化検証フィルタは、赤さマップ６０に適用されて、候補赤目ピクセルエリア１０８のそれぞれが周囲の隣接エリアに対して高いコントラストを呈することを保証する（ステップ７３；図４）。

図１５Ａに示されるように、候補赤目ピクセルエリア１０８が、所定の比率で拡大され、隣接ピクセルエリア１４２が生成される。一具現化形態では、隣接ピクセルエリア１４２は、所与の候補赤目ピクセルエリア１０８の寸法を１２０％拡大する（即ち、新しい幅／高さは、当初の幅／高さの２２０％である）ことによって得られる。隣接ピクセルエリア１４２に対応する赤さマップ６０の領域は、赤さピクセルエリア１０８内の赤さの値の統計値に基づいて計算されたしきい値を適用することによって２値化される。例えば、一具現化形態では、２値化しきい値は次のように計算される。

ここで、Ｒ_１，Ｒ_２，…，Ｒ_ｎは、所与の候補赤目ピクセルエリア内に位置するｎ個のピクセルの赤さを示し、ＡＶＥ（．）関数は入力配列の平均を計算し、ＭＥＤ（．）関数は入力配列のメジアンを計算する。

隣接ピクセルエリア１４２に対応する赤さマップ６０の例示的な２値化領域を図１５Ｂ及び図１５Ｃに示し、図１５Ｂ及び図１５Ｃでは、白のエリアは「赤」として分類されたピクセルに対応し、暗い領域は「非赤」として分類されたピクセルに対応する。セグメント化検証フィルタは、以下のようにピクセルエリア１４２に対応する２値領域の形態学的特徴を解析する。まず、２値領域は、ピクセルの接続性に基づいてオブジェクトにセグメント化される。いくつかの実施形態では、添付の付録で説明されるストライプベースのセグメント化手法を用いて、２値化された赤さマップ６０の領域をセグメント化する。赤目ピクセルエリア１０８と重なる最も大きなエリアを有するオブジェクトが検査されて、２値領域の境界（即ち、１４２の境界）に接触するか否かが確かめられる。接触する状況が検出された場合、対応する候補赤目ピクセルエリアが、候補赤目ピクセルマップ６４から除去される。したがって、セグメント化検証フィルタを、図１５Ｂ及び図１５Ｃに示された例示的な隣接ピクセルエリアに適用すると、図１５Ｂの隣接ピクセルエリアに対応する候補赤目ピクセルエリアは、候補赤目ピクセルエリアマップ６４からフィルタリングされないのに対して、図１５Ｃの隣接ピクセルエリアに対応する候補赤目ピクセルエリアは、候補赤目ピクセルエリアマップ６４からフィルタリングされる。

「スキントーン検証」
赤目がスキントーン領域（即ち、顔）によって取り囲まれた非スキントーン領域（即ち、目）であるという観察に少なくとも部分的に基づきモデル化されたスキントーン検証プロセスに基づいて、候補赤目ピクセルエリアマップ６４から候補をフィルタリングすることができる。このプロセスでは、サムネイル画像４４のピクセルが、スキントーンエリア又は非スキントーンエリアのいずれかに対応するものとして分類される。サムネイル画像４４のピクセルを分類するために、任意のスキントーン分類技術を使用することができる。

図１６Ａに示されるように、上述したグレースケール検証プロセス中に得られたグレースケール虹彩エリア１１４は、候補赤目ピクセルエリアの基準エリアとして使用される。隣接ピクセルエリア１４４は、一定の比率で基準エリアを拡張することによって画定され、この隣接ピクセルエリア１４４内に位置するサムネイル画像４４のピクセルは、スキントーン分類アルゴリズムによって分類される。一具現化形態では、スキントーン検証フィルタは、C. Garcia及びG. Tziritas著、「Face detection using quantized skin color regions merging and wavelet packet analysis」、1999年９月、IEEE Trans. Multimedia, vol. 1, no. 3に記載されたスキントーン分類アルゴリズムに基づいてピクセルを分類し、この文献は、参照により本明細書に組み込まれる。スキントーンピクセルとして分類されたピクセルの割合は、予め定義された、実験的に決定されたしきい値と比較される。このしきい値未満の、スキントーンピクセルの割合を有する領域に対応する候補赤目ピクセルエリアは、候補赤目ピクセルエリアマップ６４からフィルタリングされる。

図１６Ｂを参照すると、スキントーン検証フィルタの別の具現化形態では、隣接ピクセルエリア１４４が、９つの長方形に均一に分割される。一具現化形態では、隣接ピクセルエリア１４４は、グレースケール虹彩エリア１４４を１４０％拡張することによって得られる。中央の長方形を除外した後、残りの長方形に０〜７の番号が付けられる。これら８つの周囲の長方形０〜７のそれぞれの内部のスキントーンピクセルの割合が個別にカウントされ、ｓ（ｋ）として示され、ｋ＝０，１，…，７である。スキントーン検証フィルタは、次のように、配列ｓ（ｋ）の循環的な合計を計算する。即ち、
ＣＳ（ｋ）＝ｓ（ｋ％８）＋ｓ（（ｋ＋１）％８）＋ｓ（（ｋ＋２）％８）＋…＋ｓ（（ｋ＋４）％８）、ｋ＝０，１，…，７ （１７）
ＣＳ（ｋ）の最大値が所定のしきい値を超える場合にのみ、所与の候補赤目ピクセルエリアは、このスキントーン検証テストを通過する（即ち、候補赤目ピクセルエリアマップ６４からフィルタリングされない）。

「ペアリング検証」
図４に戻って参照すると、上述したグローバル赤さ検証フィルタ、グローバルグレースケール検証フィルタ、ローカルセグメント化検証フィルタ、及びスキントーン検証フィルタが適用された（ステップ６６、６８、７２、７３、７４）後、候補赤目ピクセルエリアマップ６４は、一組の候補赤目ピクセルエリアを含み、これらの候補赤目ピクセルエリアのそれぞれは、サムネイル画像４４における赤目エリアのおおよその位置及びサイズに対応する可能性がある。いくつかの実施形態では、赤目検証モジュール１４は、ローカルペア整合検証フィルタ７６を適用して、候補赤目ピクセルエリアマップ６４から候補赤目ピクセルエリアをさらにフィルタリングする。これらの実施形態では、候補赤目ピクセルエリアはペアにグループ化される。このプロセスによって、フォールスアラームの回数が低減され、ペアにされた赤目のみが補正されて、入力画像１２に現れる一対の人の目の一方のみの補正から生じる可能性がある任意の不自然な状況が確実に回避される。このペアリングローカル検証プロセスの１つの例示的な具現化形態のステップに対応する擬似コードを以下に提供する。

１．For each redeye candidate (b1)｛
２．If its red box has not been paired with any other box｛
３．Search in the neighborhood of this red box for other red boxes
４．For each redeye candidate (b2) whose red box totally inside the neighborhood｛
５．if boxes of (b1) and (b2) have similar size｛
６．if (b1) and (b2) pass texture pattern verification｛
７．mark (b1) and (b2) as paired
８． ｝
９． ｝
１０． ｝
１１． ｝
１２．For each redeye candidate (b)｛
１３．If (b) is not paired｛
１４．remove (b) from the candidate list
１５． ｝
１６． ｝
上述したプロセスでは、現在の候補に関して一定の距離範囲内に位置する隣接エリアで、候補赤目ピクセルエリアマップ６４の他の候補赤目ピクセルエリアを探索することにより、ペアリング候補が現在の各赤目候補について検出される（上記ライン３）。図１７を参照すると、いくつかの具現化形態では、候補赤目エリア１５２に関して隣接探索エリア１５０は、網掛けされた円形の領域として示され、この領域は、２つの同心円によって画定される。これら２つの円は、テスト対象の候補赤目エリア１５２の中央に置かれる。同心円の半径（ｒ１，ｒ２）は、現在の赤ボックスのサイズに基づいて決定され得る。例えば、いくつかの具現化形態では、現在の候補赤目エリア１５２の高さ及び幅がｈ及びｗである場合、同心円の半径（ｒ１，ｒ２）は、以下に設定される。即ち、
ｒ１＝（ｈ＋ｗ）×１．５ （１８）
ｒ２＝（ｈ＋ｗ）×６．５ （１９）
いくつかの実施形態では、ペアにされた候補赤目ピクセルエリアには、サイズが類似していることも必要とされる。例えば、上述したペアリングローカル検証プロセスの擬似コードの具現化形態（ライン５）では、２つの候補赤目ピクセルエリアのサイズが比較されて、それらの２つの候補赤目ピクセルエリアが十分類似していることが確認される。例えば、いくつかの実施形態では、ペアにされている候補赤目ピクセルエリアが、それぞれ長さｓ１及びｓ２の正方形であり、ｓ１≦ｓ２である場合に、ｓ２／ｓ１の比が所定の不一致しきい値よりも小さいとき、２つの候補赤目ピクセルエリアは、ペアとしてラベル付けされる。１つの例示的な具現化形態では、この不一致しきい値は、２．６の値に設定される。

上記擬似コードのライン６のテキスチャパターン検証ステップは、２つのペアリング候補によって画定された隣接テンプレートのグレースケールテキスチャが、人間の目のパターンに十分類似していることを検証する。図１８Ａ及び図１８Ｂを参照すると、候補ペアの赤目候補ピクセルエリア１５４、１５６の位置によって、標準化されたテンプレート１６０に対応する隣接領域１５８が決定される。標準化されたテンプレート１６０の形状因子ｄ１及びｄ２は、目の距離２・ｄに基づいて決定される。例えば、一具現化形態では、ｄ１は３ｄに設定され、ｄ２はｄに設定される。標準化されたテンプレートの設計が与えられると、赤目候補の任意のペアの隣接領域１５８を、図１８Ａに示すように構築することができる。

図１９及び図１８Ａを参照すると、次のように、従来のオフライントレーニング段階で基準テキスチャパターンを生成することができる。一組の複数のサンプルサムネイル画像における各サンプルサムネイル画像１７４について、特徴点の位置（即ち、ペアにされた目の位置）に、人間の管理者によってラベルが付けられる（ステップ１７６）。ラベルが付けられた特徴点に基づいて、目のペアに対応する隣接ピクセル領域１５８が計算され、サンプルサムネイル画像１７４がクロッピングされ、回転され、そしてスケーリングされる（ブロック１７８）。また、隣接ピクセル領域は、線形正規化され（ブロック１８０）、ヒストグラム均等化されて（ブロック１８２）、基準赤目ペア領域が生成される。任意のタイプの線形正規化プロセス及びヒストグラム均等化プロセスを使用することができる。いくつかの具現化形態では、基準赤目ペア領域は、そのピクセルグレースケール値を積み重ねることによって特徴ベクトルに変換される。次に、サンプルサムネイル画像１７４から生成された特徴ベクトルの分布を表すように、統計モデルがトレーニングされる（ブロック１８４）。

一実施形態では、テンプレートサイズは７×２１ピクセルに設定され（即ち、図１８Ｂではｄ＝７）、これは、１４７個の成分の特徴ベクトルを形成する。特徴ベクトルの分布は、ガウス分布としてモデル化される。ＰＣＡ（主成分分析（Principle Component Analysis））を使用して、特徴空間は、最初の数個の固有ベクトルがまたぐ低次元部分空間と、固有ベクトル空間に直交する部分空間とに分解される（ブロック１８４）。ＰＣＡから得られる例示的な固有ベクトル（又は固有画像）を図２０に示す。

ペア整合検証プロセスの期間中、ペア整合フィルタは、候補赤目ピクセルエリアマップ６４において検出された赤目ピクセルエリアに基づいて、サムネイル画像４４における隣接領域１５８（図１８Ａ）を特定する（ブロック１６２）。グレースケールチャネル（このグレースケールチャネルは、いくつかの実施形態では、ＲＧＢ色空間の緑チャネルによって近似され得る）において計算された隣接領域１５８に対応するサムネイル画像４４の領域は、クロッピングされ、スケーリングされ、そして回転されて、標準サイズの候補ペア領域が生成される（ブロック１６４）。一具現化形態では、候補ペア領域のサイズは、２１ピクセル×７ピクセルである。候補ペア領域はさらに、線形正規化（ブロック１６６）及びヒストグラム均等化（ブロック１６８）を使用して正規化される。トレーニング段階で使用されたのと同じ線形正規化プロセス及びヒストグラム均等化プロセスが、検証段階で使用される。１４７個の標準的な長さの特徴ベクトルが生成される（ステップ１７０）。

生成された統計モデル（ブロック１７０）は、トレーニング段階で生成された統計モデル（ブロック１８４）を使用してテストされて、候補ペア領域が目のパターンに対応するか否かが検証される（ブロック１７２）。例えば、一具現化形態では、低次元固有ベクトル空間内の距離、及び低次元固有ベクトル空間からの距離の２つの距離特徴が計算されて、トレーニングされた、基準の目のペアパターンとのその類似性が評価される。これについては、例えば、K. -K. Sung著、「Learning and example selection for object and pattern detection」、１９９６年、Ph.D. thesis, MIT AI Labを参照されたい。この文献は、参照により本明細書に組み込まれる。

Ｃ．複数の解像度における赤目検出
図２１を参照すると、いくつかの実施形態では、入力画像１２がサブサンプリングされて、サムネイル画像４４が生成され、このサムネイル画像４４は、圧縮される場合もあるし、されない場合もある（ブロック１９０）。サムネイル画像４４において、上述した方法の１つ又は複数を使用して、赤目ピクセルエリアが検出される（ブロック１９２）。さらに、入力画像１２においても、赤目ピクセルエリアが検出される（ブロック１９４）。入力画像１２における赤目ピクセルエリアは、上述した赤目検出プロセスの１つを使用して検出され得るか、又はHuitao Luo等によって２００３年４月２８日に出願され、「DETECTING AND CORRECTING RED-EYE IN A DIGITAL IMAGE」と題する米国特許出願第１０／４２４，４１９号に記載された赤目検出プロセスを使用して検出されることができ、この米国特許出願は、参照により本明細書に組み込まれる。サムネイル画像４４及び入力画像１２において検出された二組の赤目ピクセルエリアはマージされて、最終的な一組の検出赤目ピクセルエリアが生成される（ブロック１９６）。この最終的な一組の検出赤目ピクセルエリアは、例えば、二組の検出赤目ピクセルエリアの論理的な和集合に対応することができる。複数の解像度で赤目を検出して、それらの結果をマージするプロセスによって、全体的な赤目検出精度が高い頻度で改善されることがわかっている。

図２１の実施形態は、組み込みアプリケーション環境に組み込まれ得る。代案として、これらの実施形態は、コンピュータシステム（例えば、パーソナルコンピュータ又はワークステーション）で実行可能な１つ又は複数のソフトウェアモジュールの形態で実施され得る。

III．赤目補正
Ａ．検出された赤目ピクセルのマッピング
図２２は、赤目検出モジュール１４により検出された赤目ピクセルエリア１８に基づいて、入力画像１２の赤目を補正する方法の一実施形態を示す。この実施形態では、検出された赤目ピクセルエリア１８、及び関連付けられたグレースケール虹彩ピクセルエリア１１４は、所定の出力解像度にマッピングされる（ブロック２００）。例えば、図２のアプリケーション環境では、検出された赤目ピクセルエリア１８、及び関連付けられたグレースケール虹彩ピクセルエリア１１４は、サムネイル画像４４の解像度から、プリンタシステム３０が画像２０を生成する出力解像度にマッピングされる。一般に、プリンタシステム３０の出力解像度は、選択された印刷モード（例えば、「ドラフト」印刷品質、「通常」印刷品質、及び「高い」印刷品質）、並びに画像２０が印刷される媒体の選択されたサイズに依存する。例えば、画像２０が、３００ｄｐｉ（dots per inch）のプリンタ解像度で、４インチ×６インチの１枚の写真用紙に印刷されると仮定すると、検出された赤目ピクセルエリア１８、及び関連付けられたグレースケール虹彩ピクセルエリア１１４は、幅３８４ピクセル×高さ２８８ピクセルのサムネイルサイズから、幅１８００ピクセル×高さ１２００ピクセルの印刷画像サイズへ拡大される。

いくつかの具現化形態では、検出されてマッピングされた赤目ピクセルエリアは、マッピングエリアに含まれる、量子化プロセスの固有の不正確さの結果として発生し得る誤差を補償するように、サムネイル画像４４の解像度から出力解像度へ拡大される。これらの具現化形態では、マッピングされた赤目ピクセルエリアの水平方向の寸法及び縦方向の寸法は、マッピングされた赤目ピクセルエリアの当初の水平方向、及び縦方向の寸法と共に減少する拡大量の分だけ拡大される。例えば、一具現化形態では、マッピングされた赤目ピクセルエリアの寸法は、次のように拡大される。即ち、
２００％、当初のマッピングされた寸法サイズが１ピクセルである場合
１００％、当初のマッピングされた寸法サイズが２ピクセルである場合
４０％、当初のマッピングされた寸法サイズが３ピクセルである場合
２０％、当初のマッピングされた寸法サイズが４ピクセルから１０ピクセルである場合
５％、当初のマッピングされた寸法サイズが１０ピクセルを超える場合。

図２３に示されるように、いくつかの具現化形態では、マッピングされて拡大された赤目ピクセルエリア２０１のコーナがクロッピングされて、人間の目の瞳孔を象徴する楕円形状を近似する八角形が形成される。コーナをクロッピングする量は実験的に決定される。１つの例示的な実例では、各コーナ領域の辺の寸法は、マッピングされて拡大された赤目ピクセルエリア２０１の対応する辺（水平方向又は縦方向）の寸法の１５％に相当する。

Ｂ．赤目ピクセルの分類
図２２に戻って参照すると、検出された赤目ピクセルエリア、及び関連付けられたグレースケール虹彩ピクセルエリアが出力解像度にマッピングされた（及び、必要に応じて、拡大されてクロッピングされた）後に、結果としてのマッピングされた赤目ピクセルエリア２０１のピクセルは、赤目ピクセル及び非赤目ピクセルとして分類される（ブロック２０２）。図示された実施形態において、マッピングされた赤目ピクセルエリア２０１内の各ピクセルは、他のマッピングされた赤目ピクセルエリアとは無関係に分類される。さらに、ピクセル分類は、隣接する（上又は下の）ピクセルラインを全く考慮せずに（即ち、隣接するピクセルとの一貫性なしに）ピクセルごとに、及びピクセルラインごとに実行される。

図２４は、マッピングされた赤目ピクセルエリア２０１の赤目ピクセルを分類する逐次プロセスの一実施形態を示す。

マッピングされた各赤目ピクセルエリア２０１について（ステップ２１０）、そのマッピングされた赤目ピクセルエリアが、非定型的な大きさでない場合（ステップ２１２）、そのマッピングされた赤目ピクセルエリアのピクセルは、スキントーン着色に基づいて候補赤目ピクセルとして分類される（ステップ２１４）。一具現化形態では、マッピングされた赤目ピクセルエリア２０１は、いずれかの寸法（例えば、幅又は高さ）が１０ピクセルよりも大きい場合に、非定型的な大きさであるとみなされる。赤目ピクセルエリア２０１が、非定型的な大きさであるが（ステップ２１２）、マッピングされた赤目ピクセルエリアに対する、対応するグレースケール虹彩エリアのサイズが非定型的な大きさでない場合（ステップ２１６）、そのマッピングされた赤目ピクセルエリアのピクセルも、スキントーン着色に基づいて候補赤目ピクセルとして分類される（ステップ２１４）。一具現化形態では、マッピングされたグレースケール虹彩エリアが、その対応するマッピングされた赤目ピクセルエリア２０１よりも５０％大きい場合に、そのグレースケール虹彩エリアは非定型的な大きさであるとみなされる。スキントーン分類プロセスでは、入力画像１２のピクセルは、任意のタイプのスキントーン分類技術、又はセグメント化技術を使用して、スキントーンエリア又は非スキントーンエリアのいずれかに対応するものとして分類される。

赤目ピクセルエリア２０１が非定型的な大きさであり（ステップ２１２）、及びマッピングされた赤目ピクセルエリアに対する、対応するグレースケール虹彩エリアのサイズが非定型的な大きさである場合（ステップ２１６）、そのマッピングされた赤目ピクセルエリア２０１は、まぶた及び人の顔の周囲のスキントーン領域から完全に分離されると仮定される。この場合、スキントーン着色に基づくピクセル分類ステップ（ステップ２１４）は、処理中の、マッピングされた赤目ピクセルエリア２０１について省略される。

マッピングされた赤目ピクセルエリアの候補赤目ピクセルは、ピクセルに基づく赤さ分類プロセスに基づいて分類される（ステップ２１８）。一具現化形態では、以下の基準を満たす色成分を有する入力画像１２の候補赤目ピクセルが、候補赤目ピクセルとして分類され、他の候補赤目ピクセルは、候補の集合からフィルタリングされる。即ち、
Ｃｒ＞１２８、
Ｃｒ＞Ｃｂ、及び （２０）
Ｃｒ＞Ｙ
ここで、Ｃｒ、Ｃｂ、及びＹは、ＹＣｂＣｒ色空間で表された入力画像ピクセルの色成分である。

マッピングされた赤目ピクセルエリアのピクセルが、赤さしきい値に基づいて分類された（ステップ２１８）後、候補赤目ピクセルは、水平方向の一貫性に基づいてラインごとに分類される（ステップ２２０）。例えば、一具現化形態では、所与の候補赤目ピクセルが、候補赤目ピクセルとして以前に分類されたピクセルに隣接して位置し、且つ実験的に決定されたしきい値よりも大きい赤さの値を有する場合、その所与のピクセルも、候補赤目ピクセルとして分類される。

図２４、図２５Ａ、及び図２５Ｂを参照すると、内側境界領域２２２と外側境界領域２２４との間に位置するピクセルは、上述した赤さの分類ステップ及びスキントーン分類ステップ、並びにグレースケールしきい値に基づいて、赤ピクセル又は非赤ピクセルとして分類される（ステップ２２１）。

いくつかの実施形態では、内側境界領域２２２は、その中心が処理中のマッピングされた赤目ピクセルエリア２０１の中心に置かれ、マッピングされた赤目ピクセルエリア２０１の寸法とその対応するグレースケール虹彩エリア２２６との平均に対応する寸法（例えば、幅及び高さ）を有する。即ち、内側境界領域２２の幅は、マッピングされた赤目ピクセルエリア２０１の幅と、対応するグレースケール虹彩エリア２２６の幅との合計の２分の１に等しい。同様に、内側境界領域２２の高さは、マッピングされた赤目ピクセルエリア２０１の高さと、対応するグレースケール虹彩エリア２２６の高さとの合計の２分の１に等しい。また、外側境界領域２２４も、その中心が、マッピングされた赤目ピクセルエリア２０１の中心に置かれる。一具現化形態では、内側境界領域２２２が２ピクセルより大きい場合には、外側境界領域の寸法は、内側境界領域２２２の対応する寸法よりも５０％大きい。そのほかの点では、外側境界領域の寸法は、内側境界領域２２２の対応する寸法よりも２００％大きい。

赤さ及びスキントーンの着色に加えて、内側境界領域２２２と外側境界領域２２４との間のピクセルは、次のようにピクセルのグレースケール値に対してグレースケールしきい値を適用することに基づいて分類される。いくつかの具現化形態では、ＲＧＢ色空間の緑チャネルを使用して、ピクセルのグレースケール値が近似される。一具現化形態では、適用されたグレースケールしきい値は、内側境界領域２２内のグレースケール値の平均と、内側境界領域２２２と外側境界領域２２６との間のグレースケール値の平均との平均に相当する。例えば、内側境界領域２２２内のグレー値の平均が９０であり、且つ内側境界領域２２２の外側であるが、外側境界領域の内側であるグレー値の平均が２２４である場合、平均グレー値１０５（（９０＋１２０）／２）が、内側境界領域２２２と外側境界領域２２４との間にピクセルをセグメント化するために使用されるグレースケールしきい値である。計算されたグレースケールしきい値未満のグレースケール値を有する、内側境界領域２２２と外側境界領域２２４との間のピクセルは、候補赤目ピクセルとして分類される。

外側境界領域２２４内のすべての候補赤目ピクセルは、フラグメント（断片）、外れ値、及び雑音を除去するための厳密な要件で、接続性に基づいて赤目ピクセルとして分類される。いくつかの実施形態では、添付の付録に記載されたストライプベースのセグメント化手法を使用して、赤目ピクセルがセグメント化される。図２５Ｂを参照すると、赤目ピクセルとして分類された外側境界領域２２４内のすべてのピクセルを包含する（即ち、取り囲む）赤目ピクセル補正領域２２８が特定される（ステップ２３０）。いくつかの具現化形態では、赤目ピクセル補正領域２２８は楕円形を有する。内側境界領域内のピクセルは、赤さ及びスキントーン着色によって分類される。図示された例では、赤目ピクセル補正領域２２８は円形を有する。赤目ピクセル補正領域２２８に加えて、赤目ピクセル補正領域２２８の周囲の赤目ピクセル平滑化領域２３２も計算される。図２５Ｂに示される例では、赤目ピクセル平滑化領域２３２は、円形の境界２３４によって画定され、この円形の境界２３４は、赤目ピクセル補正領域２２８と同心であり、赤目ピクセル補正領域２２８の半径よりも５０％大きい半径を有する。

Ｃ．赤目ピクセルの再着色
図２４に戻って参照すると、赤目ピクセルが分類された後、赤目ピクセルとして分類された、マッピングされた赤目ピクセルエリアのピクセルは再着色される（ステップ２３６）。赤目ピクセル補正領域２２８の赤目ピクセルは、以下で詳細に説明するように、当初の色値に彩度を減じて暗くすることによって補正される。赤目ピクセル平滑化領域２３２の赤目ピクセルの当初の色値も、補正の相対的な量が、赤目ピクセル補正領域２２８との境界における９０％から、赤目ピクセル平滑化領域２３２の境界２３４における２０％まで変化する点を除いて、同様に補正される。この平滑化プロセス又はフェザリングプロセスによって、補正画像２０の補正された赤目の近くでバラバラのエッジの形成が低減される。

最初に、色補正の暗化係数、及び重みが、補正されるべき赤目ピクセルについて計算される。暗化係数及び重みは、赤目ピクセルの当初の色値の彩度をどれだけ強く減じる（即ち、中間色の値又はグレー値に向かって進められる）かを示す。以下で詳細に説明されるように、これら２つの係数は、アーティファクトを回避するために、変更される入力画像１２のピクセルと変更されない入力画像１２のピクセルとの間の滑らかな遷移を与えるように、赤目ピクセル補正領域２２８の中心を基準としたピクセル位置と共に変化する。

暗化係数は、入力画像ピクセルの輝度（又はグレー）値に基づいて計算される。一具現化形態では、暗化係数は、図２６に示されるグラフに基づいて計算され、この場合、各赤目ピクセルの輝度（又はグレー）レベルが、［ｌｕｍ_ｍｉｎ，ｌｕｍ_ｍａｘ］＝［０，１］の範囲にわたって変化するものと仮定される。一具現化形態では、緑色チャネルを使用して、輝度値が推定される。他の具現化形態は、輝度値の異なる推定値又は尺度を使用することができる。図示された具現化形態では、最小の暗化係数（ｍ_ｉ）が０．６に設定され、最大の暗化係数（ｍ_ｆ）が１．０に設定される。これらのパラメータは、他の具現化形態では異なる値に設定され得る。この定式化では、暗化係数の値は、ピクセルの暗さレベルと共に減少する。即ち、より小さい（即ち、暗い）輝度（又はグレー）値は、より小さい暗さ係数に関連付けられる。暗さ係数は、後述する具現化形態では乗算の態様でピクセル値に影響を与えるので、赤目ピクセルとして特定されたピクセル（即ち、より小さな輝度値を有するピクセル）が暗ければ暗いほど、明るいピクセル（即ち、より大きな輝度値を有するピクセル）よりも暗くされる。

重み（ｗｔ）は、所与のピクセルに隣接する赤目ピクセルの数に基づいて、その所与の赤目ピクセルについて設定される。例えば、一具現化形態では、重みは次のように設定され得る。

ここで、redeye neighbors（赤目の隣接体）は、重み係数を割り当てられている所与のピクセルに隣接する赤目ピクセルの数に対応する。この定式化では、赤目ピクセル補正領域２２８の中心に近い赤目ピクセルには、赤目ピクセル補正領域２２８の境界に近い赤目ピクセルよりも高い重みが割り当てられる。

計算された暗化係数及び重み係数に従って当初の色値の彩度を減じて暗くすることにより、赤目ピクセルの色値は補正される。いくつかのＲＧＢ色空間の具現化形態では、赤目ピクセルとして特定された各入力画像ピクセルの色値（red，green，blue）は、次のような最終色値（Ｒ_１，Ｇ_１，Ｂ_１）に補正される。即ち、
If ( mask = 1 ), tmp = dark[green − grn_min]
Else tmp = 1
R₁ = (wt * tmp * green + (1 − wt) * red)
G₁ = (wt * tmp * green + (1 − wt) * green)
B₁ = (wt * tmp * green + (1 − wt) * blue)
これらの実施形態では、入力画像ピクセルの色成分がＲＧＢ色空間について定義されるものと仮定される。これらの実施形態は、他の色空間の表現に容易に拡張され得る。ｗｔ＝１の場合、ピクセル値は、中間値までずっと近づけられる（即ち、ピクセル値は、同じ中間調に設定される）ことに留意されたい。ｗｔ＝０の場合、対応するピクセルの色成分値のいずれも変更されない。この具現化形態では、一般に、ピクセルの輝度が小さければ小さいほど（即ち、緑値が小さいほど）、より大きな輝度のピクセルよりも暗くされ、係るより大きな輝度のピクセルは、変更されない輝度を有する。

IV．結論
他の実施形態は、特許請求の範囲の範囲内にある。

付録
この付録は、１つ又は複数のピクセルラインのストライプにおける２値マップを走査して、ストライプにわたって接続された前景ピクセルを含むオブジェクトを追跡することにより、２値画像（又はピクセルマップ）の背景ピクセルから前景ピクセルをセグメント化する方法を記載している。この手法の一具現化形態では、前景ピクセルに「１」の値が割り当てられ、背景ピクセルに「０」の値が割り当てられる。接続されたピクセルのすべてが同じラベルを有し、且つ各ラベルが１つのオブジェクトを表すために使用されるように、前景ピクセルにラベルを付けることによって、前景ピクセルはオブジェクトにセグメント化される。

実験は、以下の方法が、通常のスタックベースのセグメント化手法よりも３倍〜５倍高速であることを示した。さらに、いくつかの具現化形態では、この方法は、速度要件及びメモリ要件の点でスケーラブルである。

Ｉ．定義及びデータ構造体
ストライプベースのセグメント化方法を、以下の用語及びデータ構造体に関して説明する。

「ＳＴＲＩＰＥ（ストライプ）」
ストライプは、前景ピクセルの連続的な水平方向のラン（run：一続き）として定義される。図２７は、画像２５２を横切るラスタ走査ライン２５０、及び走査ライン１５０上の２つのストライプ２５４、２５６を示す。画像１５２は、ラスタ走査表現に従って一群のストライプに変換される。一具現化形態では、ストライプが、左側のその最初のピクセルの位置（row， col）、及びそのラン長（length）によって表される。この具現化形態のＳＴＲＩＰＥ構造の擬似コード定義は、次の通りである。即ち、
STRIPE {
row, col
length
object_pointer
next_stripe_pointer
}
この定義において、object_pointerデータフィールドは、対応するストライプが属するオブジェクトを指し示し、next_stripe_pointerフィールドは、複数のストライプをリンクリストにリンクする。

ストライプオブジェクト「Ｓ」について、関数Ｏ＝ＯＢＪＥＣＴ（Ｓ）が、Ｓのobject_pointerフィールドを返すように定義される。即ち、オブジェクトＯは、ストライプＳが属するオブジェクトである。

「ＯＢＪＥＣＴ」
ＯＢＪＥＣＴは、画像解析で定義されるオブジェクトを表す論理データ構造である。オブジェクトは次の属性を有する。即ち、収容長方形、その全サイズ、及びそのオブジェクトに属するストライプにリンクするポインタを有する。ＯＢＪＥＣＴ構造の擬似コード定義は次の通りである。即ち、
OBJECT {
rect
size
stripe_pointer
next_object_pointer
}
stripe_pointerフィールドは、ＳＴＲＩＰＥオブジェクトのリンクリストのヘッダを指し示し、これらのＳＴＲＩＰＥオブジェクトは、このオブジェクトに属する。next_object_pointerフィールドは、複数のオブジェクトをリンクリストにリンクする。

２つのオブジェクトＯ１及びＯ２について、マージ関数が次のように定義される。即ち、
Ｏ = MERGE_OBJECT(Ｏ１，Ｏ２)
このMERGE_OBJECT関数は、２つのオブジェクトＯ１、Ｏ２を１つのオブジェクトＯにマージする。結果としてのオブジェクトＯは、結合されたサイズ、並びにＯ１及びＯ２の収容長方形を包含する収容長方形を有する。さらに、Ｏ１及びＯ２に属するストライプは、Ｏの１つのリンクリストにマージされる。

「ＣＯＮＴＡＩＮＥＲ（コンテナ）」
ＣＯＮＴＡＩＮＥＲは、ＯＢＪＥＣＴデータ構造体のリンクリストである。コンテナＣについて、ＡＤＤ（Ｃ，Ｏ）演算は、ＯＢＪＥＣＴ ＯをコンテナＣに追加し、ＤＥＬＥＴＥ（Ｃ，Ｏ）演算は、ＯＢＪＥＣＴ ＯをコンテナＣから削除する。

ＩＩ．ストライプベースのセグメント化
この手法では、画像はラインごとに走査される。各走査ラインにおいて、複数のストライプが画定され、以前に走査された隣接するライン上のストライプとのそれらの接続性が解析される。所与のストライプが、以前に走査された隣接するライン上の任意のストライプと接続されている場合、その所与のストライプに関連付けられたオブジェクトは、現在の走査ラインへ拡張される。図２８は、例示的な現在の走査ライン２６０、及び以前に走査された隣接する走査ライン１６２を例示的に示す。図２８では、ボックス２６４、２６６、２６８、２７０が、以前に画定された、オブジェクトの収容長方形を表し、ボックス２７２、２７４、２７６が、走査ライン２６０、２６２にわたって広がるオブジェクトを表すために画定された新しい収容長方形を表す。図２８は、収容ボックス２７２〜２７６を有するオブジェクトが、３つの異なる場合にどのように拡張されるかを示す。特に、ボックス２７２では、現在の走査ライン１６０上の１つのストライプ２７８が、以前のライン上の１つのストライプ２８０と接続されている。ボックス２７４では、現在の走査ライン２６０上の２つのストライプ２８２、２８４が、以前に走査された隣接するライン１６２上の１つのストライプ１８６と接続されている。ボックス１７６では、現在の走査ライン１６０上の１つのストライプ２８８が、以前に走査された隣接する走査ライン２６２上の２つのストライプ２９０、２９２と接続されている。

この手法では、各オブジェクトのサイズ及び収容長方形が、画像の１パス走査で決定される。第２のパスは、各ピクセルにラベル付けするために使用される。

以下の擬似コードは、ストライプベースのセグメント化方法の一具現化形態を記述する。この記述では、入力は２値画像であり、出力はコンテナ「Ｃ」である。コンテナ「Ｃ」は、生成されたすべてのオブジェクトを収容する。

Ａ．メイン処理ループの擬似コード
raster scan the input image line by line ｛
define stripes in the current line;
process the current line（詳細には２．２．ＩＩを参照されたい）；
｝
Ｂ．ライン処理ループの擬似コード
for each stripe S in the current line ｛
if it is connected to only one stripe S1 in the above line ｛
link stripe A to the object OBJECT (S1)（ストライプＳ１が属する）
update the containing rectangle (rect) and object size (size) of the object
｝
else if it is connected to multiple stripes (S1, S2,...,Sn) in the above line ｛
O = MERGE_OBJECT(OBJECT(S1), OBJECT(S2), …, OBJECT(Sn))
link stripe A to O
update the containing rectangle (rect) and object size (size) of O
DELETE(C, OBJECT(S1))
DELETE(C, OBJECT(S2))
…
DELETE(C, OBJECT(Sn))
ADD(C, O)
｝
else ｛
allocate a new object O
link stripe A to O
update the containing rectangle (rect) and object size (size) of O
ADD(C, O)
｝
｝

デジタル画像における赤目の検出及び補正を行うためのシステムの一実施形態のブロック図である。 デジタル画像における赤目の検出及び補正を行うためのシステムの組み込み式の実施形態を組み込むプリンタシステムの略図である。 デジタル画像における赤目の検出及び補正の方法の一実施形態のフロー図である。 デジタル画像における赤目を検出するプロセスの一実施形態におけるステップのフロー図である。 デジタル画像における赤目の検出及び補正のプロセスの一実施形態において、入力画像から導出される異なる画像マップ及び該画像マップに適用される異なる処理ステップの情報フロー図である。 デジタル画像における赤目を検出するプロセスの一実施形態におけるステップのフロー図である。 入力画像に対応する例示的なサムネイル画像である。 図７Ａのサムネイル画像から導出された赤さマップである。 カーネルピクセルエリア及び周囲のピクセルエリアを含む２次元赤さフィルタの略図である。 カーネルピクセルエリアにＡＲ１のラベルが付けられ、周囲のピクセルエリアにＡＲ２のラベルが付けられた、図５Ａの２次元赤さフィルタの略図である。 図６Ｂの赤さマップから導出された２値の候補赤目ピクセルマップである。 デジタル画像における赤目を検出するプロセスの一実施形態におけるグローバル検証ステップのフロー図である。 デジタル画像における赤目を検出するプロセスの一実施形態の候補赤目ピクセルエリアを選択する方法のフロー図である。 候補赤目ピクセルエリアが拡大された略図である。 一組の８つの隣接ピクセルエリアによって取り囲まれた図１２Ａの拡大された候補赤目ピクセルエリアの略図である。 候補グレースケール虹彩ピクセルエリアによって取り囲まれた候補赤目ピクセルエリアの略図である。 一組の８つの隣接ピクセルエリアによって取り囲まれた候補グレースケール虹彩ピクセルエリアの略図である。 グレーにハイライトされた５つの隣接ピクセルエリアの異なるサブセットを有する候補グレースケール虹彩ピクセルエリアの異なる略図である。 隣接エリアによって取り囲まれた例示的な候補赤目ピクセルエリアである。 図１５Ａの隣接エリア及び候補赤目ピクセルエリアに対応する例示的な入力画像の領域の赤さ分類マップをしきい値処理することによって生成された画像である。 図１５Ａの隣接エリア及び候補赤目ピクセルエリアに対応する別の例示的な入力画像の領域の赤さ分類マップをしきい値処理することによって生成された画像である。 隣接エリアによって取り囲まれた例示的なグレースケール虹彩エリアである。 一組の８つの隣接エリアによって取り囲まれた別の例示的なグレースケール虹彩エリアである。 赤目候補ペアリングプロセスの一実施形態で使用される幾何学的形状を示す２つの同心円の略図である。 入力画像において検出された候補赤目ペア領域の略図である。 標準化された候補赤目ペアテンプレートの略図である。 基準テキスチャパターン及び候補赤目ピクセルエリアの候補ペアについて計算された候補テキスチャパターンの統計モデルを生成する方法のフロー図である。 例示的な、目のペアの基準テキスチャパターンに対応する一組の固有画像を示す図である。 複数の画像解像度での赤目検出に基づいて入力画像における赤目を検出する方法の一実施形態のフロー図である。 検出された赤目ピクセルを補正する方法の一実施形態のフロー図である。 コーナ領域のクロッピングラインを示す、出力画像解像度にマッピングされた、検出された赤目ピクセルエリアを示す図である。 デジタル画像における赤目ピクセルのセグメント化及び補正を行う方法のフロー図である。 マッピングされた赤目ピクセルエリア及び対応するマッピングされたグレースケール虹彩ピクセルエリアから導出された内側境界領域及び外側境界領域を示す図である。 デジタル画像における赤目を補正する方法の一実施形態で使用される内側赤目ピクセル補正領域及び外側赤目ピクセル補正領域を示す図である。 入力画像のピクセルの緑色成分値の関数としてプロットされた暗化係数のグラフである。 ２値画像にわたって重ね合わされた走査ライン、及びピクセルをセグメント化する、ストライプに基づく方法の一実施形態で特定された収容ストライプを示す図である。 ピクセルをセグメント化する、ストライプに基づく方法の一実施形態で生成されたオブジェクトの収容長方形を示す図である。

Claims (10)

1. サムネイル画像（44）を生成するために、前記入力画像（12）をサブサンプリングし、及び
   前記サムネイル画像（44）において赤目ピクセルエリア（18）を検出することを含む、入力画像（12）を処理する方法。
2. 前記赤目ピクセルエリア（18）を検出することが、前記サムネイル画像（44）のピクセルの赤さの程度を計算し、及び前記計算されたピクセルの赤さの程度に基づいて、予備的な一組の候補赤目ピクセルエリアを特定することを含み、前記予備的な一組の候補赤目ピクセルエリアを特定することが、拡大されたピクセルエリアを生成するために、しきい値サイズ未満の寸法を有する所与の候補赤目ピクセルエリアを拡大することを含む、請求項１に記載の方法。
3. 前記予備的な一組の候補赤目ピクセルエリアを特定することが、前記拡大されたピクセルエリアを、前記拡大されたピクセルエリアの周囲の複数のピクセルエリアと比較し、及び前記拡大されたピクセルエリア及び前記周囲のピクセルエリアのそれぞれについて計算された赤さの程度に基づいて、前記拡大されたピクセルエリア及び前記周囲のピクセルエリアの中から、前記所与の候補赤目ピクセルエリアに取って代わるピクセルエリアを選択することを含む、請求項２に記載の方法。
4. 所与の候補赤目ピクセルエリア（108）の周囲のピクセル領域（142）のピクセル境界を特定し、
   前記計算されたピクセルの赤さの程度に対してしきい値を適用することによって、前記ピクセル境界内のピクセルを赤ピクセルと非赤ピクセルとに分類し、及び
   一組の連続した赤ピクセルが、前記所与の候補赤目ピクセルエリア（108）から前記ピクセル境界へ伸びる場合に、前記予備的な一組から前記所与の候補赤目ピクセルエリアをフィルタリングすることをさらに含む、請求項２に記載の方法。
5. 前記予備的な一組における候補赤目ピクセルエリアの候補ペアについて計算された候補テキスチャパターンの基準テキスチャパターンとの比較に基づいて、前記予備的な一組における候補赤目ピクセルエリアをペアにし、及びペアにされていない候補赤目ピクセルエリアを前記予備的な一組からフィルタリングすることをさらに含む、請求項２に記載の方法。
6. 前記入力画像（12）において赤目ピクセルエリアを検出し、及び前記入力画像（12）において検出された赤目ピクセルエリアを、前記サムネイル画像（44）において検出された赤目ピクセルエリアとマージすることによって、一組の検出された赤目ピクセルエリア（18）を生成することをさらに含む、請求項１に記載の方法。
7. 前記サムネイル画像（44）において検出された赤目ピクセルエリア（18）に基づいて、前記入力画像（12）における赤目を補正することをさらに含み、前記赤目を補正することが、前記検出された赤目ピクセルエリア（18）を前記入力画像（12）にマッピングし、前記入力画像にマッピングされた赤目ピクセルエリア（18）を拡大し、及びグレースケールしきい値に基づいて、同心の内側境界領域（222）と外側境界領域（224）との間にピクセルを分類することを含む、請求項１に記載の方法。
8. 赤目ピクセルとして分類されたピクセルを包含する赤目ピクセル補正領域（228）のピクセルの当初の色値を補正し、及び前記赤目ピクセル補正領域（228）の周囲の平滑化領域（232）のピクセルの当初の色値を補正することをさらに含み、前記平滑化領域（232）のピクセルの当初の色値が、前記所与の赤目ピクセル補正領域（228）からの距離が減少する量によって補正され、前記赤目ピクセル補正領域（228）のピクセルの当初の色値が、前記赤目ピクセル補正領域（228）内の位置に関係なく補正される、請求項３７に記載の方法。
9. 当初の色値を有するピクセルのラインを有する入力画像（12）を処理する方法であって、
   前記入力画像（12）の各エリアに対応する１つ又は複数の赤目ピクセルエリアを検出し、
   隣接するライン（262）のピクセルに関係なくライン（260）ごとに、前記検出された赤目ピクセルエリアに対応する前記入力画像（12）の各ピクセルを、赤目ピクセル又は非赤目ピクセルとして分類し、及び
   赤目ピクセルとして分類された、前記入力画像（12）のピクセルの前記当初の色値を補正することを含む、方法。
10. 入力画像（12）を処理するためのシステムであって、
    サムネイル画像（44）を生成するために、前記入力画像（12）をサブサンプリングし、及び
    前記サムネイル画像（44）において赤目ピクセルエリア（18）を検出するように動作可能な赤目検出モジュールを含む、システム。

Images