JP4809904B2 - デジタル画像の選択的削除方法および装置 - Google Patents

Description

本発明はデジタル画像取得に関し、特に、顔や他の重要な特徴が遮られたり、影になっている1つ以上の不満足な特徴の存在により、被写体（scene）を、処理された永久画像の候補として不適格とすることに関する。

カメラは高度な計算ツールとなりつつある。特に、出願人であるフォトネーションInc.は様々な有益な顔検出ツールを開発してきた。これらのうち幾つかは、米国特許出願10/608,776, 10/608,810, 10/764,339, 10/919,226, 11 /182,718, および11/027,001に開示されており、したがってこれらは参照により組み合わせられる。

これは画像の撮像の要因とは異なる。これはまた、起こるか否か分からないイベント（例えば笑み）について待機することとも異なる。米国特許6,301,440は、一時的な画像の解析に基づき、一時的な画像中の人物全員が微笑んでいるまで画像の撮像を待機するように、画像取得パラメータを調整することを開示する。カメラは、起こるか否か分からない特定の現象を待たなければならない。人々にとって、画像を撮像する前においてカメラが最適であると決定するために待つことは、多くの場合許容できることではない。また、そのようなジレンマを緩和しようとすることについては'440の特許には開示されていない。また、
'440の特許は、被写体内のある特徴を検知または決定する方法に関しても示唆を提供しない。

さらに対象がカメラの視界に入った場合に画像を撮像するセキュリティーカメラがある。これらは、通常、一般に動きがない被写体における動作あるいは突然の変化を検出する。

当該出願は、２００６年2月２４日に出願された米国仮特許出願６０／７７６,３３８、および２００６年７月２６日に出願された米国特許出願１１／４６０,２２７に基づく優先権を主張する。当該出願は同日に出願され、同じ発明の本質性により、また、共通の譲り受け人を有する、デジタル画像選択的不適格のための方法および装置と題する、２００６年７月２６日に出願された米国特許出願１１／４６０,２１８や、デジタル画像取得制御および修正方法および装置と題する、別の米国特許出願１１／４６０,２２５を含む、一連の出願のうちの1つである。これらの出願の各々は、参照によってここで組込まれる。

カメラの画像取得制御として不満足な被写体を不適格とするための方法が提供される。取得画像の内容の分析は、画像を所得すべきか、または除去すべきか決定する。1つの例は人間の顔を含んでいる。また、画像が不十分か否かは、目が閉じているか、部分的に閉じているか、またはまばたきの間で閉じつつあるか若しくは開きつつあるかに基づいて決定されるようにしてもよい。あるいは、顔をしかめるか、顔を手や他のもので覆うことにより顔の特徴や被写体の他の重要な特徴が遮られたり、影になったりしているか、顔をカメラから離れた方向に回転させるなどの他の不満足な表現や動作が検出されるようにしてもよい。

被写体の現在の画像は、顔領域を含んで取得（acquired またはcaptured）される。ピクセルの１つ以上の群は、関心のある領域、または目、鼻、髪の毛あるいは口のような顔領域内の1つ以上の顔の特徴のような被写体内の重要な特徴、または顔領域の一部または全体、または被写体内の他の特徴に応じて特定される。重要な特徴が、遮られているか否か、または影になっているか否か決定される。そのような場合には、その後、重要な特徴が遮られるか影になり続ける間、被写体は、処理された永久画像の候補としては不適格とされる。

現在の画像はプレビュー画像を含むようにしてもよい。また、不適格とする処理は被写体の画像の最大解像度での取得を遅らせることを含むようにしてもよい。当該遅延処理は、所定の待機時間の後に不適格とする処理を終了させることを含むようにしてもよい。

プレビュー画像が使用されるようにしてもよい。 これにより、目が取得画像中に存在する可能性がある関心領域(ROI)の示唆（indication）を提供することが可能となる。これにより、プレビュー画像の解析から提供される空間の情報に基づいた顔、口または目のような重要な特徴についての最終的な画像中の高速検索を提供することが可能となる。

遅延処理は、遮られたり、影になったりすることがなくなる時間を予測することと、ほぼ当該推定時間において不適格とする処理を終了させることとを含むようにしてもよい。所定の遮られたり影になったりする間隔は、遮られたり影になったりする平均の間隔に基づきプログラムされるようにしてもよい。予測された間隔は、現在のプレビュー画像のそれに関連する1つ以上の以前のプレビュー画像の一時的な取得パラメーターの分析に基づくようにしてもよい。当該予測処理は、遮えぎったり、影をつくっている物体が移動しているか、あるいは移動して重要な特徴が重要な特徴がさらに遮られたり、影になっているか、および重要な特徴が遮られたり、影になっている程度について決定することを含むようにしてもよい。

当該方法は、遮られるか、影になる程度を決定することを含んで、重要な特徴が遮られているか、または影になっているか否か決定することを含むようにしてもよい。遮られたり影になっている程度は現在のプレビュー画像と、遮られたり、影になっている間隔より短い間に相対的に取得された１つ以上の他のピレビュー画像との相対的な比較に基づいて決定されるようにしてもよい。間隔の予測は、遮ったり影にする物体のブラーネス（blurrieness）の割合を決定すること、例えば物体が被写体へ、あるいはその被写体から移動するスピードを決定することに基づいて予測されるようにしてもよい。重要な特徴が表れるか否か、または表れる程度によって決定されるようにしてもよい。重要な特徴領域のカラー分析が行われるようにしてもよく、重要な特徴に対応するピクセルが遮ったり、影にしている物体に対して区別される。重要な特徴領域の形状分析が実行されるようにしてもよく、および／または、ピクセルが重要な特徴に対応するものとして、あるいは重要な特徴の障害（occulusion）または影に対応するものとして区別される。

現在の画像は最大解像度の取得画像を含むようにしてもよい。不適格とする処理は、現在の画像の先行するさらなる処理を含むようにしてもよい。当該方法は、現在の画像に由来するピクセルと、まばたきしている目に対応する異なる画像由来の開いた目のピクセル
とを含む合成画像を組み立てることを含むようにしてもよい。当該異なる画像は、プレビュー画像、またはポストビュー画像、または他の最大解像度の画像を含んでいてもよい。異なる画像は現在の画像よりも低い解像度を含んでいるようにしてもよい。また、構成処理は異なる画像のアップサンプリング、または現在の画像のダウンサンプリング、またはそれらの組み合わせを含むようにしてもよい。当該方法はさらに、現在の画像中のまばたきする目の領域に開いた目のピクセルの領域をマッチングさせることを含んで、現在の画像および異なる画像を調整することを含むようにしてもよい。

本発明はまた、ビデオストリームのようなストリームの一部である画像の選択からの画像を不適格とすることを実行するようにしてもよい。

当該方法は表れる可能性がある重要な特徴および／または重要な特徴が想定される領域の部分を決定することを含むようにしてもよい。カラー分析および／または調性の分析が行なわれるようにしてもよく、重要な特徴か否かに対応するものとしてピクセルが区別される。形状分析が行なわれるようにしてもよく、重要な特徴か否かに対応するものとしてピクセルが区別される。

現在の画像は最大解像度の取得画像を含むようにしてもよい。当該方法は、現在の画像に由来するピクセルと、重要な特徴がブロック（blocked）または影になった現在の画像中の領域に対応する、遮られたり影になったりしていないピクセルとを含む合成画像を組み立てることを含むようにしてもよい。当該異なる画像は、プレビュー画像、またはポストビュー画像、または他の最大解像度の画像を含んでいてもよい。異なる画像は現在の画像よりも低い解像度を含んでいるようにしてもよい。また、組み立て処理は異なる画像のアップサンプリング、または現在の画像のダウンサンプリング、またはそれらの組み合わせを含むようにしてもよい。当該方法はさらに、現在の画像中のまばたきする目の領域に開いた目のピクセルの領域をマッチングさせることを含んで、現在の画像および異なる画像を調整することを含むようにしてもよい。

口の領域は、顔領域を特定することと、1つまたは両方の目、口または口の特徴、鼻、髪の毛、顎、ほお、額、1つまたは両方の耳、またはそれらの組み合わせのような、その中の顔の特徴を決定するために当該顔領域を分析することとに基づいて特定されるようにしてもよい。

不適格とする処理に起因して現在の画像を置き換えるために、新たな画像が取得されるようにしてもよい。

画像対が取得され、画像対の少なくとも1つがまばたきを含んでいないと決定されるために分析されるようにしてもよい。

複数取得の間隔は、1回のまばたきの時間よりも長くなるように計算されることが可能である。

あるいは別の画像を撮像する必要があるかもしれないことにフォトグラファーが気付くように遮られたり、影になっていることについての警告信号が提供されるようにしてもよい。

その様々な代替である発明は、グループショットのような単一の画像中の単一の、あるいは複数の顔について対応（address）するようにしてもよい。同一の顔の、または第２の顔の第２の重要な特徴または顔ではない特徴は被写体内において特定されるようにしてもよい。付加的な特徴は被写体内で特定されるようにしてもよい。第２の特徴がオクルージョンされているかまたは影になっているか否か決定されるようにしてもよい。その場合、その後、当該方法は第2の重要な特徴がブロックされるか影になっている間、処理された永久画像に対する候補として被写体を不適格とすることことを含むようにしてもよい。最大解像度の画像についての取得処理またはさらなる処理は、被写体内の各顔領域あるいは他の領域の重要な特徴が遮られたり、影になったりしていない重要な特徴を含くまなくなるまで、不適格とされるようにしてもよい。

カメラの画像取得制御として、不満足な被写体を自動的に不適格とすることの方法が提供される。当該方法は、多数のプレビュー画像を取得することを含んでいる。情報は複数のプレビュー画像から抽出される。1つ以上の変更が、複数の一時的な画像中の個々の画像間の被写体について分析される。分析に基づいて、1つ以上の不満足な特徴が被写体内に存在するか否かが決定される。当該被写体は、1つ以上の不満足な特徴が存在し続ける間、処理された永久画像の候補として不適格とされる。

分析処理は、不満足にブロックされるか影になる重要な特徴領域に相当する1つ以上のピクセル群を特定することを含むようにしてもよい。1つ以上のピクセル群は、顔または顔の特徴を含むようにしてもよく、また、不満足な形態は、遮られたり影になったりすることや、口をしかめたり、目のまばたきのような不満足な形態を含むようにしてもよい。不適格とする処理のインターバルは、処理されない、永久画像が取得される間に決定されるようにしてもよい。

分析処理は、不満足な形態を有する顔の特徴に相当する1以上のピクセル群を特定することを含むようにしてもよい。1以上のピクセル群は、顔を手で覆うことやカメラから離れた方向に回転した顔のような幾つかの障害を含むようにしてもよい。

また、それに内蔵されたプロセッサ読取り可能なコードを有する1つ以上のプロセッサ読取り可能な記憶デバイスが提供される。ここの上で記載されたように、また、下で記載されるように、プロセッサ読取り可能なコードは、カメラのための画像取得制御として不満足な被写体を不適格とする方法を実行するように1つ以上のプロセッサをプログラムするためのものである。プロセッサはカメラの一部として内蔵されてもよく、また、取得デバイスに外付けされるようにしてもよい。取得デバイスは、ハンドヘルドカメラ、固定カメラ、ビデオカメラ、取得デバイスを備える携帯電話、取得デバイスを備えるハンドヘルドデバイス、キオスクブース、ポートレートに使用されるようなもの、セキュリティまたは特定に使用されるような専用ポートレート・カメラ、あるいは一般的な任意の画像取得デバイスであってもよい。

システムおよび方法が、好ましい実施形態や他の実施形態に従って説明される。これらの技術は、ミスショットを回避するとともに、強化された機能および改善された有用性を提供する。それらを伴うことで、デジタルカメラは、対象の顔の表情がいつ不適格であるか、不満足であるか、または望ましくないかについて決定することが可能である。1つの例としてはまばたきをすることであり、他のものにはしかめることや、遮られることや、影になっていることが含まれる。収集デバイスは、画像の撮像を行わなかったり、適当な間隔で取得を遅延させたり、即座に別の画像を撮像したり、カメラのユーザに警告したり、後に不満足な画像を強調するための措置を取ったり、これらや他のステップの組み合わせをすることができる。カメラは、0.1、0.3、0.5あるいは1.0秒のような一定の時間、または遮られたり、影になっている平均的なインターバル、または遮られたり、影になっていることが終了したことが確定したときまで、別の画像の撮像を遅延させるようにしてもよい。ユーザは、画像を撮像する前、または重要な特徴が遮られていたり、影になっている画像が撮像された後に警告を受けるようにすることができる。

重要な特徴が遮られていたり、ブロックされていたりする場合、例えば、目、口、鼻、髪の毛、耳、ほほ、顎のような重要な顔の特徴や顔でない重要な特徴、あるいはそれらの組み合わせなどの重要な特徴を遮るか、影にしている干渉する物体が存在しているときに、画像を不適格とする予測システムが提供される。当該システムはいつ撮像できないか、すなわち、検出された、遮られたり、影になったりしている過程が進行中であろう時間について予測を行う。

不適格とされた画像は、すでに取得されたものであってもよく、カメラでの、または外部装置での取得後フィルタリングオペレーションにおいてのみ不適格とされるようにしてもよい。当該システムは、遮られたり、影になっている1つ以上の特徴を含んでいることにより１つ以上の画像が不適格となることがない確率を高めるために、複数の画像を撮像するようにしてもよい。ある対象がまばたきしているところである可能性が、対象が増加するにしたがって増加するので、そのようなシステムはグループショットの場合に有用である。システムは、少なくとも1つの画像においてまばたきしていない目が閾値以上、例えば50%、60%、67%、70%、75%、80%、90%または95%以上である可能性を提供するために、画像中の顔の数に基づいて、連続して撮像される画像の数を自動的に決定するようにしてもよい。

画像は、現在の画像と、プレビュー画像、ポストビュー画像、または他の最大解像度の画像との組み合わせとして生成されるようにしてもよい。例えば、合成画像は顔領域およびいくつかの背景像を含むようにしてもよい。そこでは、現在の画像の中で遮られているか、影になっていて不満足なものとなっている顔の特徴領域は、プレビュー画像、ポストビュー画像、または他の最大解像度の画像由来の、遮られたり影になったりしていない同様の領域に置き換えられる。当該機能は、本出願と同じ譲受人に承継され、参照によって組み込まれる、米国特許出願10/608,776と組み合わされるようにしてもよい。'776の出願では、顔検出を使用するデジタル画像処理方法が記述されている。デジタル画像内の顔に対応する、あるピクセル群が特定される。デジタル画像内の他の特徴に対応する、第２のピクセル群が特定される。再構成された画像は、顔および別の特徴の少なくとも1つについての新たなピクセル群を含んで確定される。

ここに示す実施形態は、一般にデジタル画像または被写体内（例えば画像取得前、またはすでにデジタル取得された後）の単一の顔、および“顔の特徴”に関する。しかしながら、これらの記述は、単一の顔の他の特徴、あるいは顔以外の重要な特徴まで拡張することが可能である。ここで、顔の特徴は、図を参照しながら好ましい実施形態や他の実施形態を説明する場合に一般的に好まれる。しかしながら、当該記述は、他の重要な特徴や、
人、動物、車両、船、陸の風景、海の風景、自然のものや人工的な物体、惑星あるいは他の天体の物体、監視活動において関心のある物体などに適用されるようにしてもよい。これらの説明は、1つ以上の顔（グループショット）や1つ以上の重要な特徴について拡張することが可能である。また、1つあるいは2つ、3つ、4つのあるいはそれ以上の顔や他の重要な特徴のうちの幾つかが遮られたり、影になっていると決定された場合、カメラは被写体を不適格とすることが可能である。例えば、20人の人物が含まれるグループショットにおいて、被写体が不適格とされる前に遮られたり影になったりしていない３つの特徴が閾値として設定された場合に、１つまたは２つの特徴が遮られたり、影になっていることは許容されるようにしてもよい。ここや他の部分で記載したように、カメラは、重要な特徴が高い割合で、またはすべて遮られていなくなったり、影にならなくなるまで、不適格とすることおよび／または他のオペレーションを実行することが可能である。遮られたり影になったりしている程度はまた、重要な特徴が遮られたり影になったりしていることが閾値よりも少ないようなときに決定されるようにしてもよく、その後に重要な特徴が部分的に遮られたり、また部分的に影になったりしているときにも、適格とみなされるようにしてもよい。

ある実施形態においては、対象が影になっていなくなったり、遮られなくなった直後にカメラは写真を撮像する。当該システムは遮られたり、影になったりした重要な特徴を有する画像を不適格とすることが可能であり、また、遮られたり、影になったりしている画像を有することを防ぐために、すなわち、少なくとも1つの画像が重要な特徴を含み、または、遮られていたり、影になったりしていないことをより確実にするために、複数の画像を撮像することが可能となる。画像のうち1つは、対象の人物それぞれについて、遮られていたり、影になったりしていない重要な特徴、例えば顔の特徴を有するものと考えられる。また、画像は、重要な特徴が遮られたり、影になったりしていない単一の画像に組み合わされた、ピクセルのミクスチャを有することが可能である。カメラは、画像中の対象の数に基づいて撮像する画像の数を決定するようにしてもよい。人の数が多いほど、まばたきをしている人がいる可能性は高くなるため、より多くの画像が取得される必要がある。大きなグループショットにおいて、ある割合の人物がまばたきをしていることが効率のために許容される場合、例えば、５％未満である場合、画像の数は減少させることが可能である。これら閾値の数と許容率は、カメラの製造メーカーやプログラム開発者や、またはデジタル画像取得装置のユーザによって選択されることが可能である。当該情報は、プレビュー画像の分析に基づいて生成されるようにしてもよい。プレビュー画像はまた、目の位置の決定を支援するようにしてもよい。その結果、後処理分析は、プレビュー分析によって決定された関心領域へより早くホーニング（honing）することが可能となる。

本システムは、写真が撮像されないか、または使用されない、またはすでに撮像された後のさらなる処理における状態、および／または不満足な画像を置き換えるためにさらなる画像が撮像される状態について設定する。したがって、好ましい実施形態に従う組み合わせの他の有利な特徴は、遮られたり、影になったりした領域をプレビュー画像やポストビュー画像、または他の最大解像度の画像由来の顔の特徴や他の重要な特徴によって修正できることである。本システムは、一般に、より低い解像度を有しており、より速く処理され得るプレビュー画像を使用することが好ましい。本システムは、さらにまた、画像取得のために被写体を不適格とすることを実行するかもしれないことのために、画像間における顔の重要な特徴や他の重要な特徴(例えば目や口)の変化を検索することが可能である。

ここの説明は、通常、被写体の処理に関し、対象となる人間はブロックされるか遮られる顔の特徴を有している。 しかしながら、当該発明は他の特徴に適用されるようにしてもよく、例えば、人物がまばたきをしていたり顔をしかめているとき、または人物が不満足な身振りをしていたり、話したり、食べたり、髪型が変であるとき、または別の人物が人の頭の上に手を出していたり、動物や他の人物がカメラと人間との間を予想外に横切ったり、光が予想外に変化したり、風が吹いたり、または重要な特徴が部分的にブロックされたり、部分的に影になったりしたときなどである。不適格とされる１つ以上あるいはすべての現象は、手動で設定されるようにしても、および／またはオーバーライドされる（overridden）ようにしてもよい。

図１は、好ましい実施形態に従った、遮られたり影になったりした顔の特徴を含む被写体を不適格とする方法について説明する。顔領域を含む被写体の現在の画像は110において取得される。付加的に、顔領域は120において特定され、当該顔領域は、その中の顔の特徴領域を決定するために分析される。選択されたか、所定の、顔領域内の顔の特徴領域に対応する1つ以上のピクセル群が、130において特定される。１４０において、顔の特徴領域が遮られたり、影になったりしているか否かが決定される。１４０において顔の特徴がブロックされたり影になったりしていることが決定される場合、その被写体は、１５０において、処理された永久画像の候補としては不適格であるとされる。この段階においては、処理は単に停止したり、または最初から再びスタートしたり、または、不適格としたことに起因して、現在の画像を置き換えるために、１６０において新たな画像が取得されるようにすることが可能である。１７０において、遮られたり影になったりしたことに関する警告信号が提供される。最大解像度での被写体の画像の取得は、１８０において遅延される。図４Ａおよび４Ｂに示すように、現在の画像のさらなる処理が停止されるようにしてもよく、また、不適格とされた画像を強調する方法として、合成画像が組み立てられるようにしてもよい。

図2は、好ましい実施形態に従った、遮られたり影になることがいつ終了するか予測する方法を示す。２１０において遮られたり影になることがいつ終了するのかについて予測され、不適格とすることのインターバルが、予測された、遮られたり影になることの終了時間に終了する。当該インターバルは、所定の待機時間に設定されるようにしてもよい（２２０）。インターバルは、所定の待機時間２２０において設定されるようにしてもよい。これは、１秒、２秒、または０．５秒などのような平均の遮られたり影になる時間についての情報から設定されるようにしてもよく、または約０．２秒から、2.0、0.4、0.5、0.8、1.0、1.2あるいは1.5秒の範囲で設定されるようにしてもよい。しかしながら、遮られたり影になっていることが終了していることを確実にするために待機時間をあまりに長く設定することは、第２の遮られたり影になることが開始することを許すこととなり、または、不適格とする時間が終了するまで画像の撮像に関与する皆をあまりに長く待たせることになる。遮られたり影になることの終了のより確実な決定が望まれており、そしてここに提供される。

顔の特徴が遮られたり影になったりする程度が230において提供される。図3の処理が続くようにしてもよい。ブロッキングや影を引き起こす物体が移動しているかどうかは270で決定されるようにしてもよく、その場合、方角についても決定されるようにしてもよい。遮られたり影になることの終了時間は、現在の画像の一時的な取得パラメータと相対的な1つ以上のプレビュー画像の一時的な取得パラメータの分析に基づいて、280において推定されるようにしてもよい。

顔の特徴が遮られたり影になる程度は、図3の310でさらに提供される。遮られることについては、その程度は、顔の特徴が見えている割合に依存する。一方で、影になることについては、陰になっている特徴の割合とともに、顔の特徴の輝度の程度が、別々にあるいは組み合わせて考慮されるようにしてもよい。形態分析360は、顔の特徴に対応するピクセルと、遮る、および/または影にする物体に対応するピクセルとを区別するように実行されることが好ましい。現在の画像は、３３０において、遮られたり影になっている間隔の範囲内に取得された1つ以上の他のプレビュー画像と比較して分析されるのが好ましい。どの程度遮られたり影になっているか決定することを促進するために、表れている顔の特徴、あるいは他の重要な特徴の一部分が、340において決定されるようにしてもよい。３５０における遮られたり影になる物体の輝度の程度の付加的な決定は、
遮られたり影になることが終了するかもしれないときを決定するための物体の速度の決定を促進し得る。カラー分析360も、重要な特徴に対応するピクセルと、遮ったり影になっている物体のピクセルとを区別するために行われるようにしてもよい。

図4Aは、好ましい実施形態に従った、画像410のさらなる処理を差し控えるか否か決定する方法を示す。この場合、ブロックされるか陰になった重要な特徴の割合を決定することは、遮られたり影になっている時間を計算することとは異なる目的のために行われる。当該実施形態においては、遮られたり影になっている程度の閾値はプリセットされるようにしてもよく、例えば図３の３１０−３６０のいずれかまたは組み合わせと同様に、４２０、４３０、４４０、４５０、４６０、４７０、または４８０、またはそれらの組み合わせに従って画像が分析され、特徴が、少なくとも程度の閾値よりも大きく遮られていたり影になっている場合、特徴が非常に大きく遮られていたり影になっている、または実質的に遮られたり影になっているので、被写体は不適格とされる。これは、重要な特徴がブロックされたり影になったりしていない場合、および重要な特徴が遮られたり、影になっている現象の開始時、または終了時であって、遮ったり影になる程度が画像を不適格とするのに満たない状況にも適用可能である。

図4Bは、好ましい実施形態に従って合成画像を組み立てる方法を示す。480において、合成画像は、現在の画像由来のピクセルと、現在の画像において遮られたり影になっている特徴に相当する、異なる画像由来の遮られたり影になったりしていないピクセルを含んで構成される。異なる画像はプレビューまたはポストビュー画像490であってもよい。この場合、特にプレビュー画像またはポストビュー画像が現在の画像より低い解像度を有している場合、５００において、プレビュー画像がアップサンプリングされるようにしてもよく、また、ポストビュー画像がダウンサンプリングされるようにしてもよく、それらが組み合わされるようにしてもよい。現在の画像中の遮られたり影になっている領域にプレビュー画像またはポストビュー画像中の遮られたり影になったりしていないピクセル領域をマッチングさせるために、現在の画像および異なる画像は、510において調整されることが好ましい。

図5はさらなる実施形態を示す。 1つ以上の重要な特徴、特に顔の特徴が画像中でブロックされたり影になっていると決定された場合、以下に従ってさらに処理されることにより不適格とされることが好ましい。あるいは、遮られたり影になっていることについての決定140は、図５に例として示すように、途中のどこかで行なわれるようにしてもよい。 画像はブロック1102における適用によって開かれる（Opened）されるようにしてもよい。その後、ソフトウェアは、顔、または顔の特徴、またはその両方、または他の重要な特徴が画像中に存在するか否か、ブロック１１０６において決定する。そのような特徴が検出されない場合、ソフトウェアは画像上で作動するのを中止し、1110において終了する。以下では、顔の特徴だけが、効率のために一般に引用されるだろう。しかし、顔、または顔の特徴、あるいは顔ではない他の重要な特徴、組み合わせのいずれかは、特別の実施の対象（物体）とするようにしてもよい(図1の１１０、１２０および１３０、および参照によって組み込まれる米国特許出願10/608,776を参照)。

ソフトウェアはまた、手動モードを提示するようにしてもよい。ユーザは、ブロック１１６においてソフトウェアに顔の特徴の存在を通知し、ブロック１１１８においてそれらを手動でマークするようにしてもよい。１１１６で顔の特徴が見つからない場合、手動の選択が自動的に起動するようにしてもよく、また、幾つかのユーザインターフェースを介して、自動選択１１１２または１１１４に顔の特徴を加えたり、顔の特徴として自動処理１１１８により間違って特定された領域１１１０を削除するように、自動段階の後にユーザに実行させるために付加的に起動するようにしてもよい。さらに、ユーザは、1106で規定されるような処理を起動する選択を手動で選択してもよい。この選択は、重要な特徴の検出に基づいて、画像を増強するか修正することが可能であるとユーザが手動で決定する場合に有効である。自動的または手動であるか、カメラ内またはアプリケーションによるか、画像中の特徴を探すコマンドが手動かまたは自動的になされる重要な特徴がマークされるようにしてもよい様々な方法は、ここにおける好ましい実施形態に包含される。好ましい実施形態では、顔が最初に検出され、次に、1つ以上の顔の特徴が各顔内で検出される。

他の実施形態では、ブロック1104に記述されるように、特徴検出ソフトウェアは取得プロセスの一部としてカメラの内部でアクティブとなるようにされてもよい。このシナリオ（scenario）では、機能検出部1106は、リアルタイムまたはリアルタイムに近い作動を支援するために、異なって実装されるようにしてもよい。そのような実行は画像のサブサンプリング、および計算が行なわれるピクセル数を少なくするウエイト付きサンプリングを含むようにしてもよい。この実施形態は、図6Aを参照してさらに説明される。他の実施形態では、プレビューにおける目の位置を決定するために目検出はプレビュー画像から提供された情報を使用し、それにより、最終画像上のより小さな部分で実行される分析を促進させる。

他の実施形態では、ブロック1103に記述されるように、機能検出ソフトウェアは出力処理の一部としてレンダリングデバイスの内部でアクティブとなるようにしてもよい。このシナリオでは、機能検出部1106は、取得画像、または単一若しくは複数のプレビュー画像を使用するレンダリングデバイス内、またはそのようなデバイスの外部ドライバ内に実装される。この実施形態は、図6bを参照してさらに記述される。

１１１８において規定されたように手動で、または１１０６において規定されたように自動で顔、顔の特徴および／または他の特徴がタグ付けされたか、マークされた後、ソフトウェアは、顔の特徴検出、顔検出あるいは他の特徴の検出の段階により生成された情報に基づいた画像上で作動できる状態となる。当該ツールは取得の一部、後処理の一部、またはその両方として実装されることができる。前で述べたように、遮られたり影になっていることの決定は140のこのポイントで行なわれるようにしてもよい(図l-4bを参照)。大きく遮られたり影になっている場合、デジタル写真の技術分野においてよく知られているそのような処理が効果的に行われないように、画像は1119で不適格とされるようにしてもよい。

ブロック1120は顔の特徴あるいは顔のパニングおよびズームについて記載する。当該ツールは、顔の特徴、または顔、または他の特徴の一部を探知することを支援する取得プロセスの一部になり得て、好ましい構成を生成する。または画像をクロッピングしたり、動作を含む画像のスライドショーを生成するための後処理段階の一部となり得る。

ブロック1130は、取得後処理の一部として、カメラに、あるいはホスト・ソフトウェアに実装されることが可能である画像の自動方向（orientation）ツールについて記載している。

ブロック1140は、顔の肌トーンあるいは顔の特徴のトーンあるいは他の特徴のトーンに基づき画像をカラー修正する方法について記述する。このツールは、例えばRGB画像のような、公知のRAWセンサ・データ形式から画像に変換（convert）する場合におけるカメラで起こる、あるいは後の画像強調ソフトウェアの一部としてホストで起こる自動的なカラー置換の一部となり得る。様々な画像の強調オペレーションは回転のような、全体的で、全画像に影響を与えるようにしてもよい。および／または局所的な基準に基づいて選択されるようにしてもよい。例えば、ブロック1140で定義されるような選択的な色または露出補正では、好ましい実施形態は、空間的にマスクされたオペレーションに、あるいは輝度のマスクされたオペレーションである特定の露出に、画像全体、あるいは顔または、顔の、または他の重要な特徴領域だけに行われた修正を含んでいる。さらにそのようなマスクが、強度を変化させることを含むようにしてもよいことを注記する。それにより、修正を適用する程度を変えることについて相互に関連する。これによって、局所的な強調が、画像に、より融合することを可能にする。

ブロック1150は、より満足のいく構成を生成するために、画像をクロッピングしたりズームしたりするような、提案された構成について記述する。当該ツール１１５０は、顔の特徴や顔、遮ったり影にする物体が、対象、物体、または影を追跡したり、顔や、特徴の位置や、遮ったり影にする物体の位置や影の位置に基づいてカメラの動作（movement）を提供するためのアンカーとなるブロック１１２０で記述したものとは異なる。

ブロック1160は、カメラで、あるいは後処理段階において行われ得る、ディジタル−フィル−フラッシュシミュレーションについて記述する。また、ディジタル−フィル−フラッシュについての当該ツールは、ブロック1170に記述されるような全面的な露出においてフィルフラッシュが必要かどうか決定する、実際のフラッシュセンサであるようにすることができる。この場合、画像の全面的な露出を決定した後に、画像中の検出された顔や顔の重要な特徴や他の重要な特徴が影の中にある場合、フィルフラッシュが自動的に使用されるようにしてもよい。フィルフラッシュの正確な電力は、それは必ずしもフラッシュの最大の電力とするべきではないが、画像全体と顔や他の特徴との間の露出の違いに基づいて計算されるようにしてもよいことを注記する。そのような計算は、絞り、露出時間、ゲインおよびフラッシュ電力の間のトレードオフに基づくようにしてもよい。

ブロック1180は、顔の特徴、顔あるいは他の重要な特徴に、または遮ったり影にしている物体に、または影にカメラが焦点を合わせる能力について記述する。これは、カメラにおける取得前フォーカスツールとして、または取得を遅らせるためなどに使用することが可能である(図1の160、170、180を参照)。

図6Ａは、図5のブロック１１０６において記載した、カメラ取得パラメータを改善するための顔検出を使用する過程について記載する。例えばシャッターを半押ししてカメラを起動させるなどすることにより、カメラは1000において活性化される。その後、カメラは、１００４において、絞り、シャッター・スピード、フラッシュ電力、ゲイン、カラーバランス、白色点あるいは焦点のような修正取得パラメータを決定するために、通常の取得前段階に移行する。さらに、画像中の、特に潜在する顔あるいは他の特徴と関係する、画像属性のデフォルト・セットが、1002においてロードされる。そのような属性は、全体的なカラーバランス、露出、コントラスト、方向などとすることができる。また、1003において、一群のプレビュー画像は、1006において写真中における顔の潜在的存在を決定するために、分析されるようにしてもよい。最大解像度で取得されたときに目が潜在していると考えられる領域についても、１００８において予測される。この代替的な方法は、ブロック1010および／または1002へ移動することを含むようにしてもよい。

その後、画像は、1010においてセンサにデジタルで取得される。そのような動作は常にアップデートされるようにしてもよく、また、永久的な格納部にそのような取得画像を格納することを含むようにしてもよく、あるいは含まないようにしてもよい。

特に画像分類および顔検出の分野における当業者に知られる画像検出処理、好ましくは顔検出処理が、1020において画像中の顔の特徴、顔あるいは他の特徴を検索するために取得された画像に適用される。そのような顔検出技術は、限定されるものではないが、知識ベースのもの；不変特性；テンプレートマッチング；外観に基づくもの；色または動作の手かがり；adaboostに基づく顔検出器、Viola-Jonesなどを含む。

画像が見つからない場合、処理は1032において終了する。1030における自動検出に代替して、あるいは加えて、ユーザは、１０３４において、例えばカメラ・ディスプレイの利用により任意の対話型のユーザインタフェース手段を使用して、検出された顔あるいは他の特徴を手動で選択することが可能である。 あるいは、その処理は、検出処理の感度またはしきい値の変更により、視覚的なユーザインタフェースなしで実行することが可能である。また、このデータは、１００３において取得前処理から入手可能であるようにしてもよい。

１０４０において、顔の特徴、または他の所定の特徴、または選択された特徴が検出された場合、それらはマークされてラベル付けされる。１０４０に記載された検出は、特徴が検出されたか否か選択する二値処理（binary process）以上のものであってもよく、顔の特徴のそれぞれが、顔の特徴の大きさ、フレームの中の位置、またはここに記載された他のパラメータに基づいてウェイト（weight）が付与されるようにしてもよく、それにより検出された特徴に相対するその特徴の重要性が定義付けされる。

代替的に、あるいは加えて、ユーザは、１０４４において、重要な特徴として誤検出された領域を手動で除外することが可能である。そのような選択は、特徴が誤検出されたという事実、あるいはその主な対象として、他の特徴ではなく特徴のうちの1つにフォトグラファーが集中したいと思う場合が起因となる。また、１０４６において、ユーザは再選択するか、あるいはこれらの特徴が他の特徴と比較して、計算の中でより高い重要性を有していることを示すために、1つ以上の特徴を強調するようにしてよい。1046で記載されるこの処理は、二値のものとは対照的な連続値のものである好ましい特定処理をさらに定義する。その処理は視覚的なユーザインターフェースを利用して、あるいは検出処理の感度の調節により行われるようにすることが可能である。

顔、あるいは他の重要な特徴が1040において正確に分離された後、それらの属性は1050において、1002で予め定められたデフォルト値と比較される。そのような比較は、同じ値にするために、2つの画像間の潜在的な置換（potential transformation）を決定する。その後、当該置換はカメラ取得パラメータに変換（translate）され、１０９０において画像が取得される。

実際的な例では、取得された顔が暗すぎる場合、より長い露出を許可するかあるいは絞りを開くために、獲得パラメータが変わるようにしてもよい。画像属性は顔または重要な特徴領域のみに関連する必要はないが、全体的な露出との関係を有する場合があることを注記する。例示として、全体的な露出は正確であるが顔が露出不足となる場合、カメラはフィルフラッシュモードへシフトするようにしてもよい。

1060において、取得は、検出された画像属性がデフォルト画像属性とマッチングするまで遅延される。好ましい実施形態に従う例では、特徴が遮られたり影にしていなくなるまで、あるいは遮ったり影にしている物体が存在しなくなるまで、取得を遅延させる。1070において、手動の無効の指示は、写真をとにかく撮像するか、または画像を維持するか、または画像内に遮られたり影にしていることが検出されても画像処理を続行するために入力されるようにしてもよい。１０９０において画像が撮像され、または他の実施形態に従って、画像は最大解像度で格納される。

図６Ｂにおいては、図５のブロック１１０３に記載した、出力あるいはレンダリングパラメータを改善するために、顔、または他の重要な特徴の検出を使用するための方法が記述される。このシナリオにおいては、プリンタやディスプレイのようなレンダリングデバイス（以下、“デバイス”と称する）が２１００においてアクティブとされる。そのようなアクティブとすることは、例えばプリンタ内で、または代替的に、ＰＣやカメラのようなプリンタに接続されるようなデバイス内で実行されるようにすることができる。その後、デバイスは、２１０４において階調再現、カラー置換プロファイル、ゲイン、カラーバランス、白色点、および解像度のような修正レンダリングパラメータを決定する、通常前レンダリング段階に移行する。さらに２１０２において、画像属性のデフォルトセット、特に画像中に潜在する顔の特徴や顔に関するものが、ロードされる。そのような属性は全体的なカラーバランス、露出、コントラストあるいは方向、あるいはそれの組み合わせとすることができる。

その後、画像は、デバイス2110にデジタルでダウンロードされる。2120において、画像中の顔の特徴あるいは顔を検索するために、画像検出処理、好ましくは顔の特徴あるいは顔検出処理が、ダウンロードされた画像に適用される。画像が見つからない場合、処理は2132において終了する。また、デバイスはその正常なレンダリング処理を再開する。2130の自動検出に代替して、または加えて、２１３４において、ユーザは、例えばデバイス上のディスプレイの利用により、任意の対話型のユーザインタフェース手段を使用して、検出された顔の特徴または顔、または他の特徴を手動で選択することが可能である。あるいは、その処理は、検出処理の感度または閾値の変更により、視覚的なユーザインタフェースなしで実行することが可能である。

顔あるいは顔の特徴のような他の重要な特徴が2130において検出される場合、それらは2140においてマークされ、およびラベル付けされる。2130における検出は、顔の特徴あるいは顔が検出されているか否か選択する二値処理以上のものとしてもよい。顔の特徴のそれぞれまたは顔が、他の検出された特徴に対する当該特徴の重要性を定義する顔、顔の特徴、若しくは他の重要な特徴の大きさ、フレーム内の位置、ここに示した他のパラメータなどに基づき、重視されるようにすることを、処理の一部として設定されるようにしてもよい。

代替的に、または加えて、ユーザは、手動で、重要な特徴あるいは顔として誤検出された領域を２１４４において選択から外すことが可能である。そのような選択は、特徴が誤検出されたという事実、あるいは他の特徴ではなくその主な内容としての特徴のうちの1つにフォトグラファーが集中したいようにしてもよい場合による。また、２１４６において、ユーザは再選択するか、あるいはこれらの特徴が他の特徴と比較して、計算の中でより高い重要性を有していることを示すために、1つ以上の特徴を強調するようにしてよい。
11１46で記載されるこの処理は、二値のものとは対照的な連続値のものである好ましい特定処理をさらに定義する。その処理は視覚的なユーザインターフェースを利用して、あるいは検出処理の感度の調節により行われるようにすることが可能である。

顔の特徴、または顔若しくは他の被写体、または画像の特徴が2140において正確に分離された後、２１５０においてそれらの属性は2102であらかじめ定められた初期値と比較される。処理が検索する少なくとも1つの好ましい属性は遮られるか影になっている重要な特徴である。そのような比較は、同じ値にするために、2つの画像間の潜在的な置換（potential transformation）を決定する。１つ以上の重要な特徴が遮られていたり影になっていると決定された場合、２１６０において画像は不適格とされる。不適格とすることは２１７０において手動で上書き（override）されるようにしてもよく、または、遮られたり影になったりしていない特徴が異なる画像から置換されるようにしてもよい。当該置換はレンダリングデバイスパラメータに変換（translate）されるようにしてもよく、また、2190において画像がレンダリングされるようにしてもよい。その処理は複数の画像を含むようにしてもよい。この場合、2180において、当該処理はレンダリング処理を実行する前に各画像について繰り返えされる。実際的な例は、単一のディスプレイインスタンスにおける、一群の低解像度画像であるサムネイルかコンタクトシートの生成である。

実際的な例では、重要な特徴が取得されたときに暗過ぎた場合、特徴を明るくするためにレンダリングパラメータがトーン再現曲線を変更するようにしてもよい。 画像属性は単に重要な特徴領域にのみ関連している必要はないが、全体的なトーン再現に関連し得ることを注記する。

図７Ａ−７Ｄは、図５のブロック１１３０で示した、口、目、顔、他の顔の特徴、または他の顔ではない特徴の位置および方向に基づく画像の自動的な回転について記述する。2つの顔の画像は図7Ａにおいて提供される。顔が同じに方向付けされていなくともよく、また、顔が遮られていてもよいことを注記する。この場合、両方の目は各顔において見えている。しかしながら、１つの目だけが見えていてもよい。同様に、両方の口が見えているが、１つまたは両方が他の被写体では見えていないかもしれない。

図５のブロック１１０８および１１１８の機能を含む顔検出段階のソフトウェアは、２つの顔、または２つの口、または母と子の４つの目をマークする。例えば、顔は、それぞれが楕円２１００および２２００の推定としてマークされるようにしてもよい。楕円の分散行列のような既知の数学的な手段を使用して、ソフトウェアは、2つの顔2120および2220の主軸をそれぞれ決定する。第2の軸2140および2240それぞれについても同様である。この段階でさえ、単に軸のサイズを比較することによって、ソフトウェアは、カメラが水平であるランドスケープモードの場合、あるいは垂直である、または＋９０度（別名時計回り方向）若しくは−９０度（別名反時計回り方向）であるポートレイトモードの場合に、画像が９０度に方向付けられるとみなすようにしてもよい。また、そのアプリケーションも任意回転値のために利用されるようにしてもよい。 しかしながら、当該情報は画像が時計回りに回転しているか、あるいは反時計回りに回転しているかを決定するためには十分ではないかもしれない。

図7Ｃは、顔の関連する特徴を抽出するステップについて記述する。それは通常、高度に検出することができる。そのような物体は目、2140、2160および2240、2260および唇2180および2280、あるいは鼻、眉、目蓋、目の特徴、髪の毛、額、あご、耳などが含まれるようにしてもよい。２つの目と唇の中央との組み合わせは、顔の方向だけでなく、顔の撮像に関連する顔の回転についても決定するために検出され得る三角形２３００を生成する。鼻孔、眉、髪の生え際、鼻梁、および顔の延長としての首などのような、ラベル付け、および方向検出可能な、他の画像の高度な検出可能部分が存在することを注記する。この図では、目および唇はそのような顔の特徴の例として提供される。目の位置に基づいて、また、検出された場合は唇の位置にも基づいて、画像は反時計回り方向に回転されるであろう。顔の特徴が物体によって遮られていたり、影になっているか否かが、形状や、トーン、動作分析に基づき決定することが可能である。

異なる顔の特徴を単に見つけることについては十分ではないかもしれないことを注記する。しかし、そのような特徴は互いに比較されるようにしてもよい。例えば、目の色は、対となっている目が同一人物に由来するものであることを確実にするため、あるいは遮られていないことを確実にするために比較されるようにしてもよい。また、顔の特徴は、プレビュー画像と比較されるようにしてもよい。そのような使用は、二重目蓋を、半分閉じた目と誤る場合を防ぐことができる。

他の例は図７Ｃ、および図７Ｄにおいて、フトウェアが2260、2240の目と2180の口を組み合わせた場合、その方向は時計回りと決定される。この場合、ソフトウェアは、人間と目の相対的な大きさの比較により、正確な方向を検出する。上記の方法は、異なる顔の物体の相対的位置に基づいた画像の方向の決定のために典型的で実例となる方法について記述する。例えば、2つの目が水平に位置していることや、鼻のラインが目に垂直であることや、鼻の下に口があることが望まれることがある。また、方向は、顔のコンポーネント自体の配置（geometry）に基づいて決定されるようにしてもよい。例えば、目が水平に引き伸ばされることが所望されることがあり、ブロック２１４０および２１６０に記載したように目に楕円を合わせるときに、主軸が水平であることが所望されることがある。唇に主軸が水平である楕円が合わされたときも同様である。また、顔の周囲の領域についても考慮される。特に、頭に接続した唯一の接触する皮膚トーンである首および肩は、特に顔の方向および顔の検出の目安となり得る。

画像の方向を決定する処理は、デジタル表示デバイスの一部として好ましい実施形態の中で実行することが可能である。あるいは、この処理は、デジタルプリントデバイスの一部として、あるいはデジタル取得装置内で実行することが可能である。

その処理も、同じページにおける複数画像の表示の一部として、あるいはコンタクトシートあるいは画像のサムネイルビューの表示のような画面情報として実行されることも可能である。この場合、ユーザは、画像の提案された方向を個々に、あるいは一度に複数画像を選択することによって許容または拒絶してもよい。一連の画像の場合には、画像の方向は、前画像に関してユーザによって承認されるような情報に基づいて決定されるようにしてもよい。

また、図８Ａのフローチャートによって記述されるように、例えば顔の特徴がブロックされていたり影になっていると決定されたときに、遮られたり、影になったりしていないデジタルシュミレーションあるいは画像の再構成が有効であるか否か決定するために、取得前段階において同様の方法が利用されるようにしてもよい。図5のブロック1108では、カメラは、画像中の口、目、顔、または他の特徴の存在を検索した。1460において、1つ以上のそのような特徴が画像中で発見されたか否かについて決定される。発見されなかった場合、１４６２において終了する。発見された場合、その特徴は１４６４においてマークされる。特徴領域は1470で分析される。特徴が1474において、遮られておらず、および/または影が形成されていないで十分に構成されていると決定される場合、1478において画像はそのままとされる。しかしながら、特徴が不十分に遮られていたり影になっていると決定されるか、または特徴が閾値を越えて部分的に遮られたり、部分的に影になっている場合、処理は1480、1490および／または1494において修正を行うことが可能である。1480において、遮られたり影になったりしていない特徴をデジタルでシミュレートするためのサブルーチンが提供される。マスクが選択された領域、すなわち、この例では目あるいは顔領域を定義する。その露出は1484で増加されるようにしてもよく、あるいはそれがスキップされるようにしてもよい。形状および／またはカラー処理は選択された領域について、1486で行なわれる。例えば、遮られたり影になっている部分が原画像に存在するとき、遮られたり影になっている特徴を置き換えるために遮られたり影になったりしていない特徴が提供される。トーン再生は１４８８において提供される。

1490で、単一あるいは複数の結果がユーザに提供されるようにしてもよい。ユーザは1492で好ましい結果を選択してもよく、修正は1498で適用される。 あるいは、画像は、遮られたり影になっている顔の特徴のような修正されるべきパラメータとともに、ユーザに１４９４で表示されるようにしてもよい。その後、ユーザは、1496で修正の範囲（extent）を調節する。また、画像は1498で修正される。

図8Bは、図5における画像取得モードが1104で開始される別のワークフローを提供する。画像は4820において分析される。画像中において重要な特徴が見つかったか否かはの決定が１１０６においてなされる。発見されに場合、１１１０において終了する。発見された場合、画像は１１０８においてマークされる。重要な特徴領域は４８４０で分析され、４９６０で重要な特徴が遮られたり、影になったりしていない場合、４８８０で画像が撮像されるか、格納されるか（例えば、画像がすでに撮像されている場合）、または撮像および格納される。４８６０において1つ以上の特徴が遮られていたり、影になっていると決定される場合、４９８０において画像は破棄されるか、取得が遅延されるようにしてもよく、あるいは画像が４９００において撮像されるようにしてもよい。当該後者の実施形態において、遮られたり影になったりしていない口領域は、４９２０において遮られたり影になっている特徴のピクセルの代わりとして置換され、合成画像が４９４０において格納される。

図９は、遮ったり影にする物体または影の動きを含む方法について説明する。フォーカス機構は1170で起動される。カメラは1750で、物体や影および／または重要な特徴を検索する。物体または影、または重要な特徴が1760において検出されない場合、空間に基づいた自動フォーカス方法が1762において開始される。遮ったり影にする物体、または影、または重要な特徴が検出される場合、領域が１７７０においてマークされる。領域は1772において表示される。ユーザは1790において、直ちに画像を撮像するようにしてもよい。しかしながら、ユーザは、１７８０においてフォーカストラッキングモードに移行するようにしてもよい。物体、特徴、または影が移動している間（１７８２）、例えば、遮ったり影にしている過程にある場合、または遮ったり影になっている事象が終了する場合、物体、特徴、または影の動きが１７８４において追跡される。物体、特徴、影が、遮られている過程の間に移動してい間、１７８６において、遅延または被写体を不適格とする処理が行われる。不適格とする間隔が終了したとき、ユーザは画像を撮像するか、１７９０にて自動的に撮像するようにカメラがプログラムされるようにしてもよい。

以下は、好ましい実施形態の詳細な説明に組み入れられることにより他の実施形態を開示する、背景、課題を解決するための手段、図面および図面の簡単な説明、および上に記載した他の参照文献に加えられる、参考文献一覧である:

米国特許 6,965,684, 6,301,440, RE33682, RE31370, 4,047,187, 4,317,991, 4,367,027, 4,638,364, 5,291,234, 5,488,429, 5,638,136, 5,710,833, 5,724,456, 5,781,650, 5,812,193, 5,818,975, 5,835,616, 5,870,138, 5,978,519, 5,991,456, 6,097,470, 6,101,271, 6,128,397, 6,148,092, 6,151,073, 6,188,777, 6,192,149, 6,249,315, 6,263,113, 6,268,939, 6,282,317, 6,301,370, 6,332,033, 6,393,148, 6,404,900, 6,407,777, 6,421,468, 6,438,264, 6,456,732, 6,459,436, 6,473,199, 6,501,857, 6,504,942, 6,504,951, 6,516,154, 6,526,161, 6,151,073, 5,862,218, 6,956,966, 6,904,168, 6,873,743, および 6,751,348;

米国特許出願公開 2003/0071908, 2003/0052991, 2003/0025812, 2002/0172419, 2002/0114535, 2002/0105662, and 2001/0031142;

人間の目の検出器と名付けられた米国仮出願. 60/776,338;

日本国の特許出願. JP5260360A2;

英国の特許出願. GB0031423.7;

Yang et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, no. 1, pp 34-58 (Jan. 2002); および
Baluja & Rowley, "Neural Network-Based Face Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1, pages 23-28, January 1998.

本発明の典型的な図面および特定の実施形態について記述し、説明したが、本発明の範囲が説明した特定の実施形態に限定されるものではないことが理解される。したがって、実施形態は限定的であるというよりむしろ実例としてみなされ、また、請求項で述べられるような本発明、およびそれらの構造・機能的な等価物の範囲を逸脱することなく、当業者によって実施形態について変更されてもよいことが理解されるであろう。

さらに、請求項および／またはここに記載した好ましい実施形態に従って実行される方法において、オペレーションは選択された印刷の順序で記載した。しかしながら、順序は選択され、印刷の便宜のために順序付けられており、特別の命令が必要であるとして当業者によって明らかに提供されまたは理解されないかぎり、オペレーションを実行するための特別の命令を意味するものではない。

図１は、好ましい実施形態に従った、顔の重要な特徴が遮られたり、影になっている被写体を不適格とする方法を示す。 図２は、好ましい実施形態に従った、遮られたり、影になる時間のインターバルを予測する方法を示す。 図３は、好ましい実施形態に従った、顔の特徴が遮られたり、影になる程度を決定する方法を示す。 図４Ａは、好ましい実施形態に従った、画像に対する更なる処理を差し控えるかどうか決定する方法を示す。 図４Ｂは、好ましい実施形態に従った、合成画像を組み立てる方法を示す。 図５は、画像中で発見された重要な特徴の障害や影に基づいて画像を修正するワークフローの好ましい実施形態を示す。 図６Ａは、好ましい実施形態に従った、画像の取得を遅延させるために画像中の重要な特徴の情報を利用する一般的なワークフローを示す。 図６Ｂは、好ましい実施形態に従った、画像を出力する前に画像レンダリングパラメータを調整するために、単一又は複数の画像の顔情報を利用する一般的なワークフローを示す。 図７Ａは、１以上の好ましい実施形態に従った、顔，目又は口の検出，或いはこれらの組合せを示す。 図７Ｂは、１以上の好ましい実施形態に従った、顔，目又は口の検出，或いはこれらの組合せを示す。 図７Ｃは、１以上の好ましい実施形態に従った、顔，目又は口の検出，或いはこれらの組合せを示す。 図７Ｄは、１以上の好ましい実施形態に従った、顔，目又は口の検出，或いはこれらの組合せを示す。 図８Ａは、１以上の好ましい実施形態に従った、障害や影の検出、および修正方法を示す。 図８Ｂは、取得過程の一部として重要な特徴がブロックされているかまたは影になっているかをカメラ内で決定し、画像を取得するか，破棄するか又は保存するか、或いは遮られたり影になっている領域を遮られたり影になったりしていない特徴に置き換えるかどうかを決定する、好ましい実施形態に従うシステムの一例を説明する。 図９は、１以上の好ましい実施形態に従った、重要な特徴の検出に基づく取得過程の一部として、カメラにおける自動フォーカス機能を示す。

Claims (21)

1. ブロックされた、または遮られた特徴に基づき、永久画像としては不満足として、取得画像を不適格とする方法であって、
   (a)重要な特徴を含む被写体の現在の画像を取得および格納することと；
   (b)前記重要な特徴に対応する１つ以上のピクセル群を特定することと；
   (c)前記現在の画像において前記重要な特徴が影になっているか、または遮られているか、または両方であるかを決定することと；そうである場合、
   (d)取得後デジタル画像処理のための候補である現在の画像を削除し、所定時間遅延させた後に前記現在の画像を置き換えるための新たな画像を自動的に取得し、
   前記新たな画像取得の前記遅延処理は、前記重要な特徴の前記影になっていること、または遮られていることが変化する推定時間に対応している方法。
2. 前記現在の画像が不満足であるとの通知を提供することをさらに備える請求項１に記載の方法。
3. 前記通知が視覚的、聴覚的、あるいはそれらの組み合わせである請求項２に記載の方法。
4. (i)１つ以上の プレビュー画像を取得することと;
   (ii)前記１つ以上のプレビュー画像中の１つ以上の影または障害の存在および位置を決定することと;
   (iii)前記現在の画像における前記決定処理は、前記プレビュー画像における前記決定処理の少なくとも一部に基づくこととをさらに備える請求項１に記載の方法。
5. 前記特定処理は、前記重要な特徴に対応する１つ以上のピクセル群を特定することを備え、前記決定処理は前記顔領域が不満足な形態を有しているか決定することをさらに備え、そうである場合、前記削除処理は、前記顔が不満足な形態を有している間、被写体を、処理された永久画像の候補として不適格とすることを備える請求項１に記載の方法。
6. 前記不満足な形態は、まばたきをしている、または顔をしかめている、または両方を備える請求項５に記載の方法。
7. 前記遅延処理は、遮られたり、または影になっているのがいつ終了するか予測することと、予測された遮られたり、または影になっていることのおおよその終了時間に遅延処理を終了させることとを備える請求項１に記載の方法。
8. 前記重要な特徴が影になっているかまたは遮られているかの決定処理は、前記重要な特徴が影になっている、または遮られている程度を決定することを備える請求項１に記載の方法。
9. カメラの画像取得制御として、不満足な被写体を自動的に不適格する方法であって、
   (a) 複数のプレビュー画像を取得することと;
   (b) 前記複数のプレビュー画像から情報を取得することと;
   (c) 前記複数の一時的な画像の個々の画像間における被写体の１つ以上の変化を分析することと；
   (d)前記分析処理に基づいて、被写体中の１つ以上の重要な特徴が影になっているか、または遮られているか決定することと；
   (e)前記影になること、または遮られていることが終了するまでの間、前記被写体を処理された、永久画像の候補としては不適格とし、
   前記分析処理は、検出された影を形成している、または遮っている物体の動きに基づいて前記影になること、または遮られていることが終了するまでの時間間隔を推定する方法。
10. 影になること、または遮られることが継続され、処理された永久画像が取得されない不適格とする処理のインターバルを決定することと、インターバルが終了するときに不適格とする処理を終了させることとをさらに備える請求項９に記載の方法。
11. 画像光学システムと、デジタル画像検出部と、格納媒体とを含むとともに、その中に格納された、１つ以上のプロセッサに請求項１から１０のいずれかに記載された取得画像を不適格とする方法を実行させるためにプログラミングされたプログラムインストラクション（program instructions）を有する画像取得装置。
12. プロセッサ読み取り可能な１つ以上の格納デバイスであって、それに具現化されたプロセッサ読み取り可能なコードを有し、前記プロセッサ読み取り可能なコードは、ブロックされた、または遮られた特徴に基づいて永久画像としては不満足として取得画像を不適格とする方法を実行するように１つ以上のプロセッサをプログラムするためのものであり、
    前記方法は、
    (a)重要な特徴を含む被写体の現在の画像を取得および格納することと；
    (b)前記重要な特徴に対応する１つ以上のピクセル群を特定することと；
    (c)前記現在の画像において前記重要な特徴が影になっているか、または遮られているか、または両方であるかを決定することと；そうである場合、
    (d)取得後デジタル画像処理のための候補である現在の画像を削除し、所定時間遅延させた後に前記現在の画像を置き換えるための新たな画像を自動的に取得し、
    前記新たな画像取得の前記遅延処理は、前記重要な特徴が影になっている、または遮られているのが実質的に終了する推定時間に対応している１つ以上の格納デバイス。
13. 前記方法が、前記現在の画像が不満足であるとの通知を提供することをさらに備える請求項１２に記載の１つ以上の格納デバイス。
14. 前記通知が視覚的、聴覚的、あるいはそれらの組み合わせである請求項１３に記載の１つ以上の格納デバイス。
15. 前記方法は、
    (i)１つ以上の プレビュー画像を取得することと;
    (ii)前記１つ以上のプレビュー画像中の１つ以上の影またはオクルージョンの存在および位置を決定することと;
    (iii)前記現在の画像における前記決定処理は前記プレビュー画像における前記決定処理の少なくとも一部に基づくこととをさらに備える請求項１２に記載の１つ以上の格納デバイス。
16. 前記特定処理は、前記重要な特徴に対応する１つ以上のピクセル群を特定することを備え、前記決定処理は前記顔領域が不満足な形態を有しているか決定することをさらに備え、そうである場合、前記削除処理は、前記顔が不満足な形態を有している間、被写体を、処理された、永久画像の候補として不適格とすることを備える請求項１２に記載の１つ以上の格納デバイス。
17. 前記不満足な形態は、まばたきをしている、または顔をしかめている、または両方を備える請求項１６に記載の１つ以上の格納デバイス。
18. 前記遅延処理は、遮られたり、または影になっているのがいつ終了するか予測することと、予測された遮られたり、または影になっていることのおおよその終了時間に遅延処理を終了させることとを備える請求項１２に記載の１つ以上の格納デバイス。
19. 前記重要な特徴が影になっているかまたは遮られているかの決定処理は、前記重要な特徴が影になっている、または遮られている程度を決定することを備える請求項１２に記載の１つ以上の格納デバイス。
20. プロセッサ読み取り可能な１つ以上の格納デバイスであって、それに具現化されたプロセッサ読み取り可能なコードを有し、前記プロセッサ読み取り可能なコードは、カメラの画像取得制御として、不満足な被写体を自動的に不適格する方法を実行するように１つ以上のプロセッサをプログラムするためのものであり、
    前期方法は、
    (a) 複数のプレビュー画像を取得することと;
    (b) 前記複数のプレビュー画像から情報を取得することと;
    (c) 前記複数の一時的な画像の個々の画像間における被写体の１つ以上の変化を分析することと；
    (d)前記分析処理に基づいて、被写体中の１つ以上の重要な特徴が影になっているか、または遮られているか決定することと；
    (e)前記影になること、または遮られていることが終了するまでの間、前記被写体を処理された、永久画像の候補としては不適格とし、
    前記分析処理は、検出された影を形成している、または遮っている物体の動きに基づいて前記影になること、または遮られていることが終了するまでの時間間隔を推定する１つ以上の格納デバイス。
21. 影になること、または遮られることが継続され、処理された永久画像が取得されない不適格とする処理のインターバルを決定することと、インターバルが終了するときに不適格とする処理を終了させることとをさらに備える請求項２０に記載の１つ以上の格納デバイス。

Images