JP4610411B2 - 物体を含むシーンの様式化された画像を生成する方法 - Google Patents

Description

本発明は、包括的にはノンフォトリアリスティック画像をレンダリングすることに関し、特に、自然のシーンおよび物体から取得した画像からノンフォトリアリスティック画像を生成することに関する。

本発明の目的は、実世界のシーンおよび物体から取得された画像から様式化された画像を生成することである。様式化された画像は、描写される物体の形状について見る者の理解を深めることができる。ノンフォトリアリスティックレンダリング（ＮＰＲ）技法は、物体の形状の輪郭を描き、移動部分を強調して動作を示し、影およびテクスチャの細部といったビジュアルクラッタ（visual clutter）を低減することを目的としている。様式化された画像は、機械部品、植物または内視鏡等の検査を受けている患者の体内のような低コントラストで幾何学的に複雑なシーンをレンダリングするために有用である。

シーンの豊かな３Ｄ幾何モデルが入手可能である場合、単純なシーンの視点に依存する輪郭の部分集合をレンダリングすることは比較的良く理解されている作業である（Saito等著「Comprehensible Rendering of 3-D Shapes」（Proceedings of SIGGRAPH'90, 1990）、およびMarkosian等著「Real-Time Non-photorealistic Rendering」（Proceedings of SIGGRAPH'97, pp. 415-420, 1997））。しかしながら、この手法を実世界のシーン、たとえば花を咲かせた植物に、最初にその植物の３Ｄモデルを生成することによって拡張することは、ほぼ不可能ではないにしろ困難である。

３Ｄシーンの幾何の取得を迂回することが望ましい。その代わりに、目的は、カメラによって取得された画像から実世界のシーンの様式化された画像を直接生成することである。

従来技術において、利用可能な技法の大半は、単一の画像を処理して様式化された画像を生成する。通常、画像の分割、エッジの検出および色の割り当てといった形態学的な動作が適用される。技法の中には、様式化された描写を目的とするものも（DeCarlo等著「Stylization and Abstraction of Photographs」（Proc. Siggraph 02, ACM Press, 2002）、およびHertzmann著「Painterly Rendering with Curved Brush Strokes of Multiple Sizes」（ACM SIGGRAPH, pp. 453-460, 1998）を参照されたい）、判読性を高めるものもある。

ロトスコーピングといった様式化されたレンダリングのための対話型の技法も知られている。しかしながら、綿密な手動操作を必要とせずに、様式化された画像を生成する過程を自動化することが望ましい。

航空写真において、シーン内の影は、平坦な地面および均一なアルベドを仮定して単一の輝度画像を閾値処理することによって特定されて、地形および建物の高さを推測する（Huertas等著「Detecting buildings in aerial images」（Computer Vision, Graphics and Image Processing 41, 2, pp. 131-152, 1998）、Irvin等著「Methods for exploiting the relationship between buildings and their shadows in aerial imagery」（IEEE Transactions on Systems, Man and Cybernetics 19, 6, pp. 1564-1575, 1989）、およびLin等著「Building detection and description from a single intensity image」（Computer Vision and Image Understanding: CVIU 72, 2, pp. 101-121, 1998）を参照されたい）。

技法の中には、影抽出技法を用いて影の取り込みを改善するものもあり、それによって、影マット（shadow mattes）を求めるか（Chuang等著「Shadow matting and compositing」（ACM Trans. Graph. 22, 3, pp. 494-500, 2003））、あるいは影を全て除去してシーンの分割を改善する（Toyama等著「Wallflower: Principles and Practice of Background Maintenance」（ICCV, pp. 255-261, 1999））。固有の（intrinsic）画像を用いて、他の技法は、影をはっきりと検出せずに影を除去する（Weiss著「Deriving intrinsic images from image sequences」（Proceedings of ICCV, vol. 2, pp. 68-75, 2001））。

受動的および能動的な照明を用いるステレオ技法は通常、深度エッジを検出するのではなく、深度値または表面の向きを求めるように設計される。深度エッジまたは不連続性は、照合過程を混乱させる部分遮蔽に起因して、従来のステレオ技法に問題を生じる（Geiger等著「Occlusions and binocular stereo」（European Conference on Computer Vision, pp. 425-433, 1992））。

技法の中には、不連続点および遮蔽を直接モデル化しようとするものもある（Intille等著「Disparity-space images and large occlusion stereo」（ECCV (2), pp. 179-186, 1994）、Birchfield等著「Depth discontinuities by pixel-to-pixel stereo」（International Journal of Computer Vision 35, 3, pp. 269-293, 1999）、およびScharstein等著「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms」（International Journal of Computer Vision, vol. 47(1), pp. 7-42, 2002））。

通常より良好な結果を生じる能動的な照明方法が深度の抽出、影からの形状、影−時間ステレオ、および照度差ステレオに用いられている。残念ながら、これらの方法は深度の不連続点の周囲において不安定である（Sato等著「Stability issues in recovering illumination distribution from brightness in shadows」（IEEE Conf. on CVPR, pp. 400-407, 2001））。

或る技法は、多種多様な照明下で取得された画像内の検出された輝度エッジに対して論理演算を行い、形状の境界を保存する（Shirai等著「Extraction of the line drawing of 3-dimensional objects by sequential illumination from several directions」（Pattern Recognition, 4, 4, pp. 345-351, 1972））。この技法はまた、均一なアルベドシーンに制限されている。

照度差ステレオ技法を用いた場合、輝度統計を解析して、遮蔽輪郭における曲率の高い領域または折り目（folds）を検出することが可能である（Huggins等著「Finding Folds: On the Appearance and Identification of Occlusion」（IEEE Conf. on Computer Vision and Pattern Recognition, IEEE Computer Society, vol. 2, pp 718-725, 2001））。この技法は、遮蔽輪郭付近の領域を検出するが、輪郭そのものは検出しない。この技法は、表面の部分が局所的に滑らかであるものと仮定する。したがって、この技法は、一枚の（a leaf or piece of）紙といった平坦な前景物体、または立方体の角のような視点に依存しないエッジの場合に失敗する。

影または暗部から形状を求める技法は移動する光源から連続的な表現、たとえば射影を構築する。連続的な深度の推定は射影から可能である（Raviv等著「Reconstruction of three-dimensional surfaces from two-dimensional binary images」（IEEE Transactions on Robotics and Automation, vol. 5(5), pp. 701-710, 1989）、Langer等著「Space occupancy using multiple shadowimages」（International Conference on Intelligent Robots and Systems, pp. 390-396, 1995）、およびDaum等著「On 3-D surface reconstruction using shape from shadows」（CVPR, pp. 461-468, 1998））。この技法は、影の開始および終了の正確な検出を必要とする。これにより、連続的な高さを推定することは困難になる。

影を基にする形状の解析方法の概説が、Yang著「Shape from Darkness Under Error」（PhD thesis, Columbia University, 1996）、Kriegman等著「What shadows reveal about object structure」（Journal of the Optical Society of America, pp. 1804-1813, 2001）、およびSavarese等著「Shadow Carving」（Proc. of the Int. Conf. on Computer Vision, 2001）によって記載されている。

既知の能動的な照明に共通する制限は、推定されたまたは既知の３Ｄ光位置から画像の有効な影付けおよび影の変化を得るためには、光源が物体を取り囲む必要があることである。これは、これらの技法のスタジオまたは工業用の環境への応用を制限する固定されたライティングリグ（lighting rig）を必要とする。

深度エッジは多くの技法に固有の滑らかさの仮定に背く場合が多いため、深度および３Ｄ方面形状を求めるための既知の方法と相補的な方法で画像から深度エッジを抽出することが望ましい。

深度の不連続点の場所を確実に検出し、入力として供給することができれば、多くの３Ｄ表面再構成過程の性能を著しく高めることができる。

対応問題を解いたり、移動する光を用いて画素の輝度統計を解析したりすることなく深度エッジを検出することが望ましい。さらに、面法線が急激に変化する複雑な実世界のシーン（たとえば鉢植えの植物）、または深度の複雑度が高い、あるいは輝度の変化が小さいシーン（たとえば車のエンジンまたは検診を受けている人間の骨）からＮＰＲ画像を生成できることが望ましい。

本発明は、３Ｄモデルを再構成することなく実世界のシーンおよび物体の形状特徴を正確に取り込んで伝えるノンフォトリアリスティックレンダリング（ＮＰＲ）のためのシステムおよび方法を提供する。

本発明は、複数の光源、たとえばカメラ本体のレンズの周囲に位置付けられて、異なる角度からシーン内の深度の不連続点に沿って影を投じるフラッシュユニットを有するカメラを用いる。

次に、カメラとフラッシュユニットの間の投影−幾何の関係を使用して、深度の不連続点を検出し、不連続点を、シーン内の物質の不連続点に起因する輝度エッジと区別する。

本発明は、検出されたエッジ特徴を使用して、様式化された静止画および動画画像、たとえば映像を生成する。検出された特徴を強調することができ、不要な細部を抑制することができる。また、複数の画像からの特徴を合成することができる。結果として得られる画像は、実世界のシーンおよび物体の３Ｄ構造を明確に伝える。

本発明によるシステムは、従来のデジタルカメラと同様のサイズおよび形状の単一パッケージとして構成されることができる。したがって、本発明によるシステムは、従来技術のＮＰＲシステムおよび方法と比較して、携帯可能であり、使い易く、かつ低費用で製造できる。

本発明は、実世界のシーンの様式化された画像および様式化された映像をレンダリングすることによって形状を伝えるための単純であるが効果的な方法を提供する。本発明は、光源と投じられた影の間のエピポーラの関係を利用して、シーンの複数の画像から幾何特徴を抽出する。３Ｄシーンの再構成に基づくのではなく、画像空間の不連続性を利用することによって、本発明の方法は、基礎となるシーンのプリミティブを強力に取得して異なる様式でレンダリングすることができる。

本発明は、基本的なカメラ構成、関連する特徴抽出およびレンダリング過程を提供する。深度エッジは、実世界のシーンのあらゆる画像内の基本的なプリミティブであるため、本発明は、ノンフォトリアリスティックなレンダリングを超えた用途で深度エッジ情報を用いることができる方法を説明する。

本発明は、カメラ本体のレンズの周囲に配置される複数のフラッシュユニットを有するスチルカメラまたはビデオカメラを用いる。シーン中の点の完全な３Ｄ座標を推定し、次に深度の不連続点を見つけなければならない代わりに、本発明による方法は、深度エッジ回復の一般的な３Ｄ問題を輝度ステップエッジ検出の問題に低減する。

したがって、イメージング幾何の画像幾何を利用して、実世界のシーンおよび物体の様式化された画像を単純かつ低費用でレンダリングすることができる。本発明のカメラの解決策は、プロの芸術家ならびに一般の撮影者にとって有用なツールとなることができる。

ＮＰＲカメラ
図１Ａは、本発明によるノンフォトリアリスティック（ＮＰＲ）画像を生成するためのデジタルカメラ１００を示す。カメラ１００は複数の光源、たとえば、フラッシュユニット１０１〜１０４と、単一のレンズ１０５とを備える。フラッシュユニット１０１〜１０４は、レンズ１０５の投影中心（ＣＯＰ）１０６の周囲に分散して配置される。最も良好な結果を得るために、フラッシュユニットはできる限りＣＯＰの近くに配置される。それゆえ、フラッシュユニットをカメラ体の前面１０７に取り付けることは理に適っている。

以下で説明する１実施形態において、フラッシュユニットは、レンズの投影中心から別々の距離に位置付けられる。

図１Ｂに示される最適な構成では、フラッシュユニット１０１〜１０４は左右および上下の対で操作される。これにより、画像１１０〜１１４内の画素が、少なくとも４つのライティング条件、すなわち下側に影ができる場合、上側に影ができる場合、左側に影ができる場合、および右側に影ができる場合についてイメージングされることができる。したがって、隣接する画素が、少なくとも１つの画像では影で覆われ、少なくとも１つの他の画像では影で覆われない。また、たとえ影があってもわずかであるように１つの画像を周辺からの光で収集することができる。

また、この構成は、エピポーラ横断を効率的にする。左右対の場合、その横断は、水平方向の走査線に沿って近似することができる。上下対の場合、その横断は、垂直方向に沿う。図１Ｃは３つのフラッシュユニットを備える構成を示す。図８は別の構成を示す。

フラッシュユニットは、光学的に結合されたＬＥＤによって起動することができる。ＬＥＤはマイクロコントローラ１２０によって、或る順序で１つずつオンにされ、対応するフラッシュユニットが起動される。フラッシュ持続時間は約４ミリ秒である。１つのフラッシュユニットがシーンを照明する毎に１つの画像が収集される。

カメラの解像度は約４メガピクセルであるが、それよりも低い解像度あるいは高い解像度も実現可能である。

全ての新型のデジタルカメラと同様に、本発明のカメラもマイクロプロセッサ１２０およびメモリ１３０を備える。マイクロプロセッサ１２０は、本明細書に記載される動作、具体的には様式化された画像を生成するための方法２００を実行するように設計される。図２を参照されたい。

メモリ１３０を用いて、収集された画像と、他の中間的な画像とを線形化した形で格納する。またメモリは、本明細書に記載される方法および手順によって用いられるデータも格納する。出力される様式化された画像２０１も、後にポート１４０を経由して閲覧用の外部装置にダウンロードするために、メモリに格納することができる。

カメラ１００は、複数の画像を高速で連続撮影し、フレームシーケンスあるいは映像を生成することができることに留意すべきである。これらも、本明細書に記載されるように様式化することができる。また、画像１１０〜１１４は、スタンドアローンプロセッサ、たとえばデスクトップシステムあるいはポータブルコンピューティング装置において後に処理するために、本発明と整合性のある他の技法を用いることにより収集することができることにも留意すべきである。

カメラはビデオカメラの形態であってもよいことにも留意すべきである。この場合、カメラは、複数の画像シーケンス（映像）を収集し、各シーケンスがフラッシュユニットによる異なる照明条件に対応し、出力が様式化された映像となるようにする。

カメラ動作
図２は、或るシーンの様式化された画像２０１を生成するための本発明の方法２００を示す。様式化とは、本明細書に記載されるように、エッジのような特定の細部を有するあらゆるノンフォトリアリスティック画像が強調され、テクスチャおよび単調な背景のような他の細部が削減、抽象化あるいは他の方法で簡略化されることを意味している。

最初に、図１のカメラ１００によって、あるいは図に示されている構成と同様の何らかの他のカメラおよびフラッシュユニットによって、１組の画像１１０〜１１４が収集される２１０。各画像は、制御された異なるライティング条件下で収集される。図示される構成の場合、１つの画像は周囲からの光で、すなわちフラッシュを用いることなく撮影され、１つの画像は上側フラッシュユニットを用いて撮影され、１つの画像は下側フラッシュユニットを用いて撮影され、１つの画像は左側フラッシュユニットを用いて撮影され、１つの画像は右側フラッシュユニットを用いて撮影される。最低限、２つのフラッシュユニットおよび３つの画像が必要とされるが、さらに多くの、たとえば４〜８の画像およびフラッシュユニットを用いる場合、より良好な結果を得ることができる。フラッシュユニットがレンズの投影中心から別々の距離に配置される場合、さらに良好な結果を得ることができる。

１組の画像がマイクロプロセッサ１２０によって処理され、シルエットエッジが検出され２２０、テクスチャ領域が特定される２３０。その後、画像の組み合わせのシルエットエッジおよびテクスチャ領域を用いて、様式化された画像２０１が提供される。たとえば、シルエットエッジの幅を、そのエッジにおける深度不連続点のサイズに比例させ、テクスチャ領域を色勾配に従ってデエンファシスする。

本発明は、各画像内の各画素を、シルエットエッジ画素、テクスチャエッジ画素、あるいは特徴のない画素のいずれかとして分類する。

本発明では、シルエットエッジ画素という用語を用いて、シーン内にＣ０の深度不連続点を有する画素のことを指す。これらシルエットエッジ画素は、法線が視野方向に垂直であるシーン内の物体の表面上の点に対応する画素を含む。また本発明は、薄い物体、たとえば一枚の紙の境界に対応する画素、および立方体のような視点に依存しない物体のエッジに対応する画素も含み、これらのタイプの物体はいずれも深度不連続点を有する。シルエットエッジ画素は、自己遮蔽に起因して、物体の内部に属することもできる。

テクスチャエッジ画素は、シーン内の反射率の変化および物質の不連続点に対応する。テクスチャ領域は通常テクスチャエッジによって輪郭を描かれる。しかしながら、テクスチャ領域は完全には包囲されない場合もある。

入力画像の特徴のない領域内の画素は、概ね一定の反射率および低い曲率を有するシーン内の領域、たとえば単調な背景の壁に対応する。これらの画素は、金属およびプラスチックのような「光沢のある」物質上の異方性の反射を含む、照明あるいは視野方向の変化に起因する、見え方のわずかな変化にも対応することができる。

画像収集
１組の画像１１０〜１１４が、レンズ１０５の投影中心（ＣＯＰ）１０６の極めて近くに配置されるフラッシュユニット１０１〜１０４を用いて、或るシーンから収集される２１０。図１を参照されたい。ＣＯＰとフラッシュユニットとの間の基線１５０が短いことに起因して、そのシーン内の深度不連続点（エッジ）を表す長細い（a narrow sliver of）影がその画像内の各シルエットエッジ付近に現れる。

個別の違うライティングを有する２つ以上の画像からのアタッチトキャストシャドウについての情報を組み合わせることにより、本発明はシルエットエッジ画素を検出することができる。

本明細書において、アタッチトキャストシャドウが画像空間において定義される。この定義は、物体空間内の従来のシェイプ・フロム・シャドウの定義とは全く異なる。その場合、光線が滑らかな物体に対して接線方向にある表面境界は、アタッチトシャドウ、すなわち「そのものの」影を有するものと見なされる。ここでは、アッタチトキャストシャドウは、物体と、その物体によって背景上に投じられる影とが画像空間において連続しているときに生成される。

大部分の視点に依存しないエッジの場合、影のあるエリアは次の深度層上に投じられる影を含む。視点に依存するエッジの場合、影のあるエリアのごく一部がそのものの影を含む。

一般的には、影はフラッシュユニットの「反対」側にあり、すなわちフラッシュユニットがレンズの右側にある場合には、影はカメラ画像の深度不連続点の左側に現れ、別のフラッシュユニットは別の場所に影を投じる。図５Ｂを参照されたい。

シルエットエッジ画素の検出
図３は、本手法の根底をなすシルエットエッジ画素を検出するための手順３００を示す。その概念は驚くほど簡単である。本発明の画像収集過程は照度差ステレオに密接に関連するが、本発明者らが知る限りでは、或るシーン内の影によって反映されるような深度不連続点を検出するためのコンピュータビジョンシステムにおいて照度差ステレオが用いられたことはない。照度差ステレオにより、本発明は、消去の過程によって他のエッジを分類できるようになる。

その基本的な手順３００は以下のように動作する。

或るシーンの周囲画像Ｉ_{ａｍｂｉｅｎｔ}３０１を収集する。ただし、Ｉ_{ａｍｂｉｅｎｔ}はいずれのフラッシュユニットも用いることなく、周囲からの光の下で撮影された画像である。

場所Ｐ_ｋにおいて、点光源、すなわちフラッシュユニットを用いて、制御しながら照明されたそのシーンのｎ枚の画像Ｉ’_ｋ（ｋ＝１，．．．，ｎ）３０２を収集する。その画像は任意の順序で収集することができる。本発明の例では、ｎ＝４である。

照明された画像から周囲画像を差し引くこと３１０、すなわちＩ’_ｋ−Ｉ_{ａｍｂｉｅｎｔ}によって差画像Ｉ_ｋ３０３が得られる。

差画像から、最大画像Ｉ_ｍａｘ３０４が、Ｉ_ｍａｘ（ｘ）＝ｍａｘ_ｋ（Ｉ_ｋ（ｘ））（ｋ＝１，．．．，ｎ）として生成される３２０。すなわち、最大画像内の各画素は、差画像内の対応する画素の中の最大輝度値を有するものである。

差画像Ｉ_ｋ毎に、除算によって全ての画素（ｘ）について、Ｒ_ｋ（ｘ）＝Ｉ_ｋ（ｘ）／Ｉ_ｍａｘ（ｘ）として放射画像３０５が生成される３３０。すなわち、各差画像が最大画像によって割られる。

放射画像内の画素ｅ_ｋ３４１はエピポール画素であり、すなわちエピポール画素はＰ_ｋにおける対応する光源の画像である。従来の立体写真技法を用いて、エピポールを特定することができる。

放射画像Ｒ_ｋ３０５毎に、画素輝度とエピポール画素の画素輝度とを比較しながら、画像が横断される３４０。本発明において、放射状の横断とは、エピポール画素から所与の画素までの放射状の直線に沿って輝度エッジを検出することを意味する。この横断は、ライティングされたエリアから影のエリアへの、あるいはその逆への遷移を検出する。

負の輝度遷移を有するステップで画素ｙを特定する。負の輝度遷移を有するこれらの画素ｙをシルエットエッジ画素３０６として指示する。シルエット画素として特定された全ての画素を最大画像内に重ね合わせることができ、結果として、全ての画像が処理されたときに、最大画像が全てのシルエット輪郭を示すようになる。

図４は、本発明に従ってシルエットエッジを強調した、花を生けた花瓶の様式化された画像４００である。

十分に大きな数のフラッシュユニットｎ（最低限２つであるが、通常４〜８）が用いられる場合、全ての向きおよび十分な深度差においてシルエットエッジ画素を検出することができる。そのシルエットがエピポーラ線に対して垂直な成分を有する場合には、照明されたエリアから影のあるエリアへの負の輝度遷移を有するエッジ画素が検出される。

非常に簡単なシーンの場合、１つの照明された画像からいくつかのシルエットエッジが検出できることは理解すべきである。たとえば、主に垂直方向の深度不連続点を有するシーン、たとえば杭の囲いでは、１つの側方からの照明によって、複数のエッジを検出することができる。

ここで、手順３００がさらに詳細に記載される。Ｉ_ｍａｘ画像は、カメラのＣＯＰ１０６に光源を有する画像を近似したものである。点光源が同じ大きさを有し、光源間の基線がそのシーンの深度よりも著しく小さいとき、この近似は概ね正確である。したがって、Ｉ_ｍａｘ画像は影内に画素を持たない。

光源ｋによって照明されるエリアでは、比（Ｉ_ｋ／Ｉ_ｍａｘ）は概ね１に等しく、影のあるエリアでは概ね０に等しい。それゆえ、負の輝度遷移の場所は影エッジを指示する。

Ｐ_ｋに光源があるものとすると、カメラ座標系内の拡散反射を有する３Ｄシーンの点Ｘのための画素ｘにおける輝度はＩ_ｋ（ｘ）によって与えられる。

３Ｄシーンの点Ｘが光源Ｐ_ｋによって照明される場合には、以下の式が成り立つ。
Ｉ_ｋ（ｘ）＝μ_ｋρ_ｋＬ_ｋ（ｘ）・Ｎ（ｘ）、そうでない場合には、
Ｉ_ｋ（ｘ）＝０
ここで、μ_ｋという値は光の大きさであり、ρ_ｋ（ｘ）はシーン内の点Ｘにおける反射率であり、Ｌ_ｋ（ｘ）は正規化された光ベクトルＬ_ｋ（ｘ）＝Ｐ_ｋ−Ｘであり、Ｎ（ｘ）は面法線であり、それらは全てカメラ座標系内にある。

したがって、シーン内の点Ｘが点光源Ｐ_ｋによって照明されるとき、その比は以下のように表される。

０以外のρ_ｋを有する拡散物体の場合、この比Ｒ_ｋ（ｘ）はアルベドρ_ｋとは無関係であり、局所幾何のみの関数である。さらに、光源がカメラのＣＯＰ１０６に近く、かつＸ＞＞Ｐ（ｋ）である場合には、この比は近似的に（μ_ｋ／ｍａｘ_ｉ（μ_ｋ））であり、それは１組の無指向性の光源の場合に一定である。Ｒ_ｋ（ｘ）は、視点に依存するエッジを有する湾曲した物体のシルエット付近で非常に小さいことに留意されたい。

これは、（Ｌ_ｋ（ｘ）・Ｎ（ｘ）〜＝０）であり、反対側にある光源のドット積の方が大きい、すなわち（Ｌ_ｉ（ｘ）・Ｎ（ｘ）＞Ｌ（ｘ）・Ｎ（ｘ））であるためである。したがって、放射画像Ｒ_ｋ（ｘ）内の画素の輝度は、その画素が影のあるエリアにはない場合であっても、急激に減少する。しかしながら、これは大きな問題ではなく、結果として、影のある領域が厚くなるだけであり、エピポーラ線に沿った輝度プロファイルの反転にはつながらない。

よって二次散乱に起因して、影のあるエリアでは、比Ｒ_ｋ（ｘ）は概ね０に近くなる。エピポーラ線に沿った輝度プロファイルは、影のない前景から影のある背景に横断するときには、シルエットエッジにおいて急激な負の遷移を示し、背景上の影のある領域から影のない領域に横断するときには、急激な正の遷移を示す。

エピポールから所与の画素までの放射状のエピポーラ線に沿って、任意の標準的な１−Ｄエッジ検出器が適用でき、両方のこれらの遷移が検出され、負の遷移を有する画素がシルエットエッジ画素として指示される。

輝度の遷移が検出されるので、ノイズおよび二次散乱が、検出されたシルエットエッジ画素の場所の精度に、それも常にそれらが存在することに影響を及ぼす可能性がある。

シルエットエッジにおける負の輝度遷移が放射画像Ｒ（ｘ）内で検出できないとき、あるいは他の条件が誤った遷移を引き起こすとき、いくつかの条件が存在する。孤立した影、低い背景のアルベド、穴および窪みに起因して、あるいはシルエットが影のある領域内に存在するときに、シルエットは見逃される可能性がある。鏡面反射、自己遮蔽、あるいは視点に依存するシルエットに起因して、いくつかの画素がシルエットエッジ画素として誤って分類される可能性がある。

カメラのＣＯＰとフラッシュユニットとの間の基線を選択する際にトレードオフがある。影ｄのための画像幅を大きくしていく場合、基線は長いほど良好であるが、基線が短くなると影の分離が回避される。基線が様々であるとさらに良好な結果を得ることができる。

或る画像内の或る特定のアタッチトキャストシャドウの幅はｄ＝ｆ（ｚ_２−ｚ_１）Ｂ／（ｚ_１・ｚ_２）である。ここで、ｆは焦点距離であり、Ｂはｍｍ単位の基線であり、ｚ_１およびｚ_２は、影を付けるエッジ及び影のあるエッジまでのｍｍ単位の深度である。

物体の閾値幅Ｔが（ｚ_２−ｚ_１）×Ｂ／ｚ_２よりも小さいときに、影分離が生じる。それゆえ、基線が短くなると、影分離を生じることなく、より小さな幅Ｔが可能になる。より高い解像度のカメラを用いて、実効焦点距離を長くすることができるので、本発明では、非常に小さな基線および、物体（ｚ_２）への長い距離あるいは「深度」を有する高解像度のカメラが用いられる。

光源の不均一性もその結果に影響を及ぼすようになる。（μ_ｋ／ｍａｘ_ｉ（μ_ｋ））が定数ではないので、それはＲ_ｋ（ｘ）に影響を及ぼす。都合がよいことに、不均一な光源を用いる場合でも、ローブ輝度がフィールドに渡って滑らかに変化するので、それはＲ_ｋ内に誤ったエッジを導入しない。

影領域につながる負の輝度ステップの検出は二値判定であり、本発明による方法はノイズに耐えることができるようになる。しかしながら、フラッシュユニットによって生成される光は依然として周囲光よりも優位である必要がある。また本発明は、シルエットが、有限の深度を有する背景から分離されるという仮定を基にしており、それは、本発明が背景を必要とすることを意味する。下記で記載される別の実施形態は、この背景が必要であるという要件に依存しない。

テクスチャ領域内の細部の削減
また、本発明は、テクスチャおよび照明の変動のような、或るシーンのシルエットに関連しない、画像の領域内の細部あるいは複雑な部分を削減するための手順も提供する。シルエットエッジ画素３０６が与えられるとき、テクスチャエッジに属する画素を特定することができる２３０。したがって、テクスチャ領域を特定することができる。これらの画素は照明の方向とは無関係である。テクスチャエッジは、最大画像Ｉ_ｍａｘ内の輝度エッジから、検出されたシルエットエッジを引いたものである。

理想的には、本発明は、全てのテクスチャ領域、すなわち元の画像内のテクスチャの細部に対応する画素の組を特定し、出力画像２０１内のテクスチャの細部をデエンファシスすることが望ましい。しかしながら、本発明はテクスチャエッジを特定することができるが、全てのテクスチャ領域を確実に見つけることはできない。これは、シルエットエッジ検出後のギャップに起因して、テクスチャエッジが必ずしも、テクスチャ領域の周囲に閉じた輪郭を形成するとは限らないため、あるいはそのような領域が次第に消えて、シーン内の支配的な色になる可能性があるためである。

それゆえ、本発明では、たとえば、幾何学的特徴により高い重要度を与えることができるとともに、テクスチャ特徴、たとえば、エッジおよび領域をデエンファシスすることができる「調整可能な」抽象化を実行することが望ましい。また本発明では、支配的な色を持たない画素を削除することも望ましい。

１つの対処方法では、テクスチャエッジに関連する領域がぼかされる。テクスチャ画素および隣接する画素に対して、隣接する特徴のない画素の色の重み付けされた平均値を単に割り当てることもできる。しかしながら、それはテクスチャ領域境界のみを減少させ、勾配を除去しない。さらに、テクスチャエッジによって輪郭を描かれたテクスチャ領域は数画素の幅を有することができ、それゆえ完全には削除されない。別の手法は、距離フィールドまたは拡散タイプの技法を用いる。

画素レベルで動作する代わりに、本発明はエッジを基にする手順を用いる。

本発明によるエッジを基にする手順は、テクスチャ画素における高い輝度勾配が、支配的でない色画素を支配的な色画素から分離するという観測に基づく。テクスチャ画素における高い勾配を用いることなく、画素が勾配から再構成される場合には、テクスチャ画素の反対側からの色によって滑らかに、支配的でない色画素が自動的に埋められる。従来の画素を基にするシステムの場合に必要とされるような、穴を埋めるためにどの輝度値を用いるべきかについて判定を行う必要はなく、フェザリングあるいはぼかしを行う必要もない。

エッジの強調
シルエットエッジ画素を検出するための本発明による手順は、画像を強調するために用いることができるさらに別の有用な情報も生成する。

影の幅ｄ＝ｆ（ｚ_２−ｚ_１）Ｂ／（ｚ_１ｚ_２）は、深度不連続点における深度差（ｚ_２−ｚ_１）に比例する。この情報は画像を強調するときに用いることができる。

シルエットエッジにおいて、本発明は、シルエットのどちら側が前景に属し、どちら側が背景に属するかを判定することができる。その計算は、エッジのどちら側が、エピポーラ線に沿った負の遷移において、Ｒ_ｋ画像内により高い輝度を有するかに基づく。

この定性的な深度の関係は、エッジを強調するためにも用いることができる。本発明は最初に、シルエットが黒色の背景上に白色で存在するシルエット画像を生成する。本発明は、エッジ強調フィルタの勾配であるフィルタを用いてたたみ込みを行う。本発明は、ガウスフィルタからインパルス関数を引いたものを用いる。本発明により、たたみ込まれた画像が積分されるとき、シルエットエッジにおいて急激な遷移が得られる。

従来技術との比較
より良好なライティングを用いて、コントラストを改善し、背景に対して物体を強調することができる。この手法の成功は一般的に撮影者の技量によるが、本発明は、明らかな幾何に基づく一般的な解決手段を提供する。さらに、光源がカメラのＣＯＰに近いので、本発明による単体で十分な機能を有するカメラ１００では、外部光源は不要であり、操作が簡略化される。

第２の簡単なオプションは、輝度画像上でエッジ検出を実行することである。しかしながら、画像値の急激な変化は必ずしも物体の境界を意味するわけではなく、その逆の場合もある。たとえば、或る複雑なシーンは、数多くの誤った輝度エッジを生成する可能性があり、一方、簡単な画像では、ほとんど輝度エッジが検出されない。それゆえ、画像値の変化のみを調べることによる画像強調方式は失敗する場合も多い。

単一の画像上で動作する従来のＮＰＲ技法は、輝度エッジ検出および色の分割の信頼性が高くなるように、非常に画質が高く、コントラストが良好な画像を基にする。

本発明による手法は、従来のステレオ、照度差ステレオおよびヘルムホルツステレオのような能動的な照明技法と同じように見えるかもしれない。しかしながら、深度不連続点が、従来のステレオ技法に問題を生じている。ステレオ技法は、照合過程を混乱させる半遮蔽に起因して失敗する場合が多い。

照度差ステレオは、或るシーンに渡る幾何およびアルベドを同時に推定する。古典的な照度差ステレオの主な制約は、光源がカメラのＣＯＰから遠く離れていなければならないこと、および光源の位置が正確に分からなければならないことである。これには、スタジオ、工業用あるいは研究所の環境内でなら可能であるが、自給式のカメラユニットでは不可能であるような、固定されたライティングリグが必要とされる。さらに、その手法は、滑らかな表面に沿って法線を検出することを基にしており、深度不連続点、影のある領域および半遮蔽された部分では失敗する。

本発明による手法は正反対であり、或るシーン深度不連続点において輝度変動のための二値判定を行う。

ヘルムホルツステレオの場合、影のある領域および半遮蔽された領域は対応している。左側の画像における影内の表面は、右側の画像では見ることができず、その逆も成り立つ。その問題は、単一の画像内の影のある領域を計算することが難しい問題であるということである。或る画素が影の領域にあるものと分類するための唯一の信頼性のある方法は、その画素と、影の中にないときのさらに別の画素とを比較することである。この二値判定は、本発明の技法を強力にする。また本発明では、いずれの照合あるいは相関過程も基にせず、大部分の動作を画素毎に行うことができる。これにより、本発明は、カメラのマイクロプロセッサ内に方法全体を組み込むことができるようになる。

さらなる実施形態の説明
シーンの様式化された画像を生成するための本発明の方法は、以下のステップを含む。最初に、カメラのレンズの周囲に位置付けられた複数のフラッシュユニットによって生じるずらした光、および周囲からの光の下でシーンから１組の画像を取得する。これらの画像を処理して、深度エッジ、輝度エッジ、およびテクスチャエッジのような特徴を自動的に検出し、特徴間の定性的な深度の関係を求める。出力画像は、取得した画像の組み合わせであり、検出された特徴を、この検出された特徴および定性的な関係に従って強調し、様式化された画像を提供する。

本発明では、深度エッジという用語を用いて、Ｃ０の深度不連続点を有するエッジのことを指す。深度エッジは、滑らかな表面、薄い物体、すなわち一枚の紙の境界、または視点に依存しないエッジの物体、たとえば立方体について内側または外側の遮蔽輪郭またはシルエットに対応する。

復元した深度エッジは符号付きである。局所近傍において、深度値の低い側、たとえば前景は正であるとみなされ、反対側、たとえば背景は負であるとみなされる。

テクスチャエッジの例は反射率の変化または物質の不連続点である。テクスチャエッジは通常、テクスチャ領域の輪郭を描くが、閉じた輪郭を形成しない場合がある。

深度エッジ
図５Ａおよび図５Ｂに示すように、深度エッジを検出するための本発明の方法は、本手法の基礎であり、除去過程によって他のエッジを分類することを可能にする。本発明の方法は、影のエピポーラ幾何に関する２つの観測値に基づく。

図５Ａにおいて、シーン５０１は物体５０２を含む。用いられるライティングに起因して、物体は、カメラ５０５によって撮影される画像Ｉ_ｋ５０４内に影５０３を投じる。本発明では、全ての向きの深度エッジが少なくとも１つの画像に影を生じ、同じ影のある点が何らかの他の画像において照明されることを確実にする。

図５Ｂは、ｅ１、ｅ２、およびｅ３から発するエピポーラ光線について重ねた物体５０２の画像を対応する影５２１〜５２３とともに示す。

Ｐ_ｋにおける点光源の画像は、カメラ画像内の画素ｅ_ｋにあり、光エピポールと呼ばれる。Ｐ_ｋから発する光線の画像は、ｅ_ｋから発するエピポーラ光線である。Ｐ_ｋがカメラの中心の後ろにあり、像平面から離れている場合、エピポーラ光線は無限遠で折り返す。

第１に、深度エッジ画素の影は、その画素を通過するエピポーラ光線に沿って位置するように制約されることに留意されたい。第２に、背景画素がエピポーラ光線に沿って深度エッジに対してエピポールの反対側にある場合にのみ影が観測される。したがって、概して、２つの光エピポールがエッジの反対側にある場合、一方の画像の深度エッジでは影が観測され、他方の画像では観測されない。

位置Ｐ_１、Ｐ_２、．．．Ｐ_ｎに位置付けられたｎ個の光源に関する基本的な過程は以下の通りである。
周囲光で画像Ｉ_０を取得する。
Ｐ_ｋにある光源で画像Ｉ_ｋ．０（ｋ＝１，．．．，ｎ）を取得する。
画像Ｉ_ｋ＝Ｉ_ｋ，０−Ｉ_０を求める。
全ての画素ｘについて、Ｉ_ｍａｘ（ｘ）＝ｍａｘ_ｋ（Ｉ_ｋ（ｘ））（ｋ＝１，．．．ｎ）である。
各画像ｋについて、
比画像Ｒ_ｋを生成する。ここで、Ｒ_ｋ（ｘ）＝Ｉｋ（ｘ）／Ｉ_ｍａｘ（ｘ）である。
各画像Ｒ_ｋについて、
エピポールｅｋから各エピポーラ光線を横断する。
負の遷移を有するステップエッジを有する画素ｙを見つける。
画素ｙを深度エッジとして指示する。

カメラの周囲に配置される複数の、たとえば２〜８の光源を用いて、十分な深度差を有する全ての向きの深度エッジを検出することができる。各画像において、深度エッジにおける接線とエピポーラ光線のドット積が０以外である場合、照明された部分から影のある部分への負の遷移を有するステップエッジが検出される。深度エッジがエピポーラ光線に沿った向きにある場合、ステップエッジは検出することができない。

画像Ｉ_ｋは周囲成分が除去されている、すなわちＩ_ｋ＝Ｉ_ｋ，０−Ｉ_０であることに留意されたい。ここで、Ｉ_０は、周囲光のみで、ｎ個の光源をいずれもオンにせずに取得された画像である。元画像は最大合成画像Ｉ_ｍａｘであり、この最大合成画像Ｉ_ｍａｘは、カメラのＣＯＰに光源を有する画像を近似したものであり、一般的に、ｎ個の光源のいずれからの影も有さない。ｎ個の光源が同じ大きさを有し、基線が、イメージングしているシーンの深度よりも十分に小さいとき、この近似は概ね正確である。

カメラ座標系内に与えられ、画素ｘにおいてイメージングされる３Ｄの点Ｘの画像を考える。Ｐ_ｋにある光源によって点Ｘが照明される場合に、輝度Ｉ_ｋ（ｘ）は、一様乱反射（Lambertian）を仮定して、次式によって与えられる。

そうでない場合、Ｉ_ｋ（ｘ）はゼロである。スカラーμ_ｋは光強度の大きさであり、ρ（ｘ）は点Ｘにおける反射率である。値（＾）Ｌ_ｋ（ｘ）は、正規化された光ベクトル（＾）Ｌ_ｋ（ｘ）＝Ｐ_ｋ−Ｘであり、Ｎ（ｘ）は面法線であり、それらは全てカメラ座標系内にある。なお、（＾）Ｌ_ｋは、Ｌ_ｋの上に＾があることを表す。

したがって、点ＸがＰ_ｋに見える場合、比は次のようになる。

０以外のアルベドρ（ｘ）を有する拡散物体の場合、Ｒｋ（ｘ）はアルベドρ（ｘ）とは無関係であり、局所幾何のみの関数であることは明らかである。さらに、光源−カメラの基線｜Ｐｋ｜がその点までの距離と比べて小さい、すなわち、｜Ｘ｜＜＜｜Ｐ_ｋ｜である場合、この比は近似的にμ_ｋ／ｍａｘ_ｉ（μ_ｉ）であり、それは１組の無指向性の光源の場合に一定である。

（Ｒ_ｋ＝Ｉ_ｋ／Ｉ_ｍａｘ）における比の値は、光源ｋによって照明されるエリアでは１．０に近くなり、影のある領域では０に近くなる。一般に、この値は相互反射に起因して０以外となる。比画像内のエピポーラ光線に沿った輝度プロファイルは、影のない前景から影のある背景に横断するときには、深度エッジにおいて急激な負への遷移を示し、影のある背景から前景上の影のない領域に横断するときには、正への急激な遷移を示す。

これにより、深度エッジ検出の問題が輝度ステップエッジ検出の問題に低減される。エピポーラ光線に沿う単一エッジ検出器は、正と負の両方の遷移を検出し、本発明では、負の遷移を深度エッジとして指示する。上述のように、ノイズおよび相互反射は、位置の精度にのみ影響を及ぼし、深度エッジの存在の検出には影響を及ぼさない。なぜなら本発明は、連続値ではなく別個の遷移を検出しているからである。

まとめると、基本的に３つのステップがある。
影のある領域の値が０に近い比画像を生成する。
各比画像上でエピポーラ光線に沿って輝度エッジの検出を実行し、負のステップエッジを深度エッジとして指示する。
ｎ個すべての画像からのエッジマップを合成して、最終的な深度エッジマップを得る。

物質エッジ
深度エッジに加えて、本発明では、画像内の照明エッジおよび物質エッジも考慮する。照明エッジは、本発明のカメラに取り付けられたフラッシュユニットではなく周囲光に起因するライティングされた領域と影のある領域との間の境界である。個々の画像Ｉ_ｋは周囲からの照明がなく、周囲照明エッジがない。一般に物質エッジは、照明方向と無関係であるため、除去過程によって分類することができる。物質エッジは、Ｉ_ｍａｘの輝度エッジから深度エッジを引いたものである。このエッジ分類方式は良好に動作し、調整に最少数のパラメータを伴う。本発明において必要となるパラメータは、深度エッジおよび物質エッジをそれぞれ検出するための比画像およびＩｍａｘ画像の輝度エッジ検出用パラメータのみである。

深度エッジを検出するための本発明の技法は、深度エッジにおける負の遷移を比画像Ｒ_ｋ内で検出することができないフォールスネガティブ、または他の条件がＲ_ｋ内で誤った遷移を引き起こすフォールスポジティブのような一部の条件を除いて、驚くほど信頼性が高い。深度エッジもまた、孤立した影、低い背景のアルベド、穴および窪みに起因して、あるいは深度エッジが影のある領域内に存在する場合に見逃される可能性がある。鏡面反射、自己遮蔽、あるいは視点に依存する深度エッジに起因して、いくつかの画素が深度エッジ画素として誤ってラベル付けされる可能性がある。

湾曲した表面
比Ｒ_ｋ（ｘ）は、視点に依存するエッジを有する湾曲した物体の非常に小さく深度の短いエッジである。これは、ドット積（（＾）Ｌｋ（ｘ）・Ｎ（ｘ））であり、「反対」側にある光源のドット積の方がより大きいためである。これは次のように表される。

したがって、Ｒ_ｋ（ｘ）は、画素が影のある領域にはない場合であっても、急激に減少する。しかしながら、これは大きな問題ではなく、Ｒ_ｋの負の遷移における傾斜が小さくなるだけである。

基線を選択する際のトレードオフ
カメラとフラッシュの間の基線距離は長いほど良い。基線が長いほど、画像内に投じられる検出可能な影の幅は広くなるが、影が関連する深度エッジから分離することを回避するには、より短い基線が必要とされる。

画像内の隣接する影の幅はｄ＝ｆＢ（ｚ_２−ｚ_１）／（ｚ_１ｚ_２）である。ここで、ｆは焦点距離であり、Ｂは基線であり、ｚ_１およびｚ_２は、影を付けるエッジ及び影のあるエッジまでの深度である。物体の幅Ｔが（ｚ_２−ｚ_１）Ｂ_ｆ／ｚ_２よりも小さいときに、影の孤立が生じる。よって、基線Ｂが短いほど、影分離を生じることなく、Ｔのより小さい、より幅の狭い物体が可能になる。幸い、デジタルカメラの小型化により、本発明では、小さな基線を選択する一方で、ｆに比例して画素解像度を上げることができるので、積ｆＢは一定のままとなる。これにより、幅の狭い物体の深度検出が可能になる。

階層的な基線
図６に示すように、カメラの解像度が限られている場合は、階層的な基線を用いることができる。ここでは、第１のフラッシュユニットの組６１０がＣＯＰ１０６から第１の距離６１１のところに配置されて画像Ｆ_Ｓを取得し、第２のフラッシュユニットの組６２０が第１の距離よりも大きな第２の距離６２２に配置されて画像Ｆ_Ｌを取得する。

したがって、本発明では、短い基線を用いて幅の狭い物体において影分離を生じることなく、より長い基線を用いて小さい深度不連続点を検出することができる。実際には、２つの異なる基線で十分である。しかしながら、この場合、基線のより長い画像Ｆ_Ｌ内の影分離に起因する誤ったエッジを扱わなければならない。基線のより短い画像Ｆ_Ｓは小さな深度不連続点を見逃す場合がある。

１対の画像内の情報を合成して深度エッジを検出する方法には４つの場合がある。
画像Ｆ_Ｓは検出不可能な幅の狭い影を有し、画像Ｆ_Ｌは検出可能な影を有する。
画像Ｆ_Ｓは検出可能な幅の狭い影を有し、画像Ｆ_Ｌは幅の広い影を有する。
画像Ｆ_Ｓは検出可能な影を有するが、画像Ｆ_Ｌは、画像Ｆ_Ｓの影と重なる孤立した影を有する。
画像Ｆ_Ｓは検出可能な影を有し、画像Ｆ_Ｌは孤立した影を有するが、画像Ｆ_Ｓと画像Ｆ_Ｌの影は重ならない。

本発明の方法では、２つの画像の最小合成を取る。最初の３つの場合において、これは、何らアーチファクトを生じることなく隣接する影の有効幅を都合良く増加させ、変更なしで基本的な過程により扱うことができる。４番目の場合、影のない領域が最小合成画像内の２つの影を分離するため、Ｆ_Ｌ内の影が誤っているように見える。

本発明の解決策は以下の通りである。画像Ｆ_Ｓおよび画像Ｆ_Ｌを用いて深度エッジを求める。次に、エピポーラ光線を横断する。画像Ｆ_Ｓ内の何らかの点Ｄ_１には深度エッジが現れ、画像Ｆ_Ｌには現れない場合、次の深度エッジが検出されるまで画像Ｆ_Ｌ内のエピポーラ光線を横断する。画像Ｆ_Ｌ内に対応する深度エッジがない場合、画像Ｆ_Ｓ内に対応する深度エッジはなく、このエッジを誤ったエッジとして指示する。

鏡面反射
一方の画像の画素には現れ、他方の画像には現れない鏡面反射ハイライトは、比画像内に誤った遷移を生じる可能性がある。単一画像内の鏡面反射を検出するための方法はあるが、テクスチャ領域において鏡面反射を確実に検出することは困難である。

本発明の方法は、鏡面反射を生じる光源のずれに従って鏡面反射スポットがずれるという事実に基づく。本発明では、異なる光位置における鏡面反射スポットが各画像内にどのように現れるかについて３つの場合を考慮する。すなわち、たとえば鏡面反射の高く湾曲が中程度である表面上で光沢のあるスポットが鮮明なままである場合、いくつかの光沢のあるスポットが重なる場合、およびたとえば実質的に鏡面反射のフロントパラレル（fronto-parallel）平面上で光沢のあるスポットが完全に重なる場合である。この最後の場合は、比画像内に誤った勾配が生じない。

なお、鏡面反射は入力画像において重なるが、鏡面反射の周囲の境界、すなわち輝度エッジは一般に重ならない。主な構想は、ｎ枚の画像内の所与の画素（ｘ，ｙ）における勾配変動を利用することである。最初の２つの場合において、画素（ｘ，ｙ）が鏡面反射領域である場合、鏡面反射境界に起因する勾配は、別々のライティング下のｎ枚の画像のうちの１つまたは少数のみにおいて高い。

その画素におけるｎの勾配の中央値が外れ値を除去する。本発明の方法は、Weiss（上記参照）によって記載される固有の画像手法を適応したものである。ここでは、影の境界が静止していないことに注意することによって屋外シーンの影が除去される。

本発明では、以下のように入力画像の勾配の中央値を用いることによって画像を再構成する。
輝度勾配Ｇ_ｋ（ｘ，ｙ）＝∇Ｉ_ｋ（ｘ，ｙ）を求める。
勾配の中央値Ｇ（ｘ，ｙ）＝ｍｅｄｉａｎ_ｋ（Ｇ_ｋ（ｘ，ｙ））を見つける。
｜∇Ｉ’−Ｇ｜を最小化する画像Ｉ’を構成する。

本発明では、積分を適用する前に、画像を埋めて２のべき乗に最も近い正方形の画像にし、次に、結果として得られる画像を元のサイズにクロッピングする。本発明では、同様の勾配ドメイン技法を用いて、後述のようにいくつかのレンダリング作業を簡略化する。結果として得られる固有の画像輝度Ｉ（ｘ，ｙ）は、最大合成画像Ｉ_ｍａｘ（ｘ，ｙ）の代わりに比画像を計算するための共通の特徴として用いられる。この場合、鏡面反射領域において、比Ｉｋ（ｘ，ｙ）／Ｉ’（ｘ，ｙ）は１．０よりも大きい。これは、比画像内の負の遷移が鏡面反射部分に位置しないように１．０に設定される。

背景の欠如
これまで、本発明では、背景に影を投じる深度エッジは有限距離内にあるものと仮定してきた。しかしながら、これは常にそうであるとは限らない。この場合、本発明では、最も外側の深度エッジ、すなわち、前景と遠方の背景とによって共有されるエッジのみが見逃される可能性がある。これは、前景−背景推定技法を用いて容易に検出することができる。画像Ｉ_０／Ｉ_ｍａｘの比は背景において１に近く、前景の内部において０に近い。

画像の合成
３Ｄモデルに基づくＮＰＲは既知であるが、写真については既知ではない。シーンの完全な３Ｄ表現がない場合、本発明では、以下の２Ｄキューを利用して新規のレンダリングアルゴリズムを開発する。すなわち、深度エッジの符号すなわちエッジにおける前景対背景、影の幅に基づく相対的な深度差、符号付きエッジ付近の色、および遮蔽輪郭における滑らかな表面の法線である。

本発明の方法は、本来は綿密な手動操作が必要とされる様式化されたレンダリングのための作業、たとえば画像編集やロトスコーピングを自動化する。

エッジのレンダリング
深度エッジピクセルを輪郭につなげ、次に輪郭を平滑化する。Ｔ字型接合部において、向きの類似性に基づいて次のエッジ画素を選択する従来の方法とは異なり、本発明では、影からの情報を用いて、接続成分を分解する。

符号付き深度エッジ
比画像Ｒ_ｋ内のエピポーラ光線に沿った負の遷移において、エッジに対して輝度の高い側が前景であり、影のある領域に対応する輝度の低い側が背景である。

図７に示すように、定性的な深度の関係を用いて、解剖部位の各深度エッジにおける前景−背景の分離を明確に示すことができる。本発明では、芸術家が用いたオーバー−アンダー様式をマットでエミュレートする。深度エッジの前景側は白色であり、背景側は黒色である。輪郭を面法線７０１に沿って変位させることによって深度エッジの両側がレンダリングされる。

光方向
図８に示すように、本発明では、ライティング方向に対する深度エッジの向きに応じて深度エッジの幅８１１〜８１２を変更することによって、任意の光方向８０１を解剖部位の出力画像８００において伝えることができる。３Ｄにおけるエッジの向きは、像平面におけるその投影の向きと略同じであるため、幅は、画像空間の法線と所望の光方向とのドット積に比例することができる。

色の変化
図９に示すように、本発明では、選択された色で深度エッジをレンダリングすることによって元の物体の色を示すことができる。符号付き深度エッジから、固定された画素距離における法線に沿って、別の深度または輝度エッジと交差することなく前景の色を選択する。前景の色を付けられた深度エッジは、分割された入力画像、たとえば周囲からの光で取得された入力画像に重ねてもよい。

色の割り当て
シーンの３Ｄモデルはないため、エッジでない画素をレンダリングするには、取り込んだ２Ｄ画像の別々な処理方法が必要である。

法線の補間
滑らかな物体について図１０Ａおよび図１０Ｂに示すように、深度エッジは、面法線が視野方向に垂直である遮蔽輪郭に対応する。したがって、深度エッジにおける法線は像平面に位置し、他の画素における法線を予測することができる。本発明では、２Ｄポアソン微分方程式を解くことによって、この疎な補間問題を解くことができる。本発明の方法は、Johnston著「Lumo: illumination for cel animation」（Proceedings of the second international symposium on Non-photorealistic animation and rendering, ACM Press, PP. 45-ff, 2002）によって記載されるようなオーバー−アンダーマットを生成するための手動の方法を自動化する。本発明の場合、符号付き深度エッジにより法線の補間が可能になり、その一方で、深度エッジにおける法線の不連続点を維持して、ライティング方向から離れた向きにある表面１００１を強調する。

画像の減衰
プロの写真家は、局部光を用いて、形状の境界におけるコントラストを強調することがある。本発明では、これを画像減衰マップにより以下のように模倣する。深度エッジは黒色の背景上に白色で存在する。本発明は、エッジ強調フィルタの勾配であるフィルタを用いてたたみ込みを行う。本発明のフィルタは、ガウス関数からインパルス関数を引いたものである。たたみ込んだ画像に対して２Ｄ積分を実行すると、深度エッジにおいて急激な遷移が得られる。

変化の描写
いくつかの静止した図は、前景の動きのある部分を明るくすることによって、活動、たとえば車内の変化する油を示す。しかしながら、色が類似しておりテクスチャがない場合、輝度を基にした方式による前景の検出、たとえば図１１に示すような、他の皮膚の色をした部分の前面にある手の動作の検出は困難である。

本発明は、２組の別個のマルチフラッシュ画像、すなわち、手なしの「背景」の組１１０１、および顔の前面に手がある前景の組１１０２を取得して、基準シーンと変化したシーンを取り込む。本発明では、前景をはっきりと検出せずに、新たな深度エッジに寄与する領域の内部を強調する。本発明は勾配フィールドを求め、勾配フィールドでは、基準シーンではなく変化したシーン内で深度エッジとして指示される画素に単位大きさの勾配が割り当てられる。向きは、深度エッジに対する画像空間の法線と一致する。他の画素における勾配は０である。２Ｄ積分から再構成された画像は、ポワソン方程式を解くことによる擬似深度マップ−最小二乗誤差の解である。本発明は、このマップを１．０において閾値処理して前景マスク１１０３を得、この前景マスク１１０３を用いて出力画像１１０４の対応する部分を明るくする。

エピポーラ光線に沿った影の幅は、エッジの両側の深度値の比に比例することに留意されたい。したがって、単位大きさ勾配の代わりに、本発明は、エピポーラ光線に沿った影の幅の対数に比例した値を割り当てて、より高品質の擬似深度マップを得る。

残念ながら、本発明者らは、非点光源の使用および相互反射に起因して、光線に沿った正の遷移は強くないことを発見した。原則として、推定される影の幅は、調整可能な抽象化に用いて、深度差の小さいエッジを除去することができる。

抽象化
画像内のビジュアルクラッタを低減し、物体の形状を明確にする１つの方法は、シーンの形状の境界すなわち深度エッジに関係ない細部、たとえばテクスチャおよび照明の変化を簡略化することである。従来の画像分割手法は、閉じた輪郭に厳しい制約を課し、各領域に固定した色を割り当てる。また、分割は、深度エッジを見逃し、前景と背景が単色の物体に統合されてしまう場合がある。

本発明の方法は、テクスチャ画素における勾配を用いずに、勾配から画像を再構成する。従来の画素を基にするシステムの場合に必要とされるような、穴を埋めるためにどの輝度値を用いるべきかについての判定は行われず、フェザリングおよびぼかしを行う必要はない。

マスク画像γ（ｘ，ｙ）＝ａであり、ここで、
（ｘ，ｙ）はテクスチャエッジ画素であり、
ｄ（ｘ，ｙ）は特徴のない画素であり、
（ｘ，ｙ）は１に設定された深度エッジ画素である。

因数ｄ（ｘ，ｙ）は、深度エッジ画素の距離フィールドに対するテクスチャ画素の距離フィールドの比である。このパラメータａは抽象化の程度を制御し、テクスチャはａ＝０について抑制される。手順は以下の通りである。
マスク画像γ（ｘ，ｙ）を生成する
輝度勾配∇Ｉ（ｘ，ｙ）を求める
マスクをかけた勾配Ｇ（ｘ，ｙ）＝∇Ｉ（ｘ，ｙ）^{γ（ｘ，ｙ）}を変更する
｜Ｉ’−Ｇ｜を最小化するように画像Ｉ’を再構成する
出力画像Ｉ’（ｘ，ｙ）内の色を、入力画像Ｉ（ｘ，ｙ）の色に実質的に一致するように正規化する

画像の再構築に続いて、上述の鏡面反射減衰技法におけるようなマルチグリッド手法によりポワソン方程式を解く。

動的なシーン
これまでのところ、本発明の方法は、静止シーンの複数の画像を取得して幾何特徴を求める。本発明は、移動物体または移動カメラを有するシーンの取り込みの同時性の欠如を調べる。ここでもまた、画像シーケンス中の動きを推定するための多くの著作物が存在し、賢明な手法は、静的アルゴリズムからの結果を用いて、導入されるアーチファクトを補正するために動き補償技法を適用することである。

しかしながら、光学フローおよび動きの境界を見つけることは、特にテクスチャのない領域において困難な問題である。静止している場合と同様に、本発明では、豊かな画素毎の動き表現を見つけ、動きの中の不連続点、すなわち深度エッジを見つけることに直接焦点を当てるという難しい問題を迂回する。

この場合、カメラは、画像組（フレーム）のシーケンスをフレーム毎に１つのフラッシュを用いて取得するビデオカメラである。次に、画像組のシーケンスを上述のように時間順に処理する。

本発明は、各フレームにおいて深度エッジを見つけ、各フレームにおいて見つけたエッジを接続して完全な深度エッジにする。

動きの中の深度エッジ
取得の同時性の欠如は、元の画像、たとえば最大合成Ｉ_ｍａｘの信頼性が低く、特徴が位置合わせされていないことを意味する。このことが、影領域を確実に見付けることを妨げる。本発明は、シーンの動きが中程度である、特に画像空間において物体の特徴の動きが物体の幅よりも小さいという簡略化の仮定を行う。高速カメラにより、フレーム間の動き量を低減することができるが、同時性の欠如を仮定することはできない。本発明の新規の照明方法により、このことは、移動する影のある領域を観測することによって比較的簡単に解決されることが分かった。この説明を簡単にするために、本発明では、レンズの左側および右側にあるフラッシュユニットのみを考えて、垂直方向の深度エッジを求める。

本発明は、そうしたシーケンスにおいて３つのタイプの輝度勾配を特定する。
深度エッジに起因する、隣接する影エッジを有する勾配、
静止部分のテクスチャエッジに起因する勾配、および
移動部分のテクスチャエッジに起因する勾配。

上述した、画像比を生成する基本的な方法を用いて、本発明は、静止したテクスチャエッジをわずかに除去することができる。

本発明は、照明における左から右への切り替えに起因して、影エッジは交互のフレームにおいてなくなり、移動するテクスチャエッジはなくならないという事実を利用する。

フレームｍ−１およびフレームｍ＋１が与えられるとき、フレームｍ内の深度エッジを求めるための過程は以下の通りである。ここで、ａ＝フレームＩ_ｍ−１であり、ｂ＝フレームＩ_ｍであり、ｃ＝フレームＩ_ｍ＋１である。
画像Ｉ_ａｂを保存する影を求める。ここでＩ_ａｂ＝ｍｉｎ（ａ，ｂ，ｃ）である。
影のない画像Ｉ_ａｃを求める。ここでＩ_ａｃ＝ｍｉｎ（ａ，ｃ）である。
比画像Ｒ_ｍを求める。ここでＲ_ｍ．Ｉ_ａｂ／Ｉ_ａｃである。
ｅ_ｍからのエピポーラ光線に沿って横断し、負の遷移を指示する。

フレームｍ内の画素がフレームｍ−１およびｍ＋１内の対応する画素間にあるとき、比Ｒ_ｍは０に近い。すなわち、これら両方のフレームの輝度は高い。深度エッジの場合、静止していても移動していても、フレームｍに現れる隣接する影はこの条件を生じるが、静止しているかまたは移動しているテクスチャステップエッジの場合には生じない。

エッジおよび色
所与のフレームｍにおける深度エッジは、限られた向きのみに渡るため、不完全である。動的なシーンにおいて、４つの連続フレームの深度エッジの結合は、不連続な輪郭を識別するほど整列していない場合がある。本発明は、同じフラッシュユニットに対応する符号付き深度エッジ、すなわちｍとｍ＋ｎを照合し、中間フレームの変位を補間する。色を割り当てるために、本発明では、３つの連続フレーム、たとえば前フレーム、現フレーム、および次フレームの最大値をとる。

深度エッジの抽出方法は、赤外線、ソナー、ｘ線およびレーダーイメージングにおいて「影」を生成する可視光以外のスペクトルにも用いることができることに留意されたい。具体的には、不可視の赤外光源をカメラに備え、結果として生じるフラッシュが邪魔にならないようにすることが可能である。

実際に、周波数分割多重化方式を用いて、単一ショットのマルチフラッシュシステムを生成することができる。フラッシュは、別々の波長の別々の４色を同時に発射する。カメライメージャ上のフィルタのベイヤーモザイクパターンが、４つの別々の波長を復号化する。

深度エッジの応用
深度の不連続点を検出することは、画像を理解するための基本であり、多くの用途において用いることができる。本方法は、主に物体の最外部のシルエットに基づくが、本発明者らは、完全な深度エッジマップは、ビジュアルハル（visual hull）、分割、深度層およびアスペクトグラフの分解の問題に役立つことができると考える。航空写真技法は、日光の既知の方向から投じられた影の複数の時間差画像を見ることによって建物の検出を改善することができる。さらに、後処理中の被写界深度効果、カメラアレイを用いた合成口径および任意の背景を用いた仮想セットのためのスクリーンマッティング等の効果は、高品質の符号付き深度エッジを必要とする。

エッジまたはエリアを基にしたステレオ対応は、符号付き深度エッジを照合し、動的計画法を深度エッジ内に制約し、部分的な遮蔽を扱うように相関フィルタを変更することによって改善することができる。エッジ分類は、低コントラスト画像における色およびテクスチャの分類を助けるための信頼性マップも提供することができる。

本発明は好適な実施形態を例示することにより記載されてきたが、本発明の精神および範囲内で、種々の他の適用形態および変更形態が実施され得ることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入るような、全てのそのような変形あるいは変更を網羅することである。

本発明によるノンフォトリアリスティックカメラのブロック図である。 別の構成のフラッシュユニットを備える図１Ａのカメラのブロック図である。 さらに別の構成のフラッシュユニットを備える図１Ａのカメラのブロック図である。 本発明による様式化された画像を生成するための方法の流れ図である。 シルエットエッジを検出するための方法の流れ図である。 本発明によるシルエットエッジを強調した花を生けた花瓶の画像である。 投じられる影に対応するエピポーラ光線のブロック図である。 投じられる影に対応するエピポーラ光線のブロック図である。 カメラのレンズの周囲の様々な距離のところに位置付けられたフラッシュユニットを有するカメラのブロック図である。 オーバー−アンダー様式のレンダリングを用いた出力画像である。 様々なエッジ幅を有する出力画像である。 デエンファシスしたテクスチャを有する出力画像である。 滑らかな物体の出力画像である。 滑らかな物体の出力画像である。 シーン内の変化する物体の出力画像である。

Claims (44)

1. 物体を含むシーンの様式化された画像を生成する方法であって、
   ｎ枚の入力画像のそれぞれが、カメラのレンズの投影中心から異なる位置の前記カメラの本体に取り付けられたｎ個の光源の組のうちの１つの光源によって照明され、カメラを用いて前記シーンからｎ枚の入力画像の組を取得することと、
   前記ｎ枚の入力画像の組内の、深度エッジ、輝度エッジ、及びテクスチャエッジを含む特徴を検出して、前記深度エッジ、前記輝度エッジ、及び前記テクスチャエッジ間の定性的な深度の関係を求めることと、
   前記ｎ枚の入力画像の組を１つの出力画像に合成して、前記検出された特徴を前記定性的な関係に従って強調することと
   を含む、物体を含むシーンの様式化された画像を生成する方法。
2. 前記深度エッジは、前記ｎ枚の入力画像内の深度の不連続点に対応する
   請求項１記載の方法。
3. 前記深度エッジは、符号付きであり、前記ｎ枚の入力画像内の前景画素が正の値を有し、背景画素が負の値を有するようになっており、
   前記テクスチャエッジは、前記シーン内の反射率及び物質の不連続点の輪郭を描き、
   前記輝度エッジは、実質的に一定の反射率を有する前記シーン内の領域の輪郭を描く
   請求項１記載の方法。
4. 前記深度エッジは、画像空間の座標に対して前記シーン内の影領域に対応する
   請求項１記載の方法。
5. 前記シーン内の前記物体及び前記影領域は、前記画像空間において連続している
   請求項４記載の方法。
6. 前記ｎ枚の入力画像のそれぞれについて、実質的に０に近い前記影領域内の画素輝度から比画像を生成することと、
   前記深度エッジにおいて負のステップエッジを指示するエピポーラ光線に沿って各比画像に対して輝度エッジ検出を実行して、各比画像の深度エッジマップを生成することと、
   ｎ枚すべての入力画像からの前記エッジマップを合成して、最終的な深度エッジマップを得ることとをさらに含む
   請求項４記載の方法。
7. 前記ｎ個の光源の組は、前記カメラのレンズの投影中心から別々の距離の前記カメラの本体に取り付けられて、複数の基線を提供する
   請求項１記載の方法。
8. 前記ｎ枚の入力画像は、鏡面反射ハイライトを含み、
   前記ｎ枚の入力画像から前記鏡面反射ハイライトを除去することをさらに含む
   請求項１記載の方法。
9. 前記ｎ枚の入力画像内の各画素においてｎ個の勾配変動を求めることと、
   前記ｎ個の勾配の中央値を求めて、外れ値を除去することとをさらに含む
   請求項８記載の方法。
10. 特定の入力画像Ｉ_ｋ内の各画素（ｘ，ｙ）における輝度勾配は、Ｇ_ｋ（ｘ，ｙ）＝∇Ｉ_ｋ（ｘ，ｙ）であり、
    前記勾配の中央値は、Ｇ（ｘ，ｙ）＝ｍｅｄｉａｎ_ｋ（Ｇ_ｋ（ｘ，ｙ））であり、
    再構成される画像Ｉ’は、｜∇Ｉ’−Ｇ｜を最小化する
    請求項９記載の方法。
11. 比Ｉ_ｋ（ｘ，ｙ）／Ｉ’（ｘ，ｙ）は、１．０に設定されて、前記鏡面反射ハイライトが除去される
    請求項１０記載の方法。
12. 前記深度エッジ画素を輪郭につなぐことと、
    前記輪郭を平滑化することとをさらに含む
    請求項１記載の方法。
13. 前記深度エッジの前景側は、前記正の値を有し、前記深度エッジの背景側は、前記負の値を有し、
    前記前景側を白色としてレンダリングすることと、
    前記背景側を黒色としてレンダリングすることとをさらに含む
    請求項３記載の方法。
14. 前記輪郭を面法線に沿って変位させることによって前記深度エッジの前記前景側及び前記背景側をレンダリングすることをさらに含む
    請求項１３記載の方法。
15. 前記深度エッジの幅を変更して、前記出力画像において任意の光方向を伝えることをさらに含む
    請求項１４記載の方法。
16. 前記幅は、画像空間の法線と前記任意の光方向のドット積に比例する
    請求項１５記載の方法。
17. 選択された色で前記深度エッジをレンダリングすることをさらに含む
    請求項１記載の方法。
18. １つの入力画像は、周囲からの光によって照明され、
    周囲からの光によって照明される前記１つの入力画像を分割することと、
    分割された入力画像に色を付けた深度エッジを重ねることとをさらに含む
    請求項１７記載の方法。
19. 前記深度エッジを前記出力画像において黒色の背景上に白色でレンダリングすることと、
    エッジ強調フィルタの勾配であるフィルタを用いて前記エッジをたたみ込み、たたみ込まれた画像を得ることと、
    前記たたみ込まれた画像を積分して、前記深度エッジにおける急激な遷移を得ることとをさらに含む
    請求項１記載の方法。
20. 前記フィルタは、ガウス関数からインパルス関数を引いたものである
    請求項１９記載の方法。
21. 前記シーンは、背景物体及び前景物体を含み、
    前記背景物体のみを有する前記シーンから第１のｎ＋１枚の入力画像の組を取得することと、
    前記背景物体及び前記前景物体を有する前記シーンから第２のｎ＋１枚の入力画像の組を取得することと、
    前記第２のｎ＋１枚の入力画像の組の前記前景物体に対応する部分にマスクを適用して、前記出力画像における前記前景物体の外観を強調することとをさらに含む
    請求項１記載の方法。
22. 前記マスク内の画素輝度値は、１に設定される
    請求項２１記載の方法。
23. 前記テクスチャエッジは、前記ｎ＋１枚の画像内のテクスチャ領域を定義し、
    マスク画像に従って前記テクスチャ領域にマスクをかけて、前記出力画像においてクラッタを低減することをさらに含む
    請求項１記載の方法。
24. 前記マスク画像内の画素は、γ（ｘ，ｙ）＝ａであり、
    前記深度エッジの画素（ｘ，ｙ）の輝度値を１に設定することと、
    前記テクスチャエッジの画素（ｘ，ｙ）の輝度値を０に設定することと、
    画素ｄ（ｘ，ｙ）の輝度エッジの輝度値を、深度エッジ画素の距離フィールドに対するテクスチャエッジ画素の距離フィールドの比に設定することとをさらに含む
    請求項２３記載の方法。
25. 初期マスク画像γ（ｘ，ｙ）を生成することと、
    輝度勾配∇Ｉ（ｘ，ｙ）を求めることと、
    マスクをかけられた勾配Ｇ（ｘ，ｙ）＝∇Ｉ（ｘ，ｙ）^{γ（ｘ，ｙ）}を変更することと、
    前記出力画像Ｉ’を再構成して、｜Ｉ’−Ｇ｜を最小化することと、
    前記出力画像Ｉ’（ｘ，ｙ）内の色を正規化して、前記入力画像Ｉ（ｘ，ｙ）内の色と実質的に一致させることとをさらに含む
    請求項２４記載の方法。
26. 前記カメラはビデオカメラであり、前記物体は前記シーン内で動き、
    前記ビデオカメラを用いて前記シーンからｎ＋１枚の入力画像の組のシーケンスを取得することと、
    前記ｎ枚の入力画像の組のシーケンス内の前記特徴を検出することと、
    前記ｎ＋１枚の入力画像の組のシーケンスを出力画像のシーケンスに合成して、前記定性的な関係に従って前記検出された特徴を強調することとをさらに含む
    請求項１記載の方法。
27. 輝度勾配が、前記深度エッジに起因する勾配、静止部分の前記テクスチャエッジに起因する勾配、及び移動部分の前記テクスチャエッジに起因する勾配を含み、
    前記画像の組のシーケンス内の輝度勾配を特定することと、
    前記静止部分を有するテクスチャエッジを除去することとをさらに含む
    請求項２６記載の方法。
28. 前記出力画像のシーケンス内で移動する深度エッジの変位を補間することをさらに含む
    請求項２７記載の方法。
29. 前記出力画像のシーケンスの特定の画像内の画素の色を３つの連続する画像の最大値に従って割り当てることをさらに含む
    請求項２６記載の方法。
30. 前記３つの連続する画像は、前記シーケンス内の特定の画像、前の画像及び次の画像である
    請求項２９記載の方法。
31. 前記光源は、可視光を放射する
    請求項１記載の方法。
32. 前記光源は、赤外光を放射する
    請求項１記載の方法。
33. 前記光源は、ソナー信号を放射する
    請求項１記載の方法。
34. 前記光源は、ｘ線を放射する
    請求項１記載の方法。
35. 前記光源は、レーダー信号を放射する
    請求項１記載の方法。
36. 前記光源は、複数の波長の光を同時に放射し、
    前記カメラ内のセンサにおいて複数のフィルタを用いて複数の周波数を復号化することをさらに含む
    請求項１記載の方法。
37. 前記フィルタは、ベイヤーモザイクパターンを有する
    請求項３６記載の方法。
38. 前記エッジは、前記ｎ枚の入力画像内の全てのエッジを含む
    請求項１記載の方法。
39. 前記エッジからビジュアルハルを求めることをさらに含む
    請求項３８記載の方法。
40. 前記エッジに従って前記出力画像を分割することをさらに含む
    請求項３８記載の方法。
41. 前記エッジに従って前記出力画像内の深度層を分解することをさらに含む
    請求項３８記載の方法。
42. 前記エッジに従って前記出力画像のアスペクトグラフを分解することをさらに含む
    請求項３８記載の方法。
43. 前記入力画像は、航空写真撮影術によって取得される
    請求項１記載の方法。
44. 前記光源は、フラッシュユニットである
    請求項１記載の方法。

Images