JP2016505186A - エッジ保存・ノイズ抑制機能を有するイメージプロセッサ - Google Patents

Abstract

イメージ内のエッジを識別し、該エッジに関連する前記イメージの部分に第１の種類のフィルタリング操作を適用し、及び前記イメージの１つ以上の他の部分に第２の種類のフィルタリング操作を適用するよう構成されたイメージプロセッサを備えたイメージ処理システム。例えば、所与の実施形態では、クラスタリング操作がイメージに提供されて複数のクラスタが識別され、該クラスタのエッジからなる第１組のエッジが識別され、前記イメージにエッジ検出操作が適用されて第２組のエッジが識別され、該第１組及び第２組のエッジに基づいて第３組のエッジが識別され、該第３組のエッジの１つ以上のエッジに関連する前記イメージの部分に前記第１の種類のフィルタリング操作が適用される。【選択図】図２

Description

本発明は、一般にイメージ処理に関し、特に１つ以上のイメージにおけるノイズを削減し又はその他の態様で抑制するための技術に関するものである。

イメージ中のノイズを削減し又はその他の態様で抑制することが望ましい場合が多い。従来のノイズ抑制技術の実例として、ガウシアン平滑化等の空間フィルタリング操作、メディアン平滑化等の非線形フィルタリング操作、及びウィーナー（Weiner）フィルタリング等の適応フィルタリング操作が挙げられる。かかる技術は、一般に、高解像度イメージ（例えば、ディジタルカメラにより生成された写真又はその他の２次元（2D）イメージ）に適用される場合には、許容可能な結果を生成する。しかし、数多くの重要なマシンビジョン用途は、デプス撮像装置（depth imager）（例えば、ストラクチャード・ライト（SL）カメラ又はTOF（time of flight）カメラ）により生成された３次元（3D）イメージを使用する。かかるデプスイメージは、低解像度イメージである場合が多く、典型的には非常にノイズが多くてはっきりしないエッジを有するものである。

デプスイメージ及びその他の種類の低解像度イメージに対する従来のノイズ抑制技術の適用は、イメージ内に存在するエッジの品質を更に劣化させ得るものとなる。これは、後続のイメージ処理（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）の有効性を不確定にし得るものである。

一実施形態では、イメージ処理システムは、イメージプロセッサを備えており、該イメージプロセッサは、イメージ内のエッジを識別し、該エッジに関する該イメージの一部に第１の種類のフィルタリング操作を適用し、及び該イメージの１つ以上の他の部分に第２の種類のフィルタリング操作を適用するよう構成されている。

単なる一例として、所与の一実施形態では、前記イメージにクラスタリング操作が適用されて複数のクラスタが識別され、該クラスタのエッジを構成する第１組のエッジが識別され、該イメージにエッジ検出操作が適用されて第２組のエッジが識別され、該第１組のエッジと該第２組のエッジとに基づいて第３組のエッジが識別され、該第３組のエッジの１つ以上のエッジに関する前記イメージの一部に前記第１の種類のフィルタリング操作が適用される。

本発明の別の実施形態は、方法、装置、システム、処理装置、集積回路、及び本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能記憶媒体を含む（但し、これらには限定されない）。

一実施形態によるエッジ保存・ノイズ抑制機能を有するイメージプロセッサを備えたイメージ処理システムのブロック図である。 図１のシステムのイメージプロセッサを使用したエッジ保存・ノイズ抑制のための例示的な処理のフローチャートである。 図２のプロセスの各部を示すフローチャートである。 図２のプロセスの各部を示すフローチャートである。 図２のプロセスの各部を示すフローチャートである。 図２のプロセスの各部を示すフローチャートである。 図１のシステムのイメージプロセッサを使用したエッジ保存・ノイズ抑制のためのもう１つの例示的なプロセスにおける滑動近辺（sliding vicinities）を示すイメージの一部を示している。

本書では、イメージプロセッサ又はその他のタイプの処理装置を含み、及び所与のイメージ内のノイズを削減し又はその他の態様で抑制すると共に該イメージ内のエッジを保存する技術を実施する、例示的なイメージ処理システムに関して、本発明の実施形態を説明することとする。しかし、本発明の実施形態は、ノイズを抑制しエッジを保存するために１つ以上のイメージの処理を伴うあらゆるイメージ処理システム又はそれに関連する装置又は技術に広く適用可能なものである、ということが理解されよう。

図１は、本発明の一実施形態におけるイメージ処理システム100を示している。該イメージ処理システム100は、１つ以上のイメージソース105からイメージを受信し、及び処理済みのイメージを１つ以上のイメージ宛先107へ提供する、イメージプロセッサ102を含む。該イメージプロセッサ102はまた、ネットワーク104を介して複数の処理装置106と通信する。

図１では、処理装置106とは別個のものとして１つ以上のイメージソース105及び１つ以上のイメージ宛先107を示したが、かかるソース及び宛先の少なくとも一部を、複数の処理装置106のうちの１つ以上を少なくとも部分的に使用して実施することが可能である。したがって、イメージは、その処理のために、複数の処理装置106のうちの１つ以上からネットワーク104を介してイメージプロセッサ102へ提供することが可能である。同様に、処理済みのイメージは、イメージプロセッサ102によりネットワーク104を介して複数の処理装置106のうちの１つ以上へ供給することが可能である。よって、かかる処理装置は、イメージソース又はイメージ宛先の一例とみなすことが可能である。

所与のイメージソースは、例えば、デプスイメージを生成するよう構成されたSLカメラ又はTOFカメラ等の3D撮像装置、又はグレスケールイメージ、カラーイメージ、赤外線イメージ、又はその他の種類の2Dイメージを生成するよう構成された2D撮像装置からなることが可能である。イメージソースの別の例として、イメージプロセッサ102に処理用のイメージを提供する記憶装置又はサーバが挙げられる。

所与のイメージ宛先は、例えば、コンピュータ又は携帯電話のヒューマン・マシン・インタフェイスの１つ以上の表示画面、又は処理済みのイメージをイメージプロセッサ102から受信する少なくとも１つの記憶装置又はサーバからなることが可能である。

また、図１では、１つ以上のイメージソース105及び１つ以上のイメージ宛先107は、イメージプロセッサ102とは別個のものとして示されているが、該イメージプロセッサ102は、１つの共通の処理装置において、１つ以上のイメージソース及び１つ以上のイメージ宛先の少なくとも一部と少なくとも部分的に組み合わせることが可能である。このため、例えば、所与のイメージソースとイメージプロセッサ102とを１つの処理装置上で包括的に実施することが可能である。同様に、所与のイメージ宛先とイメージプロセッサ102とを同一の処理装置上で包括的に実施することが可能である。

本実施形態では、イメージプロセッサ102は、所与のイメージ内のエッジを識別し、該エッジに関する該イメージの一部に第１の種類のフィルタリング操作を適用し、及び該イメージの１つ以上の他の部分に第２の種類のフィルタリング操作を適用するよう構成されている。より詳細には、本実施形態では、イメージにクラスタリング操作が適用されて複数のクラスタが識別され、及び該クラスタのエッジを構成する第１組のエッジが識別される。更に、該イメージにエッジ検出操作が適用されて第２組のエッジが識別され、及び該第１組のエッジと該第２組のエッジとに基づいて第３組のエッジが識別される。該第３組のエッジの１つ以上のエッジに関する前記イメージの一部に前記第１の種類のフィルタリング操作が適用される。それぞれのエッジに関する前記イメージの部分は、例えば、それぞれのエッジを形成する複数組のエッジピクセルからなることが可能である。

図１に示すイメージプロセッサ102は、クラスタリングモジュール110、エッジ検出モジュール112、及びフィルタリングモジュール114を含む。該クラスタリングモジュール110は、イメージ中の複数のクラスタを識別するよう構成されている。それらクラスタのエッジは、上述の第１組のエッジとして識別される。エッジ検出モジュール112は、イメージ内の上述の第２組のエッジを識別するよう構成されている。フィルタリングモジュール114は、イメージの対応する部分に前記第１の種類のフィルタリング操作及び前記第２の種類のフィルタリング操作を別個に適用するよう構成されている。

用語「イメージ」とは、本書その他の関連で非常に広い意味で使用されるものであり、イメージ又はその一部に対する様々な操作の適用とは、関連するイメージ（例えば、所与の入力画像についてフィルタリングその他の前処理が行われたもの又は所与の入力画像の他の種類の関連画像）に対するかかる操作の適用を包含するものであると理解されるべきである。

所与の実施形態におけるイメージは、SLカメラ又はTOFカメラ等のデプス撮像装置により生成されたデプスイメージからなることが可能である。様々な組をなすエッジは、個々のエッジマップ又はその他の種類のエッジイメージという形をとることが可能である。これらのエッジイメージは、それらが導出された対応するイメージに関連するイメージの例とみなすことが可能である。他の実施形態では、他の種類及び構成のイメージ及びそれに関連するエッジ情報を受信し、処理し、及び生成することが可能である。

図１の実施形態でイメージプロセッサ102内に示されている複数のモジュールの特定の個数及び構成は、異なる実施形態では変更することが可能である。例えば、別の実施形態では、それらモジュールのうちの２つ以上を一層少数のモジュール内に組み込むことが可能である。本書で開示する操作を実行するよう適当に修正された他の従来のイメージ処理集積回路又はその他の種類のイメージ処理回路を使用して、イメージプロセッサ102のモジュール110,112,114のうちの１つ以上の少なくとも一部を実施することが可能である。

以下、図２ないし図６のフローチャートに関して、イメージプロセッサ102及びそのモジュール110,112,114の操作について一層詳細に説明する。これらの各フローチャートは、モジュール110,112,114を使用して実施されるエッジ保存・ノイズ抑制のための例示的なプロセスに関するものである。滑動近辺を用いたエッジ保存・ノイズ抑制のためのもう１つの例示的なプロセスを図７に関して後述することとする。

イメージプロセッサ102により実施される所与のエッジ保存・ノイズ抑制プロセスの結果として得られる出力イメージは、イメージプロセッサ102において更なる操作（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）を受けることが可能である。

代替的に、イメージプロセッサ102により生成された結果的に得られた出力イメージは、ネットワーク104を介して１つ以上の処理装置106へ提供することが可能である。１つ以上のかかる処理装置は、上述の後続の操作（特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡など）を実行するよう構成されたイメージプロセッサをそれぞれ備えることが可能である。

処理装置106は、例えば、コンピュータ、携帯電話、サーバ、又は記憶装置を、任意の組み合わせで備えることが可能である。１つ以上のかかる処理装置はまた、例えば、イメージプロセッサ102により生成されたイメージを提示するために使用される表示画面その他のユーザインタフェイスを含むことが可能である。よって、処理装置106は、ネットワーク104を介してイメージプロセッサ102から処理済みのイメージストリームを受信する多種多様な異なる宛先装置（例えば、イメージプロセッサ102から１つ以上の処理済みのイメージストリームを受信する少なくとも１つのサーバ又は記憶装置）からなることが可能である。

本実施形態では処理装置106とは別個のものとして示したが、イメージプロセッサ102は、少なくとも部分的に、複数の処理装置106のうちの１つ以上と少なくとも部分的に組み合わせることが可能である。このため、例えば、複数の処理装置106のうちの所与の１つを使用してイメージプロセッサ102を少なくとも部分的に実施することが可能である。例えば、イメージプロセッサ102及びおそらくは所与のイメージソースを含むようにコンピュータ又は携帯電話を構成することが可能である。それ故、１つ以上のイメージソース105は、コンピュータ、携帯電話、又はその他の処理装置に付随するカメラその他の撮像装置からなることが可能である。既述のように、イメージプロセッサ102は、共通の処理装置において１つ以上のイメージソース又はイメージ宛先と少なくとも部分的に組み合わせることが可能である。

本発明におけるイメージプロセッサ102は、少なくとも１つの処理装置を使用して実施することを想定したものであり、メモリ122に接続されたプロセッサ120を備えたものである。該プロセッサ120は、イメージ処理操作の実行を制御するために該メモリ122内に格納されているソフトウェアコードを実行する。イメージプロセッサ102はまた、ネットワーク104を介した通信をサポートするネットワークインタフェイス124を備えている。

プロセッサ120は、例えば、マイクロプロセッサ、特定用途向け集積回路（ASIC）、FPGA（field-programmable gate array）、中央処理装置（CPU）、ALU（arithmetic logic unit）、ディジタル信号プロセッサ（DSU）、又はその他の同様の処理装置要素、並びにその他の種類及び構成のイメージ処理回路を、任意の組み合わせで備えることが可能である。

メモリ122は、イメージプロセッサ102の機能の各部（例えば、モジュール110,112,114の各部）を実施するためにプロセッサ120により実行されるソフトウェアコードを格納する。対応するプロセッサにより実行されるソフトウェアコードを格納する所与のかかるメモリは、本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体又はその他の種類のコンピュータプログラム製品として本書で一層広範に称されるものの一例であり、例えば、ランダムアクセスメモリ（RAM）又はリードオンリーメモリ（ROM）等の電子的なメモリ、磁気メモリ、光メモリ、又はその他の種類の記憶装置を任意の組み合わせで備えることが可能である。上述のように、プロセッサは、マイクロプロセッサ、ASIC、FPGA、CPU、ALU、DSP、又はその他のイメージ処理回路の一部又はそれらの任意の組み合わせからなることが可能である。

また、本発明の実施形態は集積回路という形で実施することが可能であることが理解されよう。所与のかかる集積回路による実施形態では、典型的には、半導体ウェハの一表面上に同一のダイが繰り返しのパターンで形成される。各ダイは、本書で説明するイメージプロセッサ又はその他のイメージ処理回路を含み、その他の構造又は回路を含むことも可能である。個々のダイは、該ウェハから切断され又はダイス状に切断され、次いで集積回路としてパッケージ化される。ウェハをダイス状に切断しダイをパッケージ化して集積回路を作製するための方法については当業者には周知のところである。このように作製された集積回路は、本発明の一実施形態とみなされるものである。

図１に示すイメージ処理システム100の特定の構成は、例示のみを目的としたものであり、該システム100は、別の実施形態では、同図に特に示したもの（かかるシステムの従来の実施態様に一般に見られる種類の１つ以上の構成要素を含む）に加えて又はそれに代えて別の構成要素を含むことが可能である。

例えば、実施形態によっては、イメージ処理システム100は、ユーザのジェスチャを認識するためにイメージストリームを処理するビデオゲームシステム又はその他の種類のジェスチャベースのシステムとして実施される。本開示の技術は、ジェスチャベースのヒューマン・マシン・インタフェイスを必要とする多種多様な他のシステムで使用するために同様に適用することが可能であり、また、ジェスチャ認識以外の用途（例えば、ロボット工学その他の工業用途におけるマシンビジョンシステム）に適用することも可能である。

図２を参照すると、図１のイメージ処理システム100におけるエッジ保存・ノイズ抑制のための例示的なプロセスが示されている。図２のプロセスは、イメージプロセッサ102により、そのクラスタリングモジュール110、エッジ検出モジュール112、及びフィルタリングモジュール114を使用して実施されることを想定したものである。本実施形態のプロセスは、ブロック200に示すように、撮像装置からなるイメージソース105からのノイズの多い入力イメージI_Nから開始する。この実施形態では、該ノイズの多い入力イメージは、より詳細には、デプス撮像装置からのデプスマップ又はその他のデプスイメージからなることが想定されている。本開示の技術は、カラーイメージを含む他の種類のイメージに直接的な態様で適用することが可能であるが、該ノイズの多い入力イメージはグレースケールイメージであることも想定されている。

本プロセスは、ブロック202-1,202-2,202-3にそれぞれ示すように、追加の関連するイメージI_CE,I_edge,I_TEを生成し、及びブロック204に示すように、明確に画定されたエッジを有するノイズ除去されたイメージI_Aからなる出力イメージを生成する。ブロック202-1,202-2,202-3に示す該関連するイメージI_CE,I_edge,I_TEは、個々のエッジマップ又はその他の種類のエッジイメージという形をとることが可能であり、及び第１組のエッジ、第２組のエッジ、及び第３組のエッジと本書でより一般的に称するものの実例とみなすことが可能なものである。入力イメージI_N及びそれに関連するイメージI_CE,I_edge,I_TEの各々は、実数の矩形m×n行列という形をとることが想定されている。このため、本実施形態では、イメージI_N,I_CE,I_edge,I_TEの全てがピクセル単位で同一のサイズ又は解像度を有することが想定されている。

本プロセスは、ステップ205,206,208,210,212,214,216を含む。本プロセスの目的は、ノイズ除去されたイメージI_Aを生成し、該ノイズ除去されたイメージI_Aが、ノイズの多い入力イメージI_Nと比較して、信号ノイズ比（SNR）、ピークSNR（PSNR）、又はその他の測度（例えば、様々な性能指数）に関して大幅に改善されたイメージ品質を呈するようにすることにある。

ステップ205で、ノイズの多い入力イメージI_Nにローパスフィルタリング操作が適用される。このローパスフィルタリング操作は、高周波ノイズを除去するために使用され、本書でより一般的に「前処理操作」と称するものの一例である。他の実施形態では、他の種類の前処理操作を適用することが可能である。後続のクラスタリング操作は、高周波ノイズに敏感なものとなり得るため、高周波ノイズの除去は、実施形態によっては有利なものとなる。

ステップ205で適用されるローパスフィルタリング操作は、ノイズ除去された出力イメージI_Aにおけるエッジを劣化させることはない。これは、ローパスフィルタリングされた入力イメージI_Nが、後続のクラスタリングにしか使用されないからである。該ローパスフィルタリング操作の種類は、特定のイメージ処理用途に応じて変更することが可能であり、多種多様な異なるタイプの線形又は非線型平滑化を使用することが可能である。例えば、シグマ＝0.66及びガウス近似サイズ＝5でガウシアン平滑化を使用することが可能である。

この種のローパスフィルタリングが、ステップ300-308を含む図３のフローチャートに示されている。行列G={g_pq}は、ガウス近似であり、この例では、ガウス近似サイズ=5（インデックスp,q=1,2,…,5）である。ステップ300は、イメージピクセルのインデックスi,jを初期化し、ステップ302は、それらの現在値をイメージ大きさm,nと比較する。このフローチャートでは、I₂は、後続のクラスタリングを受けることになるローパスフィルタリング後のイメージを示している。ステップ304は、ガウス近似に基づいて特定のフィルタリング後のイメージピクセル(i,j)を決定する。ステップ306は、i,jをインクリメントし、その後、プロセスはステップ302に戻る。最終的に、ステップ308は、ローパスフィルタリングが完了したことを示し、ローパスフィルタリング後のイメージI₂及び入力イメージI_Nが図２の次のステップのために利用可能となる。

ステップ206で、ステップ205で処理されたイメージが少なくとも１つのクラスタリング操作を用いてクラスタ化される。該クラスタリング操作は、イメージプロセッサ102のクラスタリングモジュール110を使用して実施される。上述のように、ローパスフィルタリング後のイメージI₂は、入力イメージI_Nに関連するバージョンとみなされ、その両方とも、本書で広い意味で用いる共通の用語「イメージ」と称することが可能である。

該クラスタリング操作は、イメージについてのクラスタマップの生成を伴うことが可能である。例えば、入力イメージI_Nのローパスフィルタリング後バージョンを表すイメージI₂についての所与のクラスタマップは、以下の態様で定義することが可能である。イメージI₂の全ピクセルからなる一組のピクセルが、該ピクセルの複数の非交差サブセットへとセグメント化され、かかる各サブセットが１つのクラスタを表すものと仮定する。この場合のクラスタマップは、イメージI₂と同一のサイズを有する行列C_mという形をとることが可能である。C_mからの要素(i,j)は、I₂の特定のクラスタのインデックスに対応し、座標(i,j)を有するイメージピクセルがこれに属する。他の実施形態では、他の種類のクラスタマップを使用することが可能である。よって、本書で用いる用語「クラスタマップ」は、広い意味で解釈されることを意図したものである。

ステップ206を実施するために様々な異なるクラスタリング技術を使用することが可能である。例えば、１つ以上のかかる技術は、統計領域マージング（SRM：statistical region merging）に基づくものとすることが可能である。SRMの従来の側面については、R. Nock 及び F. Nielsen の「Statistical region merging」（IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 26, No.11, November 2004）に開示されている。

この実施形態におけるクラスタリング技術は、一般に、識別されたクラスタの境界が、撮像されたシーン内の対応する複数のオブジェクトの重要な境界を（かかる各オブジェクトが撮像装置から異なる距離に配置されている場合又はかかるオブジェクトの色が異なる場合又はかかるオブジェクトがその他の異なる特徴を有するものである場合であっても）含むことを確実にすることを試みるものである。

SRMベースのクラスタリング技術は、一般に、ランダムノイズに対する耐性を有し、妥当な計算上の複雑性並びに良好な定量誤差範囲を有するものである。また、計算上の要件を動的に制御することを可能にする態様でセグメント化の程度を調整することが可能である。

SRMベースのクラスタリング技術の一層特定の実例では、イメージの各ピクセルは、最適なイメージに関する独立分散型確率変数（independently distributed random variable）の類によって表され、実際のイメージは該最適なイメージの特定の観察とみなされる。該実際のイメージ及び最適なイメージは、それぞれ、各統計領域内で複数のピクセルが同一の期待値を有し及び隣接する複数の領域の期待値が異なることを指定する均質（homogeneity）ルールを使用して複数の最適な統計領域へと分離される。

この例示的なSRMベースの技術は、特定のマージング叙述Pを使用した再帰的マージングを実施する。I₂の各ピクセルを確率変数Qで表すこととする。この場合、I₂の２つの任意領域R₁,R₂についてのマージング叙述Pは次のように表すことができる。

ここで、|R|は、領域R内のピクセル数を示し、Gは、I₂の所与のピクセルのとり得る最大値を示し（例えば、Kinectイメージセンサからのイメージの場合にはG=2¹²）、δは１未満の正値である。したがって、|R₁-R₂|は、領域R₁内のピクセル数と領域R₂内のピクセル数との差の絶対値を示している。この技術は、P(R₁,R₂)=true（真）の場合に領域R₁,R₂を単一クラスタへとマージする。

この技術はピクセルレベルで開始し、最初はあらゆるピクセルが個々の領域とみなされる。叙述Pに則して複数の領域のマージングがテストされる順番は、２つの異なる領域の２つの部分間でテストが発生するときを示す不変量Aに従い、これは、これら２つの領域内の全てのテストが以前に発生していることを意味している。この不変量Aは、関数f(pix₁,pix₂)=|pix₁-pix₂|（pix_iはイメージピクセル値）を使用して達成することが可能である。

該SRMベースの技術は次いで以下の態様で進行する。最初に、全ての考え得るピクセル対（pix₁,pix₂）が、関数f(pix₁,pix₂)=|pix₁-pix₂|の昇順でソートされ、その結果として得られた順序が一回だけトラバースされる。R(pix₁)≠R(pix₂)（R(pix)はpixが属する現在の領域を示す）である、あらゆる現在のピクセル対（pix₁,pix₂）について、テストP(R(pix₁),R(pix₂))が実行され、該テストが真を返した場合にのみ、R(pix₁)及びR(pix₂)がマージされる。イメージについての該マージングプロセスの完了時に、イメージピクセルが複数のクラスタへと分離され、該クラスタは上述した類のクラスタマップにより特徴付けられるものである。

この実施形態では、不変量Aの近似として関数f(pix₁,pix₂)=|pix₁-pix₂|が使用されたが、他の関数を使用することも可能である。また、上記SRMベースの技術において、マージング叙述及びその他のパラメータを変更することが可能である。更に、SRMベースでない様々なクラスタリング技術を使用することが可能である。これに関し、クラスタリングモジュール110は、異なるレベルの計算リソースを必要とする複数の異なるクラスタリング技術を実施し、及びイメージプロセッサ102の現在の計算負荷に基づいてかかる複数の異なるクラスタリング技術を切り換えることが可能である、とういことに留意されたい。

ステップ208で、クラスタのエッジが識別される。上述のように、ステップ206の出力は、クラスタマップという形をとることが可能である。該クラスタマップがステップ208で処理されて、ブロック202-1の関連するイメージI_CE（I_CEはクラスタのエッジからなる）が生成される。例えば、該関連するイメージI_CEは、対応する近辺O(i,j,1)が該ピクセルの周囲に1ピクセルの半径を有し且つ座標(i,j)が異なるクラスタからのピクセルを有する場合にのみI_CE(i,j)=1となり、それ以外の場合にはI_CE(i,j)=0となるように生成することが可能である。他の実施形態では、クラスタエッジを識別するために他の技術を使用することが可能である。

ステップ210は、ステップ205,206,208と並列に実行することを想定したものであり、該ステップ210で、ノイズの多い入力イメージI_Nにエッジ検出操作が適用されて、第２組のエッジからなる関連するエッジイメージI_edgeが生成される。上述のように、この実施形態では、第１組のエッジは、エッジイメージI_CEのクラスタエッジからなる。本プロセスのエッジ検出部分は、図４にも示されており、ブロック400でノイズの多い入力イメージI_Nを受信し、ステップ402でエッジ検出を実行してエッジイメージI_edgeを取得する。最後に、ステップ404は、エッジ検出が完了し、エッジイメージI_edge及び入力イメージI_Nが図２のプロセスの次のステップのために利用可能となることを示している。

図４のステップ402で生成されるエッジイメージI_edgeは、座標(i,j)を有するピクセルが１つのエッジに属する場合にのみ条件I_edge (i,j)=I_N(i,j)を満たし、それ以外の場合にはI_edge (i,j)=0となる、ということが想定されている。換言すれば、I_edgeは、黒またはゼロ強度の背景上のエッジを構成する。

ステップ402でエッジイメージI_edgeを生成するために、多種多様な既知の任意のエッジ検出技術を適用することが可能である。かかるエッジ検出技術の例が、例えば、J. Canny の「A computational approach to edge detection」（IEEE Transactions on Pattern Analysis and Machine intelligence, Vol. PAMI-8, Issue 6, pp. 679-698, November 1986）、R. Kimmel 及び A.M. Bruckstein の「On regularized Laplacian zero crossing and other optimal edge integrators」（International Journal of Computer Vision, 53(3):225-243, 2003）、及び W.K. Pratt の「Digital Image Processing, 3rd Edition」（John Wiley & Sons, 2001）に開示されている。

以下で説明する後続処理は、信頼できないエッジを確実に排除するものとなるため、ステップ402で所与のエッジ検出を適用する際には、重要なエッジの保持を確実にすべく、あらゆる関連するエッジ検出しきい値を十分に低く設定すべきである。

上述のように、本書で用いる用語「イメージ」は、広い意味で解釈されることを意図したものであり、エッジイメージI_edgeとの関連では、例えば、検出されたエッジを特徴付けるエッジマップ又はその他の一組のピクセル情報からなることが可能である。用語「エッジ」もまた、広い意味で解釈されることを意図したものであり、例えば、所与のイメージ中のオブジェクトの周辺部分と該イメージの他の部分との間の遷移に関わる該イメージ内の一組のピクセルを含むものである。

ステップ212で、冗長なエッジが排除される。ステップ210で適用されたエッジ検出操作は、多数の重要性の低いエッジ又は偽りのエッジを識別する傾向を有するものであり、それら又はその他の冗長なエッジがステップ212で排除される。これは、例えば、エッジイメージI_CE,I_edgeにそれぞれ対応する第１組のエッジ及び第２組のエッジを比較すること及び該比較に基づいて冗長と判定された１つ以上のエッジを排除することを含むことが可能である。

ここで、用語「冗長なエッジ」は、広い意味で解釈されることを意図したものであり、エッジイメージI_CE,I_edgeにそれぞれ対応する第１組及び第２組のエッジの両方に存在するエッジに限定されるものと解釈すべきではない。したがって、ステップ212との関連では、冗長なエッジとは、例えば、エッジイメージI_edge内に存在するが、エッジイメージI_CE内の何れの特定のクラスタエッジにも対応しないエッジ、とすることが可能である。

エッジイメージI_CE,I_edgeの一方又は両方におけるエッジを排除するために、他の判断基準を追加的又は代替的に使用することが可能である。例えば、それらエッジイメージの一方又は両方における特定のエッジを不十分なサイズのものとして随意選択的に排除することが可能である。

エッジ排除ステップ212の出力は、信頼できる又は「真の」エッジ（ブロック202-3で示す）を有するエッジイメージI_TEである。該エッジイメージI_TEは、上述の第３組のエッジの一例であり、エッジイメージI_CE,I_edgeにそれぞれ対応する前記第１組及び第２組のエッジに基づいて決定される。

ステップ212で使用するための例示的なエッジ排除プロセスが図５に示されている。このプロセスは、一般に、I_edge内のエッジのうちI_CE内の近くのクラスタエッジにあるエッジのみを保持するよう構成される。該プロセスは、ステップ500で、入力としてエッジイメージI_CE,I_edgeを受信し、イメージピクセルインデックスi,jを初期化する。ステップ502は、インデックスi,jの現在値を、所定のしきい値d_thrを減算したイメージ大きさm,nと比較する。該しきい値d_thrは、より詳細には、ピクセル(i,j)を中心としたエッジイメージI_CE内の近辺O_CE(i,j)の半径を示している。したがって、該近辺は、ピクセル(i,j)からd_thr未満のユークリッド距離を有するエッジイメージI_CEの一組のピクセルを画定する。本実施形態におけるd_thrの例示的な値は15であるが、他の値を使用することも可能である。

ステップ504は、ピクセルI_edge(i,j)が非ゼロであるか否かを判定し、ピクセルI_edge(i,j)が非ゼロである場合には、ステップ506が、エッジイメージI_CE内の対応する近辺O_CE(i,j)が少なくとも１つの非ゼロピクセルを有するか否かを判定する。エッジイメージI_CE内の対応する近辺O_CE(i,j)が少なくとも１つの非ゼロピクセルを有する場合には、該非ゼロピクセルI_edge(i,j)がI_CE内のクラスタエッジの近くにあり且つ維持され、ステップ510がi,jをインクリメントし、次いで本プロセスはステップ502に戻る。エッジイメージI_CE内の対応する近辺O_CE(i,j)が少なくとも１つの非ゼロピクセルを有さない場合には、非ゼロピクセルI_edge (i,j)は、I_CE内のクラスタエッジの近くにはなく、それ故、ステップ508でその値をゼロに設定することにより排除され、次いでステップ510がi,jをインクリメントし、本プロセスはステップ502に戻る。また、ステップ504で、ピクセルI_edge(i,j)が非ゼロではなくゼロであると判定された場合には、ステップ510がi,jをインクリメントし、本プロセスはステップ502に戻る。

図５には詳細に示していないが、エッジイメージI_TEは、本プロセスの開始時にエッジイメージI_edgeへと初期化され、及びステップ508で排除されたエッジに関連するピクセルを削除するために必要に応じてI_edgeと共に更新されることが想定されている。最終的に、ステップ505は、エッジ排除プロセスが完了したことを指示し、及びエッジイメージI_TE及びI_edgeが図２のプロセスの次のステップで利用可能となる。更新されたI_edge及びそれに対応する真のエッジイメージI_TEは、I_CEからのクラスタエッジの定義された近辺の部分であるという意味で信頼できるオリジナルI_edgeのエッジのみを含むものとなる。

ステップ214,216で、別個の異なるフィルタリング操作がイメージの異なる部分に適用される。より詳細には、入力イメージ_INのうちエッジイメージI_TE内の真のエッジに関連する部分以外の部分が、ステップ214でローパスフィルタリングされ、ステップ216でエッジイメージI_TE内の真のエッジに関連する部分に特殊なフィルタリングが適用される。その結果として得られる出力は、ボックス204に示すように、明確に画定されたエッジを有するノイズ除去されたイメージI_Aである。

ステップ214で適用されるローパスフィルタリングが図６に示されており、該ローパスフィルタリングは、例えば、シグマ＝0.66及びガウス近似サイズ＝5でのガウシアン平滑化を含む。図６のプロセスに対する入力は、ブロック600に示すように、イメージI_N,I_TEからなる。ステップ602,604,606,608は、ステップ205のローパスフィルタリングとの関連で図３のステップ300-306に関して説明したようにクラスタリングに先立って入力イメージI_N全体に以前に適用されたものと実質的に同一のローパスフィルタリングを実施する。また、ステップ610,612,614,615,616,618は、エッジイメージI_TEの真のエッジに対応する非ゼロのエッジピクセルを、ノイズ除去されたイメージI_A内の同じ位置に挿入するように構成される。

ステップ216で真のエッジ近辺を使用してエッジピクセルに適用される特殊なフィルタリングは、図５には明示していないが、以下のようにして実施することが可能である。あらゆるエッジピクセル(i,j)毎に所定数Qの近傍（neighborhood）ピクセルp₁,…,p_Qが決定される。この例における近傍ピクセルは、座標(k,l)（i−4＜k＜i＋4, j−4＜l＜j＋4）を有する全てのピクセルと定義されるが、他の近傍ピクセルの定義を使用することが可能である。P₁,…,P_Qは、それぞれピクセルp₁,…,p_Qに関する値であると仮定する。本実施形態における該値は、デプスマップ又はその他のデプスイメージの個々のピクセルについてのデプス値又はその他のデプス情報からなることが想定されているが、他の実施形態では他の種類の情報（例えば、強度（intensity）イメージの個々のピクセルについての強度値）からなることが可能である。該特殊なフィルタリングは、Q≠0の場合に、エッジピクセル(i,j)の値を、全ての考え得る(i,j)について（P₁＋…＋P_Q）／Qへと変更する。現在のピクセルについてQ＝0の場合には、その値はゼロに設定される。これは、現在のピクセルがエッジに沿った近傍を有さない場合には、該ピクセルが誤ってエッジに属するものとみなされたことが想定されるからである。

他の実施形態では、ノイズ除去されたイメージI_A内へのエッジピクセルの挿入に先立ち、多数の他の種類の特殊なフィルタリングを該エッジピクセルに適用することが可能である。例えば、エッジピクセル(i,j)の値は、代替的に、個々の近傍ピクセルp₁,…,p_Qの値P₁,…,P_Qの中央値（median）に等しく設定することが可能である。

本書で用いる用語「近辺（vicinity）」は、上述した実例に関して説明した例示的な近傍（neighborhoods）よりも広い意味で解釈されることを意図したものである。多種多様な異なる技術を使用して、イメージのエッジ部分のフィルタリングに使用するための近辺ピクセルの選択及び重み付けを行うことが可能であり、及びかかる多数の技術のうちの特定の１つを、計算上の複雑さや所望のエッジ品質といった因子を考慮することにより、所与の用途で使用するために決定することが可能である。

図２ないし図６のフローチャートで使用した特定のプロセスステップは例示のみを目的としたものであり、他の実施形態では異なる種類及び構成のイメージ処理操作を利用することが可能である。例えば、信頼できるエッジが識別される特定の態様、及びイメージのエッジ部分及び非エッジ部分に別個の異なるフィルタリング操作が適用される特定の態様は、他の実施形態では変更することが可能である。また、上述のように、図面において直列に実行されるものとして示した各ステップは、他の実施形態では、少なくとも部分的に、１つ以上の他のステップと並列に実行することが可能である。したがって、１つ以上のかかる複数のプロセスにおける様々な操作を直接的な態様でパイプライン化することが可能である。

また、１つ以上の代替的な実施形態では、入力イメージI_Nの複数の非エッジ部分に対する別個のローパスフィルタリングの適用を回避することが可能である。ここで、この種の実施形態について図７を参照して説明する。この実施形態におけるプロセスは、図２のプロセスのフィルタリングステップ214,216の代わりに適用される以下の各ステップを含む：
１．入力イメージI_Nのピクセルをスキャンする。シーケンシャル又はパラレルスキャンを使用することが可能であり、使用される特定のスキャンシーケンスによって結果が変化することはない。
２．各ピクセル毎に、水平方向の「現在ピクセル±近辺幅」ピクセルと垂直方向の「現在ポイント±近辺高さ」ピクセルとを境界とする矩形の近辺を定義する。図７に示す特定のイメージ部分において、該近辺は、パラメータ「近辺幅」＝3及び「近辺高さ」＝2により定義されているが、他の値を使用することも可能である。２つの異なる選択された現在ピクセルについての２つの異なる近辺が図７に示されている。該異なる現在ピクセルについての近辺は、イメージ中の異なる位置における「滑動近辺（sliding vicinities）」とも呼ばれる。イメージの境界は、同図に示すように各側で近辺幅ピクセル又は近辺高さピクセルを使用して一様に処理することが可能である。
３．現在ピクセルについて上記で定義された近辺が１つのエッジピクセルを含む場合には、該エッジピクセルと、近辺の中心から該エッジピクセルよりも遠くにある全てのピクセルとをマスクする（mask out）。これにより「無関係な（foreign）」ピクセルが考慮の対象外とされる。
４．近辺の中心における現在ピクセルが、他の残りの近辺ピクセルの輝度範囲の外側にある場合には、該現在ピクセルが、局所的な異常値（outlier）とみなされ、後にその範囲から最も近い値にセットされるようマークされる。
５．全ての延期されたピクセル値の変更を適用する。このプロセス部分は、２組のメモリロケーション（１組がイメージを格納し、もう１組がマスクを格納する）を使用して実施することが可能である。異なる近辺位置を滑動し考察している間に該マスクのみが変更される。該マスクが所与の位置でゼロを有する場合には、イメージ中のその位置について変更は行われず、該マスクが所与の位置でゼロを有さない場合には、該マスクからの新しい値でイメージ中の同じ位置における旧い値を上書きすることになる。
６．イメージ全体のスキャンが完了して必要な変更が適用された後、少なくとも１ピクセルが変更された場合には、本プロセスを反復することが可能である。実際の低解像度のデプスイメージの場合、修正されたピクセルの個数は、ほぼ指数関数的に減少するため、全ての考え得る変更を実行するのに一般に十分な反復は約15〜20回である。最大反復数step_maxを指定すること（例えば、step_max=10）が可能である。

上述のエッジ保存・ノイズ抑制プロセスは、従来の技術と比較して、特にSLカメラ又はTOFカメラからのデプスイメージ等の低解像度イメージの場合に、向上したイメージ品質を提供する。イメージ品質は、SNR及びPSNRといった測度並びに既述のPrattの引用文献に記載される性能指数Rといった他の測度の点で、従来の技術よりも改善される。これにより、エッジ情報の処理を伴う後続のイメージ処理操作（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）の実施が促進される。

本書で説明した本発明の実施形態はその例示のみを目的としたものである、ということを再び強調すべきである。例えば、本発明の他の実施形態は、本書で説明した特定の実施形態で使用したものとは異なる多種多様な種類及び構成のイメージ処理回路、モジュール、及び処理操作を使用して実施することが可能である。更に、特定の実施形態を説明する上で本書で行った特定の想定は、別の実施形態では適用する必要がない。特許請求の範囲内に含まれるこれらの及び多数の他の代替的な実施形態は、当業者には自明のものである。

Claims (20)

1. イメージ中のエッジを識別し、
   該エッジに関連する該イメージの部分に第１の種類のフィルタリング操作を適用し、
   該イメージの１つ以上の他の部分に第２の種類のフィルタリング操作を適用する、
   という各ステップからなり、
   前記エッジを識別する前記ステップ及び前記第１及び第２の種類のフィルタリング操作を適用する前記ステップが、メモリに接続されたプロセッサを含む少なくとも１つの処理装置で実施される、
   方法。
2. 前記イメージが、デプス撮像装置により生成されたデプスイメージからなる、請求項１に記載の方法。
3. 前記イメージ内のエッジを識別する前記ステップが、
   前記イメージにクラスタリング操作を適用して複数のクラスタを識別し、
   該クラスタのエッジを構成する第１組のエッジを識別する、
   という各ステップからなる、請求項１に記載の方法。
4. 前記クラスタリング操作の適用に先立って前記イメージにローパスフィルタリング操作を適用するステップを更に含む、請求項３に記載の方法。
5. 前記イメージ中のエッジを識別する前記ステップが、
   前記イメージにエッジ検出操作を適用して第２組のエッジを識別し、
   前記第１組のエッジ及び前記第２組のエッジに基づいて第３組のエッジを識別する、
   という各ステップを更に含み、
   該第３組のエッジの１つ以上のエッジに関連する前記イメージの部分に前記第１の種類のフィルタリング操作が適用される、
   請求項３に記載の方法。
6. 前記第３組のエッジを識別する前記ステップが、前記第１組のエッジと前記第２組のエッジとを比較し、該比較に基づいて冗長なエッジであると判定された１つ以上のエッジを排除する、という各ステップからなる、請求項５に記載の方法。
7. 前記イメージ中のエッジを識別する前記ステップが、１つ以上のエッジイメージを生成するステップを更に含む、請求項１に記載の方法。
8. 前記第１の種類のフィルタリング操作が、所定数Qの近傍ピクセルp₁,…,p_Qの関数として所与のエッジピクセルの値を変更するよう構成されている、請求項１に記載の方法。
9. 前記所与のエッジピクセルの値が、Q≠０の場合に（P₁＋…＋P_Q）／Qに変更され、Q＝０の場合にゼロに設定される（P₁,…,P_Qはそれぞれ近傍ピクセルp₁,…,p_Qの値を示す）、請求項８に記載の方法。
10. 前記所与のエッジピクセルの値が、近傍ピクセルp₁,…,p_Qのそれぞれの値P₁,…,P_Qの中央値（median）に変更される、請求項８に記載の方法。
11. 前記第２の種類のフィルタリング操作が、ガウシアン平滑化操作からなる、請求項１に記載の方法。
12. 前記イメージに適用される前記クラスタリング操作が、前記イメージを異なる統計領域にそれぞれ対応する複数のクラスタへと分離する統計領域マージングに基づくクラスタリング操作からなる、請求項３に記載の方法。
13. 前記統計領域マージングに基づく前記クラスタリング操作が、次式：
    に従って前記イメージの２つの任意の統計領域R1,R2について特定のマージング叙述を使用した再帰的マージングを実施し、
    ここで、|R₁-R₂|は、領域R₁内のピクセル数と領域R₂内のピクセル数との差の絶対値を示し、b(R_i)は、領域R₁内のピクセル数と前記イメージ内の１ピクセルのとり得る最大値との関数であり、P(R₁,R₂)=true（真）の場合に領域R₁,R₂が単一クラスタへとマージされる、
    請求項１２に記載の方法。
14. コンピュータプログラムコードを有するコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムコードが、処理装置で実行された際に、請求項１に記載の方法を該処理装置に実行させるものである、コンピュータ読み取り可能記憶媒体。
15. メモリに接続されたプロセッサを含む少なくとも１つの処理装置からなる装置であって、
    該少なくとも１つの処理装置が、イメージ内のエッジを識別し、該エッジに関連する該イメージの部分に第１のタイプのフィルタリング操作を適用し、及び該イメージの１つ以上の他の部分に第２の種類のフィルタリング操作を適用するよう構成されている、装置。。
16. 前記処理装置がイメージプロセッサからなる、請求項１５に記載の装置。
17. 前記イメージプロセッサが、
    前記イメージ内の複数のクラスタを識別するよう構成されたクラスタリングモジュールであって、該クラスタのエッジが第１組のエッジとして識別される、クラスタリングモジュールと、
    前記イメージ内の第２組のエッジを識別するよう構成されたエッジ検出モジュールと
    からなり、
    前記第１組のエッジ及び前記第２組のエッジに基づいて第３組のエッジが識別され、
    該第３組のエッジの１つ以上のエッジに関連する前記イメージの部分に前記第１の種類のフィルタリング操作が適用される、
    請求項１６に記載の装置。
18. 前記イメージプロセッサが、前記第１の種類のフィルタリング操作と前記第２の種類のフィルタリング操作とを前記イメージの対応する部分に別個に適用するよう構成されたフィルタリングモジュールからなる、請求項１６に記載の装置。
19. 請求項１５に記載の装置を構成する集積回路。
20. イメージを提供するイメージソースと、
    １つ以上のイメージ宛先と、
    前記イメージソースと前記イメージ宛先との間に接続されたイメージプロセッサと
    からなり、
    該イメージプロセッサが、イメージ内のエッジを識別し、該エッジに関連する該イメージの部分に第１の種類のフィルタリング操作を適用し、及び該イメージの１つ以上の他の部分に第２の種類のフィルタリング操作を適用するよう構成されている、
    イメージ処理システム。