[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6349614B2 - 画像処理方法及び画像処理システム - Google Patents

画像処理方法及び画像処理システム Download PDF

Info

Publication number
JP6349614B2
JP6349614B2 JP2016554733A JP2016554733A JP6349614B2 JP 6349614 B2 JP6349614 B2 JP 6349614B2 JP 2016554733 A JP2016554733 A JP 2016554733A JP 2016554733 A JP2016554733 A JP 2016554733A JP 6349614 B2 JP6349614 B2 JP 6349614B2
Authority
JP
Japan
Prior art keywords
pixels
color
image processing
denoising
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016554733A
Other languages
English (en)
Other versions
JP2017518546A (ja
Inventor
カオ、ジシェン
マ、ジュンピン
チェン、シン
ワン、ミンユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017518546A publication Critical patent/JP2017518546A/ja
Application granted granted Critical
Publication of JP6349614B2 publication Critical patent/JP6349614B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

著作権情報
本特許文書の開示の一部は著作権保護の対象となる資料を含んでいる。特許文書または特許開示は特許商標局の特許ファイルまたは特許記録に記載されているので、何者かが完全な複写を行っても著作権者は異議を唱えない。
開示される実施形態は概してデジタル画像信号処理に関し、より詳細には画像ノイズ除去に関するが、これに限定されるものではない。
より高速でより高い解像度の画像センサーの開発に伴い、モデムカメラはこれまで以上に多用途で利用され、強力になっている。例えば、ピクセルをベースにした電荷結合素子(CCD)イメージセンサーと相補型金属酸化膜半導体(CMOS)イメージセンサーは、現代のデジタル画像システムで広範囲に使用されている。
これは、本発明の実施形態が対応することを目的とする一般的な分野である。
本明細書に説明されるのは、画像処理装置をサポートできるシステム及び方法である。画像処理装置は、画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセットを得るために動作する。また、画像処理装置は、ノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す、特徴値の第2のセットを得ることもできる。さらに、画像処理装置は特徴値の第1のセットと特徴値の第2のセットを使用してノイズ除去ピクセルとノイズ除去基準ピクセルの類似性を決定するために動作する。次に、画像処理装置は、ノイズ除去ピクセルとノイズ除去基準ピクセルの決定した類似性に基づいてノイズ除去ピクセルのノイズ除去された値を計算できる。
本発明の多様な実施形態に従って近傍ブロック次元縮退に基づいた画像ノイズ除去をサポートする場合の例示的な図である。 本発明の多様な実施形態によるRGB画像のピクセルからノイズを除去するためのフィルターウィンドウの例示的な図である。 本発明の多様な実施形態に従って近傍ブロックの次元縮退をサポートする場合の例示的な図である。 本発明の多様な実施形態に従って次元縮退を実行するために選択平均法を使用する場合の例示的な図である。 本発明の多様な実施形態によるRGB画像の異なるタイプの例示的な近傍ブロックを示す図である。 本発明の多様な実施形態によるRGB画像の異なるタイプの例示的な近傍ブロックを示す図である。 本発明の多様な実施形態によるRGB画像の異なるタイプの例示的な近傍ブロックを示す図である。 本発明の多様な実施形態によるRGB画像の異なるタイプの例示的な近傍ブロックを示す図である。 本発明の多様な実施形態に従って図5aの近傍ブロックの次元縮退をサポートする場合の例示的な図である。 本発明の多様な実施形態に従って図5bの近傍ブロックの次元縮退をサポートする場合の例示的な図である。 本発明の多様な実施形態に従って近傍ブロックでエッジラインを保つ場合の例示的な図である。 本発明の多様な実施形態に従って図5cの近傍ブロックの次元縮退をサポートする場合の例示的な図である。 本発明の多様な実施形態に従って図5dの近傍ブロックの次元縮退をサポートする場合の例示的な図である。 本発明の多様な実施形態に従って近傍ブロック次元縮退に基づいた画像ノイズ除去をサポートする場合のフローチャートである。
本発明は制限としてではなく一例として添付図面の図中に示され、同様の参照は類似する要素を示す。本開示の「ある」実施形態または「一」実施形態または「いくつかの」実施形態(複数の場合がある)に対する参照は必ずしも同じ実施形態を参照するわけではない。このような参照が少なくとも1つを意味することに留意するべきである。
以下の本発明の説明では、デジタル画像フォーマットの例としてRGB画像フォーマットが使用されている。当業者には、他のタイプのデジタル画像フォーマットも制限なく使用できることが明らかになる。
画像ノイズ除去
画像収集プロセスは多様な画像情報を収集するために画像センサーを使用できる。例えば、CCD画像センサー及びCMOS画像センサーにカラーフィルターアレイ(CFA)またはカラーフィルターモザイク(CFM)を配置することがある。CFAまたはCFMは、キャプチャした画像にノイズを取り込みがちなごく小さなカラーフィルターのモザイクを含んでいる。
本発明の多様な実施形態に従って、画像プロセスはキャプチャした画像に多様なノイズ除去演算を実行できる。ノイズ除去演算はピクセルベースまたはパッチベースのどちらかであることがある。双方向フィルター法等のピクセルベースのノイズ除去方法は、例えば特定用途向け集積回路(ASIC)を使用して容易に実装される。他方、非局所平均アルゴリズム等のパッチベースのノイズ除去方法は、より良質のデジタル画像を得るために使用できる。
例えば、非局所平均アルゴリズムは、デジタル画像(I)のノイズ除去ピクセル(i)等、ノイズ(例えば、v={v(i)|i∈I})のあるデジタル画像(I)で適用できる。ノイズ除去された画像ピクセルの値NL[v](i)は、以下の方程式を使用し、画像(I)の他のすべてのピクセルによる重み付きコントリビューションに基づいて求めることができる。
Figure 0006349614
ノイズ除去基準ピクセル(j)のための加重関数w(i,j)は以下の加重条件を満たすことができる。
Figure 0006349614
さらに、ノイズ除去基準ピクセル(j)のための加重関数w(i,j)は、ノイズ除去ピクセル(i)とノイズ除去基準ピクセル(j)の類似性に基づいて決定できる。
例えば、類似性は2つのベクトルv(N)とv(N)の間の距離として定義できるが、Nはノイズ除去ピクセル(j)と関連する(例えば取り囲む)近傍ブロックを表す多次元ベクトルであり、Nはノイズ除去基準ピクセル(j)と関連する近傍ブロックを表す多次元ベクトルである。
したがって、ノイズ除去基準ピクセル(j)のための加重関数w(i,j)は、以下の方程式を使用して決定できる。
Figure 0006349614
それに対して、Z(i)は以下の方程式を使用して定義できる規格化定数である。
Figure 0006349614
近傍ブロック次元縮退
図1は、本発明の多様な実施形態に従って近傍ブロック次元縮退に基づいた画像ノイズ除去をサポートする場合の例示的な図である。図1に示されるように、画像化プロセス100は、例えばベイヤ(モザイク)画像等の画像のピクセル101からノイズを除去するためにフィルターウィンドウ110を使用できる。
本発明の多様な実施形態に従って、フィルターウィンドウ110は、ピクセル101からノイズを除去するために使用できる複数のノイズ除去基準ピクセル(例えば、ピクセル102)を含む。
フィルターウィンドウ(Ω)110が、ノイズ(v={v(i)|i∈I})のあるデジタル画像のピクセル(i)101からノイズを除去するために使用されるとき、ノイズ除去ピクセル(i)101のノイズ除去された画像ピクセル(NL[v](i))の値は以下の方程式を使用して求めることができる。
Figure 0006349614
加重関数w(i,j)は、フィルターウィンドウ(Ω)110内のノイズ除去ピクセル(i)101とノイズ除去基準ピクセル(j)102の類似性120に基づいて決定できる。
例えば、類似性120は、2つのベクトルv(N)とv(Nj)の間の距離として定義できるが、Nはノイズ除去ピクセル(i)101を取り囲む近傍ブロック111を表す多次元ベクトルであり、Nはノイズ除去ピクセル(j)102を取り囲む近傍ブロック112を表す多次元ベクトルである。
計算プロセスを簡略化するために、加重関数w(i,j)は、以下の方程式を使用して直線距離(つまり、L距離)に基づいて決定できる。
Figure 0006349614
それに対して、Z(i)は以下の方程式を使用して定義できる規格化定数である。
Figure 0006349614
図1に示される例では、近傍ブロック101と近傍ブロック102が両方とも3かける(3x3)の3個のブロックであるため、ベクトルv(N)とv(Nj)は多次元ベクトルである。上記方程式を使用すると、ノイズ除去基準ピクセル(j)の加重関数w(i,j)の計算には17(3x3+8)の加算演算/減算演算を要することがある。したがって、フィルターウィンドウ(Ω)110は7かける7(7x7)のブロックであるので、フィルターウィンドウ(Ω)110を使用してノイズ除去ピクセル(i)101のノイズ除去された値を計算するには833(17x7x7)の演算を要することがある。
本発明の多様な実施形態に従って、システムは近傍ブロック次元縮退機能を利用することで画像内のピクセル101からノイズを除去するための計算コストをさらに削減できる。
図1に示されるように、システムは、ノイズ除去ピクセル(i)101と関連する近傍ブロック111のピクセル等のピクセルのグループを表すために、特徴値のセットを含む特徴ベクトル(P)121を使用できる。また、システムは、ノイズ除去基準ピクセル(j)102と関連する近傍ブロック112のピクセル等のピクセルのグループを表すために、特徴値のセットを含む特徴ベクトル(Pj)122も使用できる。さらに、特徴ベクトル(P)121と特徴ベクトル(Pj)122は、不規則な近傍ブロック、つまりサイズが異なる近傍ブロックまたは離散形式の近傍ブロックのピクセル等の、規則正しい近傍ブロックで制限されていないピクセルを表すために使用することもできる。
ノイズ除去ピクセル(i)101とノイズ除去基準ピクセル(j)102の類似性に依存する加重関数w(i,j)は、以下の方程式を使用して2つの特徴ベクトルPとPjの間の距離として定義できる。
Figure 0006349614
それに対して、Z(i)は以下の方程式を使用して定義できる規格化定数である。
Figure 0006349614
RGB画像の場合、特徴ベクトル(PとPj)の両方とも4(4)つの色成分を含むことがある。画像化プロセス100がノイズ除去ピクセル(i)101とノイズ除去基準ピクセル(j)102の類似性を決定するには7(4+3)つの演算を要することがある。したがって、7かける7(7x7)のブロックであるフィルターウィンドウ(Ω)110を使用してノイズ除去ピクセル(i)101のためのノイズ除去された値を計算するには343(7x7x7)の演算を要することがある。
したがって、システムは、近傍ブロック次元縮退機能を利用することでノイズ除去ピクセル(i)101とノイズ除去基準ピクセル(j)102の類似性を決定するための計算コストを大幅に削減することが可能で、それによってフィルターウィンドウ(Ω)110を使用してノイズ除去ピクセル(i)101のノイズ除去された値を計算するための計算コストを削減する。
図2は、本発明の多様な実施形態によるRGB画像のピクセルからノイズを除去するためのフィルターウィンドウの例示的な図である。図2に示されるように、画像化プロセスは、RGB画像200のノイズ除去ピクセル201にノイズ除去演算を実行するためにフィルターウィンドウ210を使用できる。
本発明の多様な実施形態に従って、RGB画像200のノイズ除去ピクセル201はさまざまな色であることがある。図2に示される例では、フィルターウィンドウ210の中心に位置するノイズ除去ピクセル201は赤色のピクセル(R)である。一般に、ノイズ除去ピクセル201は、制限なくRGB画像200中の赤のピクセル(R)、青のピクセル(B)、または緑のピクセル(GrもしくはGb)であることがある。
図2に示されるように、ノイズ除去ピクセル201とノイズ除去基準ピクセル(例えば、202と203)の類似性の決定は、異なる近傍ブロック(211〜212と221〜222)に基づくことがある。
近傍ブロックはさまざまなサイズとなることがある。例えば、近傍ブロック211と212は両方とも3かける3(3x3)のブロックである。一方、近傍ブロック221と222は両方とも5かける5(5x5)のブロックである。また、近傍ブロック222は、フィルターウィンドウ210の外部にあるピクセルを含んでもよい。
さらに、近傍ブロックは、多角形、円形、楕円、または立方体もしくは球体等の他の規則正しい形状等、さまざまな幾何学形状であることがある。また、近傍ブロックは多様な不規則な形状であってもよい。
図3は、本発明の多様な実施形態に従って、近傍ブロックの次元縮退をサポートする場合の例示的な図である。図3に示されるように、画像化プロセス300は、中心ピクセル310がある近傍ブロック301に基づいて特徴ベクトル302を決定できる。中心ピクセル310は、ノイズ除去ピクセルまたはノイズ除去基準ピクセルのどちらかであり得る。
本発明の多様な実施形態に従って、特徴ベクトル302は、画像によって使用されるカラーモデルの異なる色に対応する多様な色成分を含むことがある。
例えば、画像がRGB画像であると、特徴ベクトル302は、
赤色の成分
Figure 0006349614
緑色の成分
Figure 0006349614
及び青色の成分
Figure 0006349614
を含むことがある。したがって、特徴ベクトル302は以下の方程式を使用して表すことができる。
Figure 0006349614
さらに、特徴ベクトルはグレイスケール成分
Figure 0006349614
を含むこともある。その場合、特徴ベクトル302は以下の方程式を使用して表すことができる。
Figure 0006349614
本発明の多様な実施形態に従って、特徴ベクトル302の多様な色成分の決定にはさまざまな手法を利用できる。
例えば、特徴ベクトル302の色成分は、近傍ブロック301の中心ピクセル310と関連する色の値に基づいて決定できる。
さらに、非選択平均法が、特徴ベクトル302の色成分の決定に使用できる。
非選択平均法は、色成分に関連する色の近傍ブロック301のピクセルのセットが近傍ブロック301の中心ピクセル310を通るただ1つの方向(例えば、313または314)を構成するときに特徴ベクトル302の色成分の決定に使用できる。
また、非選択平均法は、色成分と関連する色の近傍ブロック301のピクセルのセットが近傍ブロック301で実質的に等方性であるときに特徴ベクトル302の色成分の決定に使用できる。
さらに、選択平均法は、色成分と関連する色の近傍ピクセルブロック301のピクセルのセットが近傍ブロックで複数の方向(例えば、311〜312)を構成するときに特徴ベクトル302の色成分の決定に使用できる。
本発明の多様な実施形態に従って、画像化プロセス300は、方向判断に基づいた選択平均法をサポートできる。例えば、勾配をベースにした選択平均法は、色成分と関連する色のピクセルのサブセットに平均計算を適用できる。ここでは、ピクセルのサブセットは近傍ピクセルブロック301で最小の勾配の方向(311または312)と関連付けることができる。
図4は、本発明の多様な実施形態に従って、次元縮退をサポートするために選択平均法を使用する場合の例示的な図である。図4に示されるように、画像化プロセス400は、方向判断に基づいて選択平均法を近傍ブロック内の同じ色のピクセルに適用できる。
ステップ401で、画像化プロセス400は、近傍ブロックのさまざまな方向に沿った同じ色のピクセルの勾配を計算できる。ステップ402で、画像化プロセス400は、最大勾配(例えばgrad_max)と最小勾配(例えば、grad_min)を得るために異なる方向の勾配を比較できる。
ステップ403で、画像化プロセス400は、最大勾配と最小勾配の差(つまり|grad_max‐grad_min|)を閾値(例えばTH)と比較できる。
ステップ404で、最大勾配と最小勾配の差が閾値未満あるいは閾値と等しい(つまり、|grad_max‐grad_min|<=TH)場合、画像化プロセス400は複数の方向に沿ったピクセルの平均値を計算するために非選択平均法を使用できる。
それ以外の場合(つまり、|grad_max‐grad_min|>THの場合)、ステップ405で、画像化プロセス400は最小勾配の方向に沿ってピクセルを選択できる。次にステップ406で、画像化プロセス400は選択された方向に沿ったピクセル(つまり、最小勾配の方向に沿ったピクセル)の平均値を計算できる。
図5a〜図5dは、本発明の多様な実施形態によるRGB画像中の異なるタイプの例示的な近傍ブロックを示す。図5aは、赤色のピクセル(R)が近傍ブロックの中心に位置する3かける3(3x3)の近傍ブロックを示す。図5bは、緑色のピクセル(Gr)が近傍ブロックの中心に位置する3かける3(3x3)の近傍ブロックを示す。図5cは、青色のピクセル(B)が近傍ブロックの中心に位置する3かける3(3x3)の近傍ブロックを示す。図5dは、緑色のピクセル(Gb)が近傍ブロックの中心に位置する3かける3(3x3)の近傍ブロックを示す。
図6は、本発明の多様な実施形態に従って、図5aの近傍ブロックの次元縮退をサポートする場合の例示的な図である。図6に示されるように、画像化プロセス600は、RGB画像の近傍ブロック601の特徴ベクトル602を決定できる。
特徴ベクトル602は、赤色と関連する成分
Figure 0006349614
緑色と関連する成分
Figure 0006349614
及び青色と関連する成分
Figure 0006349614
等、多様な色成分を含むことがある。
図6に示されるように、近傍ブロック601の中心ピクセル610は赤色のピクセル(R5)である。したがって、特徴ベクトル602の赤色と関連する成分
Figure 0006349614
は、赤色のピクセルR5の値に基づいて決定できる
さらに、近傍ブロック601の青色のピクセル(B1、B3、B7、及びB9)は、中心ピクセル(R5)610を通る複数の方向を構成する。図6に示されるように、方向611は青色のピクセル(B1とB9)を含み、方向612は青色のピクセル(B3とB7)を含む。
青色と関連する成分
Figure 0006349614
を決定するために、画像化プロセス600は、方向611の勾配(例えば、grad_B1)と方向612の勾配(例えば、grad_B2)を計算できる。次に、画像化プロセス600は、勾配grad_B1とgrad_B2に基づいて最大勾配(例えばgrad_max)と最小勾配(例えばgrad_min)を決定できる。
|grad_max‐grad_min|>THの場合、画像化プロセス600は、青色と関連する成分
Figure 0006349614
を決定するために選択平均法を使用できる。例えば、画像化プロセス600は、方向611に沿ったgrad_B1が方向612に沿ったgrad_B2未満である場合、青のピクセル(B1とB9)を選択できる。また、画像化プロセス600は、方向611に沿ったgrad_B1が方向612に沿ったgrad_B2より大きい場合、青のピクセル(B3とB7)を選択できる。画像化プロセス600は、方向611に沿ったgrad_B1が方向612に沿ったgrad_B2に等しい場合、青のピクセル(B1とB9)または青のピクセル(B3とB7)のどちらかを選択できる。次に、画像化プロセス600は、青色と関連する成分
Figure 0006349614
を決定するために選択された青のピクセルの平均値を使用できる。
それ以外の場合、|grad_max‐grad_min|<=THであると、画像化プロセス600は、近傍ブロック601の青のピクセル(B1、B3、B7、及びB9)の平均値に基づいて青色と関連する成分
Figure 0006349614
を決定するために非選択平均法を使用できる。
図6に示されるように、近傍ブロック601の緑色のピクセル(Gb2、Gr4、Gr6、及びGb8)は、中心ピクセル(R5)610を通る複数の方向を構成する。方向613は緑色のピクセル(Gb2及びGb8)を含み、方向614は緑色のピクセル(Gr4及びGr6)を含む。
緑色と関連する成分
Figure 0006349614
を決定するために、画像化プロセス600は、方向613の勾配(例えば、grad_G1)と方向614の勾配(例えば、grad_G2)を計算できる。次に、画像化プロセス600は、勾配grad_G1とgrad_G2に基づいて最大勾配(例えば、grad_max)と最小勾配(例えば、grad_min)を決定できる。
|grad_max‐grad_min|>THの場合、画像化プロセス600は、緑色と関連する成分
Figure 0006349614
を決定するために選択平均法を使用できる。例えば、画像化プロセス600は、方向613に沿ったgrad_G1が方向614に沿ったgrad_G2未満である場合、緑のピクセル(Gb2とGb8)を選択できる。また、画像化プロセス600は、方向613に沿ったgrad_G1が方向614に沿ったgrad_G2より大きい場合、緑のピクセル(Gr4とGr6)を選択できる。画像化プロセス600は、方向613に沿ったgrad_G1が方向614に沿ったgrad_G2に等しい場合、緑のピクセル(Gb2とGb8)または緑のピクセル(Gr4とGr6)のどちらかを選択できる。次に、画像化プロセス600は、緑色と関連する成分
Figure 0006349614
を決定するために選択された青のピクセルの平均値を使用できる。
それ以外の場合、|grad_max‐grad_min|<=THであると、画像化プロセス600は、近傍ブロック601の緑のピクセル(Gb2、Gr4、Gr6、及びGb8)の平均値に基づいて緑色と関連する成分
Figure 0006349614
を決定するために非選択平均法を使用できる。
したがって、特徴ベクトル602は、以下の方程式を使用して表すことができる。
Figure 0006349614
さらに、特徴ベクトル602は、以下の方程式を使用して定義できるグレイスケール
Figure 0006349614
と関連する成分を含むこともある。
Figure 0006349614
上記に示されるように、グレイスケール成分
Figure 0006349614
は、異なる色成分のコントリビューション、つまり赤色成分
Figure 0006349614
によるコントリビューション、緑色成分
Figure 0006349614
によるコントリビューション、及び青色成分
Figure 0006349614
によるコントリビューションから成る。
したがって、特徴ベクトル602は以下の方程式を使用して表すことができる。
Figure 0006349614
図7は、本発明の多様な実施形態に従って、図5bの近傍ブロックの次元縮退をサポートする場合の例示的な図である。図7に示されるように、画像化プロセス700は、RGB画像の近傍ブロック701の特徴ベクトル702を決定できる。
特徴ベクトル702は、赤色と関連する成分
Figure 0006349614
緑色と関連する成分
Figure 0006349614
及び青色と関連する成分
Figure 0006349614
等、異なる色成分を含むことがある。
図7に示されるように、近傍ブロック701の中心ピクセル710は緑色のピクセル(Gr5)である。したがって、緑色と関連する成分
Figure 0006349614
は緑色のピクセルGr5の値に基づいて決定できる。
さらに、青色のピクセル(B2とB8)は近傍ブロック701で単一の方向713を構成する。したがって、青色と関連する成分
Figure 0006349614
は、近傍ブロック701の方向713に沿った青色のピクセル(B2とB8)の平均値に基づいて決定できる。
さらに、赤色のピクセル(R4とR6)は、近傍ブロック701で単一の方向714を構成する。したがって、赤色と関連する成分
Figure 0006349614
は近傍ブロック701の方向714に沿った赤色のピクセル(R4とR6)の平均値に基づいて決定できる。
したがって、特徴ベクトル702は以下の方程式を使用して表すことができる。
Figure 0006349614
さらに、特徴ベクトル702は、以下の方程式に定義されるようにグレイスケール
Figure 0006349614
と関連する成分を含んでもよい。
Figure 0006349614
上記に示されるように、グレイスケール成分
Figure 0006349614
は、異なる色成分のコントリビューション、つまり赤色成分
Figure 0006349614
によるコントリビューション、緑色成分
Figure 0006349614
によるコントリビューション、及び青色成分
Figure 0006349614
によるコントリビューションからのコントリビューションから成る。
図7に示されるように、近傍ブロック701の緑色のピクセル(Gb1、Gb3、Gb7、及びGb9)は、中心ピクセル(Gr5)710を通る複数の方向を構成する。画像化プロセス700は、方向711の勾配(例えば、grad_G1)と方向712の勾配(例えば、grad_G2)を計算できる。次に、画像化プロセス700は、勾配grad_G1とgrad_G2に基づいて最大勾配(例えば、grad_max)と最小勾配(例えば、grad_min)を決定できる。
|grad_max‐grad_min|>THの場合、画像化プロセス700は、緑色成分によるコントリビューション
Figure 0006349614
を決定するために選択平均法を使用できる。例えば、画像化プロセス700は、方向711に沿ったgrad_G1が方向712に沿ったgrad_G2未満である場合、緑のピクセル(Gb1とGb9)を選択できる。また、画像化プロセス700は、方向711に沿ったgrad_G1が方向712に沿ったgrad_G2より大きい場合、緑のピクセル(Gb3とGb7)を選択できる。画像化プロセス700は、方向711に沿ったgrad_G1が方向712に沿ったgrad_G2に等しい場合、緑のピクセル(Gb1とGb9)または緑のピクセル(Gb3とGb7)のどちらかを選択できる。次に、画像化プロセス700は、緑色成分によるコントリビューション
Figure 0006349614
を決定するために選択された青のピクセルの平均値を使用できる。
それ以外の場合、|grad_max‐grad_min|<=THであると、画像化プロセス700は近傍ブロック701のすべての緑のピクセル(Gb1、Gb3、Gb7、及びGb9)の平均値に基づいて緑色成分によるコントリビューション
Figure 0006349614
を決定するために非選択平均法を使用できる。
したがって、特徴ベクトル702は、以下の方程式を使用して表すことができる。
Figure 0006349614
図8は、本発明の多様な実施形態に従って、近傍ブロックでエッジラインを保つ場合の例示的な図である。図8に示されるように、RGB画像のエッジライン810は、緑の中心ピクセル(Gr5)のある近傍ブロック801を通って交差することがある。
例えば、ピクセル(Gb1、B2、Gb3、R6、及びGb9)は薄い色の側に位置する。一方、ピクセル(R4、Gr5、Gb7、及びB8)は濃い色の側に位置する。したがって、エッジライン810の同じ側に位置する緑のピクセル(Gb1とGb9)を含んだ方向811に沿った勾配は、エッジライン810の反対側に位置する緑のピクセル(Gb3とGb7)を含んだ方向812に沿った勾配未満でなければならない。
選択平均法を使用して、グレイスケールに対する緑色のコントリビューション
Figure 0006349614
は、緑のピクセル(Gb1とGb9)の平均値に基づいて決定できる。
他方、緑色と関連する成分
Figure 0006349614
はGb1とGb9の平均値
Figure 0006349614
よりもおそらく大きい緑色の中心ピクセル(Gr5)の値に基づいて決定できる。
結果として、画像化プロセス800は緑色の中心ピクセル(Gr5)の平滑化を回避できる。これによって、ノイズ除去演算の間にエッジライン810が保たれることが確実になる。
図9は、本発明の多様な実施形態に従って、図5cの近傍ブロックの次元縮退をサポートする場合の例示的な図である。図9に示されるように、画像化プロセス900は、RGB画像の近傍ブロック901のための特徴ベクトル902を決定できる。
特徴ベクトル902は、赤色と関連する成分
Figure 0006349614
緑色と関連する成分
Figure 0006349614
及び青色と関連する成分
Figure 0006349614
等、多様な色成分を含むことがある。
図9に示されるように、近傍ブロック901の中心ピクセル910は、青色のピクセル(B5)である。したがって、特徴ベクトル902の青色と関連する成分
Figure 0006349614
は、青色のピクセルB5の値に基づいて決定できる。
さらに、近傍ブロック901の赤色のピクセル(R1、R3、R7、及びR9)は、中心ピクセル(B5)910を通る複数の方向を構成する。図9に示されるように、方向911は赤色のピクセル(R1とR9)を含み、方向912は赤色のピクセル(R3とR7)を含む。
赤色と関連する成分
Figure 0006349614
を決定するために、画像化プロセス900は方向911の勾配(例えば、grad_R1)と方向912の勾配(例えば、grad_R2)を計算できる。次に、画像化プロセス900は、勾配grad_R1とgrad_R2に基づいて最大勾配(例えば、grad_max)と最小勾配(例えば、grad_min)を決定できる。
|grad_max‐grad_min|>THの場合、画像化プロセス900は、赤色と関連する成分
Figure 0006349614
を決定するために選択平均法を使用できる。例えば、画像化プロセス900は、方向911に沿ったgrad_R1が方向912に沿ったgrad_R2未満である場合、赤のピクセル(R1とR9)を選択できる。また、画像化プロセス900は、方向911に沿ったgrad_R1が方向912に沿ったgrad_R2より大きい場合、赤のピクセル(R3とR7)を選択できる。画像化プロセス900は、方向911に沿ったgrad_R1が方向912に沿ったgrad_R2に等しい場合、赤のピクセル(R1とR9)または赤のピクセル(R3とR7)のどちらかを選択できる。次に、画像化プロセス900は、赤色と関連する成分
Figure 0006349614
を決定するために選択された赤のピクセルの平均値を使用できる。
それ以外の場合、|grad_max‐grad_min|<=THであると、画像化プロセス900は、近傍ブロック901の赤のピクセル(R1、R3、R7、及びR9)の平均値に基づいて赤色と関連する成分
Figure 0006349614
を決定するために非選択平均法を使用できる。
やはり図9に示されるように、近傍ブロック901の緑色のピクセル(Gr2、Gb4、Gb6、及びGr8)は中心ピクセル(B5)910を通る複数の方向を構成する。方向913は緑色のピクセル(Gr2とGr8)を含み、方向914は緑色のピクセル(Gb4とGb6)を含む。
緑色と関連する成分
Figure 0006349614
を決定するために、画像化プロセス900は方向913の勾配(例えば、grad_G1)と方向914の勾配(例えば、grad_G2)を計算できる。次に、画像化プロセス900は、勾配grad_G1とgrad_G2に基づいて最大勾配(例えば、grad_max)と最小勾配(例えば、grad_min)を決定できる。
|grad_max‐grad_min|>THの場合、画像化プロセス900は、緑色と関連する成分
Figure 0006349614
を決定するために選択平均法を決定できる。例えば、画像化プロセス900は、方向913に沿ったgrad_G1が方向914に沿ったgrad_G2未満である場合、緑のピクセル(Gr2とGr8)を選択できる。また、画像化プロセス900は、方向913に沿ったgrad_G1が方向914に沿ったgrad_G2より大きい場合、緑のピクセル(Gb4とGb6)を選択できる。画像化プロセス900は、方向913に沿ったgrad_G1が方向914に沿ったgrad_G2に等しい場合、緑のピクセル(Gr2とGr8)または緑のピクセル(Gb4とGb6)のどちらかを選択できる。次に、画像化プロセス900は、緑色と関連する成分
Figure 0006349614
を決定するために選択された緑のピクセルの平均値を使用できる。
それ以外の場合、|grad_max‐grad_min|<=THであると、画像化プロセス900は、近傍ブロック901の緑のピクセル(Gr2、Gb4、Gb6、及びGr8)の平均値に基づいて緑色と関連する成分
Figure 0006349614
を決定するために非選択平均法を使用できる。
したがって、特徴ベクトル902は以下のように表すことができる。
Figure 0006349614
さらに、特徴ベクトル902は、以下の方程式を使用して定義できるグレイスケール
Figure 0006349614
に関連する成分を含んでもよい。
Figure 0006349614
上記に示されるように、グレイスケール成分
Figure 0006349614
は、異なる色成分のコントリビューション、つまり赤色成分
Figure 0006349614
によるコントリビューション、緑色成分
Figure 0006349614
によるコントリビューション、及び青色成分
Figure 0006349614
によるコントリビューションから成る。
このようにして、特徴ベクトル602は以下の方程式を使用して表すことができる。
Figure 0006349614
図10は、本発明の多様な実施形態に従って、図5dの近傍ブロックの次元縮退をサポートする場合の例示的な図である。図10に示されるように、画像化プロセス1000は、RGB画像の近傍ブロック1001の特徴ベクトル1002を決定できる。
特徴ベクトル1002は、赤色と関連する成分
Figure 0006349614
緑色と関連する成分
Figure 0006349614
及び青色と関連する成分
Figure 0006349614
等、異なる色成分を含むことがある。
図10に示されるように、近傍ブロック1001の中心ピクセル1010は緑色のピクセル(Gb5)である。したがって、緑色と関連する成分
Figure 0006349614
は、緑色のピクセルGb5の値に基づいて決定できる。
さらに、赤色のピクセル(R2とR8)は近傍ブロック1001で単一方向1013を構成する。したがって、赤色と関連する成分
Figure 0006349614
は、近傍ブロック1001の方向1013に沿った青色のピクセル(R2とR8)の平均値に基づいて決定できる。
さらに、青色のピクセル(B4とB6)が近傍ブロック1001の単一方向1014を構成する。したがって、青色と関連する成分
Figure 0006349614
は近傍ブロック1001の方向1014に沿った青色のピクセル(B4とB6)の平均値に基づいて決定できる。
したがって、特徴ベクトル1002は以下の方程式を使用して表すことができる。
Figure 0006349614
さらに、特徴ベクトル1002は、以下の方程式で定義されるようにグレイスケール
Figure 0006349614
と関連する成分を含んでもよい。
Figure 0006349614
上記に示されるように、グレイスケール成分
Figure 0006349614
は、異なる色成分のコントリビューション、つまり赤色成分
Figure 0006349614
によるコントリビューション、緑色成分
Figure 0006349614
によるコントリビューション、及び青色成分
Figure 0006349614
によるコントリビューションから成る。
図10に示されるように、近傍ブロック1001の緑色のピクセル(Gr1、Gr3、Gr7、及びGr9)は中心ピクセル(Gr5)1010を通る複数の方向を構成する。画像化プロセス1000は、方向1011の勾配(例えば、grad_G1)と方向1012の勾配(例えば、grad_G2)を計算する。次に、画像化プロセス1000は、勾配grad_G1とgrad_G2に基づいて最大勾配(例えば、grad_max)と最小勾配(例えば、grad_min)を決定できる。
|grad_max‐grad_min|>=THの場合、画像化プロセス1000は、緑色成分によるコントリビューション
Figure 0006349614
を決定するために選択平均法を使用できる。例えば、画像化プロセス1000は、方向1011に沿ったgrad_G1が方向1012に沿ったgrad_G2未満である場合、緑のピクセル(Gr1とGr9)を選択できる。また、画像化プロセス1000は、方向1011に沿ったgrad_G1が方向1012に沿ったgrad_G2より大きい場合、緑のピクセル(Gr3とGr7)を選択できる。画像化プロセス1000は、方向1011に沿ったgrad_G1が方向1012に沿ったgrad_G2に等しい場合、緑のピクセル(Gr1とGr9)または緑のピクセル(Gr3とGr7)のどちらかを選択できる。次に、画像化プロセス1000は、緑色成分によるコントリビューション
Figure 0006349614
を決定するために選択された青のピクセルの平均値を使用できる。
それ以外の場合、|grad_max‐grad_min|<=THであると、画像化プロセス1000は近傍ブロック1001のすべての緑のピクセル(Gr1、Gr3、Gr7、及びGr9)の平均値に基づいて緑色成分によるコントリビューション
Figure 0006349614
を決定するために非選択平均法を使用できる。
したがって、特徴ベクトル1002は以下の方程式を使用して表すことができる。
Figure 0006349614
結果として、画像化プロセス1000は緑色の中心ピクセル(Gb5)の平滑化を回避することができ、ノイズ除去演算の間エッジラインを保つことができる。
図11は、本発明の多様な実施形態に従って、近傍ブロック次元縮退に基づいた画像ノイズ除去をサポートする場合のフローチャートである。図11に示されるように、ステップ1101で、画像化プロセスは、画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセットを得ることができる。さらに、ステップ1102で、画像化プロセスは、ノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す特徴値の第2のセットを得ることができる。次に、ステップ1103で、画像化プロセスは特徴値の第1のセットと特徴値の第2のセットを使用して、ノイズ除去ピクセルとノイズ除去基準ピクセルの類似性を決定できる。
本発明の多くの特徴は、ハードウェア、ソフトウェア、ファームウェア、もしくはその組合せを使用する際に、またはそれらを活用して実行できる。結果的に、本発明の特徴は(例えば、1台または複数のプロセッサを含む)処理システムを使用し実現できる。例示的なプロセッサには、制限なく、1台または複数の汎用マイクロプロセッサ(例えば、シングルコアプロセッサまたはマルチコアプロセッサ)、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィックスプロセッシングユニット、物理プロセッサ、デジタル信号処理装置、コプロセッサ、ネットワークプロセッサ、音声処理装置、暗号化処理装置等を含むことがある。
本発明の特徴は、コンピュータプログラム製品を使用する際にまたはそれを活用して実現できる。コンピュータプログラム製品とはその上/中に、本明細書に提示される特徴のいずれかを実行するように処理システムをプログラミングするために使用できる命令が記憶された記憶媒体(複数の媒体の場合がある)またはコンピュータ可読媒体(複数の媒体の場合がある)である。記憶媒体は、フロッピー(登録商標)ディスク、光ディスク、DVD、CD−ROM、マイクロドライブ、及び光磁気ディスクを含んだ任意のタイプのディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気カードもしくは光カード、(分子記憶ICを含んだ)ナノシステム、または命令及び/またはデータを記憶するのに適した任意のタイプの媒体もしくはデバイスを含むことがあるが、これに限定されるものではない。
本発明の特徴は機械可読媒体(複数の媒体の場合がある)の内のいずれか1つに記憶され、ソフトウェア及び/またはファームウェアに取り込まれることができ、処理システムのハードウェアを制御し、処理システムが本発明の結果を活用して他の機構と対話できるようにする。このようなソフトウェアまたはファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステム、及び実行環境/コンテナを含んでよいが、これに限定されるものではない。
また、本発明の特徴は、例えば特定用途向け集積回路(ASIC)及びフィールドプログラマブルゲートアレイ(FPGA)デバイス等のハードウェア構成要素を使用してハードウェアに実装してもよい。ハードウェア状態機械を本明細書に説明される機能を実行するように実装することが関連技術における当業者に明らかになる。
さらに、本発明は本開示の教示に従ってプログラミングされた1台または複数のプロセッサ、メモリ、及び/またはコンピュータ可読記憶媒体を含んだ1台または複数の従来の汎用のデジタルコンピュータまたは特殊化されたデジタルコンピュータ、コンピューティング装置、マシン、またはマイクロプロセッサを使用して便利に実装できる。ソフトウェア技術の当業者に明らかとなるように、適切なソフトウェアコーディングは本開示の教示に基づいて熟練のプログラマによって容易に作成できる。
本発明の多様な実施形態が上述されてきたが、それらの実施形態が制限ではなく、一例として提示されていたことを理解する必要がある。本発明の精神と範囲から逸脱することなく、形式と詳細の多様な変更をそこに加えることができることが当業者に明らかになる。
本発明は、指定された機能の性能、及びその関係性を示す機能ビルディングブロックを活用して上述されてきた。多くの場合、これらの機能ビルディングブロックの境界は説明の便宜上任意に本明細書において定められている。指定された機能及びその関係性が適切に実行される限り、代わりの境界も定めることができる。したがって、このような代わりの境界のいずれも本発明の範囲及び精神の中にある。
本発明の上記説明は、図示及び説明のために示されている。上記説明は包括的となる、または本発明を開示される正確な形に制限することを目的としていない。本発明の幅広さ及び範囲は、上述した例示的な実施形態のいずれによっても制限されてはならない。多くの変更形態及び変形形態が当業者に明らかになる。変更形態と変形形態は、開示される特徴のいかなる関連性のある組合せを含む。実施形態は、本発明の原理及びその実際的な適用例を最もうまく説明するために、当業者が多様な実施形態と意図された特定の使用に適した多様な変更形態を有する本発明を理解できるように選ばれ、説明されてきた。本発明の範囲を以下の特許請求の範囲及びその同等物により定義することが意図される。
[項目1]
画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセットを取得するステップと、
ノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す、特徴値の第2のセットを取得するステップと、
特徴値の上記第1のセット及び特徴値の上記第2のセットを使用して、上記ノイズ除去ピクセルと上記ノイズ除去基準ピクセルの類似性を決定するステップと、
を含む、画像処理方法。
[項目2]
複数のノイズ除去基準ピクセルを含むフィルターウィンドウを使用して上記ノイズ除去ピクセルからノイズを除去するステップ、
をさらに含む、項目1に記載の画像処理方法。
[項目3]
上記フィルターウィンドウの上記複数のノイズ除去基準ピクセルの複数の重みを計算するステップであって、上記複数の重みのそれぞれが異なるノイズ除去基準ピクセルと関連付けられ、上記複数の重みのそれぞれが、上記ノイズ除去ピクセルと上記それぞれのノイズ除去基準ピクセルの類似性に基づいて決定され、
上記ノイズ除去ピクセルのノイズ除去された値を計算するために、上記複数のノイズ除去基準ピクセルと関連する上記複数の重みを使用するステップ、
をさらに含む、項目2に記載の画像処理方法。
[項目4]
ピクセルの上記第1のグループが第1の近傍ブロックを有し、ピクセルの上記第2のグループが第2の近傍ブロックを有する、項目1に記載の画像処理方法。
[項目5]
上記画像がカラーモデルに基づき、特徴値の上記それぞれのセットが複数の色成分を含み、各色成分が上記カラーモデルの異なる色と関連付けられる、項目4に記載の画像処理方法。
[項目6]
特徴値の上記それぞれのセットが、上記カラーモデルの上記異なる色と関連する上記複数の色成分に加えてグレイスケール成分を含む、項目5に記載の画像処理方法。
[項目7]
上記近傍ブロックの中心ピクセルと関連する色の値に基づいて、上記フィルターウィンドウの近傍ブロックを表す、特徴値のセットの色成分を決定するステップ、
をさらに含む、項目5に記載の画像処理方法。
[項目8]
色成分と関連する色を有する近傍ブロックのピクセルのセットが、上記近傍ブロックの中心ピクセルを通る上記近傍ピクセルブロックでただ1つの方向を構成するときに、上記フィルターウィンドウ内の上記近傍ブロックを表す特徴値のセットの上記色成分を決定するために非選択平均法を使用するステップ、
をさらに含む、項目5に記載の画像処理方法。
[項目9]
色成分と関連する色を有する近傍ブロックのセットが、上記近傍ブロックで実質的に等方性であるときに、上記フィルターウィンドウ内の上記近傍ブロックを表す特徴値のセットの上記色成分を決定するために非選択平均法を使用することと、
をさらに含む、項目5に記載の画像処理方法。
[項目10]
色成分と関連する色を有する近傍ピクセルブロックのピクセルのセットが上記近傍ブロックで複数の方向を構成するときに、上記フィルターウィンドウの上記近傍ブロックを表す特徴値のセットの上記色成分を決定するために、勾配をベースにした選択平均法を使用することと、
をさらに含む、項目5に記載の画像処理方法。
[項目11]
上記選択平均法が上記近傍ブロックの上記色成分と関連する色を有する1個または複数のピクセルの平均化された値を計算するために動作し、上記1個または複数のピクセルが、上記近傍ブロックの中心ピクセルを通る、最小勾配の方向に沿ったピクセルの上記セットから選択される、項目10に記載の画像処理方法。
[項目12]
上記画像のノイズレベルに基づいて閾値パラメータを構成することと、
上記近傍ブロックの上記複数の方向の間の勾配差が上記閾値パラメータの上記値未満であるときに、特徴値の上記セットの上記色成分を決定するために上記近傍ブロックのピクセルの上記セットの平均値を得ることと、
をさらに含む、項目10に記載の画像処理方法。
[項目13]
上記カラーモデルがRGBカラーモデルであり、上記画像がベイヤ画像である、
項目5に記載の画像処理方法。
[項目14]
緑の中心ピクセルで近傍ブロックのエッジ効果を処理するために、特別なグレイスケール成分を使用することと、
をさらに含む、項目13に記載の画像処理方法。
[項目15]
1または複数のマイクロプロセッサと、
上記1または複数のマイクロプロセッサ上で実行中の上記画像化プロセスであって、
画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセットを得るために、
ノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す、特徴値の第2のセットを得るために、及び
上記ノイズ除去ピクセルと上記ノイズ除去基準ピクセルの類似性を決定するために、特徴値の上記第1のセット及び特徴値の上記第2のセットを使用するために動作する、上記画像化プロセスと、
を備える、画像処理システム。
[項目16]
上記画像化プロセスが、フィルターウィンドウを使用して上記ノイズ除去ピクセルからノイズを除去するために動作し、上記フィルターウィンドウが複数のノイズ除去基準ピクセルを含む、
項目15に記載の上記画像処理システム。
[項目17]
上記画像化プロセスが、
上記フィルターウィンドウの上記複数のノイズ除去基準ピクセルのための複数の重みを計算するために、上記複数の重みのそれぞれが異なるノイズ除去基準ピクセルと関連付けられ、上記複数の重みのそれぞれが上記ノイズ除去ピクセルと上記それぞれのノイズ除去基準ピクセルの類似性に基づいて決定され、及び
上記ノイズ除去ピクセルのためのノイズ除去された値を計算するために上記複数のノイズ除去基準ピクセルと関連する上記複数の重みを使用するために
動作する、項目16に記載の上記画像処理システム。
[項目18]
ピクセルの上記第1のグループが第1の近傍ブロックを形成し、ピクセルの上記第2のグループが第2の近傍ブロックを形成する、項目15に記載の上記画像処理システム。
[項目19]
上記画像がカラーモデルに基づき、特徴値の上記それぞれのセットが複数の色成分を含み、各色成分が上記カラーモデルの異なる色と関連付けられる、項目18に記載の上記画像処理システム。
[項目20]
特徴値の上記それぞれのセットが、上記カラーモデルの上記異なる色と関連する上記複数の色成分に加えてグレイスケール成分を含む、項目19に記載の上記画像処理システム。
[項目21]
上記画像化プロセスが、上記近傍ブロックの中心ピクセルと関連する色の値に基づいて、上記フィルターウィンドウの近傍ブロックを表す、特徴値のセットの色成分を決定するために動作する、項目19に記載の上記画像処理システム。
[項目22]
上記画像化プロセスが、色成分と関連する色を有する近傍ブロックのピクセルのセットが、上記近傍ブロックの中心ピクセルを通る上記近傍ピクセルブロックでただ1つの方向を構成するときに、上記フィルターウィンドウ内の上記近傍ブロックを表す特徴値のセットの上記色成分を決定するために非選択平均法を使用するために動作する、項目19に記載の上記画像処理システム。
[項目23]
上記画像化プロセスが、色成分と関連する色を有する近傍ブロックのセットが、上記近傍ブロックで実質的に等方性であるときに、上記フィルターウィンドウ内の上記近傍ブロックを表す特徴値のセットの上記色成分を決定するために非選択平均法を使用するために動作する、項目19に記載の上記画像処理システム。
[項目24]
上記画像化プロセスが、色成分と関連する色を有する近傍ピクセルブロックのピクセルのセットが上記近傍ブロックで複数の方向を構成するときに、上記フィルターウィンドウの上記近傍ブロックを表す特徴値のセットの上記色成分を決定するために、勾配をベースにした選択平均法を使用するために動作する、項目19に記載の上記画像処理システム。
[項目25]
上記選択平均法が上記近傍ブロックの上記色成分と関連する色を有する1個または複数のピクセルの平均化された値を計算するために動作し、上記1個または複数のピクセルが、上記近傍ブロックの中心ピクセルを通る、最小勾配の方向に沿ったピクセルの上記セットから選択される、項目24に記載の上記画像処理システム。
[項目26]
上記画像化プロセスが、
上記画像のノイズレベルに基づいて閾値パラメータを構成するために、
上記近傍ブロックの上記複数の方向の間の勾配差が上記閾値パラメータの上記値未満であるときに、特徴値の上記セットの上記色成分を決定するために上記近傍ブロックのピクセルの上記セットの平均値を得るために、
動作する、項目24に記載の上記画像処理システム。
[項目27]
上記カラーモデルがRGBカラーモデルであり、上記画像がベイヤ画像である、
項目19に記載の上記画像処理システム。
[項目28]
上記画像化プロセスが、緑の中心ピクセルで近傍ブロックのエッジ効果を処理するために、特別なグレイスケール成分を使用するために動作する、
項目27に記載の上記画像処理システム。
[項目29]
プロセッサによる実行時に、
画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセットを得るステップと、
ノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す、特徴値の第2のセットを得るステップと、
上記ノイズ除去ピクセルと上記ノイズ除去基準ピクセルの類似性を決定するために、特徴値の上記第1のセット及び特徴値の上記第2のセットを使用するステップと、
を含むステップを実行する、上部に命令が記憶された非一過性のコンピュータ可読媒体。
[項目30]
画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセット、及び
ノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す、特徴値の第2のセット
を得るための第1のユニットと、
上記ノイズ除去ピクセルと上記ノイズ除去基準ピクセルの類似性を決定するために、特徴値の上記第1のセット及び特徴値の上記第2のセットを使用するための第2のユニットと、
上記ノイズ除去ピクセルと上記ノイズ除去基準ピクセルの上記決定した類似性に基づいて上記ノイズ除去ピクセルのノイズ除去された値を計算するための第3のユニットと、
を備える、画像処理装置。

Claims (10)

  1. 画像処理方法であって、
    フィルターウィンドウ内の画像のノイズ除去ピクセルと関連するピクセルの第1のグループを表す、特徴値の第1のセットを取得するステップと、
    前記フィルターウィンドウ内のノイズ除去基準ピクセルと関連するピクセルの第2のグループを表す、特徴値の第2のセットを取得するステップと、
    特徴値の前記第1のセット及び特徴値の前記第2のセットを使用して、前記ノイズ除去ピクセルと前記ノイズ除去基準ピクセルの類似性を決定するステップと、
    前記類似性に基づいて前記ノイズ除去ピクセルからノイズを除去するステップと、
    を含み、
    前記ノイズを除去するステップは、複数のノイズ除去基準ピクセルを含む前記フィルターウィンドウを使用して前記ノイズ除去ピクセルからノイズを除去するステップを含み、
    ピクセルの前記第1のグループが第1の近傍ブロックを有し、
    ピクセルの前記第2のグループが第2の近傍ブロックを有し、
    前記画像がカラーモデルに基づき、特徴値の前記第1のセット及び前記第2のセットのそれぞれが複数の色成分を含み、各色成分が前記カラーモデルの異なる色と関連付けられ、
    前記画像処理方法は、
    前記フィルターウィンドウ内の近傍ブロックの中心ピクセルと関連する色の値に基づいて、前記近傍ブロックを表す、特徴値のセットの色成分を決定するステップをさらに含み、
    前記特徴値のセットの色成分を決定するステップは、
    色成分と関連する色を有する近傍ブロックを構成する複数の方向の間の最大勾配と最小勾配との差が閾値パラメータ未満または閾値パラメータと等しい場合、前記フィルターウィンドウ内の前記近傍ブロックを表す特徴値のセットの前記色成分を決定するために、非選択平均法を使用するステップと、
    前記近傍ブロックの前記複数の方向の間の最大勾配と最小勾配との差が閾値パラメータより大きい場合、前記フィルターウィンドウの前記近傍ブロックを表す特徴値のセットの前記色成分を決定するために、勾配をベースにした選択平均法を使用するステップと
    を含む、
    画像処理方法。
  2. 前記フィルターウィンドウの前記複数のノイズ除去基準ピクセルの複数の重みを計算するステップであって、前記複数の重みのそれぞれが異なるノイズ除去基準ピクセルと関連付けられ、前記複数の重みのそれぞれが、前記ノイズ除去ピクセルと前記複数のノイズ除去基準ピクセルのそれぞれの類似性に基づいて決定され、
    前記ノイズ除去ピクセルのノイズ除去された値を計算するために、前記複数のノイズ除去基準ピクセルと関連する前記複数の重みを使用するステップ、
    をさらに含む、請求項に記載の画像処理方法。
  3. 特徴値の前記第1のセット及び前記第2のセットのそれぞれが、前記カラーモデルの前記異なる色と関連する前記複数の色成分に加えてグレイスケール成分を含む、請求項1または2に記載の画像処理方法。
  4. 前記特徴値のセットの色成分を決定するステップは、
    色成分と関連する色を有する近傍ブロックのピクセルのセットが、前記近傍ブロックの中心ピクセルを通るただ1つの方向を構成するときに、前記フィルターウィンドウ内の前記近傍ブロックを表す特徴値のセットの前記色成分を決定するために非選択平均法を使用するステップ、
    を含む、請求項1から3の何れか1項に記載の画像処理方法。
  5. 前記特徴値のセットの色成分を決定するステップは、
    色成分と関連する色を有する近傍ブロックのピクセルのセットが、前記近傍ブロックで実質的に等方性であるときに、前記フィルターウィンドウ内の前記近傍ブロックを表す特徴値のセットの前記色成分を決定するために非選択平均法を使用するステップ
    含む、請求項1から3の何れか1項に記載の画像処理方法。
  6. 前記選択平均法が前記近傍ブロックの前記色成分と関連する色を有する1個または複数のピクセルの平均化された値を計算するために動作する場合、前記1個または複数のピクセルが、前記近傍ブロックの中心ピクセルを通る、最小勾配の方向に沿ったピクセルの前記セットから選択される、請求項1から5の何れか1項に記載の画像処理方法。
  7. 前記画像のノイズレベルに基づいて前記閾値パラメータを構成すること、
    をさらに含み、
    前記特徴値のセットの色成分を決定するステップは、
    前記近傍ブロックの前記複数の方向の間の勾配差が前記閾値パラメータの値未満であるときに、特徴値の前記セットの前記色成分を決定するために前記近傍ブロックのピクセルの前記セットの平均値を得ること含む、請求項1から6の何れか1項に記載の画像処理方法。
  8. 前記カラーモデルがRGBカラーモデルであり、前記画像がベイヤ画像である、
    請求項1から7の何れか1項に記載の画像処理方法。
  9. 緑の中心ピクセルで近傍ブロックのエッジ効果を処理するために、予め定義されたグレイスケール成分を使用することと、
    をさらに含む、請求項に記載の画像処理方法。
  10. 1または複数のマイクロプロセッサと、
    前記1または複数のマイクロプロセッサで請求項1から請求項の何れか1項に記載の画像処理方法を実行する画像化プロセスと、
    を備える、画像処理システム。
JP2016554733A 2015-05-15 2015-05-15 画像処理方法及び画像処理システム Expired - Fee Related JP6349614B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/079093 WO2016183743A1 (en) 2015-05-15 2015-05-15 System and method for supporting image denoising based on neighborhood block dimensionality reduction

Publications (2)

Publication Number Publication Date
JP2017518546A JP2017518546A (ja) 2017-07-06
JP6349614B2 true JP6349614B2 (ja) 2018-07-04

Family

ID=57319135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016554733A Expired - Fee Related JP6349614B2 (ja) 2015-05-15 2015-05-15 画像処理方法及び画像処理システム

Country Status (5)

Country Link
US (3) US9773297B2 (ja)
EP (1) EP3167429B1 (ja)
JP (1) JP6349614B2 (ja)
CN (1) CN107615331B (ja)
WO (1) WO2016183743A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902558B2 (en) * 2018-05-18 2021-01-26 Gopro, Inc. Multiscale denoising of raw images with noise estimation
GB2570528B (en) * 2018-06-25 2020-06-10 Imagination Tech Ltd Bilateral filter with data model
CN110211082B (zh) * 2019-05-31 2021-09-21 浙江大华技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
CN110796615B (zh) * 2019-10-18 2023-06-02 浙江大华技术股份有限公司 一种图像去噪方法、装置以及存储介质
CN111062904B (zh) * 2019-12-09 2023-08-11 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN115428467B (zh) * 2020-04-14 2024-03-08 Lg电子株式会社 点云数据发送设备和方法、点云数据接收设备和方法
CN116097297A (zh) * 2020-09-02 2023-05-09 Oppo广东移动通信有限公司 去除图像中的噪声的方法和电子设备
CN113610871A (zh) * 2021-08-11 2021-11-05 河南牧原智能科技有限公司 一种基于红外成像的个体分割方法及系统
WO2024147826A1 (en) * 2023-01-05 2024-07-11 Transformative Optics Corporation Color image sensors, methods and systems
CN117057995B (zh) * 2023-08-23 2024-07-26 上海玄戒技术有限公司 图像处理方法、装置、芯片、电子设备及存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
FR2870071B1 (fr) * 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
US7376288B2 (en) * 2004-05-20 2008-05-20 Micronas Usa, Inc. Edge adaptive demosaic system and method
JP2006023959A (ja) * 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
US7929798B2 (en) 2005-12-07 2011-04-19 Micron Technology, Inc. Method and apparatus providing noise reduction while preserving edges for imagers
JP4967921B2 (ja) * 2007-08-10 2012-07-04 セイコーエプソン株式会社 画像処理のための装置、方法、および、プログラム
JP5012315B2 (ja) * 2007-08-20 2012-08-29 セイコーエプソン株式会社 画像処理装置
KR101389562B1 (ko) 2007-11-15 2014-04-25 삼성전자주식회사 이미지 처리 장치 및 방법
US8135237B2 (en) 2008-02-25 2012-03-13 Aptina Imaging Corporation Apparatuses and methods for noise reduction
US8280185B2 (en) 2008-06-27 2012-10-02 Microsoft Corporation Image denoising techniques
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8638395B2 (en) * 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
TWI399079B (zh) * 2009-09-18 2013-06-11 Altek Corp Noise Suppression Method for Digital Image
TWI393073B (zh) 2009-09-21 2013-04-11 Pixart Imaging Inc 影像雜訊濾除方法
US20110075935A1 (en) 2009-09-25 2011-03-31 Sony Corporation Method to measure local image similarity based on the l1 distance measure
CN102045513B (zh) * 2009-10-13 2013-01-02 原相科技股份有限公司 图像噪声滤除方法
KR101674078B1 (ko) 2009-12-16 2016-11-08 삼성전자 주식회사 블록 기반의 영상 잡음 제거 방법 및 장치
US8345130B2 (en) 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
US20120200754A1 (en) 2011-02-09 2012-08-09 Samsung Electronics Co., Ltd. Image Noise Reducing Systems And Methods Thereof
US8417047B2 (en) 2011-03-01 2013-04-09 Microsoft Corporation Noise suppression in low light images
US8879841B2 (en) 2011-03-01 2014-11-04 Fotonation Limited Anisotropic denoising method
TWI500482B (zh) 2011-03-24 2015-09-21 Nat Univ Tsing Hua 利用離心資源之真空裝置
CN102663719B (zh) * 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
KR101910870B1 (ko) * 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
CN103679639B (zh) * 2012-09-05 2017-05-24 北京大学 基于非局部均值的图像去噪方法和装置
CN102930519B (zh) * 2012-09-18 2015-09-02 西安电子科技大学 基于非局部均值的sar图像变化检测差异图生成方法
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
KR101990540B1 (ko) 2012-10-31 2019-06-18 삼성전자주식회사 이미지 프로세싱 방법, 그 이미지 신호 프로세서 및 이를 포함하는 이미지 센싱 시스템
CN103020908B (zh) 2012-12-05 2015-09-09 华为技术有限公司 图像降噪的方法和设备
CN103927729A (zh) * 2013-01-10 2014-07-16 清华大学 图像处理方法及图像处理装置
CN103116879A (zh) * 2013-03-15 2013-05-22 重庆大学 一种基于邻域加窗的非局部均值ct成像去噪方法
CN103491280B (zh) 2013-09-30 2016-01-20 上海交通大学 一种拜耳图像联合去噪插值方法
CN103841388A (zh) * 2014-03-04 2014-06-04 华为技术有限公司 一种去马赛克的方法及装置
CN103871035B (zh) * 2014-03-24 2017-04-12 华为技术有限公司 图像去噪方法及装置
WO2015163220A1 (ja) 2014-04-20 2015-10-29 彰一 村瀬 スクロール動作に連動して連続的に変化する電子絵本
CN104010114B (zh) * 2014-05-29 2017-08-29 广东威创视讯科技股份有限公司 视频去噪方法和装置
CN104202583B (zh) 2014-08-07 2017-01-11 华为技术有限公司 图像处理装置和方法
US9852353B2 (en) * 2014-11-12 2017-12-26 Adobe Systems Incorporated Structure aware image denoising and noise variance estimation

Also Published As

Publication number Publication date
US10515438B2 (en) 2019-12-24
EP3167429A4 (en) 2017-08-02
US10026154B2 (en) 2018-07-17
EP3167429B1 (en) 2019-12-25
WO2016183743A1 (en) 2016-11-24
US20170061585A1 (en) 2017-03-02
CN107615331A (zh) 2018-01-19
US9773297B2 (en) 2017-09-26
JP2017518546A (ja) 2017-07-06
CN107615331B (zh) 2021-03-02
US20170337666A1 (en) 2017-11-23
US20180322619A1 (en) 2018-11-08
EP3167429A1 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
JP6349614B2 (ja) 画像処理方法及び画像処理システム
JP7078139B2 (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
JP5700968B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015225665A (ja) 画像ノイズ除去方法及び画像ノイズ除去装置
JP5767064B2 (ja) イメージのエッジ向上方法
US9286653B2 (en) System and method for increasing the bit depth of images
CN113744142B (zh) 图像修复方法、电子设备及存储介质
JP2018195084A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2011095861A5 (ja) 画像処理装置、画像処理方法、及びプログラム
US9317906B2 (en) Image processing apparatus and method
JP2017085570A (ja) 画像補正方法及び画像補正装置
CN105809677B (zh) 一种基于双边滤波器的图像边缘检测方法及系统
CN114679542B (zh) 图像处理方法和电子装置
JP2008269181A (ja) 対象物検出装置
JP7039215B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Paramanand et al. Motion blur for motion segmentation
Kakar et al. Detecting digital image forgeries through inconsistent motion blur
JP4529033B2 (ja) 低域濾過の方法
JP2019079283A5 (ja)
JP2018085578A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6155609B2 (ja) 視差算出装置及びプログラム
US20130201158A1 (en) Multi-touch recognition apparatus and control method thereof
JP6639120B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011081688A (ja) 画像処理方法及びプログラム
TW201337833A (zh) 貝爾格式縮圖的方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160908

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180518

R150 Certificate of patent or registration of utility model

Ref document number: 6349614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees