JP4547223B2 - 撮像システム、ノイズ低減処理装置及び撮像処理プログラム - Google Patents
撮像システム、ノイズ低減処理装置及び撮像処理プログラム Download PDFInfo
- Publication number
- JP4547223B2 JP4547223B2 JP2004282424A JP2004282424A JP4547223B2 JP 4547223 B2 JP4547223 B2 JP 4547223B2 JP 2004282424 A JP2004282424 A JP 2004282424A JP 2004282424 A JP2004282424 A JP 2004282424A JP 4547223 B2 JP4547223 B2 JP 4547223B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- target pixel
- luminance
- pixel
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009467 reduction Effects 0.000 title claims description 130
- 238000012545 processing Methods 0.000 title claims description 125
- 238000003384 imaging method Methods 0.000 title claims description 101
- 238000009499 grossing Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 69
- 238000012937 correction Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 47
- 238000000926 separation method Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000011946 reduction process Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 33
- 230000000694 effects Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 238000001444 catalytic combustion detection Methods 0.000 description 20
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 16
- 238000012546 transfer Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
(構成)
請求項1の本発明による撮像システムは、撮像素子からの信号に対しノイズ低減処理を行う撮像システムにおいて、ノイズ低減処理を行う上記信号中の注目画素と撮像時の条件に基づき第1のノイズ量を推定する第1のノイズ推定手段と、上記注目画素の画素値と上記第1のノイズ量とを用いて第1の許容範囲を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、上記注目画素および上記類似画素と撮像時の条件から第2のノイズ量を推定する第2のノイズ推定手段と、上記注目画素と類似画素との平均値と上記第2のノイズ量とを用いてノイズ量に関する第2の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、を有する。
請求項2の発明による撮像システムは、請求項1における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、ノイズ低減処理を行う上記信号中の注目画素に関して、信号レベルに対する基準ノイズ量の変化特性を与えるモデルにおける上記基準ノイズ量に対して、撮像時の条件に対応した補正係数を乗算することによってノイズ量を推定する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の第1のノイズ推定手段は図1,図9に示される制御部114,温度センサー116および図1,図3,図7,図9,図11に示されるノイズ推定部109が、請求項中の抽出手段は図1,図5,図7,図9に示される抽出部110が、請求項中の第2のノイズ推定手段は図1,図9に示される制御部114,温度センサー116および図1,図3,図7,図9,図11に示されるノイズ推定部109が、請求項中のノイズ低減手段は図1,図6,図7,図9に示されるノイズ低減部111が該当する。
ノイズ低減処理を行う注目画素から概略的な第1のノイズ量を推定し、推定された第1のノイズ量から注目画素と類似する類似画素を抽出し、注目画素および類似画素からより精度の高い第2のノイズ量を推定し、注目画素と類似画素との平均値と第2のノイズ量に基づきノイズ低減処理を行う。
高精度なノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。しかも、ノイズモデルを2回利用することで、第1,第2のノイズ量を推定することができ、回路構成が簡単で済む。
(構成)
請求項2の発明の撮像システムにおける上記撮像素子は、R(赤),G(緑),B(青)ベイヤー型原色フィルタを前面に配置した単板撮像素子またはCy(シアン)、Mg(マゼンタ),Ye(イエロー)、G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子からなり、上記信号から輝度信号および色差信号を算出するY/C分離手段を更に有する。
この発明に関する実施例は、図9〜図13に示される実施例2が対応する。請求項中のY/C分離手段は図9に示されるY/C分離部602が該当する。
Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用い、信号から輝度信号および色差信号を算出する。
算出した輝度信号および色差信号それぞれについて2つの第1,第2のノイズ推定手段を順次に用いて個別にノイズ低減処理を行うことになるため、個別の高精度なノイズ低減処理が可能となる。
(構成)
請求項2の発明における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、輝度ノイズ量を推定する輝度ノイズ推定手段を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の輝度ノイズ推定手段は、図1,図9に示される制御部114、温度センサー116および図1,図3,図7,図9,図11に示されるノイズ推定部109が該当する。
輝度信号および撮影時の情報から輝度ノイズを推定する。
撮影ごとに異なる条件に動的に適応し、高精度な輝度ノイズ量の推定が可能となる。
(構成)
請求項3の発明における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、輝度ノイズ量を推定する輝度ノイズ推定手段、および色ノイズ量を推定する色ノイズ推定手段の少なくとも一つを有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の輝度ノイズ推定手段は図1,図9に示される制御部114、温度センサー116および図1,図3,図7,図9,図11に示されるノイズ推定部109が、請求項中の色ノイズ推定手段は図1,図9に示される制御部114,温度センサー116および図1,図3,図7,図9,図11に示されるノイズ推定部109が該当する。
輝度信号および撮影時の情報から輝度ノイズ量を、色差信号および撮影時の情報から色ノイズ量を、少なくとも1つ推定する。輝度ノイズ量および色ノイズ量の両方を推定する場合には、同じノイズ推定部1 0 9, 制御部114,温度センサー116にて同じ注目画素または注目画素と類似画素から輝度ノイズ量および色ノイズ量を順次推定する動作を行えばよい。
撮影ごとに異なる条件に動的に適応し、かつ色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。
(構成)
請求項4又は5の発明における上記輝度ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、上記注目画素または上記注目画素と上記類似画素から平均輝度値を算出する平均輝度算出手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の収集手段は図1,図9に示される制御部114,温度センサー116および図3,図11に示されるゲイン算出部201が、請求項中の付与手段は図3,図11に示される標準値付与部202が、請求項中の平均輝度算出手段は図3,図11に示される平均算出部200が、請求項中の輝度ノイズ量算出手段は図3に示されるパラメータ用ROM203,パラメータ選択部204,補間部205及び補正部206、或いは、図11に示される輝度ノイズLUT700が該当する。
ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から輝度ノイズ量を算出する。
撮影ごとに異なる条件に動的に適応し、高精度な輝度ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも輝度ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。
(構成)
請求項5の発明における上記色ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、上記注目画素または上記注目画素と上記類似画素から平均色差値を算出する平均色差算出手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の収集手段は図1,図9に示される制御部114、温度センサー116および図3,図11に示されるゲイン算出部201が、請求項中の付与手段は図3,図11に示される標準値付与部202が、請求項中の平均色差算出手段は図3,図11に示される平均算出部200が、請求項中の色ノイズ量算出手段は図3に示されるパラメータ用ROM203,パラメータ選択部204,補間部205及び補正部206、或いは、図11に示される色ノイズLUT701が該当する。
ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から色ノイズ量を算出する。
撮影ごとに異なる条件に動的に適応し、高精度な色ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも色ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。
(構成)
請求項6又は7の発明における上記収集手段は、上記記撮像素子の温度値を測定する温度センサーを有する。
この発明に関する実施例は、図1〜図8に示される実施例1および第9 図〜図13に示される実施例2が対応する。請求項中の温度センサーは図1、図9に示される温度センサー116が該当する。
撮影時の撮像素子の温度を計測して、ノイズ量推定の情報とする。
撮影時の温度変化に動的に適応し、高精度なノイズ量の推定が可能となる。
(構成)
請求項6又は7の発明における上記収集手段は、ISO感度、露出情報,ホワイトバランス情報の少なくとも1つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中のゲイン算出手段は図1,図9に示される制御部114および図3,図11に示されるゲイン算出部201が該当する。
ISO感度,露出情報,ホワイトバランス情報から撮影時のゲイン量を求め、ノイズ量推定の情報とする。
撮影時のゲイン変化に動的に適応し、高精度なノイズ量の推定が可能となる。
(構成)
請求項6の発明における上記輝度ノイズ量算出手段は、基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき基準輝度ノイズ量を求める補間手段と、上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1が対応する。
請求項中の記録手段は図3に示されるパラメータ用ROM203が、請求項中のパラメータ選択手段は図3に示されるパラメータ選択部204が、請求項中の補間手段は図3に示される補間部205が、請求項中の補正手段は図3に示される補正部206が該当する。
基準輝度ノイズモデルに基づき補間および補正処理を行うことで輝度ノイズ量を求める。
ノイズ量の算出にモデルを用いているため、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。
(構成)
請求項10の発明における上記基準輝度ノイズモデルは、輝度値に対する輝度ノイズ量から成る複数の座標点データから構成されることを特徴とする。
この発明に関する実施例は、図1〜図8に示される実施例1が対応する。
この発明の好ましい適用例は、図4(b)に示される複数の座標点データからなる基準輝度ノイズモデルを用いる撮像システムである。
基準輝度ノイズモデルを複数の座標点データで構成する。
モデルに必要となるメモリ量が少なく、低コスト化が可能となる。
(構成)
請求項6の発明における上記輝度ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段を有する。
この発明に関する実施例は、図9〜図13に示される実施例2が対応する。
請求項中のルックアップテーブル手段は図11に示される輝度ノイズLUT700が該当する。
この発明の好ましい適用例は、輝度ノイズLUT700にて輝度ノイズ量を求める撮像システムである。
ルックアップテーブルから輝度ノイズ量を算出する。
輝度ノイズ量の算出にテーブルを用いているため高速な処理が可能となる。
(構成)
請求項7の発明における上記色ノイズ量算出手段は、基準色ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき基準色ノイズ量を求める補間手段と、上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1が対応する。
請求項中の記録手段は図3に示されるパラメータ用ROM203が、請求項中のパラメータ選択手段は図3に示されるパラメータ選択部204が、請求項中の補間手段は図3に示される補間部205が、請求項中の補正手段は図3に示される補正部206が該当する。
基準色ノイズモデルに基づき補間および補正処理を行うことで色ノイズ量を求める。
ノイズ量の算出にモデルを用いているため、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。
(構成)
請求項13の発明における上記基準色ノイズモデルは、色差値に対する色ノイズ量から成る複数の座標点データから構成されることを特徴とする。
この発明に関する実施例は、図9〜図13に示される実施例2が対応する。
この発明の好ましい適用例は、図12(b)に示される複数の座標点データからなる基準色ノイズモデルを用いる撮像システムである。
基準色ノイズモデルを複数の座標点データで構成する。
モデルに必要となるメモリ量が少なく、低コスト化が可能となる。
(構成)
請求項7の発明における上記色ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段を有する。
この発明に関する実施例は、図9〜図13に示される実施例2が対応する。
請求項中のルックアップテーブル手段は図11に示される色ノイズLUT701が該当する。
この発明の好ましい適用例は、色ノイズLUT701にて色ノイズ量を求める撮像システムである。
ルックアップテーブルから色ノイズ量を算出する。
色ノイズ量の算出にテーブルを用いているため高速な処理が可能となる。
(構成)
請求項2の発明における上記ノイズ低減手段は、上記注目画素と類似画素との平均値と上記第2のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の輝度ノイズ低減手段は図1,図6,図7,図9に示されるノイズ低減部111が該当する。
この発明の好ましい適用例は、ノイズ低減部111にて輝度ノイズを低減する撮像システムである。
輝度ノイズを独立に低減処理する。
輝度ノイズに対する低減処理の精度が向上する。
(構成)
請求項3の発明におけるノイズ低減手段は、上記注目画素と類似画素との平均値と上記第2のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段および上記注目画素と類似画素との平均値と上記第2のノイズ量に基づき上記注目画素から色ノイズを低減する色ノイズ低減手段の少なくとも一つを有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の輝度ノイズ低減手段は図1,図6,図7,図9に示されるノイズ低減部111が、色ノイズ低減手段は図1,図6,図7,図9に示されるノイズ低減部111が該当する。
輝度ノイズ量および色ノイズ量の少なくとも1つを低減する。輝度ノイズ量および色ノイズ量の両方を低減する場合には、同じノイズ低減部1 1 1にて同じ注目画素につき輝度ノイズおよび色ノイズを順次低減する動作を行えばよい。
輝度ノイズ量と色ノイズ量を独立(別々)に低減することで、各々の低減精度を向上できる。
(構成)
請求項16又は17の発明における上記輝度ノイズ低減手段は、上記注目画素と類似画素との平均値と上記第2のノイズ量に基づき上記注目画素にノイズ範囲を設定する設定手段と、上記注目画素の輝度信号に関してノイズ範囲に属する場合に平滑化を行う第1のスムージング手段と、上記注目画素の輝度信号に関してノイズ範囲に属さない場合に補正を行う第2のスムージング手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の設定手段は図6に示される範囲設定部402が、請求項中の第1のスムージング手段は図6に示される第1スムージング部403が、請求項中の第2のスムージング手段は図6に示される第2スムージング部404が該当する。
ノイズ範囲に属すると判断された注目画素の輝度信号には平滑化処理を、属さないと判断された注目画素の輝度信号には補正処理を行う。
輝度ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。
(構成)
請求項16又は17の発明における上記輝度ノイズ低減手段は、上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第3のスムージング手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の孤立点ノイズ判断手段は図6に示される孤立点ノイズ判断部400が、請求項中の第3のスムージング手段は図6に示される第3スムージング部405が該当する。
類似画素に基づき孤立点ノイズに属するかの判断を行い、属すると判断された注目画素の輝度信号に平滑化処理を行う。
孤立点ノイズの検出を通常のランダムノイズ処理と共通化することができ、システム全体を低コスト化することができる。さらに、孤立点ノイズ専用の平滑化処理を行うため、高品位な信号が得られる。
(構成)
請求項17の発明における上記色ノイズ低減手段は、上記注目画素と類似画素との平均値と上記第2のノイズ量に基づき上記注目画素にノイズ範囲を設定する設定手段と、上記注目画素の色差信号に関してノイズ範囲に属する場合に平滑化を行う第1のスムージング手段と、上記注目画素の色差信号に関してノイズ範囲に属さない場合に補正を行う第2のスムージング手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の設定手段は図6に示される範囲設定部402が、請求項中の第1のスムージング手段は図6に示される第1スムージング部403が、請求項中の第2のスムージング手段は図6に示される第2スムージング部404が該当する。
ノイズ範囲に属すると判断された注目画素の色差信号には平滑化処理を、属さないと判断された注目画素の色差信号には補正処理を行う。
色ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。
(構成)
請求項17の発明における上記色ノイズ低減手段は、上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第3のスムージング手段と、を有する。
この発明に関する実施例は、図1〜図8に示される実施例1および図9〜図13に示される実施例2が対応する。請求項中の孤立点ノイズ判断手段は図6に示される孤立点ノイズ判断部400が、請求項中の第3のスムージング手段は図6に示される第3スムージング部405が該当する。
類似画素に基づき孤立点ノイズに属するかの判断を行い、属すると判断された注目画素の色差信号に平滑化処理を行う。
孤立点ノイズの検出を通常のランダムノイズ処理と共通化することができ、システム全体を低コスト化することができる。さらに、孤立点ノイズ専用の平滑化処理を行うため、高品位な信号が得られる。
(構成)
請求項3の発明の撮像システムは、上記ノイズ低減手段で処理された上記注目画素の輝度信号および色差信号から、撮像素子からの本来の信号へ変換するY/C合成手段を更に有することを特徴とする。
この発明に関する実施例は、図9〜図13に示される実施例2が対応する。請求項中のY/C合成手段は図9に示されるY/C合成部603が該当する。
この発明の好ましい適用例は、Y/C合成部603にてノイズが低減された輝度信号および色差信号を本来撮像素子の信号形態へ逆変換を行う撮像システムである。
ノイズ低減後の信号を本来の撮像素子の信号形態へ逆変換する。
ノイズ低減後の輝度信号および色差信号を本来の信号へ戻すため、それ以降の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。
(構成)
請求項23の本発明によるノイズ低減処理装置は、入力される画像信号に対しノイズ低減処理を行うノイズ低減処理装置において、ノイズ低減処理を行う上記画像信号中の注目画素と撮像時の条件から第1のノイズ量を推定する第1のノイズ推定手段と、上記注目画素の画素値と上記第1のノイズ量とを用いて第1の許容範囲内を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、上記注目画素の画素値と上記類似画素の画素値と撮像時の条件から第2のノイズ量を推定する第2のノイズ推定手段と、上記注目画素と類似画素との平均値と上記第2のノイズ量とを用いてノイズ量に関する第2の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、を有する。
この発明に関する実施例は、図7に示される実施例1の変形例が対応する。請求項中の第1のノイズ推定手段は図7に示される制御部114,ヘッダ情報解析部501およびノイズ推定部109が、請求項中の抽出手段は図7に示される抽出部110が、請求項中の第2のノイズ推定手段は図7示される制御部114,ヘッダ情報解析部501およびノイズ推定部109が、請求項中のノイズ低減手段は図7に示されるノイズ低減部111が該当する。
ノイズ低減処理を行う注目画素から概略的な第1のノイズ量を推定し、推定された第1のノイズ量から注目画素と類似する類似画素を抽出し、注目画素および類似画素からより精度の高い第2のノイズ量を推定し、注目画素と類似画素との平均値と第2のノイズ量に基づきノイズ低減処理を行う。
高精度なノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。
図1は、本発明の実施例1の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像は、図示しない公知の相関二重サンプリング回路にてアナログ信号として読み出される。そして、利得制御増幅器(以下、Gain)103にて増幅され、アナログ/デジタル変換器(以下、A/D)104にてデジタル信号へ変換される。A/D104からの信号は、バッファ105を介してノイズ推定部109および抽出部110へ転送される。バッファ105は、測光評価部106,合焦点検出部107へも接続されている。測光評価部106は絞り101,CCD102,Gain103へ、合焦点検出部107はAF(Auto-Focusの略)モータ108へ接続されている。ノイズ推定部109は、抽出部110およびノイズ低減部111へ接続されている。抽出部110は、ノイズ推定部109およびノイズ低減部111へ接続されている。ノイズ低減部111は、信号処理部112を経由してメモリーカードなどの出力部113に接続されている。
図1において、信号の流れを説明する。外部I/F部115を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された信号は、アナログ信号として出力される。なお、本実施例において、CCD102は白黒用単板CCDを、出力される信号は輝度信号Yを想定する。上記アナログ信号はGain103にて所定量増幅され、A/D104にてデジタル信号へ変換されてバッファ105へ転送される。
[式2]
となる.ここで、αsgt,βsgt,γsgtは定数項である。ただし、(2)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図4(b)に示すようなモデルの簡略化を行う。図4(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln,Nn)で表す。ここで、nは変曲点の数を示す。
上記基準ノイズモデルは、輝度信号に関する基準輝度ノイズモデルである。パラメータ選択部204は、平均算出部200からの注目画素P22の画素値Ps22から信号レベルlを、ゲイン算出部201からのゲインの情報からゲインgを、制御部114からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln,Nn)と(Ln+1,Nn+1)をパラメータ用ROM203から探索し、これを補間部205へ転送する。さらに、補正係数ksgtをパラメータ用ROM203から探索し、これを補正部206へ転送する。補間部205は、制御部114の制御に基づきパラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln,Nn)と(Ln+1,Nn+1)から(3)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正部206へ転送する。補正部206は、制御部114の制御に基づきパラメータ選択部204からの補正係数ksgtおよび補間部205からの基準ノイズ量Nlから(4)式に基づきノイズ量Nsを算出する。なお、ここで算出されたノイズ量は第1のノイズ量であり以後N1sで表す。第1のノイズ量N1sは、注目画素P22の画素値Ps22と共に抽出部110へ転送される。抽出部110にて、注目画素と類似する類似画素が抽出される。平均算出部200は、制御部114の制御に基づき、抽出部110から注目画素および類似画素の画素値を読み込み、これらの平均値を算出する。図2(b)に示されるように注目画素をP22、類似画素をPi'j'とし、これらの画素値をPs22、Psi'j'とすると、平均値AVsは、
[式5]
ここで、noは類似画素Pi'j'の総数を意味する。平均値AVsを信号レベルlとして、上記(3),(4)式に基づきノイズ量Nsを求める。なお、ここで算出されたノイズ量は第2のノイズ量であり以後N2sで表す。第2のノイズ量N2sは、平均値AVsと共にノイズ低減部111へ転送される。
上記許容範囲は、類似性調査部302へ転送される。近傍抽出部301は、制御部114の制御に基づき、バッファ105から注目画素およびその近傍領域を抽出し、画素単位で順次類似性調査部302へ転送する。本実施例において注目画素近傍とは図2(a)に示されるように、注目画素(P22)を中心とする5×5画素領域(Pij, i = 0〜4, j=0〜4)を想定する。類似性調査部302は、許容範囲設定部300からの許容範囲として上限App_Upsおよび下限App_Lowsに基づき、近傍抽出部301からの近傍領域の画素を調査する。
上記許容範囲Noise_Ups,Noise_Lowsは、切り換え部401へ転送される。また、範囲設定部402は注目画素と類似画素の平均値AVsおよびノイズ量N2sを第1スムージング部403および第2スムージング部404へ転送する。切り換え部401は、制御部114の制御に基づき、抽出部110からの注目画素P22の画素値Ps22を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ許容範囲に属している」,「ノイズ許容範囲を上回っている」,「ノイズ許容範囲を下回っている」の三通りである。切り換え部401は、「ノイズ許容範囲に属している」場合は第1スムージング部403へ、それ以外は第2スムージング部404へ注目画素P22の画素値Ps22を転送する。第1スムージング部403は、切り換え部401からの注目画素P22の画素値Ps22に範囲設定部402からの平均値AVsを代入する平滑化処理を行う。
第2スムージング部404は、切り換え部401からの注目画素P22の画素値Ps22に範囲設定部402からの輝度信号の平均値AVsとノイズ量N2sを用いて補正する処理を行う。まず、「ノイズ許容範囲を上回っている」場合は(9)式のように補正する。
図8(a)は、ノイズ低減処理のソフトウェア処理に関するフローを示す。ステップS1にて、信号と温度,ゲインなどのヘッダ情報を読み込む。ステップS2にて、信号から注目画素を順次抽出する。ステップS3にて、別途説明するように注目画素から第1のノイズ量を算出する。ステップS4にて、(6)式に示される類似画素を抽出するための許容範囲を設定する。ステップS5にて、ステップS4からの許容範囲に基づき注目画素近傍から図2(b)に示されるような類似画素を抽出する。ステップS6にて、別途説明するように注目画素および類似画素から第2のノイズ量を算出する。ステップS7にて、図2(d)に示されるような注目画素の3×3近傍領域中の類似画素数を求め、0以外の場合は通常の画素としてステップS8へ、0の場合は孤立点ノイズとしてステップS11へ分岐する。
図9は、本発明の実施例2の構成図である。本実施例2は、実施例1にカラーフィルタ600,プリホワイトバランス(以下、PreWB)部601,Y/C分離部602,Y/C合成部603が追加された構成になっている。なお、図9の実施例2はカラー用の対応回路構成となっているが、実施例1と同一の構成要素には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。撮像部分で図1の実施例1と異なる点は、カラーフィルタ600とPreWB部601が追加されていることであり、バッファ105以降の回路部分では、Y/C分離部602,Y/C合成部603が追加されていることと、ノイズ推定部109A,信号処理部112A,出力部113A及び制御部114Aがカラー用に対応したもの(ソフトウェアを含む)となっていることである。抽出部110及びノイズ低減部111については、カラーの場合も白黒の場合と共通に使用でき、図1の実施例1と全く同様な回路を用いることができる。
PreWB部601は、画像信号中の所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出するもので、該係数をGain103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
Y/C合成部603は、ノイズ低減部111で処理された注目画素の輝度信号および色差信号から、撮像素子からの本来のR,G,B信号又はCy、Mg,Ye,G信号へ変換するものである。
基本的に実施例1と同等であり、異なる部分のみ説明する。図9において、信号の流れを説明する。外部I/F部115を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,カラーフィルタ600,CCD102を介して撮影された信号は、Gain103,A/D104を介してバッファ105へ転送される。
上記4種類の信号はノイズ推定部109Aおよび抽出部110へ転送される。ノイズ推定部109A,抽出部110は、前記実施例1と同様に注目画素に対して第1のノイズ量を求め、第1のノイズ量から類似画素を求め、注目画素と類似画素から第2のノイズ量を求める。
信号処理部112Aは、制御部114Aの制御に基づきノイズ低減後の信号(即ち、Bayer型の信号形態R',Gr',Gb',B')に対して、公知の補間処理(R',Gr',Gb',B'の4つの撮影相当画素については各画素ごとに自身以外のRGB他色画素を補間処理にて作成する必要があるがそのためのカラー補間処理を言う),強調処理,圧縮処理などを行い、出力部113Aへ転送する。出力部113Aは、メモリーカードなどへBayer型のカラー信号形態の信号を記録保存する。
ここで、δs,εsは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、素子の温度やゲインによっても変化する。図12(a)は、一例としてゲインに関連する3種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の直線は(13)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、
[式14]
となる.ここで、δsgt,εsgtは定数項である.色ノイズLUT701は、上記(14)式に基づき構築される。色ノイズLUT701で得られたノイズ量は抽出部110およびノイズ低減部111へ転送される。
さらに、上記実施例2では、カラーフィルタ600はBayer型原色フィルタを想定したが、これに限定される必要はない。例えば、色差線順次型補色フィルタや二板,三板CCDにも適用可能である。図10(d)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye)、緑(G)が1画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。この場合、図10(e)に示すように2×2画素領域を1行1列づつ重複させながら順次抽出し、(16)式に示す輝度信号Yおよび色差信号Cb,Crを領域単位に算出する構成も可能である。
さらに、上記実施例2では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部114Aからの撮影時の温度,ゲイン,シャッター速度などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図13(a)は、ノイズ低減処理のソフトウェア処理に関するフローを示す。なお、図8(a)に示す本願実施例1におけるノイズ低減処理のフローと同一な処理ステップに関しては、同一のステップ符号を割り当てている。
103…利得制御増幅器(ゲインアンプ、Gain)
109…ノイズ推定部
110…抽出部(抽出手段)
111…ノイズ低減部(ノイズ低減手段)
114…制御部
116…温度センサー
代理人 弁理士 伊 藤 進
Claims (35)
- 撮像素子からの信号に対しノイズ低減処理を行う撮像システムにおいて、
ノイズ低減処理を行う上記信号中の注目画素と撮像時の条件に基づき第1のノイズ量を推定する第1のノイズ推定手段と、
上記注目画素の画素値と上記第1のノイズ量とを用いて第1の許容範囲を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、
上記注目画素および上記類似画素と撮像時の条件から第2のノイズ量を推定する第2のノイズ推定手段と、
上記注目画素と類似画素との平均値と上記第2のノイズ量とを用いてノイズ量に関する第2の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、
を有することを特徴とする撮像システム。 - 請求項1における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、
ノイズ低減処理を行う上記信号中の注目画素に関して、信号レベルに対する基準ノイズ量の変化特性を与えるモデルにおける上記基準ノイズ量に対して、撮像時の条件に対応した補正係数を乗算することによってノイズ量を推定することを特徴とする撮像システム。 - 請求項2の撮像システムにおける上記撮像素子は、R(赤),G(緑),B(青)ベイヤー型原色フィルタを前面に配置した単板撮像素子またはCy(シアン),Mg(マゼンタ),Ye(イエロー),G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子からなり、上記信号から輝度信号および色差信号を算出するY/C分離手段を更に有することを特徴とする撮像システム。
- 請求項2における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、
輝度ノイズ量を推定する輝度ノイズ推定手段を有することを特徴とする撮像システム。 - 請求項3における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、
輝度ノイズ量を推定する輝度ノイズ推定手段、および色ノイズ量を推定する色ノイズ推定手段の少なくとも一つを有することを特徴とする撮像システム。 - 請求項4又は5における上記輝度ノイズ推定手段は、
上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、
上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、
上記注目画素または上記注目画素と上記類似画素から平均輝度値を算出する平均輝度算出手段と、
上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、
を有することを特徴とする撮像システム。 - 請求項5における上記色ノイズ推定手段は、
上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、
上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、
上記注目画素または上記注目画素と上記類似画素から平均色差値を算出する平均色差算出手段と、
上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、
を有することを特徴とする撮像システム。 - 請求項6又は7における上記収集手段は、
上記記撮像素子の温度値を測定する温度センサーを有することを特徴とする撮像システム。 - 請求項6又は7における上記収集手段は、
ISO感度、露出情報,ホワイトバランス情報の少なくとも1つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段
を有することを特徴とする撮像システム。 - 請求項6における上記輝度ノイズ量算出手段は、
基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、
上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき基準輝度ノイズ量を求める補間手段と、
上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、
を有することを特徴とする撮像システム。 - 請求項10における上記基準輝度ノイズモデルは、
輝度値に対する輝度ノイズ量から成る複数の座標点データから構成されることを特徴とする撮像システム。 - 請求項6における上記輝度ノイズ量算出手段は、
上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段
を有することを特徴とする撮像システム。 - 請求項7における上記色ノイズ量算出手段は、
基準色ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、
上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき基準色ノイズ量を求める補間手段と、
上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、
を有することを特徴とする撮像システム。 - 請求項13における上記基準色ノイズモデルは、
色差値に対する色ノイズ量から成る複数の座標点データから構成されることを特徴とする撮像システム。 - 請求項7における上記色ノイズ量算出手段は、
上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段
を有することを特徴とする撮像システム。 - 請求項2における上記ノイズ低減手段は、
上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段を有することを特徴とする撮像システム。 - 請求項3におけるノイズ低減手段は、
上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段および上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素から色ノイズを低減する色ノイズ低減手段の少なくとも一つ
を有することを特徴とする撮像システム。 - 請求項16又は17における上記輝度ノイズ低減手段は、
上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素にノイズ許容範囲を設定する設定手段と、
上記注目画素の輝度信号に関してノイズ許容範囲に属する場合に平滑化を行う第1のスムージング手段と、
上記注目画素の輝度信号に関してノイズ許容範囲に属さない場合に補正を行う第2のスムージング手段と、
を有することを特徴とする撮像システム。 - 請求項16又は17における上記輝度ノイズ低減手段は、
上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、
上記注目画素が孤立点ノイズと判断された場合にその注目画素を上記類似画素を用いて平滑化を行う第3のスムージング手段と、
を有することを特徴とする撮像システム。 - 請求項17における上記色ノイズ低減手段は、
上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素にノイズ許容範囲を設定する設定手段と、
上記注目画素の色差信号に関してノイズ許容範囲に属する場合に平滑化を行う第1のスムージング手段と、
上記注目画素の色差信号に関してノイズ許容範囲に属さない場合に補正を行う第2のスムージング手段と、
を有することを特徴とする撮像システム。 - 請求項17における上記色ノイズ低減手段は、
上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、
上記注目画素が孤立点ノイズと判断された場合にその注目画素を上記類似画素を用いて平滑化を行う第3のスムージング手段と、
を有することを特徴とする撮像システム。 - 請求項3の撮像システムは、
上記ノイズ低減手段で処理された上記注目画素の輝度信号および色差信号から、撮像素子からの本来の信号へ変換するY/C合成手段
を更に有することを特徴とする撮像システム。 - 入力される画像信号に対しノイズ低減処理を行うノイズ低減処理装置において、
ノイズ低減処理を行う上記画像信号中の注目画素と撮像時の条件から第1のノイズ量を推定する第1のノイズ推定手段と、
上記注目画素の画素値と上記第1のノイズ量とを用いて第1の許容範囲内を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、
上記注目画素の画素値と上記類似画素の画素値と撮像時の条件から第2のノイズ量を推定する第2のノイズ推定手段と、
上記注目画素と類似画素との平均値と上記第2のノイズ量とを用いてノイズ量に関する第2の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、
を有することを特徴とするノイズ低減処理装置。 - コンピュータに、
撮像素子からの信号に対しノイズ低減処理を行う上記信号中の注目画素と撮像時の条件から第1のノイズ量を推定する第1のノイズ推定処理と、
上記注目画素の画素値と上記第1のノイズ量とを用いて第1の許容範囲を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出処理と、
上記注目画素の画素値と上記類似画素の画素値と撮影条件から第2のノイズ量を推定する第2のノイズ推定処理と、
上記注目画素と類似画素との平均値と上記第2のノイズ量とを用いてノイズ量に関する第2の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減処理と、
を実行させることを特徴とする撮像処理プログラム。 - 請求項24における上記第1のノイズ推定手段および上記第2のノイズ推定手段は、
ノイズ低減処理を行う上記信号中の注目画素に関して、信号レベルに対する基準ノイズ量の変化特性を与えるモデルにおける上記基準ノイズ量に対して、撮像時の条件に対応した補正係数を乗算することによってノイズ量を推定することを特徴とする撮像処理プログラム。 - 請求項25の撮像処理プログラムにおける上記撮像素子は、R(赤),G(緑),B(青)ベイヤー型原色フィルタを前面に配置した単板撮像素子またはCy(シアン)、Mg(マゼンタ),Ye(イエロー)、G(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子からなり、
上記信号から輝度信号および色差信号を算出するY/C分離処理
を更に有することを特徴とする撮像処理プログラム。 - 請求項25における上記第1のノイズ推定処理および上記第2のノイズ推定処理は、
輝度ノイズ量を推定する輝度ノイズ推定処理
を有することを特徴とする撮像処理プログラム。 - 請求項26における上記第1のノイズ推定処理および上記第2のノイズ推定処理は、
輝度ノイズ量を推定する輝度ノイズ推定処理、および色ノイズ量を推定する色ノイズ推定処理の少なくとも一つ
を有することを特徴とする撮像処理プログラム。 - 請求項27又は28における上記輝度ノイズ推定処理は、
上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集処理と、
上記収集処理で得られない上記情報に関して標準値を付与する付与処理と、
上記注目画素または上記注目画素と上記類似画素から平均輝度値を算出する平均輝度算出処理と、
上記収集処理または上記付与処理からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出処理と、
を有することを特徴とする撮像処理プログラム。 - 請求項28における上記色ノイズ推定処理は、
上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集処理と、
上記収集処理で得られない上記情報に関して標準値を付与する付与処理と、
上記注目画素または上記注目画素と上記類似画素から平均色差値を算出する平均色差算出処理と、
上記収集処理または上記付与処理からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出処理と、
を有することを特徴とする撮像処理プログラム。 - 請求項25における上記ノイズ低減処理は、
上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減処理を有することを特徴とする撮像処理プログラム。 - 請求項26における上記ノイズ低減処理は、
上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減処理および上記注目画素と類似画素の平均値と上記第2のノイズ量に基づき上記注目画素から色ノイズを低減する色ノイズ低減処理の少なくとも一つ
を有することを特徴とする撮像処理プログラム。 - 請求項31又は32における上記輝度ノイズ低減処理は、
上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断処理と、
上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第3のスムージング処理と、
を有することを特徴とする撮像処理プログラム。 - 請求項32における上記色ノイズ低減処理は、
上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断処理と、
上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第3のスムージング処理と、
を有することを特徴とする撮像処理プログラム。 - 請求項25の撮像処理プログラムは、
上記ノイズ低減処理で処理された上記注目画素の輝度信号および色差信号から、撮像素子からの本来の信号へ変換するY/C合成処理
を更に有することを特徴とする撮像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004282424A JP4547223B2 (ja) | 2004-09-28 | 2004-09-28 | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム |
US11/230,337 US7656442B2 (en) | 2004-09-28 | 2005-09-20 | Image pickup system, noise reduction processing device and image pick-up processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004282424A JP4547223B2 (ja) | 2004-09-28 | 2004-09-28 | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006101006A JP2006101006A (ja) | 2006-04-13 |
JP4547223B2 true JP4547223B2 (ja) | 2010-09-22 |
Family
ID=36098582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004282424A Expired - Fee Related JP4547223B2 (ja) | 2004-09-28 | 2004-09-28 | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7656442B2 (ja) |
JP (1) | JP4547223B2 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4441321B2 (ja) * | 2004-04-27 | 2010-03-31 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP4660342B2 (ja) * | 2005-10-12 | 2011-03-30 | オリンパス株式会社 | 画像処理システム、画像処理プログラム |
JP5009004B2 (ja) * | 2006-07-31 | 2012-08-22 | 株式会社リコー | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム |
JP4994825B2 (ja) * | 2006-12-22 | 2012-08-08 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP4523008B2 (ja) | 2007-01-10 | 2010-08-11 | 学校法人神奈川大学 | 画像処理装置および撮像装置 |
US20080239119A1 (en) * | 2007-03-31 | 2008-10-02 | Olivier Patrick Boireau | Image capturing system and technique |
JP5052189B2 (ja) * | 2007-04-13 | 2012-10-17 | オリンパス株式会社 | 映像処理装置及び映像処理プログラム |
JP4980131B2 (ja) * | 2007-05-01 | 2012-07-18 | 富士フイルム株式会社 | ノイズ低減装置および方法並びにプログラム |
JP5034003B2 (ja) * | 2007-06-25 | 2012-09-26 | オリンパス株式会社 | 画像処理装置 |
JP5165300B2 (ja) * | 2007-07-23 | 2013-03-21 | オリンパス株式会社 | 映像処理装置および映像処理プログラム |
JP2009077230A (ja) * | 2007-09-21 | 2009-04-09 | Seiko Epson Corp | 画像処理装置、マイクロコンピュータ及び電子機器 |
KR101356698B1 (ko) * | 2007-10-01 | 2014-01-29 | 삼성전자주식회사 | 화소 간 크로스토크의 영향을 저감하는 이미지 센서, 컬러필터 어레이, 및 촬상 장치 |
JP4465002B2 (ja) * | 2007-11-16 | 2010-05-19 | オリンパス株式会社 | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 |
JP5052319B2 (ja) * | 2007-12-17 | 2012-10-17 | オリンパス株式会社 | 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法 |
TW201001334A (en) * | 2008-06-20 | 2010-01-01 | Altek Corp | Adjustment method of color tone for digital image and electronic apparatus thereof |
JP2010026734A (ja) * | 2008-07-17 | 2010-02-04 | Canon Inc | 画像処理装置およびその方法 |
JP5087529B2 (ja) * | 2008-12-01 | 2012-12-05 | オリンパス株式会社 | 識別処理装置、識別処理プログラム及び識別処理方法 |
JP5302158B2 (ja) * | 2009-10-14 | 2013-10-02 | オリンパス株式会社 | 画像信号処理装置、画像信号処理プログラムおよび画像信号処理方法 |
KR20110048922A (ko) * | 2009-11-03 | 2011-05-12 | 삼성전자주식회사 | 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법 |
KR101633397B1 (ko) | 2010-03-12 | 2016-06-27 | 삼성전자주식회사 | 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템 |
JP2012010276A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US8711250B2 (en) | 2011-02-09 | 2014-04-29 | Olympus Corporation | Image signal processing apparatus and image signal processing method |
CN103747735B (zh) * | 2011-09-22 | 2016-04-20 | 株式会社岛津制作所 | 图像处理装置以及具备该图像处理装置的放射线摄影装置 |
JP6086663B2 (ja) * | 2012-06-19 | 2017-03-01 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法 |
JP6253331B2 (ja) | 2012-10-25 | 2017-12-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6071419B2 (ja) * | 2012-10-25 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5991438B2 (ja) * | 2013-08-08 | 2016-09-14 | 株式会社島津製作所 | 画像処理装置 |
JP6332951B2 (ja) * | 2013-11-29 | 2018-05-30 | キヤノン株式会社 | 画像処理装置および画像処理方法、およびプログラム |
UA115360C2 (uk) * | 2015-10-20 | 2017-10-25 | Максим Володимирович Давидов | Спосіб обробки цифрового зображення для зниження рівня шуму |
JP6870993B2 (ja) * | 2017-01-20 | 2021-05-12 | キヤノンメディカルシステムズ株式会社 | 画像処理装置及びx線診断装置 |
JP7311994B2 (ja) | 2019-03-27 | 2023-07-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023173A (ja) * | 1998-07-01 | 2000-01-21 | Eastman Kodak Japan Ltd | 固体カラー撮像デバイスのノイズ除去方法 |
JP2001189944A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 撮像装置 |
JP2003153290A (ja) * | 2001-08-31 | 2003-05-23 | Stmicroelectronics Srl | ベイヤーパターン画像データ用ノイズフィルタ |
JP2004015322A (ja) * | 2002-06-05 | 2004-01-15 | Canon Inc | 画像処理装置及び画像処理方法並びにコンピュータプログラム |
JP2004072422A (ja) * | 2002-08-06 | 2004-03-04 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2004128985A (ja) * | 2002-10-03 | 2004-04-22 | Olympus Corp | 撮像システム、再生システム、撮像プログラム、再生プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6697107B1 (en) * | 1998-07-09 | 2004-02-24 | Eastman Kodak Company | Smoothing a digital color image using luminance values |
JP2001157057A (ja) | 1999-11-30 | 2001-06-08 | Konica Corp | 画像読取装置 |
JP3689607B2 (ja) | 1999-12-15 | 2005-08-31 | キヤノン株式会社 | 画像処理方法、装置および記憶媒体 |
US7065257B2 (en) * | 2001-09-03 | 2006-06-20 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Image processing method and apparatus |
JP4979595B2 (ja) * | 2005-12-28 | 2012-07-18 | オリンパス株式会社 | 撮像システム、画像処理方法、画像処理プログラム |
-
2004
- 2004-09-28 JP JP2004282424A patent/JP4547223B2/ja not_active Expired - Fee Related
-
2005
- 2005-09-20 US US11/230,337 patent/US7656442B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023173A (ja) * | 1998-07-01 | 2000-01-21 | Eastman Kodak Japan Ltd | 固体カラー撮像デバイスのノイズ除去方法 |
JP2001189944A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 撮像装置 |
JP2003153290A (ja) * | 2001-08-31 | 2003-05-23 | Stmicroelectronics Srl | ベイヤーパターン画像データ用ノイズフィルタ |
JP2004015322A (ja) * | 2002-06-05 | 2004-01-15 | Canon Inc | 画像処理装置及び画像処理方法並びにコンピュータプログラム |
JP2004072422A (ja) * | 2002-08-06 | 2004-03-04 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2004128985A (ja) * | 2002-10-03 | 2004-04-22 | Olympus Corp | 撮像システム、再生システム、撮像プログラム、再生プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2006101006A (ja) | 2006-04-13 |
US7656442B2 (en) | 2010-02-02 |
US20060066736A1 (en) | 2006-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4547223B2 (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
JP3934597B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
JP4653059B2 (ja) | 撮像システム、画像処理プログラム | |
JP3934506B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
US8184924B2 (en) | Image processing apparatus and image processing program | |
JPWO2007049418A1 (ja) | 画像処理システム、画像処理プログラム | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
JP3899118B2 (ja) | 撮像システム、画像処理プログラム | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
US7916187B2 (en) | Image processing apparatus, image processing method, and program | |
JP5052189B2 (ja) | 映像処理装置及び映像処理プログラム | |
JP2006023959A (ja) | 信号処理システム及び信号処理プログラム | |
WO2007043325A1 (ja) | 画像処理システム、画像処理プログラム | |
JP2005303802A (ja) | 撮像装置および画像処理プログラム | |
JP4916341B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2005303803A (ja) | 撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体 | |
JP2008271101A (ja) | 映像処理装置及び映像処理プログラム | |
JP2009027615A (ja) | 映像処理装置および映像処理プログラム | |
JP2009100207A (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4547223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |