JP4297651B2 - Image signal processing device - Google Patents
Image signal processing device Download PDFInfo
- Publication number
- JP4297651B2 JP4297651B2 JP2002192407A JP2002192407A JP4297651B2 JP 4297651 B2 JP4297651 B2 JP 4297651B2 JP 2002192407 A JP2002192407 A JP 2002192407A JP 2002192407 A JP2002192407 A JP 2002192407A JP 4297651 B2 JP4297651 B2 JP 4297651B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- level
- pixel
- signal processing
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 claims description 40
- 230000002093 peripheral effect Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008602 contraction Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
- Picture Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像信号に含まれるノイズ画素を検出して補正する画像信号処理装置に関する。
【0002】
【従来の技術】
イメージセンサ等の撮像素子により生成される画像信号は、ランダムに発生するランダムノイズや画素欠陥のような固定パターンのノイズを含み得る。
【0003】
画素欠陥と称されるノイズは、イメージセンサに配列される複数の受光画素中の不良画素が原因で、再生画面上に白点や黒点となって現れる。この画素欠陥を補正する従来の技術には、画素欠陥が複数画面に亘って一定の位置に発生するという特性を利用するものがある。具体的には、画素欠陥は一定位置に発生するので、複数画面に亘る時間積分を行うことにより、ランダムノイズを除去し、画素欠陥を検出することができる。この時間積分は、メモリを用いて、画像上の同じ位置の画像信号を累積加算することにより可能である。また、一旦、画素欠陥が検出されるとその位置をメモリに記憶することができる。そして、以降の撮像時には、画素欠陥の検出処理を行うことなく、メモリに記憶された画素欠陥位置に対応する画像信号を自動的に補正することが可能である。画素欠陥の補正方法としては、画素欠陥位置の周辺画素の画像信号を補間する方法がある。すなわち、周辺画素の補間値が画素欠陥位置の画像信号とされる。
【0004】
一方、ランダムノイズの発生する画素位置は不規則に変化する。そのため、時間積分を行うと、ノイズを含んだ画像信号と含まない画像信号とが平均化され、ランダムノイズを検出することはできない。また、その発生位置を記憶して、自動的に補正することもできない。ランダムノイズは画像信号の増幅率(ゲイン)を上げたり、撮像装置の露光時間を長くすると増加する。つまり、低照度の撮像条件下にて得られた画像信号においては、被写体からの入射光の光電変換により発生する電子が少ない分、熱雑音等により撮像素子内で発生する電子の寄与が相対的に大きくなる。ここで、例えば、輪郭強調処理は画質のS/N比を劣化させる。従来は、このようなS/N比に影響を与える画像信号処理を、画像信号のゲイン等に応じて制御することによって、ランダムノイズによる画質の劣化の軽減が図られている。例えば、ゲインを増加させる場合には、アパーチャ信号の振幅を低減して輪郭強調を弱めることによって、画像のノイズ感が軽減される。このようなランダムノイズに対する従来の画像信号の補正処理は、画素欠陥に対する補間処理のような画素単位での処理ではなく、画面全体に対し一様に施される処理である。
【0005】
【発明が解決しようとする課題】
従来のランダムノイズに対する補正処理は、上述のようにノイズ画素以外の画素についても影響が及ぶため、十分な効果が得られる強度で施すことができないという問題があった。
【0006】
また、画素欠陥に対する補正と同様にして、ランダムノイズが生じた画素の画像信号を、その周辺画素を補間した画像信号で置き換える補間処理を行うことは、ランダムノイズの発生頻度が画素欠陥に比べて遙かに高いため、画像の解像度の低下が顕著になり、一般的には好ましくない。
【0007】
その一方で、低照度の撮像条件下のようにランダムノイズが著しい場合には、解像度を多少犠牲にしてもノイズ感を抑制することが望ましい場合もある。しかし従来は、ランダムノイズと画素欠陥とは別回路構成、別個の処理で補正され、撮像条件等に応じて、処理を切り替えてランダムノイズに補間処理を適用することができなかった。例えば、時間積分を行う従来の画素欠陥補正回路では、すでに述べたようにランダムノイズを検出することができず、当該ランダムノイズの補間処理を行うことができない。
【0008】
本発明は上記問題点を解決するためになされたもので、画像信号に含まれるランダムノイズを好適に補正し良好な画質の画像が得られる画像信号処理装置を提供することを目的とする。また、撮像条件等に応じて柔軟にランダムノイズや画素欠陥を補正可能な画像信号処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明に係る画像信号処理装置は、1画面単位で再生画像を表示する画像信号に対して、画面を構成する複数の画素のうち、特定の画素が画像成分を含まない画素欠陥であるときに補間処理を施すと共に、所定レベルを越えるノイズ成分を含むノイズ画素であるときに補正処理を施す画像信号処理装置であって、目標画素に隣接する複数の周辺画素の画像信号の最大レベル及び最小レベルに基づいて第1の基準範囲を設定すると共に、前記第1の基準範囲を含みつつ当該第1の基準範囲より幅の広い第2の基準範囲を設定し、前記目標画素の信号レベルが前記第1の基準範囲外のときに前記目標画素を前記ノイズ画素と判定すると共に、前記目標画素の信号レベルが前記第2の基準範囲外のときに前記目標画素を前記画素欠陥と判定する判定回路と、前記判定回路の判定結果に基づいて、前記ノイズ画素に対してレベル補正処理を施す補正回路と、前記判定回路の判定結果に基づいて、前記画素欠陥に対して前記複数の周辺画素の信号レベルに基づいた補間処理を行う補間回路とを備える。
【0010】
本発明によれば、判定回路は、目標画素とその周辺画素とで原画像信号を対比して、目標画素が画素欠陥であるか否かやノイズ画素であるか否かを判定する。判定回路は、原画像信号に対して基本的に時間積分を行うことなく、周辺画素との比較に基づいて判定を行うので、ランダムノイズを検出することができる。画像信号処理回路は、正常な画素の原画像信号に対しては本来目的とする所定の信号処理を行って目的画像信号を生成する。一方、画素欠陥に対しては補間処理、ノイズ画素に対してはレベル補正処理を施す。ここで、ノイズ画素に対するレベル補正処理は、当該ノイズ画素の原画像信号に含まれるノイズ成分を除去・緩和することができるものである。すなわち、画像信号処理回路では、画素単位でノイズ画素のレベル補正処理が実施される。具体的には、判定回路は第1の基準範囲とそれを含みより幅の広い第2の基準範囲とを設定される。これら基準範囲は、各目標画素ごとにその周辺画素の画像信号に基づいて設定される。目標画素の画像信号が第1の基準範囲内であるときは、比較的に周辺画素との画像信号の差異が小さく、目標画素の画像信号が第2の基準範囲外であるときは、比較的に周辺画素との画像信号の差異が大きく、目標画素の画像信号が第1の基準範囲の外側、かつ第2の基準範囲の内側にあるときは、周辺画素の画像信号との差異は中程度である。判定回路は、周辺画素との差異が大きい目標画素を画素欠陥と判定し、差異が中程度の目標画素をノイズ画素と判定する。一般に目標画素と周辺画素との信号レベル差が大きいほど、その事象の発生頻度は低いことを期待でき、よって発生頻度が低い画素欠陥を補間で好適に補正する一方、発生頻度が高いノイズ画素に対しては、補間を行わないレベル補正処理を施すことにより、解像度の劣化を抑制しつつ、ノイズ画素を画像上、目立たなくすることができる。
【0011】
本発明の好適な態様は、前記判定回路が、前記複数の周辺画素の画像信号の最大レベルから最小レベルまでの範囲を前記第1の基準範囲とすると共に、前記複数の周辺画素の画像信号の平均レベルに前記最大レベルと前記最小レベルとの差を加算したレベルから前記平均レベルより前記最大レベルと前記最小レベルとの差を減算したレベルまでの範囲を前記第2の基準範囲とする画像信号処理装置である。
【0012】
本発明の好適な態様は、所定のオフセット値を格納するレジスタをさらに備え、前記判定回路が、前記複数の周辺画素の画像信号の最大レベルから最小レベルまでの範囲を前記第1の基準範囲とすると共に、前記最大レベルに前記所定のオフセット値を加算したレベルから前記最大レベルに前記所定のオフセット値を減算したレベルまでの範囲を前記第2の基準範囲とする画像信号処理装置である。
【0013】
本発明の好適な態様は、入力される画像信号から色差信号を生成する色信号生成回路をさらに備え、前記補正回路が、前記ノイズ画素に対応する色差信号のゲイン量を低く設定する画像信号処理装置である。
【0014】
本発明の好適な態様は、入力される画像信号のアパーチャ信号を生成するアパーチャ生成回路をさらに備え、前記補正回路が、前記ノイズ画素に対応するアパーチャ信号のレベルを低く設定する画像信号処理装置である。
【0015】
他の本発明に係る画像信号処理装置は、複数のオフセット値を格納するレジスタをさらに備え、前記判定回路が、前記レジスタに格納された複数のオフセット値から任意のオフセット値を選択的に取り込み、取り込んだオフセット値を前記第1及び第2の基準範囲の少なくとも一方に加算、又は減算して、前記第1及び第2の基準範囲を変更制御する。
【0016】
本発明によれば、目標画素ごとに設定される第1の基準範囲や第2の基準範囲が、撮像条件等に応じて変更制御される。例えば、原画像信号が得られる撮像条件が低照度であり、ランダムノイズが多い場合には画像のS/N比が低下する。このような場合に、解像度をある程度犠牲にしても画像のノイズ感を低減したい場合には、第2の基準範囲を狭めて、本来の画素欠陥だけでなく、ノイズ成分が大きなランダムノイズも補間により除去するようにする。このように本発明によれば、撮像条件等に応じて柔軟なノイズ補正が可能となる。
【0017】
本発明の好適な態様の画像信号処理装置は、入力される画像信号の信号レベルを所定範囲内に納めるようにゲイン調整する自動利得制御回路をさらに備え、前記判定回路が、前記自動利得制御回路のゲイン量に応じて、前記レジスタに格納された複数のオフセット値から任意のオフセット値を選択する。本発明の他の好適な態様の画像信号処理装置は、入射光を光電変換して情報電荷を蓄積する固体撮像素子の露光量を制御する露光制御回路をさらに備え、前記判定回路が、前記露光制御回路で選択される露光量に応じて、前記レジスタに格納された複数のオフセット値から任意のオフセット値を選択する。
【0018】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【0019】
図1は、本発明の実施形態である画像信号処理装置の概略構成を示すブロック図である。本画像信号処理装置は、CCDイメージセンサから、順次読み出された画素値で構成されたCCD出力信号(原画像信号)を入力され、輝度信号生成処理及び色信号生成処理を本来の信号処理として行う一方で、ノイズ画素を検出してノイズ補正処理も行う。
【0020】
入力されたCCD出力信号は、メモリ回路3に入力される。メモリ回路3は、複数のラインメモリ及び複数のラッチを有しており、適数ライン分の画像信号を格納する。ここでは、例えば、3ライン分の画像信号を格納するように構成され、図2に示すように、目標画素の画像信号P0及び目標画素に隣接する複数の周辺画素の画像信号P1〜P8を格納する。そして、メモリ回路3に格納された画像信号は、判定回路2及び遅延回路4に出力される。判定回路2は入力された画像信号を基に第1の基準範囲J、第2の基準範囲Kを設定し、CCD出力信号中に含まれる画素欠陥やランダムノイズ(ノイズ画素)の検出を行う。
【0021】
図3は、目標画素P0に隣接する複数の周辺画素P1〜P8を参照した第1及び第2の基準範囲J,Kの設定方法を説明する図である。図3の縦方向は、信号レベルに対応している。まず、周辺画素P1〜P8の最大レベルLmax、最小レベルLminを生成し、この最大レベルLmax、最小レベルLminをそれぞれ第1の判定基準値A、第2の判定基準値Bとする。そして、第1の判定基準値Aから第2の判定基準値Bまでの範囲を第1の基準範囲Jとする。続いて、周辺画素P1〜P8を平均化して平均レベルLavを生成し、この平均レベルLavに最大レベルLmaxと最小レベルLminとの差ΔLを加算、或いは減算して第3の判定基準値C、第4の判定基準値Dを生成する。そして、第3の判定基準値Cから第4の判定基準値Dまでの範囲を第2の基準範囲Kとする。
【0022】
判定回路2は、目標画素P0の画像信号の信号レベルを第1乃至第4の判定基準値A〜Dと比較し、第1及び第2の基準範囲J,Kのいずれの範囲に含まれるかを判定して、目標画素P0が画素欠陥、或いはノイズ画素であるか否かを判定する。目標画素P0の信号レベルが第3の判定基準値C以上、或いは第4の判定基準値D以下であり、第1及び第2の基準範囲J,Kのいずれにも含まれない場合、目標画素は、信号中に画像信号を含まない画素欠陥であると判定される。一方、目標画素P0の信号レベルが第1の判定基準値A以上で第3の判定基準値Cより小さく、或いは、第2の判定基準値B以下で第4の判定基準値Dより大きい場合、すなわち、第1の基準範囲Jに含まれず、かつ第2の基準範囲Kに含まれる場合に、目標画素P0は、信号中に所定レベルを越えるノイズ成分を含むノイズ画素であると判定される。また、目標画素P0の信号レベルが第1の判定基準値Aより小さく、第2の判定基準値Bより大きい場合、すなわち、第1の基準範囲Jに含まれる場合、目標画素P0はノイズ成分を含まない正常な画素信号と判定される。
【0023】
そして、判定回路2は、それぞれの判定結果に応じた判定信号Da、Dbを生成する。例えば、目標画素P0を画素欠陥であるとして検出した場合は、判定信号Daを立ち上げて“H(High)”レベルとする。一方、目標画素P0をノイズ画素であるとして検出した場合は、判定信号Dbを立ち上げて“H”レベルとする。
【0024】
なお、第1の基準範囲J、第2の基準範囲Kの設定方法については、以下のように変更してもよい。これは例えば、レジスタ6に所定のオフセット値OFを記憶しておき、図4に示すように、第1及び第2の判定基準値A,Bにオフセット値OFを加算、又は減算して第3及び第4の判定基準値C,Dを生成するように行う。オフセット値OFを設定する際に、シミュレーション等を行って画素欠陥とノイズ画素とを判定するのに適切なオフセット値を決定することで、CCD出力信号に含まれる画素欠陥とノイズ画素とを好適に検出することができる。
【0025】
判定信号Daは、補間処理回路8の制御に用いられる。補間処理回路8は、遅延回路4を経由したCCD出力信号に対し、補間処理を行う。補間処理回路8は、遅延回路4から入力されたCCD出力信号から対象画素の補間に用いる周辺画素の画素値を取得する。例えば、遅延回路4の遅延量は、判定回路2からある画素(目標画素)に対応する判定信号Daが出力されたタイミングで、当該目標画素の補間に必要な周辺画素の画素値が全て補間処理回路8に格納されているように設定される。補間処理回路8は、当該目標画素に対応する判定信号Daが“H”レベルである場合には、保持されている周辺画素の画素値を用いて補間処理を行い、目標画素の画素値として、得られた補間値を出力する。一方、当該目標画素に対応する判定信号Daが“L”レベルである場合には補間処理は行わずに、目標画素に対して遅延回路4から入力された画素値をそのまま出力する。このようにして、補間処理回路8は、画素欠陥に対して補間処理を行った画像信号を生成し出力する。
【0026】
輝度信号生成回路10は補間処理回路8から出力される画像信号に基づいて、輝度信号Yを生成する。また色信号生成回路12は補間処理回路8から出力される画像信号に基づいて、色差信号U,Vを生成する。輝度ゲイン調節回路14,色ゲイン調節回路16はそれぞれ、輝度信号生成回路10で生成された輝度信号Y、色信号生成回路12で生成された色差信号のゲインを調整し、ゲイン調整後の輝度信号Y’及びゲイン調整後の色差信号U’,V’を後段の信号処理回路等へ出力する。
【0027】
ここで、色ゲイン調節回路16で用いられるゲイン量は、色ゲイン制御回路18によって可変制御される。色ゲイン制御回路18は判定回路2が出力する判定信号Dbが“L”レベルである場合には、対応する画素の色差信号に対する色ゲインを標準値に設定し、一方、判定信号Dbが“H”レベルである場合には、色ゲインを標準値より小さい値に設定する。このように、ノイズ画素のところは色を薄くする。これにより、ノイズ画素では実際と違う色となるところ、その色を薄く表示させることでノイズによる画像のちらつきが抑制され、ノイズが目立たなくなる。
【0028】
図5は、上述した本装置の動作を説明する処理フロー図である。判定回路2はCCD出力信号を順次取り込み(S50)、画素値が第3の判定基準値C以上、或いは第4の判定基準値D以下であるか否か(S55)、また画素値が第1の判定基準値A以上かつ第3の判定基準値C未満、或いは第2の判定基準値B以下かつ第4の判定基準値D未満であるか否か(S60)を判定し、その判定結果に応じて判定信号Da,Dbが生成される。具体的には、判定回路2は、画素値が第3の判定基準値C以上、或いは第4の判定基準値D以下であると判定すると(S55)、判定信号Daを“H”レベルに立ち上げ、これにより補間処理回路8に対して補間処理が指示される(S65)。また、画素値が第3の判定基準値C未満かつ第4の判定基準値Dより大きく(S55)、第1の判定基準値A以上、或いは第2の判定基準値B以下である場合には(S60)、判定回路2は判定信号Dbを“H”レベルに立ち上げ、これに応じて、色ゲイン制御回路18は色ゲイン調節回路16に設定される色ゲインを標準値より小さな値に変更する(S70)。一方、画素値が第1の判定基準値A未満かつ第2の判定基準値Bより大きい場合には、判定回路2は判定信号Da,Dbを両方とも“L”レベルに引き下げ、これにより、補間処理回路8は補間処理を実行せず、また色ゲイン制御回路18では色ゲインは標準値のままに保たれる。補間処理回路8から出力された画像信号に基づいて、輝度信号生成回路10、色信号生成回路12にてそれぞれ輝度信号Y、色差信号U,Vが生成され(S75)、輝度ゲイン調節回路14、色ゲイン調節回路16にてそれらY,U,V信号に対し、設定されたゲイン量を乗じるゲイン調整が行われる(S80)。このとき、色差信号U,Vに対しては、処理S70にて、色ゲインが標準値より小さな値に設定変更されている場合には、その設定変更された色ゲインを用いてゲイン調整が行われる。そして、ゲイン調整されたY’,U’,V’信号が本装置の外部へ出力される(S85)。
【0029】
これにより、画素欠陥に対しては補間処理によりノイズ補正が行われ、ランダムノイズに対しては色ゲインの低減により画像上、目立たなくするノイズ補正が施される。
【0030】
また第1乃至第4の判定基準値A〜Dは例えば、CCDイメージセンサの撮像条件等に応じて変更することができる。これは、例えば、レジスタ6に所定のオフセット値OFを複数記憶しておき、条件に応じて選択的に読み出したオフセット値OFを第1乃至第4の判定基準値A〜Dに加算、又は減算することで実現される。例えば、明るい撮像条件で得られたCCD出力信号に対しては、画素欠陥に対し補間処理、ノイズ画素に対し色ゲイン低減処理がなされる上述の第1乃至第4の判定基準値A〜Dを採用する。しかし、ノイズ画素の頻度が高くなる低照度の撮像条件で得られたCCD出力信号に対しては、例えば、図6に示すように、第3の判定基準値Cからオフセット値OF1を減算して新たな第3の判定基準値C'とすると共に、第4の判定基準値Dにオフセット値OF2を加算して新たな第4の判定基準値D'とする。これにより、第3の判定基準値Cが通常よりも低く設定されると共に、第4の判定基準値Dが通常よりも高く設定される。この結果、ノイズ画素のうち比較的レベルが高いものが画素欠陥と見なされ、補間処理が施される。この設定によれば低照度では、ランダムノイズの一部が補間によりその周辺画素と見分けが付かないように補正される。すなわち、高照度では、画素欠陥のみを補間処理して高い解像度を維持する一方で、低照度では、解像度をある程度犠牲にしても画像のノイズ感を低減するという、状況に柔軟に対応して好適なノイズ補正を行うことが可能となる。
【0031】
この閾値変更を行うための照度情報は、図7に示すように、例えばAGC(Auto Gain Control)回路21でのゲイン制御情報に基づいて取得することができる。AGC21回路は、ゲイン設定回路22で設定されたゲイン量設定信号AGに応じてゲイン量を決定し、CCD出力信号に対して決定したゲイン量を与えてCCD出力信号の信号レベルが所定の範囲内に収まるようにレベル調整を行う。すなわち、低照度では輝度ゲインを増加させるといった制御を行うので、これに連動して、判定回路2がレジスタ6からオフセット値OFを選択的に読み出して、第1乃至第4の判定基準値A〜Dを自動的に変更するように構成することができる。また、図8に示すようにCCDイメージセンサに対する露光時間を撮像状況の照度に応じて制御する露光制御回路を利用して第1乃至第4の判定基準値A〜Dを変更制御することができる。露光制御回路31は、CCD出力信号の積分値を所定の適正範囲と比較し、比較結果に基づいてCCDイメージセンサの露光時間の伸縮制御を行う。この場合に、露光時間の伸縮を指示する露光量判定信号ESを判定回路2にも出力し、判定回路2で露光量判定信号ESに応じてオフセット値OFを選択的に読み出すことで実現することができる。これにより、露光時間、すなわち、照度条件に連動させて第1乃至第4の判定基準値A〜Dを変更させることができる。
【0032】
また、上述の装置は、閾値B以上閾値A未満の場合のノイズであるノイズ画素Pbに対するノイズ補正処理として色ゲインの調節を採用している。しかし、補間処理を伴わずにノイズを目立たなくする他のノイズ補正処理を採用することもできる。例えば、判定信号Dbに応じて、アパーチャ信号の強度を画素単位で切り替える構成が可能である。この構成では、ノイズ画素Pbに対してはアパーチャ信号の強度を低減することにより、ノイズ画素Pbに対する輪郭強調が抑制され、目立たなくすることができる。
【0033】
【発明の効果】
本発明の画像信号処理装置によれば、画素単位でランダムノイズが補正される。すなわち、ノイズ画素だけを選択的に補正することができるので、画像全体のノイズ補正の影響を及ぼすことを回避しつつ、好適にノイズを補正することができる。
【0034】
また、画一的なノイズ補正ではなく、ノイズの強度に応じて、効果の異なるノイズ補正が採用され、さらには、それら効果の異なるノイズ補正が適用されるノイズ強度を可変制御することもでき、これらによってより好適なノイズ補正が実現される。
【図面の簡単な説明】
【図1】 本発明の実施形態である画像信号処理装置の概略構成を示すブロック図である。
【図2】 目標画素P0及び周辺画素の模式図である。
【図3】 目標画素P0に隣接する複数の周辺画素P1〜P8を参照した第1及び第2の基準範囲J,Kの設定方法を説明する説明図である。
【図4】 第1及び第2の基準範囲の設定を説明する模式図である。
【図5】 本装置の動作を説明する処理フロー図である。
【図6】 第1及び第2の基準範囲の変更制御を説明する模式図である。
【図7】 AGC回路を備えた本発明の実施形態である画像信号処理装置の概略構成を示すブロック図である。
【図8】 露光制御回路を備えた本発明の実施形態である画像信号処理装置の概略構成を示すブロック図である。
【符号の説明】
2 判定回路、3 メモリ、4 遅延回路、6 レジスタ、8 補間処理回路、10 輝度信号生成回路、12 色信号生成回路、14 輝度ゲイン調節回路、16 色ゲイン調節回路、18 色ゲイン制御回路、21 AGC回路、22ゲイン設定回路、31 露光制御回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus that detects and corrects noise pixels included in an image signal.
[0002]
[Prior art]
An image signal generated by an image sensor such as an image sensor may include random noise generated at random or fixed pattern noise such as pixel defects.
[0003]
Noise called a pixel defect appears as a white spot or a black spot on the reproduction screen due to defective pixels among a plurality of light receiving pixels arranged in the image sensor. Some conventional techniques for correcting this pixel defect use a characteristic that a pixel defect occurs at a fixed position over a plurality of screens. Specifically, since the pixel defect occurs at a certain position, random noise can be removed and the pixel defect can be detected by performing time integration over a plurality of screens. This time integration can be performed by accumulating the image signals at the same position on the image using a memory. Further, once a pixel defect is detected, the position can be stored in the memory. In subsequent imaging, it is possible to automatically correct the image signal corresponding to the pixel defect position stored in the memory without performing pixel defect detection processing. As a pixel defect correction method, there is a method of interpolating image signals of peripheral pixels at a pixel defect position. That is, the interpolation value of the peripheral pixel is used as the image signal at the pixel defect position.
[0004]
On the other hand, the pixel position where random noise occurs changes irregularly. Therefore, when time integration is performed, an image signal including noise and an image signal not including noise are averaged, and random noise cannot be detected. Further, it is not possible to store the generated position and automatically correct it. Random noise increases when the gain (gain) of the image signal is increased or the exposure time of the imaging device is increased. In other words, in the image signal obtained under imaging conditions with low illuminance, the contribution of electrons generated in the image sensor due to thermal noise, etc. is relatively small because of the small amount of electrons generated by photoelectric conversion of incident light from the subject. Become bigger. Here, for example, the contour enhancement process deteriorates the S / N ratio of the image quality. Conventionally, image signal processing that affects the S / N ratio is controlled in accordance with the gain of the image signal and the like, thereby reducing image quality degradation due to random noise. For example, when the gain is increased, the noise feeling of the image is reduced by reducing the amplitude of the aperture signal to weaken the contour enhancement. The conventional image signal correction process for such random noise is not a process in units of pixels such as an interpolation process for pixel defects, but a process that is uniformly applied to the entire screen.
[0005]
[Problems to be solved by the invention]
As described above, the conventional correction processing for random noise has an effect on pixels other than the noise pixels, and thus has a problem that it cannot be applied with sufficient strength to obtain a sufficient effect.
[0006]
Similarly to the correction for pixel defects, performing an interpolation process that replaces an image signal of a pixel in which random noise has occurred with an image signal obtained by interpolating the surrounding pixels, the frequency of occurrence of random noise is less than that of pixel defects. Since it is much higher, the resolution of the image is significantly reduced, which is generally not preferable.
[0007]
On the other hand, when random noise is significant as in low-illumination imaging conditions, it may be desirable to suppress the noise sensation at the expense of some resolution. However, conventionally, random noise and pixel defects are corrected by a separate circuit configuration and separate processing, and interpolation processing cannot be applied to random noise by switching processing according to imaging conditions and the like. For example, in a conventional pixel defect correction circuit that performs time integration, random noise cannot be detected as described above, and interpolation processing of the random noise cannot be performed.
[0008]
The present invention has been made to solve the above problems, and an object of the present invention is to provide an image signal processing apparatus capable of suitably correcting random noise included in an image signal and obtaining an image of good image quality. It is another object of the present invention to provide an image signal processing apparatus that can flexibly correct random noise and pixel defects according to imaging conditions and the like.
[0009]
[Means for Solving the Problems]
The image signal processing apparatus according to the present invention, when an image signal for displaying a reproduced image in one screen unit is a pixel defect that does not include an image component among a plurality of pixels constituting the screen. An image signal processing device that performs interpolation processing and performs correction processing when a noise pixel includes a noise component exceeding a predetermined level, and is a maximum level and a minimum level of image signals of a plurality of peripheral pixels adjacent to a target pixel And a second reference range that includes the first reference range and is wider than the first reference range is set, and the signal level of the target pixel is set to the first reference range. Determination that the target pixel is determined to be the noise pixel when the target pixel is outside the first reference range, and that the target pixel is determined to be the pixel defect when the signal level of the target pixel is outside the second reference range A correction circuit that performs a level correction process on the noise pixel based on a determination result of the path, the determination circuit, and a plurality of peripheral pixels for the pixel defect based on the determination result of the determination circuit. An interpolation circuit that performs an interpolation process based on the signal level.
[0010]
According to the present invention, the determination circuit compares the original image signal between the target pixel and its peripheral pixels to determine whether the target pixel is a pixel defect or a noise pixel. Since the determination circuit performs determination based on comparison with surrounding pixels without basically performing time integration on the original image signal, it is possible to detect random noise. The image signal processing circuit performs a predetermined intended signal processing on the original image signal of normal pixels to generate a target image signal. On the other hand, interpolation processing is performed for pixel defects, and level correction processing is performed for noise pixels. Here, the level correction processing for the noise pixel can remove and mitigate the noise component included in the original image signal of the noise pixel. That is, the image signal processing circuit performs noise pixel level correction processing in units of pixels. Specifically, the determination circuit is set with a first reference range and a second reference range that includes the first reference range and is wider. These reference ranges are set for each target pixel based on the image signal of the surrounding pixels. When the image signal of the target pixel is within the first reference range, the difference in the image signal from the surrounding pixels is relatively small, and when the image signal of the target pixel is outside the second reference range, the image signal of the target pixel is relatively When the image signal of the target pixel is outside the first reference range and inside the second reference range, the difference from the image signal of the peripheral pixel is moderate. It is. The determination circuit determines a target pixel having a large difference from surrounding pixels as a pixel defect, and determines a target pixel having a medium difference as a noise pixel. In general, the larger the signal level difference between the target pixel and the surrounding pixels, the lower the frequency of occurrence of the event, so that pixel defects with low frequency of occurrence can be suitably corrected by interpolation, while noise pixels with high frequency of occurrence are corrected. On the other hand, by performing level correction processing that does not perform interpolation, noise pixels can be made inconspicuous on the image while suppressing deterioration in resolution.
[0011]
In a preferred aspect of the present invention, the determination circuit uses the range from the maximum level to the minimum level of the image signals of the plurality of peripheral pixels as the first reference range, and the image signals of the plurality of peripheral pixels An image signal having a range from a level obtained by adding a difference between the maximum level and the minimum level to an average level to a level obtained by subtracting a difference between the maximum level and the minimum level from the average level as the second reference range. It is a processing device.
[0012]
A preferred aspect of the present invention further includes a register for storing a predetermined offset value, and the determination circuit defines a range from a maximum level to a minimum level of the image signals of the plurality of peripheral pixels as the first reference range. In addition, the image signal processing apparatus uses a range from a level obtained by adding the predetermined offset value to the maximum level to a level obtained by subtracting the predetermined offset value from the maximum level as the second reference range.
[0013]
According to a preferred aspect of the present invention, the image signal processing further includes a color signal generation circuit that generates a color difference signal from the input image signal, and the correction circuit sets a gain amount of the color difference signal corresponding to the noise pixel to be low. Device.
[0014]
A preferred aspect of the present invention is an image signal processing device further comprising an aperture generation circuit that generates an aperture signal of an input image signal, wherein the correction circuit sets a low level of the aperture signal corresponding to the noise pixel. is there.
[0015]
Another image signal processing apparatus according to the present invention further includes a register for storing a plurality of offset values, and the determination circuit selectively takes an arbitrary offset value from the plurality of offset values stored in the register, The fetched offset value is added to or subtracted from at least one of the first and second reference ranges to change and control the first and second reference ranges.
[0016]
According to the present invention, the first reference range and the second reference range set for each target pixel are changed and controlled according to the imaging conditions and the like. For example, when the imaging condition for obtaining the original image signal is low illuminance and there is a lot of random noise, the S / N ratio of the image decreases. In such a case, if you want to reduce the noise of the image even if the resolution is sacrificed to some extent, the second reference range is narrowed, and not only the original pixel defect but also random noise with a large noise component is interpolated. Try to remove it. As described above, according to the present invention, flexible noise correction can be performed according to imaging conditions and the like.
[0017]
The image signal processing apparatus according to a preferred aspect of the present invention further includes an automatic gain control circuit that adjusts a gain so that a signal level of an input image signal falls within a predetermined range, and the determination circuit includes the automatic gain control circuit. An arbitrary offset value is selected from a plurality of offset values stored in the register according to the gain amount. The image signal processing apparatus according to another preferred aspect of the present invention further includes an exposure control circuit that controls an exposure amount of a solid-state imaging device that photoelectrically converts incident light and accumulates information charges, and the determination circuit includes the exposure An arbitrary offset value is selected from a plurality of offset values stored in the register in accordance with the exposure amount selected by the control circuit.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0019]
FIG. 1 is a block diagram showing a schematic configuration of an image signal processing apparatus according to an embodiment of the present invention. This image signal processing apparatus receives a CCD output signal (original image signal) composed of sequentially read pixel values from a CCD image sensor, and uses luminance signal generation processing and color signal generation processing as original signal processing. On the other hand, noise correction processing is also performed by detecting noise pixels.
[0020]
The input CCD output signal is input to the
[0021]
FIG. 3 is a diagram illustrating a method for setting the first and second reference ranges J and K with reference to a plurality of peripheral pixels P 1 to P 8 adjacent to the target pixel P 0 . The vertical direction in FIG. 3 corresponds to the signal level. First, the maximum level Lmax and the minimum level Lmin of the peripheral pixels P 1 to P 8 are generated, and the maximum level Lmax and the minimum level Lmin are set as the first determination reference value A and the second determination reference value B, respectively. A range from the first determination reference value A to the second determination reference value B is defined as a first reference range J. Subsequently, the peripheral pixels P 1 to P 8 are averaged to generate an average level Lav, and a third determination reference value is obtained by adding or subtracting the difference ΔL between the maximum level Lmax and the minimum level Lmin to the average level Lav. C, a fourth determination reference value D is generated. A range from the third determination reference value C to the fourth determination reference value D is defined as a second reference range K.
[0022]
The
[0023]
Then, the
[0024]
Note that the setting method of the first reference range J and the second reference range K may be changed as follows. For example, a predetermined offset value OF is stored in the
[0025]
The determination signal Da is used for controlling the
[0026]
The luminance
[0027]
Here, the gain amount used in the color
[0028]
FIG. 5 is a processing flowchart for explaining the operation of the apparatus described above. The
[0029]
As a result, noise correction is performed on the pixel defect by interpolation processing, and noise correction on the image is made inconspicuous on the image by reducing the color gain.
[0030]
The first to fourth determination reference values A to D can be changed according to, for example, the imaging conditions of the CCD image sensor. For example, a plurality of predetermined offset values OF are stored in the
[0031]
Illuminance information for performing this threshold change can be acquired based on gain control information in an AGC (Auto Gain Control)
[0032]
Further, the above-described apparatus employs color gain adjustment as noise correction processing for the noise pixel Pb, which is noise when the threshold value B is greater than or equal to the threshold value B and less than the threshold value A. However, other noise correction processing that makes noise inconspicuous without interpolation processing may be employed. For example, a configuration in which the intensity of the aperture signal is switched in units of pixels according to the determination signal Db is possible. In this configuration, by reducing the intensity of the aperture signal with respect to the noise pixel Pb, the edge enhancement with respect to the noise pixel Pb is suppressed and can be made inconspicuous.
[0033]
【The invention's effect】
According to the image signal processing apparatus of the present invention, random noise is corrected in units of pixels. That is, since only the noise pixel can be selectively corrected, it is possible to appropriately correct the noise while avoiding the influence of the noise correction of the entire image.
[0034]
Also, instead of uniform noise correction, noise correction with different effects is adopted according to the noise intensity, and furthermore, noise intensity to which noise correction with different effects is applied can be variably controlled, By these, more suitable noise correction is realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image signal processing apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of a target pixel P 0 and peripheral pixels.
FIG. 3 is an explanatory diagram illustrating a method for setting first and second reference ranges J and K with reference to a plurality of peripheral pixels P 1 to P 8 adjacent to a target pixel P 0 .
FIG. 4 is a schematic diagram illustrating the setting of first and second reference ranges.
FIG. 5 is a processing flowchart for explaining the operation of the apparatus.
FIG. 6 is a schematic diagram for explaining change control of the first and second reference ranges.
FIG. 7 is a block diagram showing a schematic configuration of an image signal processing apparatus according to an embodiment of the present invention provided with an AGC circuit.
FIG. 8 is a block diagram showing a schematic configuration of an image signal processing apparatus according to an embodiment of the present invention provided with an exposure control circuit.
[Explanation of symbols]
2 determination circuit, 3 memory, 4 delay circuit, 6 register, 8 interpolation processing circuit, 10 luminance signal generation circuit, 12 color signal generation circuit, 14 luminance gain adjustment circuit, 16 color gain adjustment circuit, 18 color gain control circuit, 21 AGC circuit, 22 gain setting circuit, 31 exposure control circuit.
Claims (8)
目標画素に隣接する複数の周辺画素の画像信号の最大レベル及び最小レベルに基づいて第1の基準範囲を設定すると共に、前記第1の基準範囲を含みつつ当該第1の基準範囲より幅の広い第2の基準範囲を設定し、前記目標画素の信号レベルが前記第1の基準範囲外、かつ前記第2の基準範囲内のときに前記目標画素を前記ノイズ画素と判定すると共に、前記目標画素の信号レベルが前記第2の基準範囲外のときに前記目標画素を前記画素欠陥と判定する判定回路と、
前記判定回路の判定結果に基づいて、前記ノイズ画素に対してレベル補正処理
を施す補正回路と、
前記判定回路の判定結果に基づいて、前記画素欠陥に対して前記複数の周辺画素の信号レベルに基づいた補間処理を行う補間回路と、
を備えたことを特徴とする画像信号処理装置。The image signal for displaying the reproduced image in one screen unit, among the plurality of pixels constituting the screen, the interpolation processing is performed with respect to time is a specific pixel Gae containing defects, including a noise component exceeding a predetermined level An image signal processing device that performs correction processing when the pixel is a noise pixel,
A first reference range is set based on the maximum level and the minimum level of the image signals of a plurality of peripheral pixels adjacent to the target pixel, and includes the first reference range and is wider than the first reference range. A second reference range is set, and when the signal level of the target pixel is outside the first reference range and within the second reference range, the target pixel is determined as the noise pixel, and the target pixel A determination circuit that determines the target pixel as the pixel defect when the signal level of the target pixel is outside the second reference range;
A correction circuit that performs level correction processing on the noise pixel based on the determination result of the determination circuit;
An interpolation circuit that performs an interpolation process based on signal levels of the plurality of peripheral pixels for the pixel defect based on a determination result of the determination circuit;
An image signal processing apparatus comprising:
前記判定回路は、前記複数の周辺画素の画像信号の最大レベルから最小レベルまでの範囲を前記第1の基準範囲とすると共に、前記複数の周辺画素の画像信号の平均レベルに前記最大レベルと前記最小レベルとの差を加算したレベルから前記平均レベルより前記最大レベルと前記最小レベルとの差を減算したレベルまでの範囲を前記第2の基準範囲とすることを特徴とする画像信号処理装置。The image signal processing apparatus according to claim 1,
The determination circuit sets a range from the maximum level to the minimum level of the image signals of the plurality of peripheral pixels as the first reference range, and sets the maximum level and the average level of the image signals of the plurality of peripheral pixels as the average level. An image signal processing apparatus characterized in that a range from a level obtained by adding a difference from a minimum level to a level obtained by subtracting a difference between the maximum level and the minimum level from the average level is set as the second reference range.
所定のオフセット値を格納するレジスタをさらに備え、
前記判定回路は、前記複数の周辺画素の画像信号の最大レベルから最小レベルまでの範囲を前記第1の基準範囲とすると共に、前記最大レベルに前記所定のオフセット値を加算したレベルから前記最大レベルに前記所定のオフセット値を減算したレベルまでの範囲を前記第2の基準範囲とすることを特徴とする画像信号処理装置。The image signal processing apparatus according to claim 1,
A register for storing a predetermined offset value;
The determination circuit sets a range from a maximum level to a minimum level of the image signals of the plurality of peripheral pixels as the first reference range, and adds the predetermined offset value to the maximum level to the maximum level. An image signal processing apparatus characterized in that a range up to a level obtained by subtracting the predetermined offset value is used as the second reference range.
装置において、
入力される画像信号から色差信号を生成する色信号生成回路をさらに備え、
前記補正回路は、前記ノイズ画素に対応する色差信号のゲイン量を低く設定すること、
を特徴とする画像信号処理装置。In the image signal processing device according to any one of claims 1 to 3,
A color signal generation circuit for generating a color difference signal from the input image signal;
The correction circuit sets a gain amount of a color difference signal corresponding to the noise pixel to be low;
An image signal processing apparatus.
入力される画像信号のアパーチャ信号を生成するアパーチャ生成回路をさらに備え、
前記補正回路は、前記ノイズ画素に対応するアパーチャ信号のレベルを低く設
定すること、
を特徴とする画像信号処理装置。In the image signal processing device according to any one of claims 1 to 3,
An aperture generation circuit for generating an aperture signal of the input image signal;
The correction circuit sets a low level of an aperture signal corresponding to the noise pixel;
An image signal processing apparatus.
装置において、
複数のオフセット値を格納するレジスタをさらに備え、
前記判定回路は、前記レジスタに格納された複数のオフセット値から任意のオフセット値を選択的に取り込み、取り込んだオフセット値を前記第1及び第2の基準範囲の少なくとも一方に加算、又は減算して、前記第1及び第2の基準範囲を変更制御すること、
を特徴とする画像信号処理装置。In the image signal processing device according to any one of claims 1 to 5,
A register for storing a plurality of offset values;
The determination circuit selectively fetches an arbitrary offset value from a plurality of offset values stored in the register, and adds or subtracts the fetched offset value to at least one of the first and second reference ranges. Changing and controlling the first and second reference ranges;
An image signal processing apparatus.
入力される画像信号の信号レベルを所定範囲内に納めるようにゲイン調整する自動利得制御回路をさらに備え、
前記判定回路は、前記自動利得制御回路のゲイン量に応じて、前記レジスタに格納された複数のオフセット値から任意のオフセット値を選択的に取り込み、取り込んだオフセット値を前記第1及び第2の基準範囲の少なくとも一方に加算、又は減算して、前記第1及び第2の基準範囲を変更制御すること、
を特徴とする画像信号処理装置。The image signal processing apparatus according to claim 6.
An automatic gain control circuit for adjusting the gain so that the signal level of the input image signal falls within a predetermined range;
The determination circuit selectively fetches an arbitrary offset value from a plurality of offset values stored in the register according to the gain amount of the automatic gain control circuit, and takes the fetched offset value as the first and second offset values. Adding or subtracting to at least one of the reference ranges to change and control the first and second reference ranges;
An image signal processing apparatus.
入射光を光電変換して情報電荷を蓄積する固体撮像素子の露光量を制御する露光制御回路をさらに備え、
前記判定回路は、前記露光制御回路で選択される露光量に応じて、前記レジスタに格納された複数のオフセット値から任意のオフセット値を選択的に取り込み、取り込んだオフセット値を前記第1及び第2の基準範囲の少なくとも一方に加算、又は減算して、前記第1及び第2の基準範囲を変更制御すること、
を特徴とする画像信号処理装置。The image signal processing apparatus according to claim 6.
An exposure control circuit for controlling the exposure amount of the solid-state imaging device that photoelectrically converts incident light and accumulates information charges;
The determination circuit selectively fetches an arbitrary offset value from a plurality of offset values stored in the register in accordance with an exposure amount selected by the exposure control circuit, and the fetched offset value is the first and first offset values. Adding or subtracting to at least one of the two reference ranges to change and control the first and second reference ranges;
An image signal processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002192407A JP4297651B2 (en) | 2002-07-01 | 2002-07-01 | Image signal processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002192407A JP4297651B2 (en) | 2002-07-01 | 2002-07-01 | Image signal processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004040325A JP2004040325A (en) | 2004-02-05 |
JP4297651B2 true JP4297651B2 (en) | 2009-07-15 |
Family
ID=31701692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002192407A Expired - Fee Related JP4297651B2 (en) | 2002-07-01 | 2002-07-01 | Image signal processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4297651B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284355A (en) * | 2004-03-26 | 2005-10-13 | Pioneer Electronic Corp | Image information correcting device and method, correcting program and image input device |
GB2425229B (en) * | 2005-04-14 | 2008-04-09 | Micron Technology Inc | Generation and storage of column offsets for a column parallel image sensor |
JP4961182B2 (en) * | 2005-10-18 | 2012-06-27 | 株式会社リコー | Noise removal apparatus, noise removal method, noise removal program, and recording medium |
JP4745816B2 (en) | 2005-12-20 | 2011-08-10 | 富士通セミコンダクター株式会社 | Image processing circuit and image processing method |
KR101389562B1 (en) * | 2007-11-15 | 2014-04-25 | 삼성전자주식회사 | Image signal processing apparatus and Method for the same |
JP2009253579A (en) * | 2008-04-04 | 2009-10-29 | Panasonic Corp | Image capturing apparatus, image processing apparatus, image processing method, and image processing program |
JP6291940B2 (en) * | 2014-03-20 | 2018-03-14 | 株式会社ソシオネクスト | Defective pixel correction device, imaging device, and defective pixel correction method |
JP6319709B2 (en) * | 2014-03-21 | 2018-05-09 | 株式会社Ihi | Debris detection method |
-
2002
- 2002-07-01 JP JP2002192407A patent/JP4297651B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004040325A (en) | 2004-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7692699B2 (en) | Image pickup apparatus for preventing linearity defect | |
US7479993B2 (en) | Image device and method for removing noise | |
JP5072431B2 (en) | Imaging apparatus and control method thereof | |
JP2001197362A (en) | Solid-state image pickup device | |
JP4470901B2 (en) | Imaging apparatus, high-frequency component detection circuit, high-frequency component detection method, and computer program | |
JP3645502B2 (en) | Imaging apparatus and video signal processing method | |
JP2011520385A (en) | Column fixed pattern noise correction method | |
JP5358344B2 (en) | Imaging apparatus and imaging method | |
JP4297651B2 (en) | Image signal processing device | |
JP2002084449A (en) | Image pickup device employing solid-state imaging device | |
US7327392B2 (en) | Signal processing apparatus | |
JPH0354679A (en) | Picture processor | |
JP3702222B2 (en) | Imaging apparatus and video signal processing method | |
JP4639031B2 (en) | Color image pickup device | |
JP2007266956A (en) | Imaging apparatus, impulse component detecting circuit, impulse component removing circuit, impulse component detecting method, impulse component removing method, and computer program | |
JP2005065119A (en) | Image pickup device and method | |
JPH04373361A (en) | Picture signal processor | |
JP2005109579A (en) | Imaging apparatus employing solid-state imaging device | |
JP2004343177A (en) | Imaging apparatus | |
JPH06326918A (en) | Contrast correcting circuit for peripheral part of cam coder | |
JP2003087604A (en) | Imaging apparatus | |
JP2003348453A (en) | Image signal processing apparatus | |
JP5754929B2 (en) | Image processing apparatus and image processing method | |
JPH1023324A (en) | Image pickup device | |
JP2001189878A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090414 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |