[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2009124552A - ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 - Google Patents

ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 Download PDF

Info

Publication number
JP2009124552A
JP2009124552A JP2007297960A JP2007297960A JP2009124552A JP 2009124552 A JP2009124552 A JP 2009124552A JP 2007297960 A JP2007297960 A JP 2007297960A JP 2007297960 A JP2007297960 A JP 2007297960A JP 2009124552 A JP2009124552 A JP 2009124552A
Authority
JP
Japan
Prior art keywords
noise reduction
unit
noise
processing
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007297960A
Other languages
English (en)
Other versions
JP4465002B2 (ja
Inventor
Takeo Tsuruoka
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007297960A priority Critical patent/JP4465002B2/ja
Priority to EP08849607A priority patent/EP2222076A4/en
Priority to CN2008801162400A priority patent/CN101861728B/zh
Priority to PCT/JP2008/070826 priority patent/WO2009064000A1/ja
Publication of JP2009124552A publication Critical patent/JP2009124552A/ja
Priority to US12/778,440 priority patent/US8553111B2/en
Application granted granted Critical
Publication of JP4465002B2 publication Critical patent/JP4465002B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】ランダム性およびインパルス性の両ノイズを最適に除去することにより、高品位な映像信号を得ることを目的とする。また、両ノイズに対する低減処理後の映像信号を合成することで、不連続性やアーティファクトの発生を抑制する。
【解決手段】ノイズ低減システムは、映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する色信号分離抽出部111と、局所領域に対してランダム性のノイズ低減処理を行う第１ノイズ低減部112と、局所領域に対してインパルス性のノイズ低減処理を行う第２ノイズ低減部113と、第１ノイズ低減部112でノイズ低減処理された映像信号と第２ノイズ低減部113でノイズ低減処理された映像信号とを合成する合成部114を有する。
【選択図】図１

Description

本発明は、撮像系に起因する映像信号のランダム性およびインパルス性のノイズを低減するノイズ低減処理に関する。
撮像素子とそれに付随するアナログ回路およびA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、ランダム性およびインパルス性のノイズに大別できる。ランダム性のノイズは、撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。一方、インパルス性のノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。
ランダム性およびインパルス性のノイズの低減処理に関しては、例えば特許文献１に示されるように、映像信号を複数回撮影し、これを複数のフレームメモリに記録し、同一座標上の映像信号に関して最大値と最小値を除去して平均化するまたはメディアンを取る例が開示されている。これにより、ランダム性のノイズおよび欠陥画素のように固定化されていない外因性のインパルス性のノイズを除去することが可能となり、高品位な映像信号が得られる。
また、特許文献２に示されるように、ランダム性のノイズ量およびインパルス性のノイズ量を推定して、両者のノイズに対して共通する一つの低減処理にてノイズ低減を行う例が開示されている。これにより、ランダム性のノイズインパルス性のノイズを除去することが可能となり、高品位な映像信号が得られる。また、一つの低減処理にてノイズ低減を行うため、ノイズ低減処理に起因する不連続性やアーティファクトの発生の少ないノイズ低減処理が可能となる。
さらに、欠陥画素の低減処理に関しては、例えば特許文献３に示されるように、予め計測していた欠陥画素に関して補正または生成処理を行った後、ローパスフィルタやメディアンフィルタなどの複数のノイズ低減処理の結果を重み付け加算する例が開示されている。これにより、欠陥画素の補正または生成処理に起因する不連続性やアーティファクトの発生を抑制でき、高品位な映像信号が得られる。
特開2007-110445公報 特開2005-318126公報 特開2003-69901公報
特許文献１では、複数の映像信号を用いるため静止領域は良好に処理できるが、動領域においては残像などの副作用が発生する課題がある。また、欠陥画素などの固定的なインパルス性のノイズは除去できないという課題がある。さらに、複数枚のフレームメモリが必要となり、システムとして高コスト化するという課題がある。
特許文献２では、一つの低減処理にてランダム性およびインパルス性のノイズ低減処理を行うため不連続性の発生を抑制できるが、性質の異なる両者のノイズを最適に除去することができないという課題がある。
特許文献３では、欠陥画素以外の画素に発生しているランダム性のノイズに対応できないという課題がある。
本発明は上記問題点に着目し、ランダム性およびインパルス性の両ノイズを最適に除去することにより、高品位な映像信号を得ることを目的とする。また、両ノイズに対する低減処理後の映像信号を合成することで、不連続性やアーティファクトの発生を抑制することを目的とする。
本発明によれば、撮像系から取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、前記映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する局所領域抽出手段と、前記局所領域に対してランダム性のノイズ低減処理を行う第１のノイズ低減手段と、前記局所領域に対してインパルス性のノイズ低減処理を行う第２のノイズ低減手段と、前記第１のノイズ低減手段でノイズ低減処理された映像信号と前記第２のノイズ低減手段でノイズ低減処理された映像信号とを合成する合成手段を有する。
性質の異なるランダム性のノイズとインパルス性のノイズに対して独立に低減処理を行うため、最適なノイズ低減処理が可能となり高品位な映像信号が得られる。また、両者の処理後の映像信号を合成することで異なるノイズ低減処理に起因する不連続性やアーティファクトの発生を抑制でき、高品位な映像信号が得られる。
以下、添付図面を参照しながら本発明の実施形態について説明する。
第１の実施形態
［構成］
図１は、第1の実施形態の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、増幅器（以下、"Gain"）104にて増幅され、A/Dコンバータ（以下、"A/D"）105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して色信号分離抽出部111へ転送される。
バッファ106は、プリホワイトバランス調整部（以下、"PreWB部"）107,測光評価部108,合焦点検出部109へも接続されている。PreWB部107はGain104へ、測光評価部108は絞り101,CCD102,Gain104へ、合焦点検出部109はAFモータ110へ接続されている。色信号分離抽出部111は第１ノイズ低減部112および第２ノイズ低減部113へ接続されている。第１ノイズ低減部112および第２ノイズ低減部113は、合成部114,信号処理部115を介してメモリーカードなどの出力部116に接続されている。
マイクロコンピュータなどの制御部117は、Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,色信号分離抽出部111,第１ノイズ低減部112,第２ノイズ低減部113,合成部114,信号処理部115,出力部116と双方向に接続されている。また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部118も制御部117に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部117へ接続されている。
［作用］
図１において、映像信号の流れを説明する。外部I/F部118を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として出力される。なお、第１の実施形態においてはCCD102としてベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定する。
図２(a)は、ベイヤー型原色フィルタの構成を示す。ベイヤー型は2×2画素を基本単位とし、赤(R),青(B)フィルタが１画素ずつ、緑(Gr,Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、第１の実施形態では処理の便宜上これをGrとGbに区別するものとする。
上記アナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106内の映像信号は、制御部117の制御に基づき、PreWB部107および測光評価部108および合焦点検出部109へ転送される。
PreWB部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度やGain104の増幅率などを制御する。
また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
次に、外部I/F部118を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。本撮影は、PreWB部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部117へ転送される。また、バッファ106内の映像信号は色信号分離抽出部111へ転送される。
色信号分離抽出部111は、制御部117の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第１の実施形態においては、例えば図２(a)に示される10×10画素を基本単位として映像信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22,Gr22,Gb22,B22の4画素となる。
次に、図２(b)に示されるようにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、局所領域内の画素をCij（Cは色信号でC=R,Gr,Gb,B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の局所領域の場合は、注目画素はC22となる。映像信号からもれなく注目画素を抽出するために、図２(a)に示される10×10画素の基本単位は４行４列ずつ重複して順次抽出されることになる。抽出された局所領域は、第１ノイズ低減部112および第２ノイズ低減部113へ転送される。
第１ノイズ低減部112は、制御部117の制御に基づき、局所領域の低周波成分から注目画素C22に関するランダム性のノイズ量N22を推定する。その後、局所領域の低周波成分および推定されたノイズ量N22を用いて注目画素C22にコアリング処理を行うことでランダム性のノイズ低減処理を行う。以降は、第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN1 22で記述する。ランダム性のノイズ低減処理がなされた注目画素CN1 22は、合成部114へ転送される。
一方、第２ノイズ低減部113は、制御部117の制御に基づき、局所領域からインパルス性のノイズの度合いを示す指標係数ICを注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33に関して算出する。以後、注目画素C22の指標係数をIC0で、近傍８画素の指標係数をIC1〜IC8で、指標係数全体をICk（k=0〜8）で表記する。また、必要に応じて注目画素C22をC0で、近傍８画素をC1〜C8で、全９画素をCkとして簡略化して表記する。
その後、指標係数ICkを用いて注目画素およびその近傍８画素の重み係数を求め、重み付けフィルタ処理を行うことでインパルス性のノイズ低減処理を行う。以降は、第２ノイズ低減部113にてインパルス性のノイズ低減処理がなされた注目画素をCN2 22で記述する。注目画素C22の指標係数IC0およびインパルス性のノイズ低減処理がなされた注目画素をCN2 22は、合成部114へ転送される。
合成部114は、制御部117の制御に基づき、第２ノイズ低減部113から転送される指標係数IC0を用いて第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN1 22およびインパルス性のノイズ低減処理がなされた注目画素CN2 22を合成処理し、合成後の注目画素CN 22を求める。
Figure 2009124552
 ここで、Th1,Th2は所定の閾値を、w=0〜１は合成のための合成係数を意味する。合成後の注目画素CN 22は、信号処理部115へ転送される。上記色信号分離抽出部111,第１ノイズ低減部112,第２ノイズ低減部113,合成部114における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。
信号処理部115では、制御部117の制御に基づき、合成処理がなされたノイズ低減後の映像信号に対して、公知の補間処理，強調処理および圧縮処理などを行い、出力部116へ転送する。
出力部116は、磁気ディスクやメモリーカードなどの記録媒体に映像信号を記録保存する。
図３は第１ノイズ低減部112の構成の一例を示すもので、バッファ200,平均値算出部201,ゲイン算出部202,標準値付与部203,パラメータ用ROM204,パラメータ選択部205,ノイズ補間部206,コアリング部207からなる。
色信号分離抽出部111は、バッファ200を介して平均値算出部201へ接続している。平均値算出部201は、パラメータ選択部205およびコアリング部207へ接続している。ゲイン算出部202,標準値付与部203,パラメータ用ROM204は、パラメータ選択部205へ接続している。パラメータ選択部205は、ノイズ補間部206を介してコアリング部207へ接続している。コアリング部207は、合成部114へ接続している。制御部117は、平均値算出部201,ゲイン算出部202,標準値付与部203,パラメータ選択部205,ノイズ補間部206,コアリング部207と双方向に接続されている。
色信号分離抽出部111から図２(b)に示されるように、R,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域が順次バッファ200へ転送されてくる。
平均値算出部201は、制御部117の制御に基づき、(2)式に示されるように局所領域の平均値C_AV（C= R,Gr,Gb,B）を算出する。
Figure 2009124552
 算出された平均値C_AVはパラメータ選択部205へ、平均値C_AVおよび注目画素C22はコアリング部207へ転送される。
ゲイン算出部202は、制御部117から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部205へ転送する。また、制御部117は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部205へ転送する。
パラメータ選択部205は、平均値算出部201からの局所領域の平均値，ゲイン算出部202からのゲインの情報，制御部117からの温度情報に基づき注目画素C22に関するランダム性のノイズ量N22を推定する。
図４は、ランダム性のノイズ量の推定に関する説明図である。図４(a)は、信号レベルLに対するランダム性のノイズ量Nをプロットしたもので、信号レベルに対して２次曲線的に増加している。図４(a)を２次関数でモデル化すると(3)式が得られる。
Figure 2009124552
 ここで、α,β,γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図４(a)は、一例としてある温度下においてゲインに関連する３種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の曲線は(3)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、
Figure 2009124552
 となる。
ここで、αgt,βgt,γgtは定数項である。ただし、(4)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図４(b)に示すようなモデルの簡略化を行う。図４(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln, Nn)で表す。ここで、nは変曲点の数を示す。
また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数kgtを乗算することで行われる。上記基準ノイズモデルの座標データ(Ln, Nn)および補正係数kgtは、事前に撮像系の特性を計測することで容易に得ることができる。基準ノイズモデルの座標データ(Ln, Nn)および補正係数kgtは、パラメータ用ROM204に記録される。
図４(c)は、図４(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, Nn)と(Ln+1, Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
Figure 2009124552
 次に補正係数kgtを乗算することで、ノイズ量Nを求める。
Figure 2009124552
 パラメータ選択部205は、平均値算出部201からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部202からのゲイン情報からゲインgを、制御部117からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)をパラメータ用ROM204から探索し、これをノイズ補間部206へ転送する。さらに、補正係数kgtをパラメータ用ROM204から探索し、これをノイズ補間部206へ転送する。
ノイズ補間部206は、制御部117の制御に基づき、パラメータ選択部205からの信号レベルlおよび区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)から(5)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出する。その後、パラメータ選択部205からの補正係数kgから(6)式に基づきノイズ量Nを算出する。算出されたノイズ量Nは、図２(b)に示される局所領域の場合、注目画素C22のノイズ量N22としてコアリング部207へ転送される。
なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部203に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
コアリング部207は、制御部117の制御に基づき、平均値算出部201から注目画素C22および平均値C_AVをノイズ補間部206からノイズ量N22を読み込み、注目画素C22に関してコアリング処理を行いランダム性のノイズ低減処理がなされた注目画素をCN1 22を求める。
Figure 2009124552
 ランダム性のノイズ低減処理がなされた注目画素をCN1 22は、合成部114へ転送される。
なお、上記構成では局所領域の低周波成分として平均値算出を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、局所領域の低周波成分としてローパスフィルタ処理を、ノイズ推定処理にルックアップテーブルを用いる構成も可能である。
図５は、第１ノイズ低減部112の別構成の一例を示すもので、図２に示す平均値算出部201,パラメータ用ROM204,パラメータ選択部205,ノイズ補間部206を削除し、ローパスフィルタ部208,ノイズテーブル部209を追加した構成になっている。基本構成は図３に示す第１ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
色信号分離抽出部111は、バッファ200を介してローパスフィルタ部208へ接続している。ローパスフィルタ部208は、ノイズテーブル部209およびコアリング部207へ接続している。ゲイン算出部202,標準値付与部203は、ノイズテーブル部209へ接続している。ノイズテーブル部209は、コアリング部207へ接続している。制御部117は、ローパスフィルタ部208,ノイズテーブル部209と双方向に接続されている。
ローパスフィルタ部208は、制御部117の制御に基づき、所定の周波数特性を有するローパスフィルタ処理を局所領域に対して行い、局所領域の低周波成分C_LO（C= R,Gr,Gb,B）を算出する。算出された低周波成分C_LOはノイズテーブル部209へ、低周波成分C_LOおよび注目画素C22はコアリング部207へ転送される。ローパスフィルタ部208からの局所領域の低周波成分C_LO、ゲイン算出部202からのゲイン情報、制御部117からの温度情報はノイズテーブル部209へ転送される。
ノイズテーブル部209は、ローパスフィルタ部208からの局所領域に関する低周波成分，ゲイン算出部202からのゲイン情報，制御部117からの温度情報に基づき注目画素C22のノイズ量N22を出力する。ノイズテーブル部209は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、(4)式に示される関係に基づき構築される。ノイズテーブル部209で得られたノイズ量N22は、コアリング部207へ転送される。
コアリング部207は、制御部117の制御に基づき、ローパスフィルタ部208から注目画素C22および低周波成分C_LOをノイズテーブル部209からノイズ量N22を読み込み、注目画素C22に関してコアリング処理を行いランダム性のノイズ低減処理がなされた注目画素をCN1 22を求める。このコアリング処理は、(7)式における平均値C_AVを低周波成分C_LOに置換することで行われる。
図６は第２ノイズ低減部113の構成の一例を示すもので、バッファ300,差分算出部301,バッファ302,ソート部303,総和算出部304,重み係数テーブル部305,バッファ306,重み付けフィルタ部307からなる。
色信号分離抽出部111は、バッファ300を介して差分算出部301および重み付けフィルタ部307へ接続している。差分算出部301は、バッファ302,ソート部303を介して総和算出部304へ接続している。総和算出部304は、重み係数テーブル部305および合成部114へ接続している。重み係数テーブル部305は、バッファ306を介して重み付けフィルタ部307へ接続している。重み付けフィルタ部307は、合成部114へ接続している。制御部117は、差分算出部301,ソート部303,総和算出部304,重み係数テーブル部305,重み付けフィルタ部307と双方向に接続されている。
色信号分離抽出部111から図２(b)に示されるように、R,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域が順次バッファ300へ転送されてくる。
差分算出部301は、制御部117の制御に基づき、注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33の計９画素に関して、各々の近傍８画素との差の絶対値を算出する。
図７(a)は、局所領域における注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33の配置を示す。差分算出部301は、この９画素の個々に対して、近傍８画素との差の絶対値Δを算出する。図７(b)は、差の絶対値Δを算出する画素の配置を示す。例えばC11画素の場合、差の絶対値Δは(8)式で示される。
Figure 2009124552
 以降は、算出された８個の差の絶対値をΔl（l=1〜8）で表記する。上記差の絶対値Δlは、バッファ302に転送される。
ソート部303は、制御部117の制御に基づき、バッファ302の差の絶対値をΔlを昇順にソートし、小さい方から所定数、第１の実施形態においては４個を総和算出部304へ転送する。以降は、昇順にソートされた差の絶対値をSΔm（m=1〜8）で表記する。
総和算出部304は、制御部117の制御に基づき、ソート部303から転送される昇順にソートされた４個の差の絶対値の総和を求める。この総和は、指標指数ICとなる。
Figure 2009124552
 欠陥画素のようなインパルス性のノイズでは、近傍８画素全ての画素間で差が大きいため指標指数ICは大きな値となる。一方、平坦部は全ての画素間で差が小さいため指標指数ICは小さな値となる。また、直線状の単純なエッジ部では、近傍８画素の半分が小さな値を、半分が大きな値をとる。指標指数ICは差の小さなものを４つ選択して積算するため、単純なエッジ部では小さな値をとる。複雑なエッジ構造では大きな値となるが、インパルス性のノイズよりは小さな値をとる。以上から、指標指数ICによりインパルス性のノイズとエッジ、平坦部を分離することができる。
重み係数テーブル部305は、指標係数ICに基づき後段の重み付きフィルタ処理に使用する重み係数Fを出力するルックアップテーブルである。これは、(10)に基づき構築される。
Figure 2009124552
 (10)式におけるσは調整用のパラメータである。重み係数Fはバッファ306に転送される。上記指標係数ICおよび重み係数Fは、図７(c),(d)に示されるように注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33の計９画素に関して算出される。すなわち、差分算出部301,ソート部303,総和算出部304,重み係数テーブル部305は、制御部117の制御に基づき上記処理を９回繰り返すことになる。以降は、指標係数はICkで、重み係数はFkで表記される。なお、総和算出部304は注目画素C22の指標係数IC0に関してのみ合成部114へも転送する。
重み付けフィルタ部307は、制御部117の制御に基づき、バッファ300から局所領域中の注目画素およびその近傍８画素を、バッファ306から重み係数Fkを読み込み、重み付けフィルタ処理を行う。ここで、注目画素C22をC0で、近傍８画素をC1〜C8で、全９画素をCkとして簡略化して表記する。(11)式に示される重み付けフィルタ処理により、インパルス性のノイズ低減処理がなされた注目画素CN2 22が得られる。
Figure 2009124552
 インパルス性のノイズ低減処理がなされた注目画素CN2 22は、合成部114へ転送される。
なお、図６に示す第２ノイズ低減部113は、指標指数の算出において差の絶対値を昇順にソートし小さい方から所定数の総和をとり、インパルス性のノイズ低減処理として重み付けフィルタ処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図８に示されるように指標指数の算出において差の絶対値の全てから総和をとる構成や、インパルス性のノイズ低減処理としてメディアンフィルタなどの非線形フィルタ処理を行う構成も可能である。
図８は第２ノイズ低減部113の別構成の一例を示すもので、図６に示す第２ノイズ低減部113からバッファ302,ソート部303,重み係数テーブル部305,バッファ306,重み付けフィルタ部307が省略され、注目画素読み出し部308,メディアンフィルタ部309,切り換え部310が追加された構成になっている。基本構成は図６に示す第２ノイズ低減部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
バッファ300は、差分算出部301,注目画素読み出し部308,メディアンフィルタ部309へ接続している。差分算出部301は、総和算出部304へ接続している。総和算出部304は、切り換え部310および合成部114へ接続している。注目画素読み出し部308およびメディアンフィルタ部309は、切り換え部310へ接続している。切り換え部310は、合成部114へ接続している。制御部117は、注目画素読み出し部308,メディアンフィルタ部309,切り換え部310と双方向に接続されている。
差分算出部301は、制御部117の制御に基づき、注目画素C22に関して近傍８画素との差の絶対値Δlを算出する。算出された差の絶対値Δlは、総和算出部304へ転送される。
総和算出部304は、制御部117の制御に基づき、差の絶対値Δlの総和を求める。この総和は、注目画素C22に関する指標指数IC0となる。
Figure 2009124552
 指標係数IC0は、切り換え部310および合成部114へ転送される。
注目画素読み出し部308は、制御部117の制御に基づき、バッファ300から注目画素C22を読み出し、切り換え部310へ転送する。
メディアンフィルタ部309は、制御部117の制御に基づき、バッファ300から局所領域を読み出し、公知のメディアンフィルタ処理を行い、注目画素C22に関する処理結果MC22を得る。メディアンフィルタ処理結果MC22は、切り換え部310へ転送される。
切り換え部310は、制御部117の制御に基づき、総和算出部304からの指標指数IC0を用いて注目画素読み出し部308からの注目画素C22とメディアンフィルタ部309からのメディアンフィルタ処理結果MC22に関する切り換え制御を行うことにより、インパルス性のノイズ低減処理がなされた注目画素CN2 22が得られる。
Figure 2009124552
 ここで、Th3は所定の閾値を意味する。(12)式に基づく指標指数IC0は、欠陥画素のようなインパルス性のノイズでは、近傍８画素全ての画素間で差が大きいため指標指数ICは大きな値となる。一方、平坦部は全ての画素間で差が小さいため指標指数ICは小さな値となる。このため、(13)式に示されるように指標指数ICが所定の閾値Th3より大きい場合にメディアンフィルタ処理結果MC22を選択することでインパルス性のノイズ低減処理が行われることになる。
図９は、合成部114の構成の一例を示すもので、第１信号選択部400,第２信号選択部401,合成係数テーブル部402,乗算部403,乗算部404,加算部405からなる。
第１ノイズ低減部112は、第１信号選択部400へ接続している。第２ノイズ低減部113は、第１信号選択部400,第２信号選択部401,合成係数テーブル部402へ接続している。第１信号選択部400は、乗算部403および信号処理部115へ接続している。第２信号選択部401は、乗算部404および信号処理部115へ接続している。合成係数テーブル部402は、乗算部403および乗算部404へ接続している。乗算部403および乗算部404は加算部405へ、加算部405は信号処理部115へ接続している。制御部117は、第１信号選択部400,第２信号選択部401,合成係数テーブル部402,乗算部403,乗算部404,加算部405と双方向に接続されている。
第１信号選択部400は、制御部117の制御に基づき、第２ノイズ低減部113から注目画素C22に関する指標指数IC0を、第１ノイズ低減部112からランダム性のノイズ低減処理がなされた注目画素CN1 22を読み込む。指標指数IC0が所定の閾値Th1以下の場合、注目画素CN1 22を合成後の注目画素CN 22として信号処理部115へ転送する。指標指数IC0が所定の閾値Th1より大きい場合、注目画素CN1 22を乗算部403へ転送する。
第２信号選択部401は、制御部117の制御に基づき、第２ノイズ低減部113から注目画素C22に関する指標指数IC0およびインパルス性のノイズ低減処理がなされた注目画素CN2 22を読み込む。指標指数IC0が所定の閾値Th2以上の場合、注目画素CN2 22を合成後の注目画素CN 22として信号処理部115へ転送する。指標指数IC0が所定の閾値Th2より小さい場合、注目画素CN2 22を乗算部404へ転送する。
合成係数テーブル部402は、指標指数IC0に対する合成処理に用いる合成係数w=0〜１および1-wを記録したルックアップテーブルである。図１０は、合成係数wに関する説明図で、指標指数IC0≦Th1の場合にw=0で、指標指数IC0≧Th2の場合にw=1で、Th1＜IC0＜Th2の場合にw=0〜１の線形に変化する特性となっている。合成係数テーブル部402は、合成係数1-wを乗算部403へ、合成係数wを乗算部404へ転送する。
乗算部403は、制御部117の制御に基づき、第１信号選択部400から注目画素CN1 22が転送されてきた場合、注目画素CN1 22と合成係数1-wを乗算し、その結果(1-w)・CN1 22を加算部405へ転送する。
乗算部404は、制御部117の制御に基づき、第２信号選択部401から注目画素CN2 22が転送されてきた場合、注目画素CN2 22と合成係数wを乗算し、その結果w・CN2 22を加算部405へ転送する。
加算部405は、制御部117の制御に基づき、乗算部403からの(1-w)・CN1 22および乗算部404からのw・CN2 22を加算処理し、合成後の注目画素CN 22を求める。上記により(1)式に示される合成処理が行われることになる。
［作用］
上記構成により、性質の異なるランダム性のノイズとインパルス性のノイズに対して独立に低減処理を行い、両者をインパルス性の度合いを示す指標係数に基づき合成処理することができる。このため、ランダム性およびインパルス性の両ノイズに対して最適なノイズ低減処理が可能となり高品位な映像信号が得られる。
また２種類のノイズ低減処理に起因する不連続性やアーティファクトの発生を抑制できる。ランダム性のノイズ低減処理は注目画素単位でノイズ量を推定してランダム性のノイズ低減処理を行うため、ノイズ成分のみを高精度に低減することが可能となり、高品位な映像信号が得られる。
ノイズ量の推定に平均値を用いる構成は、実装が容易でありシステムのコスト低減と高速処理が可能となる。一方、ノイズ量の推定にローパスフィルタを用いる構成は、注目画素とその他の画素との重みを制御できるため安定した処理が可能となる。ノイズ量の推定は撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いる構成は、実装が容易であり、システムの低コスト化が可能となる。一方ルックアップテーブルからノイズ量を求める構成は、高速な処理が可能となる。
また、ランダム性のノイズ低減処理にコアリング処理を用いるため、ノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。
インパルス性のノイズ低減処理において、局所領域の各画素単位でインパルス性の度合いを求め重み付けフィルタ処理を行う構成では、ノイズ成分のみを高精度に低減することが可能となる。また、ルックアップテーブルから重み係数を求める構成では、高速な処理が可能となる。一方、注目画素のみインパルス性の度合いを求め非線形フィルタを行う構成では、処理の高速化が可能となる。また、非線形フィルタ処理としてメディアンフィルタを用いるため、システム全体の低コスト化を可能とする。
インパルス性の度合いを示す指標係数において、近傍画素間との差の総和を用いる構成では、処理の高速化と低コストなシステムが提供できる。一方、近傍画素間との差をソートし小さい値からの所定数の総和を用いる構成では、インパルス性のノイズとエッジ部の識別を高精に行うことができ、エッジ部の劣化の少ない高品位な映像信号が得られる。
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
さらに、ベイヤー型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
［変形例］
なお、第１の実施形態では撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図２(c)に示される色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。
図２(c)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離抽出部111は、図２(c)に示される10×10画素単位で映像信号を読み込み、これを図２(d)に示されるようにMg,G,Ye,Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。局所領域内の画素値はCij（Cは色信号でC=Mg,G,Ye,Cy）で示されることになる。
さらに、第１の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１１に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
図１１は、図１に示す構成からレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110を省略し、入力部500,ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
入力部500は、バッファ106およびヘッダ情報解析部501へ接続している。制御部117は、入力部500,ヘッダ情報解析部501と双方向に接続している。
マウス，キーボードなどの外部I/F部118を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部500から読み込まれる。入力部500からの映像信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部501へ転送される。
ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部117へ転送する。以後の処理は、図１と同等である。
また、第１の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、CCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図１２Ａは、信号処理のソフトウェア処理に関するフローを示す。
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
ステップS2にて、図２(b)に示されるようにCCD102の色フィルタに基づき、色信号ごとに分離する。
ステップS3にて、図２(b)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
ステップS4にて、別途説明するようにランダム性のノイズ低減処理となる第１のノイズ低減処理を行う。
ステップS5にて、別途説明するようにインパルス性のノイズ低減処理となる第２のノイズ低減処理を行う。
ステップS6にて、別途説明するように第１のノイズ低減処理がなされた信号と第２のノイズ低減処理がなされた信号を合成する。
ステップS7にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS3へ分岐し、完了した場合はステップS8へ分岐する。
ステップS8にて、全ての色信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合はステップS9へ分岐する。
ステップS9にて、公知の補間処理、階調変換処理、エッジ強調処理、色強調処理などの信号処理が行われる。
ステップS10にて、処理が完了した映像信号が出力され終了する。
図１２Ｂは、上記ステップS4における第１のノイズ低減処理に関するフローである。
ステップS20にて、(2)式に示されるように局所領域の平均値を算出する。
ステップS21にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
ステップS22にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
ステップS23にて、注目画素が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
ステップS24にて、(5),(6)式に示される補間処理にてノイズ量を求める。
ステップS25にて、(7)式に示されるコアリング処理にてランダム性のノイズ低減処理がなされた信号を求める。
ステップS26にて、第１のノイズ低減処理がなされた信号を出力して終了する。
図１２Ｃは、上記ステップS5における第２のノイズ低減処理に関するフローである。
ステップS30にて、局所領域内の注目画素および近傍８画素の一つを選択する。
ステップS31にて、(8)式に示されるように８個の差の絶対値を算出する。
ステップS32にて、８個の差の絶対値を昇順にソートする。
ステップS33にて、(9)式に示されるように小さい方から所定数、例えば４個の差の絶対値の総和を求め、指標係数とする。
ステップS34にて、(10)式に基づき構築された指標係数を入力として重み係数を出力するルックアップテーブルを入力する。
ステップS35にて、指標係数に基づき重み係数を出力する。
ステップS36にて、注目画素および近傍８画素の全てが選択されたかを判断し、選択が完了していない場合はステップS30へ分岐し、完了した場合はステップS37へ分岐する。
ステップS37にて、(11)式に示される重み付けフィルタ処理を行う。
ステップS38にて、重み付けフィルタ処理により得られた信号を第２のノイズ低減処理がなされた信号として出力する。
ステップS39にて、注目画素に関する指標係数を出力して終了する。
図１２Ｄは、上記ステップS6における合成処理に関するフローである。
ステップS40にて、注目画素に関する指標係数を入力する。
ステップS41にて、指標係数と所定の閾値Th1を比較し、指標係数が閾値Th1以下の場合はステップS42へ分岐し、指標係数が閾値Th1より大きい場合はステップS43へ分岐する。
ステップS42にて、第１のノイズ低減処理がなされた信号を出力して終了する。
ステップS43にて、指標係数と所定の閾値Th2を比較し、指標係数が閾値Th2以上の場合はステップS44へ分岐し、指標係数が閾値Th2より小さい場合はステップS45へ分岐する。
ステップS44にて、第２のノイズ低減処理がなされた信号を出力して終了する。
ステップS45にて、図１０に示される指標係数を入力として合成係数を出力するルックアップテーブルを入力する。
ステップS46にて、指標係数に基づき合成係数を出力する。
ステップS47にて、第１のノイズ低減処理がなされた信号に（1-合成係数）を乗算する。
ステップS48にて、第２のノイズ低減処理がなされた信号に合成係数を乗算する。
ステップS49にて、第１のノイズ低減処理がなされた信号に（1-合成係数）を乗算した信号と第２のノイズ低減処理がなされた信号に合成係数を乗算した信号を加算する。
ステップS50にて、合成された信号を出力して終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
第２の実施形態
［構成］
図１３は、第２の実施形態の構成図である。第２の実施形態は、図１に示す第１の実施形態における色信号分離抽出部111が輝度色分離抽出部600へ、第１ノイズ低減部112が第１ノイズ低減部601へ、第２ノイズ低減部113が第２ノイズ低減部602へ、合成部114が合成部603へ置換され、バッファ604,同時化部605が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
バッファ106は、PreWB部107,測光評価部108,合焦点検出部109,輝度色分離抽出部600へ接続されている。輝度色分離抽出部600は、第１ノイズ低減部601および第２ノイズ低減部602へ接続されている。第１ノイズ低減部601および第２ノイズ低減部602は、合成部603へ接続されている。合成部603は、バッファ604,同時化部605を介して信号処理部115へ接続されている。制御部117は、輝度色分離抽出部600,第１ノイズ低減部601,第２ノイズ低減部602,合成部603,同時化部605と双方向に接続されている。
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図１３において、信号の流れを説明する。外部I/F部118を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101, CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、第２の施形態においては、CCD102としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
図１４(a)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。CCD102からの映像信号は、図１４(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒を想定する。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
CCD102からのアナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。
バッファ106は、2フィールド信号、すなわち１フレーム信号が記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフィールド信号は、制御部117の制御に基づき、所定の時間間隔で間欠的にPreWB部107および測光評価部108および合焦点検出部109へ転送される。
一方、輝度色分離抽出部600は、制御部117の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb,Crを算出する。
Figure 2009124552
 この後、ノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出する。第２の実施形態においては、局所領域としてとして5×5画素を想定する。ただし、輝度信号Yは5×5画素全てに存在するが、色差信号Cb,Crは5×3画素または5×2画素となる。
図１４(b),(c)は、偶数および奇数フィールド信号から抽出された局所領域の一例を示す。図１４(b)は、偶数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Crで、色差信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。図１４(c)は、奇数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Cbで、色差信号Crは対象外となる。
なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。以降は、局所領域内の画素をCij（Cは輝度または色差信号でC=Y,Cb,Cr、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はｊ=0,2,4,6,8、奇数フィールド信号の場合はj=1,3,5,7,9）で表記する。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。
注目画素は、偶数フィールド信号の場合輝度信号がY24、色差信号がCr24またはCb24、奇数フィールド信号の場合輝度信号がY25、色差信号がCr25またはCb25となる。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。抽出された局所領域は、第１ノイズ低減部601および第２ノイズ低減部602へ転送される。
第１ノイズ低減部601は、制御部117の制御に基づき、局所領域の低周波成分から注目画素C24に関するランダム性のノイズ量N24を推定する。その後、推定されたノイズ量N24を用いてローパスフィルタを選択し、局所領域にローパスフィルタ処理を行うことでランダム性のノイズ低減処理を行う。以降は、第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN1 24で記述する。
ランダム性のノイズ低減処理がなされた注目画素CN1 24は、合成部603へ転送される。一方、第２ノイズ低減部602は、制御部117の制御に基づき、輝度信号の局所領域からインパルス性のノイズの度合いを示す指標係数ICを注目画素Y24およびその近傍８画素Y12,Y22,Y32,Y14,Y44,Y16,Y26,Y36に関して算出する。色差信号に関しては指標係数ICを算出せず、輝度信号の指標係数ICを流用することになる。以後、注目画素C24の指標係数をIC0で、近傍８画素の指標係数をIC1〜IC8で、指標係数全体をICk（k=0〜8）で表記する。また、必要に応じて注目画素C24をC0で、近傍８画素をC1〜C8で、全９画素をCkとして簡略化して表記する。
その後、指標係数ICkを用いて注目画素およびその近傍８画素の重み係数を求め、重み付けフィルタ処理を行うことでインパルス性のノイズ低減処理を行う。以降は、第２ノイズ低減部113にてインパルス性のノイズ低減処理がなされた注目画素をCN2 24で記述する。輝度信号の注目画素Y24の指標係数IC0およびインパルス性のノイズ低減処理がなされた注目画素CN2 24は、合成部603へ転送される。
合成部603は、制御部117の制御に基づき、第２ノイズ低減部113から転送される指標係数IC0を用いて第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN1 24およびインパルス性のノイズ低減処理がなされた注目画素CN2 24を合成処理し、(1)式で示されるように合成後の注目画素CN 24を求める。なお、合成係数wは輝度信号の指標係数IC0から求められ、輝度信号および色差信号の合成に共通に用いられる。合成後の注目画素CN 24は、バッファ604へ転送される。
バッファ604は、2フィールド信号、すなわち１フレーム信号が記録可能で、撮影にともない順次上書きされることになる。上記輝度色分離抽出部600,第１ノイズ低減部601,第２ノイズ低減部602,合成部603における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。
同時化部605は、制御部117の制御に基づき、バッファ604から合成処理がなされた偶数フィールド信号と奇数フィールド信号を読み込む、色差信号に関して公知の補間処理を行った後、偶数フィールド信号と奇数フィールド信号に対して公知の同時化処理を行うことでフレーム信号を生成する。生成されたフレーム信号は、信号処理部115へ転送される。
図１５は第１ノイズ低減部601の構成の一例を示すもので、図３に示す第１ノイズ低減部112の構成から平均値算出部201,コアリング部207が省略され、差分成分算出部700,バッファ701,差成分用テーブル702,座標用テーブル703,重み係数合成部704,バイラテラル(Bilateral)フィルタ部705,フィルタ用ROM706,フィルタ選択部707,周波数フィルタ部708が追加された構成になっている。基本構成は図３に示す第１ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
輝度色分離抽出部600から図１４(b),(c)に示されるように、Y,Cb,Crごとに5×5画素の局所領域が順次バッファ200へ転送されてくる。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
差分成分算出部700は、制御部117の制御に基づき、バッファ200から局所領域を読み出し、(15)式に示されるように注目画素値C24との差成分の絶対値δijを算出する。
Figure 2009124552
 差成分の絶対値δijは、バッファ701へ転送される。
差成分用テーブル702は、制御部117の制御に基づき、バッファ701から差成分の絶対値δijを読み出し、差成分の絶対値δijに対応する第１の重み係数w1ijを求める。第１の重み係数w1ijは、例えば(16)式に示される関数式で定められる。
Figure 2009124552
 (16)式におけるσ1は調整用のパラメータで、σ1=1〜10程度を用いる。差成分用テーブル702は、(16)式に示される関数式に基づき予め算出しておいた第１の重み係数w1ijを記録したテーブルである。求められた第１の重み係数w1ijは、重み係数合成部704へ転送される。
重み係数合成部704は、制御部117の制御に基づき、差成分用テーブル702からの第１の重み係数w1ijおよび座標用テーブル703から座標値(i,j)に対応する第２の重み係数w2ijを読み込み、これらを合成する。第２の重み係数w2ijは、例えば(17)式に示される関数式で定められる。
Figure 2009124552
 (17)式におけるσ2は調整用のパラメータで、σ2=1〜10程度を用いる。また、TiおよびTjは注目画素の座標を意味し、第２の実施形態においてはTi=2, Tj=4となる。
座標用テーブル703は、(17)式に示される関数式に基づき予め算出しておいた第２の重み係数w2ijを記録したテーブルである。第１の重み係数w1ijおよび第２の重み係数w2ijは(18)式に基づき合成され、重み係数wijが算出される。
Figure 2009124552
 算出された重み係数wijは、バイラテラルフィルタ部705へ転送される。
バイラテラルフィルタ部705は、制御部117の制御に基づき、バッファ200からの局所領域に対して重み係数合成部704からの重み係数wijを用いてバイラテラルフィルタ処理を行う。
Figure 2009124552
 (19)式に示されるバイラテラルフィルタ処理の結果C_Biはパラメータ選択部205へ転送される。
パラメータ選択部205は、バイラテラルフィルタ部705からのバイラテラルフィルタ処理の結果C_Biから信号レベルlを、ゲイン算出部202からのゲイン情報からゲインgを、制御部117からの温度情報から温度tを設定する。次に、信号レベルlが属する区間(Ln, Nn)と(Ln+1, Nn+1)の座標データと補正係数kgtをパラメータ用ROM204から探索し、ノイズ補間部206へ転送する。
ノイズ補間部206は、制御部117の制御に基づき、(5)式から基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正係数kgから(6)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素C24のノイズ量N24としてフィルタ選択部707へ転送される。なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部203に記録させておき、算出過程を省略する構成も可能である。
フィルタ選択部707は、制御部117の制御に基づき、ノイズ補間部206からのノイズ量N24を用いてフィルタ用ROM706からフィルタ処理に用いるフィルタ係数を選択する。
図１６は、フィルタ用ROM706に記録されているフィルタ係数の一例を示すもので、サイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。
フィルタ選択部707は、ノイズ量N24からType1〜Type4の周波数特性を選択する。この選択は、例えば図１７に示されるノイズ量N24とフィルタの種類Type間の関係に基づき行われる。ノイズ量N24が大きいほど高周波成分を抑制する周波数特性が選択されることになる。フィルタ選択部707は、選択されたフィルタ係数を周波数フィルタ部708へ転送する。
周波数フィルタ部708は、制御部117の制御に基づき、バッファ200からの局所領域に対してフィルタ選択部707からのフィルタ係数を用いて周波数フィルタ処理を行う。なお、輝度信号Yの場合は5×5画素の局所領域でフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でフィルタのサイズと一致しない。この場合は、存在しない画素に関してはフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。周波数フィルタ処理による結果は、ランダム性のノイズ低減処理がなされた注目画素CN1 24として、合成部603へ転送される。
図１８は第２ノイズ低減部602の構成の一例を示すもので、図６に示す第２ノイズ低減部113の構成において差分算出部301を輝度差分算出部800に、重み付けフィルタ部307を輝度重み付けフィルタ部801および色差重み付けフィルタ部802に置換された構成になっている。基本構成は図６に示す第２ノイズ低減部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
輝度色分離抽出部600は、バッファ300を介して輝度差分算出部800,輝度重み付けフィルタ部801,色差重み付けフィルタ部802へ接続している。輝度差分算出部800は、バッファ302へ接続している。バッファ306は、輝度重み付けフィルタ部801および色差重み付けフィルタ部802へ接続している。輝度重み付けフィルタ部801および色差重み付けフィルタ部802は、合成部603へ接続している。制御部117は、輝度差分算出部800,輝度重み付けフィルタ部801,色差重み付けフィルタ部802と双方向に接続されている。
輝度色分離抽出部600から図１４(b),(c)に示されるように、Y,Cb,Crごとに5×5画素の局所領域が順次バッファ300へ転送されてくる。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
輝度差分算出部800は、制御部117の制御に基づき、輝度信号の注目画素Y24およびその近傍８画素Y12,Y22,Y32,Y14,Y34,Y16,Y26,Y36の計９画素に関して、(8)式に示されるように各々の近傍８画素との差の絶対値Δlを算出する。上記差の絶対値をΔlは、バッファ302に転送される。
ソート部303は、制御部117の制御に基づき、バッファ302の差の絶対値をΔlを昇順にソートし、小さい方から所定数、第２の実施形態においては４個を総和算出部304へ転送する。
総和算出部304は、制御部117の制御に基づき、(9)式に示されるようにソート部303から転送される昇順にソートされた４個の差の絶対値の総和を求める。この総和は、指標指数ICとなる。
重み係数テーブル部305は、指標係数ICに基づき後段の重み付きフィルタ処理に使用する重み係数Fを出力する。重み係数Fはバッファ306に転送される。輝度差分算出部800,ソート部303,総和算出部304,重み係数テーブル部305は、制御部117の制御に基づき上記処理を９回繰り返すことになる。以降は、指指標係数はICkで、重み係数はFkで表記される。なお、総和算出部304は輝度信号の注目画素Y24の指標係数IC0に関してのみ合成部603へも転送する。
輝度重み付けフィルタ部801は、制御部117の制御に基づき、バッファ300から局所領域中の輝度信号の注目画素およびその近傍８画素を、バッファ306から重み係数Fkを読み込み、(11)式に示される重み付けフィルタ処理を行いインパルス性のノイズ低減処理がなされた注目画素YN2 24を求める。インパルス性のノイズ低減処理がなされた注目画素YN2 24は、合成部603へ転送される。
色差重み付けフィルタ部802は、制御部117の制御に基づき、バッファ300から局所領域中の色差信号の注目画素およびその近傍８画素を、バッファ306から重み係数Fkを読み込み、(11)式に示される重み付けフィルタ処理を行いインパルス性のノイズ低減処理がなされた注目画素CrN2 24を求める。すなわち、輝度信号の指標係数ICkに基づき求められた重み係数Fkで色差信号が処理されることになる。インパルス性の度合いは、輝度信号のみから十分な精度で得ることができる。この結果を色差信号に適応することにより、欠落する画素が存在する色差信号に関して補間処理などの誤差を生じる処理を行うことなく、高精度にインパルス性のノイズ低減が可能となる。インパルス性のノイズ低減処理がなされた注目画素CrN2 24は、合成部603へ転送される。
図１９は、合成部603の構成の一例を示すもので、図９に示す合成部114の構成において乗算部403を輝度乗算部900および色差乗算部901に、乗算部404を輝度乗算部902および色差乗算部903に置換された構成になっている。基本構成は、図９に示す合成部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
第１ノイズ低減部601は、第１信号選択部400へ接続している。第２ノイズ低減部602は、第１信号選択部400,第２信号選択部401,合成係数テーブル部402へ接続している。第１信号選択部400は、輝度乗算部900,色差乗算部901,バッファ604へ接続している。第２信号選択部401は、輝度乗算部902,色差乗算部903,バッファ604へ接続している。合成係数テーブル部402は、輝度乗算部900,色差乗算部901,輝度乗算部902,色差乗算部903へ接続している。輝度乗算部900,色差乗算部901,輝度乗算部902,色差乗算部903は加算部405へ、加算部405はバッファ604へ接続している。制御部117は、輝度乗算部900,色差乗算部901,輝度乗算部902,色差乗算部903と双方向に接続されている。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
第１信号選択部400は、制御部117の制御に基づき、第２ノイズ低減部602から輝度信号の注目画素Y24に関する指標指数IC0を、第１ノイズ低減部112からランダム性のノイズ低減処理がなされた輝度および色差信号の注目画素CN1 24を読み込む。指標指数IC0が所定の閾値Th1以下の場合、注目画素CN1 24を合成後の注目画素CN 24としてバッファ604へ転送する。指標指数IC0が所定の閾値Th1より大きい場合、輝度信号の注目画素YN1 24を輝度乗算部900へ、色差信号の注目画素CrN1 24を色差乗算部901へ転送する。
第２信号選択部401は、制御部117の制御に基づき、第２ノイズ低減部602から輝度信号の注目画素Y24に関する指標指数IC0およびインパルス性のノイズ低減処理がなされた輝度および色差信号の注目画素CN2 24を読み込む。指標指数IC0が所定の閾値Th2以上の場合、注目画素CN2 24を合成後の注目画素CN 24としてバッファ604へ転送する。指標指数IC0が所定の閾値Th2より小さい場合、輝度信号の注目画素YN2 24を輝度乗算部902へ、色差信号の注目画素CrN2 24を色差乗算部903へ転送する。
合成係数テーブル部402は、図１０に示されるように指標指数IC0に対する合成処理に用いる合成係数w=0〜１および1-wを記録したルックアップテーブルである。合成係数テーブル部402は、合成係数1-wを輝度乗算部900および色差乗算部901へ、合成係数wを輝度乗算部902および色差乗算部903へ転送する。
輝度乗算部900は、制御部117の制御に基づき、第１信号選択部400から輝度信号の注目画素YN1 24が転送されてきた場合、注目画素YN1 24と合成係数1-wを乗算し、その結果(1-w)・YN1 24を加算部405へ転送する。
色差乗算部901は、制御部117の制御に基づき、第１信号選択部400から色差信号の注目画素CrN1 24が転送されてきた場合、注目画素CrN1 24と合成係数1-wを乗算し、その結果(1-w)・CrN1 24を加算部405へ転送する。
輝度乗算部902は、制御部117の制御に基づき、第２信号選択部401から輝度信号の注目画素YN2 24が転送されてきた場合、注目画素YN2 24と合成係数wを乗算し、その結果w・YN2 24を加算部405へ転送する。
色差乗算部903は、制御部117の制御に基づき、第２信号選択部401から色差信号の注目画素CrN2 24が転送されてきた場合、注目画素CrN2 24と合成係数wを乗算し、その結果w・CrN2 24を加算部405へ転送する。
加算部405は、制御部117の制御に基づき、輝度乗算部900からの(1-w)・YN1 24および輝度乗算部902からのw・YN2 24を加算処理し、合成後の輝度信号の注目画素YN 24を求める。同様に、色差乗算部901からの(1-w)・CrN1 24および色差乗算部903からのw・CrN2 24を加算処理し、合成後の色差信号の注目画素CrN 24を求める。すなわち、輝度信号の指標係数ICkに基づき求められた合成係数wを用いて色差信号が合成処理されることになる。インパルス性の度合いは、輝度信号のみから十分な精度で得ることができる。この結果を色差信号に適応することにより、高精度な合成処理が可能となる。合成処理された輝度および色差信号の注目画素CN 22は、バッファ604へ転送される。
［作用］
上記構成により、性質の異なるランダム性のノイズとインパルス性のノイズに対して独立に低減処理を行い、両者をインパルス性の度合いを示す指標係数に基づき合成処理することができる。このため、ランダム性およびインパルス性の両ノイズに対して最適なノイズ低減処理が可能となり高品位な映像信号が得られる。
また２種類のノイズ低減処理に起因する不連続性やアーティファクトの発生を抑制できる。ランダム性のノイズ低減処理は注目画素単位でノイズ量を推定してランダム性のノイズ低減処理を行うため、ノイズ成分のみを高精度に低減することが可能となり、高品位な映像信号が得られる。
ノイズ量の推定にバイラテラルフィルタの処理結果を用いる構成は、注目画素周辺のノイズやエッジ構造などを排除して低周波成分を求めるため、高精度かつ安定した処理が可能となる。ノイズ量の推定は撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いる構成は、実装が容易であり、システムの低コスト化が可能となる。
また、ランダム性のノイズ低減処理にノイズ量に基づき選択した周波数フィルタ処理を用いるため、ランダム性のノイズ成分のみを重点的に低減でき、高品位な映像信号が得られる。また、フィルタ処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
インパルス性のノイズ低減処理において、局所領域の各画素単位でインパルス性の度合いを求め重み付けフィルタ処理を行う構成は、ノイズ成分のみを高精度に低減することが可能となる。また、ルックアップテーブルから重み係数を求めるため、高速な処理が可能となる。インパルス性の度合いを示す指標係数において、近傍画素間との差をソートし小さい値からの所定数の総和を用いる構成は、インパルス性のノイズとエッジ部の識別を高精に行うことができ、エッジ部の劣化の少ない高品位な映像信号が得られる。
また、映像信号から輝度信号および色差信号を分離し、輝度信号および色差信号ごとにノイズ低減処理行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、多様な撮像システムに適応することが可能となる。
さらに、インパルス性のノイズ低減および合成処理においては輝度信号の処理結果に基づき色差信号を処理するため、輝度信号および色差信号間での処理が統一され、アーティファクトの少ない高品位な映像信号が得られる。
さらに、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
［変形例］
なお、第２の実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図２(a)に示されるベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(20)式に基づき輝度信号Yと色差信号Cb,Crを求める。
Figure 2009124552
 また、この場合はフレーム信号のみでフィールド信号が存在しないことになる。さらに、第１の実施形態における図１１に示される形態と同様に、別体の撮像部で撮像された時系列的に連続する複数の映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をする構成も可能である。
さらに、第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば。例えば、CCD102からの時系列的に連続する複数の映像信号を未処理のままのRawデータとして、CCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図２０Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１２Ａに示す第１の実施の形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS1にて、複数の映像信号および色フィルタや撮影時の露光条件などのヘッダ情報を読み込む。
ステップS60にて、１枚の映像信号、すなわちフレーム信号から偶数フィールド信号および奇数フィールド信号を順次抽出する。
ステップS61にて、映像信号を(14)式に示されるように輝度信号と色信号に分離する。
ステップS62にて、輝度信号および色差信号に関して図１４(b),(c)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素の局所領域が抽出される。
ステップS63にて、別途説明するように輝度信号および色差信号に関してランダム性のノイズ低減処理となる第１のノイズ低減処理を行う。
ステップS64にて、別途説明するように輝度信号および色差信号に関してインパルス性のノイズ低減処理となる第２のノイズ低減処理を行う。
ステップS65にて、別途説明するように輝度信号および色差信号に関して第１のノイズ低減処理がなされた信号と第２のノイズ低減処理がなされた信号を合成する。
ステップS7にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS62へ分岐し、完了した場合はステップS66へ分岐する。
ステップS66にて、色差信号に関して公知の補間処理を行った後、偶数フィールド信号および奇数フィールド信号に対して公知の同時化処理を行いフレーム信号を生成する。
ステップS9にて、公知の階調変換処理、エッジ強調処理、色強調処理などの信号処理が行われる。
ステップS67にて、処理が完了したフレーム信号が出力される。
ステップS68にて、全てのフィールド信号が完了したかを判断し、完了していない場合はステップS60へ分岐し、完了した場合は終了する。
図２０Ｂは、上記ステップS63における第１のノイズ低減処理に関するフローである。なお、図１２Ｂに示す第１の実施形態における第１のノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS70にて、輝度または色差信号の局所領域を入力する。
ステップS71にて、(15)式に示される注目画素値との差成分の絶対値を算出する。
ステップS72にて、(16)式に示される関数式に基づき構築された差成分テーブルを入力する。
ステップS73にて、差成分に関する重み係数を求める。
ステップS74にて、(17)式に示される関数式に基づき構築された座標テーブルを入力する。
ステップS75にて、座標に関する重み係数を求める。
ステップS76にて、差成分に関する重み係数と座標に関する重み係数を乗算してバイラテラルフィルタに使用する重み係数を求める。
ステップS77にて、(19)式に示されるバイラテラルフィルタ処理を行う。
ステップS21にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
ステップS22にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
ステップS23にて、注目画素が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
ステップS24にて、バイラテラルフィルタ処理の結果を信号レベルとして(5),(6)式に示される補間処理にてノイズ量を求める。
ステップS78にて、図１６に示されるようなフィルタ係数を入力する。
ステップS79にて、図１７に示されるような関係に基づき、ノイズ量からフィルタ係数を選択する。
ステップS80にて、選択されたフィルタ係数を用いて周波数フィルタ処理を行う。
ステップS26にて、第１のノイズ低減処理がなされた信号を出力する。
ステップS81にて、輝度および色差信号の処理が完了したかを判断し、完了していない場合はステップS70へ分岐し、完了した場合は終了する。
図２０Ｃは、上記ステップS64における第２のノイズ低減処理に関するフローである。なお、図１２Ｃに示す第１の実施形態における第２のノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS30にて、輝度信号の局所領域内の注目画素および近傍８画素の一つを選択する。
ステップS90にて、(8)式に示されるように８個の差の絶対値を算出する。
ステップS32にて、８個の差の絶対値を昇順にソートする。
ステップS33にて、(9)式に示されるように小さい方から所定数、例えば４個の差の絶対値の総和を求め、指標係数とする。
ステップS34にて、(10)式に基づき構築された指標係数を入力として重み係数を出力するルックアップテーブルを入力する。
ステップS35にて、指標係数に基づき重み係数を出力する。
ステップS36にて、注目画素および近傍８画素の全てが選択されたかを判断し、選択が完了していない場合はステップS30へ分岐し、完了した場合はステップS91へ分岐する。
ステップS91にて、輝度信号に関して(11)式に示される重み付けフィルタ処理を行う。
ステップS92にて、色差信号に関して(11)式に示される重み付けフィルタ処理を行う。
ステップS38にて、輝度信号および色差信号に関して重み付けフィルタ処理により得られた信号を第２のノイズ低減処理がなされた信号として出力する。
ステップS39にて、輝度信号の注目画素に関する指標係数を出力して終了する。
図２０Ｄは、上記ステップS65における合成処理に関するフローである。なお、図１２Ｄに示す第１の実施形態における合成処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS40にて、輝度信号の注目画素に関する指標係数を入力する。
ステップS41にて、指標係数と所定の閾値Th1を比較し、指標係数が閾値Th1以下の場合はステップS42へ分岐し、指標係数が閾値Th1より大きい場合はステップS43へ分岐する。
ステップS42にて、第１のノイズ低減処理がなされた信号を出力して終了する。
ステップS43にて、指標係数と所定の閾値Th2を比較し、指標係数が閾値Th1以上の場合はステップS44へ分岐し、指標係数が閾値Th2より小さい場合はステップS45へ分岐する。
ステップS44にて、第２のノイズ低減処理がなされた信号を出力して終了する。
ステップS45にて、図１０に示される指標係数を入力として合成係数を出力するルックアップテーブルを入力する。
ステップS46にて、指標係数に基づき合成係数を出力する。
ステップS100にて、第１のノイズ低減処理がなされた輝度信号に（1-合成係数）を乗算する。
ステップS101にて、第２のノイズ低減処理がなされた輝度信号に合成係数を乗算する。
ステップS102にて、第１のノイズ低減処理がなされた輝度信号に（1-合成係数）を乗算した信号と第２のノイズ低減処理がなされた輝度信号に合成係数を乗算した信号を加算する。
ステップS103にて、第１のノイズ低減処理がなされた色差信号に（1-合成係数）を乗算する。
ステップS104にて、第２のノイズ低減処理がなされた色差信号に合成係数を乗算する。
ステップS105にて、第１のノイズ低減処理がなされた色差信号に（1-合成係数）を乗算した信号と第２のノイズ低減処理がなされた色差信号に合成係数を乗算した信号を加算する。
ステップS50にて、合成された輝度および色差信号を出力して終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
第１の実施形態の構成図である。 色フィルタの配置と局所領域に関する説明図である。 第１ノイズ低減部の構成図である。 ノイズ量の推定に関する説明図である。 別形態の第１ノイズ低減部の構成図である。 第２ノイズ低減部の構成図である。 指標係数算出に関する説明図である。 別形態の第２ノイズ低減部の構成図である。 合成部の構成図である。 合成係数に関する説明図である。 別形態の第１の実施形態の構成図である。 第１の実施形態の信号処理のフローのうち、全体処理に関するフローである。 第１の実施形態の信号処理のフローのうち、第１のノイズ低減処理に関するフローである。 第１の実施形態の信号処理のフローのうち、第２のノイズ低減処理に関するフローである。 第１の実施形態の信号処理のフローのうち、合成処理に関するフローである。 第２の実施形態の構成図である。 色差線順次型補色フィルタの配置と局所領域に関する説明図である。 第１ノイズ低減部の構成図である。 周波数フィルタに関する説明図である。 周波数フィルタの選択に関する説明図である。 第２ノイズ低減部の構成図である。 合成部の構成図である。 第２の実施形態の信号処理のフローのうち、全体処理に関するフローである。 第２の実施形態の信号処理のフローのうち、第１のノイズ低減処理に関するフローである。 第２の実施形態の信号処理のフローのうち、第２のノイズ低減処理に関するフローである。 第２の実施形態の信号処理のフローのうち、合成処理に関するフローである。
符号の説明
111 色信号分離抽出部（局所領域抽出手段）
600 輝度色分離抽出部（局所領域抽出手段）
112,601 第１ノイズ低減部（第１のノイズ低減手段）
113,602 第２ノイズ低減部（第２のノイズ低減手段）
114,603 合成部（合成手段）

Claims (26)

  1. 撮像系から取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、
    前記映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する局所領域抽出手段と、
    前記局所領域に対してランダム性のノイズ低減処理を行う第１のノイズ低減手段と、
    前記局所領域に対してインパルス性のノイズ低減処理を行う第２のノイズ低減手段と、
    前記第１のノイズ低減手段でノイズ低減処理された映像信号と前記第２のノイズ低減手段でノイズ低減処理された映像信号とを合成する合成手段
    を有することを特徴とするノイズ低減システム。
  2. 請求項１に記載のノイズ低減システムにおいて、
    前記第１のノイズ低減手段は、
    前記局所領域から低周波成分を抽出する低周波抽出手段と、
    前記低周波成分に基づき前記注目画素に対するノイズ量を推定するノイズ推定手段と、
    前記低周波成分および前記ノイズ量の少なくとも１つに基づき前記注目画素に対して平滑化処理を行う平滑化手段
    を有することを特徴とするノイズ低減システム。
  3. 請求項１または２に記載のノイズ低減システムにおいて、
    前記第２のノイズ低減手段は、
    前記局所領域の各画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出手段と、
    前記指標係数に基づき前記局所領域の各画素に関する重み係数を算出する重み係数算出手段と、
    前記重み係数に基づき前記局所領域に対してフィルタ処理を行う重み付けフィルタ手段
    を有することを特徴とするノイズ低減システム。
  4. 請求項１または２に記載のノイズ低減システムにおいて、
    前記第２のノイズ低減手段は、
    前記局所領域の注目画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出手段と、
    前記指標係数に基づき前記局所領域に対して非線形フィルタ処理を行う非線形フィルタ手段
    を有することを特徴とするノイズ低減システム。
  5. 請求項３または４に記載のノイズ低減システムにおいて、
    前記合成手段は、
    前記指標係数が所定の第１の閾値以下の場合に前記第１のノイズ低減手段でノイズ低減処理された映像信号を選択する第1の選択手段と、
    前記指標係数が所定の第２の閾値以上の場合に前記第２のノイズ低減手段でノイズ低減処理された映像信号を選択する第２の選択手段と、
    前記指標係数が前記第１の閾値より大きく前記第２の閾値より小さい場合には前記第１のノイズ低減手段でノイズ低減処理された映像信号と前記第２のノイズ低減手段でノイズ低減処理された映像信号を重み付き加算する重み付き加算手段
    を有することを特徴とするノイズ低減システム。
  6. 請求項２に記載のノイズ低減システムにおいて、
    前記低周波抽出手段は、
    前記局所領域から平均値を算出する平均値算出手段
    を有することを特徴とするノイズ低減システム。
  7. 請求項２に記載のノイズ低減システムにおいて、
    前記低周波抽出手段は、
    前記局所領域に対してローパスフィルタを適用するローパスフィルタ手段
    を有することを特徴とするノイズ低減システム。
  8. 請求項２に記載のノイズ低減システムにおいて、
    前記低周波抽出手段は、
    前記局所領域に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段
    を有することを特徴とするノイズ低減システム。
  9. 請求項２に記載のノイズ低減システムにおいて、
    前記ノイズ推定手段は、
    前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
    前記収集手段で得られない情報に関して標準値を付与する付与手段と、
    基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
    前記収集手段または前記付与手段からの情報および前記局所領域の低周波成分に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    前記局所領域の低周波成分および前記選択されたパラメータに基づき補間演算により前記注目画素のノイズ量を求める補間手段
    を有することを特徴とするノイズ低減システム。
  10. 請求項２に記載のノイズ低減システムにおいて、
    前記ノイズ推定手段は、
    前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
    前記収集手段で得られない情報に関して標準値を付与する付与手段と、
    前記収集手段または前記付与手段からの情報および前記局所領域の低周波成分を入力として前記注目画素のノイズ量を出力するノイズテーブル手段
    を有することを特徴とするノイズ低減システム。
  11. 請求項２に記載のノイズ低減システムにおいて、
    前記平滑化手段は、
    前記局所領域の低周波成分および前記ノイズ量に基づき前記注目画素にコアリング処理を行うコアリング手段
    を有することを特徴とするノイズ低減システム。
  12. 請求項２に記載のノイズ低減システムにおいて、
    前記平滑化手段は、
    所定の周波数特性を有する複数のフィルタを記録するフィルタ記録手段と、
    前記ノイズ量に基づき前記フィルタを選択するフィルタ選択手段と、
    前記局所領域に対して前記選択されたフィルタを用いてフィルタ処理を行う周波数フィルタ手段
    を有することを特徴とするノイズ低減システム。
  13. 請求項３または４に記載のノイズ低減システムにおいて、
    前記指標係数算出手段は、
    指標係数を算出すべき画素とその近傍に位置する所定数の画素間で差の絶対値を算出する差分手段と、
    前記差の絶対値の総和を算出する総和算出手段
    を有することを特徴とするノイズ低減システム。
  14. 請求項３または４に記載のノイズ低減システムにおいて、
    前記指標係数算出手段は、
    指標係数を算出すべき画素とその近傍に位置する所定数の画素間で差の絶対値を算出する差分手段と、
    前記差の絶対値を大きさの順に並び替えるソート手段と、
    前記並び替えられた差の絶対値に関して小さい値から所定数の総和を算出する総和算出手段
    を有することを特徴とするノイズ低減システム。
  15. 請求項３に記載のノイズ低減システムにおいて、
    前記重み係数算出手段は、
    前記指標係数に基づき重み係数を出力する重み係数テーブル手段
    を有することを特徴とするノイズ低減システム。
  16. 請求項４に記載のノイズ低減システムにおいて、
    前記非線形フィルタ手段は、
    前記非線形フィルタ処理としてメディアンフィルタ処理を用いること
    を特徴とするノイズ低減システム。
  17. 請求項１から１６のいずれか１つに記載のノイズ低減システムにおいて、
    前記撮像系は色フィルタを前面に配置した撮像素子を使用し、
    前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
    前記色信号ごとに前記局所領域抽出手段および前記第１のノイズ低減手段および前記第２のノイズ低減手段および前記合成手段を順次適用するよう制御する信号制御手段
    を有することを特徴とするノイズ低減システム。
  18. 請求項１から１６のいずれか１つに記載のノイズ低減システムにおいて、
    前記撮像系は色フィルタを前面に配置した撮像素子を使用し、
    前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、
    前記輝度信号および色差信号ごとに前記局所領域抽出手段および前記第１のノイズ低減手段および前記第２のノイズ低減手段および前記合成手段を順次適用するよう制御する信号制御手段を有し、
    前記第２のノイズ低減手段および前記合成手段は前記輝度信号の処理結果に基づき前記色差信号を処理する
    ことを特徴とするノイズ低減システム。
  19. 請求項１７または１８に記載のノイズ低減システムにおいて、
    前記撮像素子は、
    Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子である
    ことを特徴とするノイズ低減システム。
  20. 撮像系と、
    前記撮像系によって撮影された映像信号を取り込む映像信号記憶手段と、
    請求項１から１９のいずれか１つに記載のノイズ低減システムを有し、
    前記取り込まれた映像信号に対し前記ノイズ低減システムによりノイズ低減処理を行う
    ことを特徴とする撮像システム。
  21. 撮像系から取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減プログラムにおいて、
    前記映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する局所領域抽出ステップと、
    前記局所領域に対してランダム性のノイズ低減処理を行う第１のノイズ低減ステップと、
    前記局所領域に対してインパルス性のノイズ低減処理を行う第２のノイズ低減ステップと、
    前記第１のノイズ低減ステップでノイズ低減処理された映像信号と前記第２のノイズ低減ステップでノイズ低減処理された映像信号とを合成する合成ステップ
    を有することを特徴とするノイズ低減プログラム。
  22. 請求項２１に記載のノイズ低減プログラムにおいて、
    前記第１のノイズ低減ステップは、
    前記局所領域から低周波成分を抽出する低周波抽出ステップと、
    前記低周波成分に基づき前記注目画素に対するノイズ量を推定するノイズ推定ステップと、
    前記低周波成分および前記ノイズ量の少なくとも１つに基づき前記注目画素に対して平滑化処理を行う平滑化ステップ
    を有することを特徴とするノイズ低減プログラム。
  23. 請求項２１または２２に記載のノイズ低減プログラムにおいて、
    前記第２のノイズ低減ステップは、
    前記局所領域の各画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出ステップと、
    前記指標係数に基づき前記局所領域の各画素に関する重み係数を算出する重み係数算出ステップと、
    前記重み係数に基づき前記局所領域に対してフィルタ処理を行う重み付けフィルタステップ
    を有することを特徴とするノイズ低減プログラム。
  24. 請求項２１または２２に記載のノイズ低減プログラムにおいて、
    前記第２のノイズ低減ステップは、
    前記局所領域の注目画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出ステップと、
    前記指標係数に基づき前記局所領域に対して非線形フィルタ処理を行う非線形フィルタステップ
    を有することを特徴とするノイズ低減プログラム。
  25. 請求項２３または２４に記載のノイズ低減プログラムにおいて、
    前記指標係数算出ステップは、
    指標係数を算出すべき画素とその近傍に位置する所定数の画素間で差の絶対値を算出する差分ステップと、
    前記差の絶対値を大きさの順に並び替えるソートステップと、
    前記並び替えられた差の絶対値に関して小さい値から所定数の総和を算出する総和算出ステップ
    を有することを特徴とするノイズ低減プログラム。
  26. 請求項２３または２４に記載のノイズ低減プログラムにおいて、
    前記合成ステップは、
    前記指標係数が所定の第１の閾値以下の場合に前記第１のノイズ低減ステップでノイズ低減処理された映像信号を選択する第1の選択ステップと、
    前記指標係数が所定の第２の閾値以上の場合に前記第２のノイズ低減ステップでノイズ低減処理された映像信号を選択する第２の選択ステップと、
    前記指標係数が前記第１の閾値より大きく前記第２の閾値より小さい場合には前記第１のノイズ低減ステップでノイズ低減処理された映像信号と前記第２のノイズ低減ステップでノイズ低減処理された映像信号を重み付き加算する重み付き加算ステップ
    を有することを特徴とするノイズ低減プログラム。
JP2007297960A 2007-11-16 2007-11-16 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 Expired - Fee Related JP4465002B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007297960A JP4465002B2 (ja) 2007-11-16 2007-11-16 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
EP08849607A EP2222076A4 (en) 2007-11-16 2008-11-10 NOISE REDUCTION SYSTEM, NOISE REDUCTION PROGRAM AND PICTURE SYSTEM
CN2008801162400A CN101861728B (zh) 2007-11-16 2008-11-10 降噪系统、降噪方法以及摄像系统
PCT/JP2008/070826 WO2009064000A1 (ja) 2007-11-16 2008-11-10 ノイズ低減システム、ノイズ低減プログラム及び撮像システム
US12/778,440 US8553111B2 (en) 2007-11-16 2010-05-12 Noise reduction system, image pickup system and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007297960A JP4465002B2 (ja) 2007-11-16 2007-11-16 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。

Publications (2)

Publication Number Publication Date
JP2009124552A true JP2009124552A (ja) 2009-06-04
JP4465002B2 JP4465002B2 (ja) 2010-05-19

Family

ID=40638846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007297960A Expired - Fee Related JP4465002B2 (ja) 2007-11-16 2007-11-16 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。

Country Status (5)

Country Link
US (1) US8553111B2 (ja)
EP (1) EP2222076A4 (ja)
JP (1) JP4465002B2 (ja)
CN (1) CN101861728B (ja)
WO (1) WO2009064000A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638639A (zh) * 2011-02-09 2012-08-15 株式会社尼康 图像处理装置、摄像装置以及图像处理方法
US8897601B2 (en) 2009-09-28 2014-11-25 Nec Corporation Image conversion parameter calculation device, image conversion parameter calculation method, and program
KR101547984B1 (ko) 2014-10-29 2015-08-28 한화탈레스 주식회사 임펄스 형태의 영상 노이즈 제거를 위한 중간값 기반 양방향 필터 및 그 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP2010200179A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
KR101641543B1 (ko) * 2010-02-05 2016-07-21 삼성전자주식회사 영상잡음 제거장치 및 그 방법
US8659683B1 (en) * 2010-03-25 2014-02-25 Ambarella, Inc. Digital picture noise reduction by combining high-noise and low-noise processed pictures
TW201136298A (en) * 2010-04-12 2011-10-16 Novatek Microelectronics Corp Filter and filtering method for reducing image noise
JP5524406B2 (ja) * 2011-03-11 2014-06-18 富士フイルム株式会社 撮像装置及び撮像プログラム
JP4879363B1 (ja) * 2011-04-11 2012-02-22 正浩 小林 画像処理システム
US8780225B2 (en) * 2011-10-12 2014-07-15 Apple Inc. Use of noise-optimized selection criteria to calculate scene white points
ITVI20110336A1 (it) 2011-12-23 2013-06-24 St Microelectronics Srl Correzione di difetti in un array di filtri a colori
CN103795943B (zh) * 2012-11-01 2017-05-17 富士通株式会社 图像处理装置和图像处理方法
US9454807B2 (en) 2014-03-25 2016-09-27 Spreadtrum Communications (Shanghai) Co., Ltd. Methods and systems for denoising images
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
CN104688272B (zh) * 2015-03-06 2016-04-27 西安交通大学 一种基于单像素tic源的超声造影灌注参量成像方法
EP3273676A4 (en) * 2015-03-17 2018-11-07 Olympus Corporation Image processing device, image processing method, and program
US10866184B2 (en) * 2015-11-06 2020-12-15 California Institute Of Technology Devices and methods for direct visual detection and readout of single nucleic acid molecules
KR102632193B1 (ko) * 2016-01-29 2024-02-01 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 광 레벨 적응 필터 및 방법
EP3203439B1 (en) 2016-02-04 2019-10-02 InterDigital VC Holdings, Inc. Method and device for reducing noise in a component of a picture
CN111429383B (zh) * 2020-04-13 2022-09-27 展讯通信（上海）有限公司 图像降噪方法及装置、计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380389B2 (ja) * 1996-02-23 2003-02-24 シャープ株式会社 輪郭検出回路及びこれを用いたノイズ低減回路
JP4237429B2 (ja) 2001-08-23 2009-03-11 富士フイルム株式会社 画像信号処理装置および欠陥画素補正方法
JP3933501B2 (ja) * 2002-03-15 2007-06-20 富士フイルム株式会社 ノイズ低減装置
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4441321B2 (ja) 2004-04-27 2010-03-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US8009207B2 (en) * 2004-05-24 2011-08-30 Nikon Corporation Noise reduction device for reducing noise in image using blackout image, electronic camera, program, and method
JP4525198B2 (ja) * 2004-06-17 2010-08-18 株式会社ニコン ノイズ除去装置、電子カメラ、およびノイズ除去プログラム。
EP1605403A1 (en) * 2004-06-08 2005-12-14 STMicroelectronics S.r.l. Filtering of noisy images
JP3965402B2 (ja) * 2004-08-23 2007-08-29 富士フイルム株式会社 ノイズ低減装置および方法ならびにノイズ低減プログラム
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP2007028026A (ja) * 2005-07-14 2007-02-01 Olympus Corp 撮像装置
WO2007020930A1 (ja) * 2005-08-15 2007-02-22 Sony Corporation 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP2007110445A (ja) 2005-10-13 2007-04-26 Matsushita Electric Ind Co Ltd 画像処理装置および方法
JP4618802B2 (ja) * 2006-02-14 2011-01-26 キヤノン株式会社 撮像装置
TWI316213B (en) * 2006-06-14 2009-10-21 Realtek Semiconductor Corp Noise reduction apparatus for image signal and method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897601B2 (en) 2009-09-28 2014-11-25 Nec Corporation Image conversion parameter calculation device, image conversion parameter calculation method, and program
JP5712925B2 (ja) * 2009-09-28 2015-05-07 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
CN102638639A (zh) * 2011-02-09 2012-08-15 株式会社尼康 图像处理装置、摄像装置以及图像处理方法
JP2012169700A (ja) * 2011-02-09 2012-09-06 Nikon Corp 画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法
KR101547984B1 (ko) 2014-10-29 2015-08-28 한화탈레스 주식회사 임펄스 형태의 영상 노이즈 제거를 위한 중간값 기반 양방향 필터 및 그 방법

Also Published As

Publication number Publication date
WO2009064000A1 (ja) 2009-05-22
JP4465002B2 (ja) 2010-05-19
CN101861728B (zh) 2013-06-05
US20100220223A1 (en) 2010-09-02
EP2222076A1 (en) 2010-08-25
EP2222076A4 (en) 2012-08-01
CN101861728A (zh) 2010-10-13
US8553111B2 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP4653059B2 (ja) 撮像システム、画像処理プログラム
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
US6738510B2 (en) Image processing apparatus
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP3899118B2 (ja) 撮像システム、画像処理プログラム
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
JP2006023959A (ja) 信号処理システム及び信号処理プログラム
US8154630B2 (en) Image processing apparatus, image processing method, and computer readable storage medium which stores image processing program
WO2007043325A1 (ja) 画像処理システム、画像処理プログラム
JP4916341B2 (ja) 画像処理装置及び画像処理プログラム
WO2005099356A2 (ja) 撮像装置
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP4197821B2 (ja) 画像処理装置
JP2009100207A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム
JP2008271101A (ja) 映像処理装置及び映像処理プログラム
JP2009027615A (ja) 映像処理装置および映像処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4465002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees