JP6570122B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関するものである。

近年、テレビジョンカメラシステムのデジタル技術の進歩により、撮像装置の画素数が、１９２０ｘ１０８０画素（２Ｋと略称される）から、概略４０００ｘ２０００画素（４Ｋと略称される）や概略８０００ｘ４０００画素（８Ｋと略称される）が要求されている。
そこで、画素ずらしによる高解像度化として、空間画素ずらしをした多板式カラーカメラにおいて、空間画素ずらしによりサンプリング位相が相互に反転したＲ（Ｒｅｄ）信号とＧ（Ｇｒｅｅｎ）信号とを、上記サンプリング周波数の互いに逆位相でスイッチングして交互にＲ信号とＧ信号とが切り替わる信号を生成し、さらにＲ信号を混合してからバンドパスフイルタで帯域制限した後に、マトリクス回路出力の輝度信号と合成している（例えば、特許文献１参照。）。

さらに、空間画素ずらしをした多板式カラーカメラにおいて、 輝度信号（Ｙ）はＲ，Ｇ，Ｂ（Ｂｌｕｅ）信号から固体撮像素子のサンプリング周期（１／ｆｓ）の半分の周期ごとに倍速クロックのマトリクス演算で生成し、倍速サンプリングで出力し、マトリクス演算前に、Ｒ， Ｂ信号の高域を定格より増幅させＲ，Ｂ信号の位相より、Ｇ信号の高域位相を所定の周期（１／ｆｓ）のほぼ半分遅延させる（例えば、特許文献２参照。）。

ところで、Ｇ１（Ｇｒｅｅｎ１）の撮像素子をＧ２（Ｇｒｅｅｎ２）の撮像素子に対して水平方向に１／２画素ピッチずらし垂直方向に１／２画素ピッチずらして配置する。そして、得られたＧ１，Ｇ２の信号から垂直方向と水平方向の高域成分を演算し、これをＧの信号に加算して垂直方向と水平方向の解像度の向上を図る（例えば、特許文献３参照。）。

また、撮像装置をＢ（青），Ｒ（赤），Ｇ１（緑），Ｇ２の撮像素子による４板構成とする。Ｂ，Ｒの撮像素子をＧ２の撮像素子に対して垂直方向に１／２画素ピッチずらして配置する。そして、得られたＢ，Ｒの信号から垂直方向の高域成分を演算し、これをＧの信号に加算して垂直方向の解像度の向上を図る。また、Ｇ１，Ｇ２の撮像素子を水平方向に１／２画素ピッチずらして配置し、水平方向の解像度の向上を図る（例えば、特許文献４参照。）。

また、撮像装置をＢ（青），Ｒ（赤），Ｇ１（緑），Ｇ２の撮像素子による４板構成とする。Ｒの撮像素子をＧ２の撮像素子に対して垂直方向に１／２画素ピッチずらして配置する。Ｂの撮像素子をＲの撮像素子に対して垂直方向に１画素ピッチずらして配置する。そして、得られたＢ及びＲの信号から垂直方向の高域成分を演算し、これをＧの信号に加算して垂直方向の解像度の向上を図る。同一フィールドの信号から高域成分が得られるので、偽の信号発生が防止される（例えば、特許文献５参照。）。

この時、Ｇ１とＧ２の撮像素子が受光する光は、プリズム内のハーフミラーによって分光されているわけであるが、ハーフミラーは光の入射角によって反射率が変化する特性があるため、プリズムに入射する光の角度によってＧ１とＧ２の撮像素子の受光量に差が発生する場合がある。Ｇ１とＧ２を合成、補間して高精細の映像を生成するデュアルグリーン方式においては、Ｇ１とＧ２の撮像素子の受光量に差があると、生成した映像に斜め格子状の模様が発生する。尚、映像レベルが平坦でない細かな被写体を撮像している場合においては、斜め格子状の模様は見え難くなるが、固定パターンのノイズとして映像に表れる。
また、撮像素子には温度特性があり、撮像素子の温度が変化すると、同じ受光量であっても出力信号のレベルが上昇または低下することがある。このため、Ｇ１とＧ２の撮像素子に温度差が発生すると、Ｇ１とＧ２の出力信号にレベル差が発生し、この場合も映像に斜め格子状の模様または固定パターンのノイズが発生する。

特開平１１−３５５７９４号公報 特開２０００−２０９６０１号公報 特開平６−３３９１４６号公報 特開平７−３２７２３３号公報 特開平８−９８１９０号公報

本発明の目的は、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することである。

本発明の撮像装置は、２つの緑色撮像素子を有する撮像装置であって、２つの緑色撮像素子から出力するＧ１信号とＧ２信号のレベル差を補正するレベル差補正部を有し、レベル差補正部は平坦判定部とレベル差判定部とレベル調整部を有し、平坦判定部はＧ１信号およびＧ２信号の注目画素と周辺画素との間の平坦を判定し、レベル差判定部は平坦判定部が平坦と判定したＧ１信号とＧ２信号の注目画素と周辺画素の平均値にレベル差があるかを判定し、レベル調整部はレベル差判定部がレベル差ありと判定したときにＧ１信号とＧ２信号の利得比を算出し、Ｇ１信号またはＧ２信号に対して前記利得比でレベル調整を行うことを特徴とする。

また、本発明の撮像装置は、上記の撮像装置であって、レベル差補正部はさらに積算平均部とメモリ部を有し、積算平均部はレベル調整部で算出したＧ１信号とＧ２信号の利得比を積算平均し、メモリ部は積算平均部が積算平均した利得比を記憶し、レベル調整部は平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームでメモリ部に記憶した前記利得比でＧ１信号またはＧ２信号に対してレベル調整を行うことを特徴とする。

さらに、本発明の撮像装置は、上記の撮像装置であって、レベル差補正部はさらに線形補間部を有し、積算平均部は画面を複数のエリアに分割し、Ｇ１信号とＧ２信号の利得比をエリア毎に積算平均し、メモリ部は積算平均部がエリア毎に積算平均した利得比を記憶し、線形補間部は画面全体で線形補間して利得比を算出し、レベル調整部は平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームでメモリ部に記憶した前記利得比でＧ１信号またはＧ２信号に対してレベル調整を行うことを特徴とする。

本発明によれば、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することができる。

本発明の一実施例に係る撮像装置の構成例を示すブロック図である。 本発明の一実施例に係る映像信号処理部のブロック図である。 本発明の一実施例に係るレベル差補正部の構成を示すブロック図である。 本発明の他の一実施例に係るレベル差補正部の構成を示すブロック図である。 本発明のさらに他の一実施例に係るレベル差補正部の構成を示すブロック図である。 本発明の一実施例に係る撮像装置の４板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は本発明の一実施例に係る撮像装置の構成例を示すブロック図である。
図１において、撮像装置１１０は、色分解光学系１１２、第１緑色（Ｇ１、Green1）撮像素子１１１Ｇ１、第２緑色（Ｇ２、Green2）撮像素子１１１Ｇ２、赤色（Ｒ、Red）撮像素子１１１Ｒ、青色（Ｂ、Blue）撮像素子１１１Ｂ、映像信号処理部１１３、撮像素子駆動部１１４、ＣＰＵ（Central Processing Unit）部１１５で構成されている。

撮像装置１１０は、入射光１００がレンズ１０１で結像され、色分解光学系１１２で４板用に色分解され、第１緑色（Ｇ１）撮像素子１１１Ｇ１と第２緑色（Ｇ２）撮像素子１１１Ｇ２と赤色（Ｒ）撮像素子１１１Ｒおよび青色（Ｂ）撮像素子１１１Ｂで光電変換され、映像信号処理部１１３で各種信号処理が施され、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）信号を出力する。
なお、本発明の撮像装置１１０から出力する映像信号は、一実施例のＨＤ−ＳＤＩに限定するものではなく、圧縮や暗号化等も問わない。

図４は本発明の一実施例に係る撮像装置の４板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。
図４（ａ）は、第１緑色（Ｇ１）撮像素子１１１Ｇ１と第２緑色（Ｇ２）撮像素子１１１Ｇ２の画素の貼り合せ位置の一例である。
図４（ｂ）は、ベイヤー配列相当の画素の貼り合せ位置の一例である。
なお、本発明の一実施例に係る撮像装置１１０は、図４の４板の撮像素子の貼り合せ位置に限定されるものではない。

図２は本発明の一実施例に係る映像信号処理部のブロック図である。
図２において、映像信号処理部１１３は、レベル補正部２１０、選択部２２０、映像信号出力部２３０で構成されている。
レベル補正部２１０は、レベル差補正部２１１、遅延部２１２，２１３で構成されている。

レベル差補正部２１１は、Ｇ１信号とＧ２信号のレベル差をなくするための補正処理を行うものであり、Ｇ１信号レベルをＧ２信号レベルに合わせる処理、またはＧ２信号レベルをＧ１信号レベルに合わせる処理を行う。
なお、レベル差補正部２１１は、ＦＰＧＡ（Field Programmable Gate Array）でも、ＣＰＵとＦＰＧＡのハイブリッドであってもよい。
選択部２２０は、Ｇ１’信号とＧ２’信号を交互に切替えて出力、またはＧ１’信号とＧ２’信号を合成し、Ｇ映像信号として出力する。

遅延部２１２は、Ｒ信号をＧ映像信号のタイミングに合わせたＲ映像信号とするために行う遅延処理である。
遅延部２１３は、Ｂ信号をＧ映像信号のタイミングに合わせたＢ映像信号とするために行う遅延処理である。
なお、遅延部２１２，２１３は、ＬＰＦ（Low Pass Filter）でもよい。また、遅延部２１２，２１３は、撮像素子駆動部１１４の駆動方法によりＲ撮像素子１１１ＲとＢ撮像素子１１１Ｂから画像信号を所定時間遅延させて読み出せる場合には不要としてもよい。

映像信号出力部２３０は、Ｇ映像信号とＲ映像信号とＢ映像信号から例えば、ＨＤ−ＳＤＩ信号を生成して出力する。

（実施例１）
図３Ａは本発明の一実施例に係るレベル差補正部の構成を示すブロック図である。
図３Ａにおいて、レベル差補正部２１１は、遅延部３１１、平坦判定部３１２、レベル差判定部３１３、レベル調整部３１４で構成されている。
なお、遅延部３１１は、Ｇ１信号をＧ２’信号のタイミングに合わせたＧ１’信号とするために行う遅延処理である。Ｇ１信号をレベル調整をする場合は、Ｇ２信号を遅延部３１１で遅延させる。
ＣＰＵ部１１５は、平坦判定部３１２、レベル差判定部３１３を制御する。なお、ＣＰＵ部１１５は平坦判定部３１２とレベル差判定部３１３の処理を行ってもよい。

平坦判定部３１２は、Ｇ１信号とＧ２信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。

レベル差判定部３１３は、平坦判定部３１２がＧ１信号とＧ２信号がともに平坦部であると判定した場合、Ｇ１信号の注目画素と周辺画素のレベルの平均値と、Ｇ２信号の注目画素と周辺画素のレベルの平均値とを比較し、それぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているＧ１信号とＧ２信号の映像レベルに差が発生していると判定する。

なお、レベル差判定部３１３において、平均値の差に上限値を設けているのは、高周波の縞模様等を映した際に、Ｇ１信号の注目画素と周辺画素に縞模様の暗部が写り、Ｇ２信号の注目画素と周辺画素に縞模様の明部が写った場合、互いに平坦部でありレベル差が発生していると誤判定してしまうのを防止するためである。

レベル調整部３１４は、レベル差判定部３１３において、Ｇ１信号とＧ２信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からＧ１信号とＧ２信号の利得比を算出し、Ｇ２信号（またはＧ１信号、もしくはＧ１信号とＧ２信号の両方）の利得を調整し、Ｇ１信号とＧ２信号のレベルを合わせる。

以上のように本発明の一実施例によれば、映像信号の平坦部の画素において、Ｇ１信号とＧ２信号にレベル差が発生している場合は、レベル差を検出し、Ｇ１信号とＧ２信号のレベル差を合わせる補正を行うことによって、映像に斜め格子状の模様が発生することを防止できる。

（実施例２）
図３Ｂは本発明の他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図３Ｂにおいて、レベル差補正部２１１は、遅延部３１１、平坦判定部３１２、レベル差判定部３１３、レベル調整部３１４、積算平均部３２５、メモリ部３２６で構成されている。
なお、遅延部３１１は、Ｇ１信号をＧ２’信号のタイミングに合わせたＧ１’信号とするために行う遅延処理である。
ＣＰＵ部１１５は、平坦判定部３１２、レベル差判定部３１３、積算平均部３２５、メモリ部３２６を制御する。なお、ＣＰＵ部１１５は平坦判定部３１２とレベル差判定部３１３と積算平均部３２５とメモリ部３２６の処理を行ってもよい。

平坦判定部３１２は、Ｇ１信号とＧ２信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。

レベル差判定部３１３は、平坦判定部３１２がＧ１信号とＧ２信号がともに平坦部であると判定した場合、Ｇ１信号の注目画素と周辺画素のレベルの平均値と、Ｇ２信号の注目画素と周辺画素のレベルの平均値とを比較しそれぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているＧ１信号とＧ２信号の映像レベルに差が発生していると判定する。

レベル調整部３１４は、レベル差判定部３１３において、Ｇ１信号とＧ２信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からＧ１信号とＧ２信号の利得比を算出する。

積算平均部３２５は、レベル差判定部３１３において、映像の平坦部でＧ１とＧ２にレベル差があり、レベル調整部３１４がＧ１信号とＧ２信号の利得比を算出するとき、その利得比をメモリ部３２６を利用しながら積算平均する。
積算平均部３２５は、利得比を積算平均する範囲が同一のフレーム内にあるため、次のフレームの処理に移る前に積算平均した利得比をメモリ部３２６に記憶させる。

レベル調整部３１４は、次のフレームにおいて、平坦判定部３１２により注目画素が平坦部でないと判定された場合には、メモリ部３２６に記憶されている前のフレームで積算平均した利得でＧ２信号（またはＧ１信号、もしくはＧ１信号とＧ２信号の両方）のレベルを調整する。

以上のように本発明の他の一実施例によれば、映像信号の平坦部でない画素において、前のフレームで積算平均したＧ１信号とＧ２信号の利得比を適用して、Ｇ１信号とＧ２信号のレベル差を補正することによって、映像に固定パターンのノイズが発生することを防止することができる。

（実施例３）
図３Ｃは本発明のさらに他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図３Ｃにおいて、レベル差補正部２１１は、遅延部３１１、平坦判定部３１２、レベル差判定部３１３、レベル調整部３１４、積算平均部３２５、メモリ部３２６、線形補間部３３７で構成されている。
なお、遅延部３１１は、Ｇ１信号をＧ２’信号のタイミングに合わせたＧ１’信号とするために行う遅延処理である。
ＣＰＵ部１１５は、平坦判定部３１２、レベル差判定部３１３、積算平均部３２５、メモリ部３２６、線形補間部３３７を制御する。なお、ＣＰＵ部１１５は平坦判定部３１２とレベル差判定部３１３と積算平均部３２５とメモリ部３２６と線形補間部３３７の処理を行ってもよい。

平坦判定部３１２は、Ｇ１信号とＧ２信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。

レベル差判定部３１３は、平坦判定部３１２がＧ１信号とＧ２信号がともに平坦部であると判定した場合、Ｇ１信号の注目画素と周辺画素のレベルの平均値と、Ｇ２信号の注目画素と周辺画素のレベルの平均値とを比較しそれぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているＧ１信号とＧ２信号の映像レベルに差が発生していると判定する。

レベル調整部３１４は、レベル差判定部３１３において、Ｇ１信号とＧ２信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からＧ１信号とＧ２信号の利得比を算出する。

積算平均部３２５は、画面を縦横複数のエリアに区切り、区切ったエリアの映像の平坦部でＧ１信号とＧ２信号にレベル差があり、レベル調整部３１４がＧ１信号とＧ２信号の利得比を算出するとき、その利得比をメモリ部３２６を利用しながらエリア毎に積算平均する。
積算平均部３２５は、１フレームのエリア毎の積算平均処理が終了すると、エリア毎に積算平均した利得比をメモリ部３２６に記憶させる。

線形補間部３３７は、メモリ部３２６に記憶されているエリア毎に積算平均したＧ１信号とＧ２信号の利得比をそのエリアの中心画素の利得比とし、間の画素の利得比を線形補間して算出する。
なお、線形補間部３３７は、エリア内に平坦部がなく、利得比の情報がないエリアある場合には、そのエリアを飛ばした線形補間を行う。

レベル調整部３１４は、次のフレームにおいて、平坦判定部３１２により注目画素が平坦部でないと判定された場合には、線形補間部３３７が算出した利得でＧ２信号（またはＧ１信号、もしくはＧ１信号とＧ２信号の両方）のレベルを調整する。

以上のように本発明のさらに他の一実施例によれば、映像信号の平坦部でない画素において、画面全体で線形補間して算出したＧ１信号とＧ２信号の利得比を適用して、Ｇ１信号とＧ２信号のレベル差を補正することによって、画面内でＧ１信号とＧ２信号の利得比が一定でない場合においても映像に固定パターンのノイズが発生することを防止することを実現できる。

本発明の実施形態である撮像装置は、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することができる。

以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。

Ｇ１信号とＧ２信号のレベル差を自動的に補正することによって、温度変動の大きい撮影環境の用途にも適用できる。

１００：入射光、１０１：レンズ、１１０：撮像装置、１１１Ｇ１：Ｇ１撮像素子、１１１Ｇ２：Ｇ２撮像素子、１１１Ｒ：Ｒ撮像素子、１１１Ｂ：Ｂ撮像素子、１１２：色分解光学系、１１３：映像信号処理部、１１４：撮像素子駆動部、１１５：ＣＰＵ部、２１０：レベル補正部、２１１：レベル差補正部、２１２，２１３：遅延部、２２０：選択部、２３０：映像信号出力部、３１１：遅延部、３１２：平坦判定部、３１３：レベル差判定部、３１４：レベル調整部、３２５：積算平均部、３２６：メモリ部、３３７：線形補間部。

Claims (3)

1. ２つの緑色撮像素子を有する撮像装置において、
   ２つの緑色撮像素子から出力するＧ１信号とＧ２信号のレベル差を補正するレベル差補正部を有し、
   前記レベル差補正部は、平坦判定部とレベル差判定部とレベル調整部を有し、
   前記平坦判定部は、Ｇ１信号およびＧ２信号の注目画素と周辺画素との間の平坦を判定し、
   前記レベル差判定部は、前記平坦判定部が平坦と判定したＧ１信号とＧ２信号の注目画素と周辺画素の平均値にレベル差があるかを判定し、
   前記レベル調整部は、前記レベル差判定部がレベル差ありと判定したときにＧ１信号とＧ２信号の利得比を算出し、Ｇ１信号またはＧ２信号に対して前記利得比でレベル調整を行い、
   前記レベル差補正部は、さらに積算平均部とメモリ部を有し、
   前記積算平均部は、前記レベル調整部で算出したＧ１信号とＧ２信号の利得比を積算平均し、
   前記メモリ部は、前記積算平均部が積算平均した利得比を記憶し、
   前記レベル調整部は、前記平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームで前記メモリ部に記憶した前記利得比でＧ１信号またはＧ２信号に対してレベル調整を行うことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記レベル差補正部は、さらに線形補間部を有し、
   前記積算平均部は、画面を複数のエリアに分割し、Ｇ１信号とＧ２信号の利得比をエリア毎に積算平均し、
   前記メモリ部は、前記積算平均部がエリア毎に積算平均した利得比を記憶し、
   前記線形補間部は、画面全体で線形補間して利得比を算出し、
   前記レベル調整部は、前記平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームで前記メモリ部に記憶した前記利得比でＧ１信号またはＧ２信号に対してレベル調整を行うことを特徴とする撮像装置。
3. ２つの緑色撮像素子を有する撮像装置における撮像方法において、
   ２つの緑色撮像素子から出力するＧ１信号とＧ２信号のレベル差を補正するレベル差補正手段を有し、
   前記レベル差補正手段は、平坦判定手段とレベル差判定手段とレベル調整手段を有し、
   前記平坦判定手段は、Ｇ１信号およびＧ２信号の注目画素と周辺画素との間の平坦を判定し、
   前記レベル差判定手段は、前記平坦判定手段が平坦と判定したＧ１信号とＧ２信号の注目画素と周辺画素の平均値にレベル差があるかを判定し、
   前記レベル調整手段は、前記レベル差判定手段がレベル差ありと判定したときにＧ１信号とＧ２信号の利得比を算出し、Ｇ１信号またはＧ２信号に対して前記利得比でレベル調整を行い、
   前記レベル差補正手段は、さらに積算平均手段とメモリ手段を有し、
   前記積算平均手段は、前記レベル調整手段で算出したＧ１信号とＧ２信号の利得比を積算平均し、
   前記メモリ手段は、前記積算平均手段が積算平均した利得比を記憶し、
   前記レベル調整手段は、前記平坦判定手段が次のフレームで平坦な映像でないと判定された画素には、前のフレームで前記メモリ手段に記憶した前記利得比でＧ１信号またはＧ２信号に対してレベル調整を行うことを特徴とする撮像方法。
   

Images