JP2013126002A - 内視鏡装置 - Google Patents

Abstract

【課題】時間をかけることなく、高精度のＦＰＮ補正処理を施した映像信号を得る。
【解決手段】ＦＮＰ補正値算出する場合、遮光領域ＯＰからＯＢ画素信号を列ごとに順次読み出し、１フレーム分の画素数、すなわち有効領域ＥＰの画素数分だけＯＢ画素信号を取得するまで、遮光領域ＯＰに対する列ごとのＯＢ画素信号順次読み出しを繰り返す。そして、ＦＰＮ補正値を加算平均によって列ごとに算出する。ＦＰＮ補正値を算出すると、有効領域ＥＰから１フィールド画素信号を順次読み出し、各列における画素信号からＦＰＮ補正値を減算する。
【選択図】図２

Description

本発明は、器官内壁などの被写体を撮像する内視鏡装置その他の撮像装置における、ＦＰＮ（固定パターンノイズ）の除去処理に関する。

電子内視鏡装置では、ビデオスコープの先端部にＣＭＯＳ、ＣＣＤなどの撮像素子（イメージセンサ）を備え、イメージセンサから読み出される画素信号に基づいて画像データを生成し、被写体像をモニタに表示する。一連の画像処理においては、様々なノイズ除去処理が行われる。

撮像素子固有のノイズとしてＦＰＮ（固定パターンノイズ）が存在し、縦方向に縞模様となってノイズパターンが生じる。そのため、撮像素子の遮光領域に画素を２次元配列し、遮光領域のＯＢ（オプティカルブラック）画素から読み出される画素信号に基づいて、ＦＰＮを検出する。検出されたＦＰＮに基づいて各列のＦＰＮ補正値を生成する。

そして、撮像中、撮像素子の有効領域（受光領域）に配列された画素から１フィールド／フレーム分の画素信号が読み出されるのに合わせて、列ごとに画素信号が補正される。すなわち、画素信号から対応する列のＦＰＮ補正値を減算する。これにより、ＦＰＮを除去した映像信号が生成される。

ＦＰＮの信号レベルを高精度で検出する場合、ＯＢ領域も含めて数十フィールド／フレーム分の画素信号を読み出し、読み出されたＯＢ領域の画素信号を列ごとに加算平均し、ＦＰＮ補正値を算出する（例えば、特許文献１参照）。

一方、短時間でＦＰＮ補正値を算出するため、一度読み出したＯＢ画素領域の画素信号を列方向に平均化する方法も知られている（特許文献２参照）。そこでは、１回の画素信号読み出しによって得られたＯＢ画素信号を列方向に加算平均し、それによって得られた補正データに基づいて有効領域の画素信号を補正した後、さらにＯＢ画素領域の画素信号を加算平均して精度の高いＦＰＮ補正値を取得する。

特開２０１０−１５４３７６号公報 特開２００９−３０２８５０号公報

ＦＰＮは、画素信号読み出し回路等の特性に起因して生じるノイズであり、同一画素であってもＯＢ画素信号を繰り返し読み出すと、ＦＰＮの値は同一にならない。したがって、一度だけＯＢ画素領域から画素信号を読み出す方式では、正確なＦＰＮの値を検出することができない。

特に、内視鏡装置では輪郭強調など画像処理を行うことが多く、誤ったＦＰＮ補正値を原因として観察画像の画質が一層低下する恐れがある。しかしながら、ＯＢ領域を含めて１フレーム分の画素信号を複数回読み出すことは、ＦＰＮ補正処理を長時間化させることになり、撮影をすばやく開始することができない。

したがって、ＦＰＮ補正値を求めるとき、短時間で高精度のＦＰＮ補正値を算出することが求められる。

本発明の内視鏡装置は、有効領域に有効画素を２次元配列させるとともに、有効領域よりも小さい遮光領域にＯＢ（オプティカルブラック）画素を２次元配列させた撮像素子を有するビデオスコープと、撮像素子の有効画素から、１フィールド／フレーム分の画素信号を所定時間間隔で読み出す撮像素子駆動部と、撮像素子駆動部を制御し、遮光領域のＯＢ画素から画素信号を繰り返し読み出し、１フィールド／フレーム分の画素数に応じたＯＢ画素信号を抽出するＦＰＮ補正制御部と、読み出された１フィールド／フレーム分のＯＢ画素信号に基づいて、ＦＰＮ（固定パターンノイズ）補正値を算出するＦＰＮ補正値算出部と、受光領域の有効画素から順次読み出される１フィールド／フレーム分の有効画素信号に対し、ＦＰＮ補正値に基づいてＦＰＮ補正処理を実行するＦＰＮ補正処理部とを備えたことを特徴とする。

本発明では、１フィールドもしくは１フレーム分の画素数分だけ遮光領域のＯＢ画素からＯＢ画素信号を抽出し、これに基づいてＦＰＮ補正値を算出する。同位置の画素に対して時系列的に複数の画素信号を読み出すため、精度の高いＦＰＮ補正値が短時間で算出可能となる。ここで、「１フィールド／フレーム分に応じた画素数」とは、１フィールド／フレーム分の画像を構成する画素数に相応する画素数であればよく、例えば、受光可能な有効領域の画素数もしくはその近傍、あるいは有効領域にＯＢ画素領域をさらに加えた画素数もしくはその近傍、さらには、そのレンジ内に収まる画素数なども設定可能である。

例えば、ＣＭＯＳの場合、水平方向に沿って行ごとに画素信号を読み出す構成であり、ＦＰＮ補正制御部が、行ごとにＯＢ画素を順次読み出し、これを繰り返す読み出しが可能である。また、ＣＣＤのように、列ごとに画素信号を読み出す構成にも適用可能である。ＦＰＮ補正値算出手段は、読み出し方式に従い、ＯＢ画素信号を加算平均してＦＰＮ補正値を算出することができる。

たとえば、撮像素子からの画素信号出力を、ＦＰＮ補正値算出部とＦＰＮ補正処理部との間で切り替える切り替え回路を設けることができる。ＦＰＮ補正制御部は、切り替え回路を制御して１フィールド／フレーム分に応じたＯＢ画素信号をＦＰＮ補正値算出部へ送信させ、ＦＰＮ補正値が算出されると、切り替え回路を切り替えて１フィールド／フレーム分の有効画素信号をＦＰＮ補正処理部へ送信させることができる。

ビデオスコープのタイプが異なれば、それに内蔵される撮像素子の回路特性等も異なることが多い。ＦＰＮ補正値算出のため、ＦＰＮ補正制御部は、ビデオスコープ接続を検出すると、１フィールド／フレーム分に応じたＯＢ画素信号を抽出することができる。

本発明の他の局面におけるＦＰＮ補正値算出装置は、例えば、ビデオスコープ、あるいは内視鏡プロセッサといった内視鏡装置の機器に組み入れ可能であり、撮像素子の遮光領域に設けられたＯＢ画素から画素信号を繰り返し読み出し、１フィールド／フレーム分の画素数に応じたＯＢ画素信号を抽出するＦＰＮ補正制御部と、読み出された１フィールド／フレーム分のＯＢ画素信号に基づいて、ＦＰＮ（固定パターンノイズ）補正値を算出するＦＰＮ補正値算出部とを備えたことを特徴とする。

このように本発明によれば、時間をかけることなく、高精度のＦＰＮ補正処理を施した映像信号を得ることができる。

本実施形態である電子内視鏡装置のブロック図である。 イメージセンサにおける画素配列を示した図である。 ＦＰＮ補正値の算出処理を示したフローチャートである。

以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。

図１は、本実施形態である電子内視鏡装置のブロック図である。

電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ１０と、プロセッサ２０とを備え、ビデオスコープ１０はプロセッサ２０に着脱自在に接続される。プロセッサ２０には、モニタ４０が接続されている。

プロセッサ２０は、照明のための光を放射するランプ（図示せず）を備え、ランプから放射された光は、ビデオスコープ１０内に設けられたライトガイド（図示せず）に入射する。ライトガイドに入射した光は、スコープ先端部から射出し、被写体（観察部位）に照射される。

被写体で反射した光は、スコープ先端部に設けられた対物レンズ（図示せず）によって結像し、これにより被写体像がイメージセンサ１２の受光面に形成される。ここでは、ＣＭＯＳセンサがイメージセンサ１２として適用されている。

イメージセンサ１２では、駆動回路１５から送られてくる駆動信号に従い、１フィールド分の画像信号が所定の時間間隔（例えばＮＴＳＣ方式の場合、１／６０秒間隔、ＰＡＬ方式の場合、１／５０秒間隔）で読み出される。読み出された画素信号は、初期回路１４において増幅処理、Ａ／Ｄ変換処理等された後、プロセッサ２０へ送られる。

プロセッサ２０の映像信号処理回路３０では、ホワイトバランス処理（ゲイン処理）、ガンマ補正処理などの様々な信号処理が施される。これにより、映像信号が生成される。さらに、プロセッサ２０に設けられたフロントパネルボタン（図示せず）などをオペレータが入力操作を行うことにより、輪郭強調処理といった画像処理が実行される。

ＣＰＵ、ＲＯＭ等を含むコントローラ２８は、駆動回路１５などへ制御信号を出力し、プロセッサ２０全体の動作を制御する。ＦＰＮ補正値算出回路２４は、ＦＰＮ（固定パターンノイズ）補正値を算出する回路であり、ＦＰＮ補正回路２６は、ＦＰＮ補正値に基づいて画素信号のＦＰＮ成分を除去する。

切り替え回路２２は、ＦＰＮ補正値算出に併せて切り替え動作するように構成されており、コントローラ２８によって制御される。ビデオスコープ１０が接続されると、ＦＰＮ補正値が算出され、その後内視鏡観察画像を表示するための撮像動作が行なわれる。以下、ＦＰＮ補正値算出について説明する。

図２は、イメージセンサから出力される信号の配列を示した図である。図３は、ＦＰＮ補正値の算出処理を示したフローチャートである。

ビデオスコープの接続が確認されると（Ｓ１０１）、ＦＰＮ補正値算出処理が行われる。図２に示すように、イメージセンサ１２の受光面には、受光可能な有効領域ＥＰと遮光領域ＯＰに複数の画素が２次元配列されており、遮光領域ＯＰは有効領域ＥＰよりも小さい。ここでは、有効領域ＥＰの行数（水平ライン数）をｋ、遮光領域ＯＰの行数をｌ、列数（垂直ライン数）をｓとする。

通常の撮像動作中、ＣＭＯＳであるイメージセンサ１２から画素信号を読み出すとき、行（水平ライン）ごとに画素信号を読み出す。有効領域ＥＰと遮光領域ＯＰの行数を合わせた（ｌ+ｋ）行の画素信号を順次読み出す。

一方、ビデオスコープ接続検出によってＦＰＮ補正値を算出する場合、通常の画素信号を読み出す代わりに、遮光領域ＯＰのＯＢ画素から画素信号を読み出す。このとき、全行のＯＢ画素信号を読み出したら、再び最初の下端行から画素信号を読み出し、行ごとの読み出しを巡回させる。遮光領域ＯＰの画素から繰り返し画素信号を読み出す処理は、通常撮影中における画素数分のＯＢ画素信号、すなわち、遮光領域ＯＰを含めた１フレーム分の画素数に相応するＯＢ画素信号を取得するまで続ける。

ＦＰＮ補正値を算出する間、切り替え回路２２は、読み出されたＯＢ画素信号がＦＰＮ補正値算出回路２４へ送信されるようにスイッチングされている。これにより、ＯＢ画素信号が読み出されるのに従って順次ＦＰＮ補正値算出回路２４へ送信される。

ＦＰＮ補正値算出回路２４には、１フレーム分のＯＢ画素信号を格納するメモリ（図示せず）が設けられている。１フレーム分のＯＢ画素信号がメモリに格納されると、列ごとにＯＢ画素信号の加算平均値を補正データとして算出する（Ｓ１０３）。

各列のＦＰＮ補正値が算出されると、切り替え回路２２が切り替えられ、初期回路１４はＦＰＮ補正回路２６と接続される。そして、駆動回路１５を制御して通常の内視鏡観察動作に従った駆動信号が出力される（Ｓ１０４）。これにより、有効領域ＥＰの画素信号が１フィールドごとに読み出される。

ＦＰＮ補正回路２６では、ＦＰＮ補正値算出回路２４から送られてくる補正値に基づき、送られてくる画素信号に対してＦＰＮ除去処理を行う。具体的には、１フィールド分の画素信号について、各列の画素信号値から対応する列のＦＰＮ補正値を減算する。これにより、ＦＰＮを除去した映像信号が生成される。

新たなビデオスコープが代わりに接続されると、同じようにＦＰＮ補正値算出処理が行われる（Ｓ１０５）。そして、電源ＯＮ状態で内視鏡作業が行なわれる間、ステップＳ１０１〜Ｓ１０５が繰り返される（Ｓ１０６）。

このように本実施形態によれは、ＦＮＰ補正値算出する場合、遮光領域ＯＰからＯＢ画素信号を行ごとに順次読み出し、さらには、１フレーム分の画素数、すなわち有効領域ＥＰと遮光領域ＯＰの画素数に応じたＯＢ画素信号を取得するまで、遮光領域ＯＰに対する行ごとのＯＢ画素信号の順次読み出しを繰り返す。そして、ＦＰＮ補正値を加算平均によって列ごとに算出する。ＦＰＮ補正値を算出すると、有効領域ＥＰから１フィールド画素信号を順次読み出し、各列における画素信号からＦＰＮ補正値を減算する。

時系列的に複数のＯＢ画素信号を抽出するため、精度あるＦＰＮ補正値を得ることができる。そのため、輪郭強調処理などを行っても、ＦＰＮに起因した画質劣化を抑えることができる。さらに、１フィールド／フレームの画素信号を数十回読み出すことなく、１フレーム分の画素信号読み出し時間だけでＦＰＮ補正値を算出することができるため、内視鏡観察へスムーズに移ることができる。

また、切り替え回路によって遮光領域の画素信号読み出しと有効領域の画素信号読み出しを選択的に切り替える簡易な回路構成であり、簡易な構成でありながら精度のよいＦＰＮ補正値を算出することができる。なお、イメージセンサ側でＯＢ画素信号を専用に読み出す専用の機能を付加させ、ビデオスコープ側で独自にイメージセンサの駆動を制御するようにしてもよい。

ＯＢ画素信号の読み出しの仕方は、ここではＣＭＯＳに従い、行（水平ライン）に沿った画素信号読み出しを採用しているが、イメージセンサの特性に合わせて読み出し方式を定めればよい。イメージセンサのタイプについても、ＣＭＯＳに限定されることなく、ＣＣＤなど他のイメージセンサを用いてもよい。また、１フィールド分のＯＢ画素信号に基づいてＦＰＮ補正値を算出してもよい。

１０ ビデオスコープ
１２ イメージセンサ（撮像素子）
２０ プロセッサ
２２ 切り替え回路
２４ ＦＰＮ補正値算出回路
２６ ＦＰＮ補正回路
２８ コントローラ

Claims (6)

1. 有効領域に有効画素を２次元配列させるとともに、有効領域よりも小さい遮光領域にＯＢ（オプティカルブラック）画素を２次元配列させた撮像素子を有するビデオスコープと、
   前記撮像素子の有効画素から、１フィールド／フレーム分の画素信号を所定時間間隔で読み出す撮像素子駆動部と、
   前記撮像素子駆動部を制御し、遮光領域のＯＢ画素から画素信号を繰り返し読み出し、１フィールド／フレーム分の画素数に応じたＯＢ画素信号を抽出するＦＰＮ補正制御部と、
   読み出された１フィールド／フレーム分のＯＢ画素信号に基づいて、ＦＰＮ（固定パターンノイズ）補正値を算出するＦＰＮ補正値算出部と、
   前記受光領域の有効画素から順次読み出される１フィールド／フレーム分の有効画素信号に対し、ＦＰＮ補正値に基づいてＦＰＮ補正処理を実行するＦＰＮ補正処理部と
   を備えたことを特徴とする内視鏡装置。
2. 前記ＦＰＮ補正制御部が、列または行ごとにＯＢ画素を順次読み出し、この列または行ごとのＯＢ画素順次読み出しを繰り返すことを特徴とする請求項１に記載の内視鏡装置。
3. 前記撮像素子からの画素信号出力を、前記ＦＰＮ補正値算出部と前記ＦＰＮ補正処理部との間で切り替える切り替え回路をさらに備え、
   前記ＦＰＮ補正制御部が、前記切り替え回路を制御して１フィールド／フレーム分に応じたＯＢ画素信号を前記ＦＰＮ補正値算出部へ送信させ、ＦＰＮ補正値が算出されると、前記切り替え回路を切り替えて１フィールド／フレーム分の有効画素信号を前記ＦＰＮ補正処理部へ送信させることを特徴とする請求項１乃至２のいずれかに記載の内視鏡装置。
4. 前記ＦＰＮ補正制御部が、ビデオスコープ接続を検出すると、１フィールド／フレーム分に応じたＯＢ画素信号を抽出することを特徴とする請求項１乃至３のいずれかに記載の内視鏡装置。
5. 前記ＦＰＮ補正値算出手段が、列ごとにＯＢ画素信号を加算平均してＦＰＮ補正値を算出することを特徴とする請求項１乃至４のいずれかに記載の内視鏡装置。
6. 撮像素子の遮光領域に設けられたＯＢ画素から画素信号を繰り返し読み出し、１フィールド／フレーム分の画素数に応じたＯＢ画素信号を抽出するＦＰＮ補正制御部と、
   読み出された１フィールド／フレーム分のＯＢ画素信号に基づいて、ＦＰＮ（固定パターンノイズ）補正値を算出するＦＰＮ補正値算出部と
   を備えたことを特徴とするＦＰＮ補正値算出装置。
   

Images