JP3271838B2 - 内視鏡用画像処理装置 - Google Patents
内視鏡用画像処理装置Info
- Publication number
- JP3271838B2 JP3271838B2 JP26015393A JP26015393A JP3271838B2 JP 3271838 B2 JP3271838 B2 JP 3271838B2 JP 26015393 A JP26015393 A JP 26015393A JP 26015393 A JP26015393 A JP 26015393A JP 3271838 B2 JP3271838 B2 JP 3271838B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- smear
- smear component
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 25
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 21
- 238000011282 treatment Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000013532 laser treatment Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000010355 oscillation Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、処置用レーザ等の高照
度光を起因として撮像素子中において生じる撮像信号の
スミア成分の軽減または除去処理を施す内視鏡用画像処
理装置の改良に関する。
度光を起因として撮像素子中において生じる撮像信号の
スミア成分の軽減または除去処理を施す内視鏡用画像処
理装置の改良に関する。
【０００２】
【従来の技術】近年、体腔内に細長の挿入部を挿入する
ことにより、体腔内臓器などを観察したり、必要に応じ
処置具チャンネル内に挿通した処置具を用いて各種治療
処置のできる内視鏡が広く利用されている。
ことにより、体腔内臓器などを観察したり、必要に応じ
処置具チャンネル内に挿通した処置具を用いて各種治療
処置のできる内視鏡が広く利用されている。
【０００３】これらの処置具チャンネルには、処置具の
一つとしてレーザ処置を行うためのレーザ光導光用のプ
ローブが広く利用されている。
一つとしてレーザ処置を行うためのレーザ光導光用のプ
ローブが広く利用されている。
【０００４】また、電荷結合素子（ＣＣＤ）などの固体
撮像素子を撮像手段に用いたビデオスコープシステムも
種々提案されている。
撮像素子を撮像手段に用いたビデオスコープシステムも
種々提案されている。
【０００５】ところで、経内視鏡的に撮像装置において
ハレーションによる画像劣化の対策として特開昭６０−
８５７２７号公報において、固体撮像体の画素セルに対
する電荷蓄積時間を画素セルのブロック毎に制御し、ハ
レーションに対する画素セルの電荷蓄積時間を短縮する
経内視鏡撮影装置が開示されている。
ハレーションによる画像劣化の対策として特開昭６０−
８５７２７号公報において、固体撮像体の画素セルに対
する電荷蓄積時間を画素セルのブロック毎に制御し、ハ
レーションに対する画素セルの電荷蓄積時間を短縮する
経内視鏡撮影装置が開示されている。
【０００６】一方、特開平１−２００７８３号公報にお
いて、輝点の軽減回路として以下の構成の回路が開示さ
れている。この軽減回路は、映像信号をＢＰＦ（バンド
・パス・フィルタ）またはＨＰＦ（ロー・パス・フィル
タ）を通した後、輝点検出回路により輝点成分を検出す
る一方、輝点抑圧回路を通る映像信号に対して、検出し
た輝点成分を用いて輝点成分を抑圧するものである。
いて、輝点の軽減回路として以下の構成の回路が開示さ
れている。この軽減回路は、映像信号をＢＰＦ（バンド
・パス・フィルタ）またはＨＰＦ（ロー・パス・フィル
タ）を通した後、輝点検出回路により輝点成分を検出す
る一方、輝点抑圧回路を通る映像信号に対して、検出し
た輝点成分を用いて輝点成分を抑圧するものである。
【０００７】
【発明が解決しようとする課題】しかしながら、経内視
鏡下においてレーザプローブにより処置を行う場合、観
察画面内にレーザ光によるハレーションが発生すると共
に、固体撮像素子の画像データ転送期間内にレーザ光が
照明されてしまうため、レーザ光によるスミアが画面内
に発生するため観察画面に悪影響を及ぼしていた。
鏡下においてレーザプローブにより処置を行う場合、観
察画面内にレーザ光によるハレーションが発生すると共
に、固体撮像素子の画像データ転送期間内にレーザ光が
照明されてしまうため、レーザ光によるスミアが画面内
に発生するため観察画面に悪影響を及ぼしていた。
【０００８】本発明は、従来の輝点軽減回路によるハレ
ーションの軽減では改善不可能であったレーザ照射時に
おけるスミアを軽減または除去し、レーザ照射時の観察
像の画質を向上させる内視鏡用画像処理装置を提供する
ことを目的としている。
ーションの軽減では改善不可能であったレーザ照射時に
おけるスミアを軽減または除去し、レーザ照射時の観察
像の画質を向上させる内視鏡用画像処理装置を提供する
ことを目的としている。
【０００９】
【課題を解決するための手段】本発明による内視鏡用画
像処理装置は、高照度光により体腔内を処置する処置具
と共に用いられる内視鏡用画像処理装置において、照明
光を受けて反射した被写体の反射光を入射して光電変換
し、変換した電気信号を出力段に転送して外部に出力す
る撮像手段と、前記撮像手段が出力する前記電気信号の
うち、高照度光によって生じたスミア成分を信号として
抽出するスミア成分抽出手段と、前記撮像手段が出力す
る前記電気信号を前記スミア成分抽出手段の抽出した前
記スミア成分信号に基づき補正する補正手段と、前記高
照度光の照射ＯＮ信号に対応して前記スミア成分信号に
基づく補正を行うように前記補正手段を制御する制御手
段とを備えたことを特徴とする。また、本発明による内
視鏡用画像処理装置は、照明光を受けて反射した被写体
の反射光を入射して光電変換し、変換した電気信号を出
力段に転送して外部に出力する撮像手段と、前記撮像手
段が出力する前記電気信号の同一水平位置における画素
信号レベルの各フィールド毎の平均値を求める平均値算
出手段と、前記同一水平位置における前記電気信号の画
素信号レベルと前記平均値算出手段により算出された前
記平均値とのレベル差を算出するレベル差算出手段と、
前記レベル差算出手段により算出されたレベル差に基づ
いて、前記撮像手段が出力する前記電気信号のうち、高
照度光によって生じたスミア成分を信号として抽出する
スミア成分抽出手段と、前記撮像手段が出力する前記電
気信号を前記スミア成分抽出手段の抽出した前記スミア
成分信号に基づき補正する補正手段とを備えたことを特
徴とする。
像処理装置は、高照度光により体腔内を処置する処置具
と共に用いられる内視鏡用画像処理装置において、照明
光を受けて反射した被写体の反射光を入射して光電変換
し、変換した電気信号を出力段に転送して外部に出力す
る撮像手段と、前記撮像手段が出力する前記電気信号の
うち、高照度光によって生じたスミア成分を信号として
抽出するスミア成分抽出手段と、前記撮像手段が出力す
る前記電気信号を前記スミア成分抽出手段の抽出した前
記スミア成分信号に基づき補正する補正手段と、前記高
照度光の照射ＯＮ信号に対応して前記スミア成分信号に
基づく補正を行うように前記補正手段を制御する制御手
段とを備えたことを特徴とする。また、本発明による内
視鏡用画像処理装置は、照明光を受けて反射した被写体
の反射光を入射して光電変換し、変換した電気信号を出
力段に転送して外部に出力する撮像手段と、前記撮像手
段が出力する前記電気信号の同一水平位置における画素
信号レベルの各フィールド毎の平均値を求める平均値算
出手段と、前記同一水平位置における前記電気信号の画
素信号レベルと前記平均値算出手段により算出された前
記平均値とのレベル差を算出するレベル差算出手段と、
前記レベル差算出手段により算出されたレベル差に基づ
いて、前記撮像手段が出力する前記電気信号のうち、高
照度光によって生じたスミア成分を信号として抽出する
スミア成分抽出手段と、前記撮像手段が出力する前記電
気信号を前記スミア成分抽出手段の抽出した前記スミア
成分信号に基づき補正する補正手段とを備えたことを特
徴とする。
【００１０】
【作 用】上記構成において、スミア成分抽出手段によ
り、撮像手段が出力する電気信号のうち、高照度光によ
って生じたスミア成分を信号として抽出する一方、補正
手段により、撮像手段が出力する前記電気信号を前記ス
ミア成分抽出手段の抽出した前記スミア成分信号に基づ
き補正するようにし、制御手段により、前記高照度光の
照射ＯＮ信号に対応して前記スミア成分信号に基づく補
正を行うように前記補正手段を制御する。 また、上記構
成において、平均値算出手段により、撮像手段が出力す
る電気信号の同一水平位置における画素信号レベルの各
フィールド毎の平均値を求め、レベル差算出手段によ
り、前記同一水平位置における前記電気信号の画素信号
レベルと前記平均値算出手段により算出された前記平均
値とのレベル差を算出し、この算出されたレベル差に基
づいて、スミア成分抽出手段により、前記撮像手段が出
力する前記電気信号のうち、高照度光によって生じたス
ミア成分を信号として抽出する。そして、補正手段によ
り、前記撮像手段が出力する前記電気信号を前記スミア
成分抽出手段の抽出した前記スミア成分信号に基づき補
正する。
り、撮像手段が出力する電気信号のうち、高照度光によ
って生じたスミア成分を信号として抽出する一方、補正
手段により、撮像手段が出力する前記電気信号を前記ス
ミア成分抽出手段の抽出した前記スミア成分信号に基づ
き補正するようにし、制御手段により、前記高照度光の
照射ＯＮ信号に対応して前記スミア成分信号に基づく補
正を行うように前記補正手段を制御する。 また、上記構
成において、平均値算出手段により、撮像手段が出力す
る電気信号の同一水平位置における画素信号レベルの各
フィールド毎の平均値を求め、レベル差算出手段によ
り、前記同一水平位置における前記電気信号の画素信号
レベルと前記平均値算出手段により算出された前記平均
値とのレベル差を算出し、この算出されたレベル差に基
づいて、スミア成分抽出手段により、前記撮像手段が出
力する前記電気信号のうち、高照度光によって生じたス
ミア成分を信号として抽出する。そして、補正手段によ
り、前記撮像手段が出力する前記電気信号を前記スミア
成分抽出手段の抽出した前記スミア成分信号に基づき補
正する。
【００１１】
【実施例】図を参照して本発明の実施例について、以下
に説明する。図１ないし図７は本発明の一実施例に係
り、図１は内視鏡装置の全体的な構成図、図２は画像処
理装置のブロック図、図３はレーザ光による経内視鏡的
処置の説明図、図４はハレーション及びスミアが発生し
た画像と、平均化された信号の説明図、図５はレベル差
検出に関する説明図、図６はスミア成分の補正に関する
説明図、図７は原画像と補正後の画像の比較説明図であ
る。
に説明する。図１ないし図７は本発明の一実施例に係
り、図１は内視鏡装置の全体的な構成図、図２は画像処
理装置のブロック図、図３はレーザ光による経内視鏡的
処置の説明図、図４はハレーション及びスミアが発生し
た画像と、平均化された信号の説明図、図５はレベル差
検出に関する説明図、図６はスミア成分の補正に関する
説明図、図７は原画像と補正後の画像の比較説明図であ
る。
【００１２】本実施例の内視鏡装置３０は、図１に示す
ように、撮像手段を有するビデオスコープ１を備えてい
る。このビデオスコープ１は、細長で例えば可動性の挿
入部２を有し、この挿入部２の後端に太径の操作部３が
連設されている。前記操作部３の後端側からは側方に可
撓性を有するユニバーサルコード４が延設され、このユ
ニバーサルコード４の端部にコネクタ５が設けられてい
る。このコネクタ５は、光源装置及び信号処理回路が内
蔵されたビデオプロセッサ６のコネクタ受け８に接続さ
れるようになっている。また、前記電子内視鏡１には、
モニタ７及び画像処理装置１３が接続されるようになっ
ている。
ように、撮像手段を有するビデオスコープ１を備えてい
る。このビデオスコープ１は、細長で例えば可動性の挿
入部２を有し、この挿入部２の後端に太径の操作部３が
連設されている。前記操作部３の後端側からは側方に可
撓性を有するユニバーサルコード４が延設され、このユ
ニバーサルコード４の端部にコネクタ５が設けられてい
る。このコネクタ５は、光源装置及び信号処理回路が内
蔵されたビデオプロセッサ６のコネクタ受け８に接続さ
れるようになっている。また、前記電子内視鏡１には、
モニタ７及び画像処理装置１３が接続されるようになっ
ている。
【００１３】前記挿入部２の先端側には、硬性の先端部
９及びこの先端部９に隣接する後方側に湾曲可能な湾曲
部１０が順次設けられている。また、前記操作部３に設
けられた湾曲操作ノブ１１を回動操作することによっ
て、前記湾曲部１０を左右方向あるいは上下方向に湾曲
できるようになっている。また、前記操作部３には、前
記挿入部２内に設けられた図示しない処置具チャンネル
に連通する挿入口１２が、設けられている。この処置具
チャンネルの挿入口１２は、レーザ処置を行うレーザ発
振装置２７に接続されるレーザ光の導光用のレーザプロ
ーブ２８の挿通路ともなっている。
９及びこの先端部９に隣接する後方側に湾曲可能な湾曲
部１０が順次設けられている。また、前記操作部３に設
けられた湾曲操作ノブ１１を回動操作することによっ
て、前記湾曲部１０を左右方向あるいは上下方向に湾曲
できるようになっている。また、前記操作部３には、前
記挿入部２内に設けられた図示しない処置具チャンネル
に連通する挿入口１２が、設けられている。この処置具
チャンネルの挿入口１２は、レーザ処置を行うレーザ発
振装置２７に接続されるレーザ光の導光用のレーザプロ
ーブ２８の挿通路ともなっている。
【００１４】前記ビデオプロセッサ６に接続された画像
処理装置１３は、レーザ照射時のスミアを除去または軽
減することができる装置である。この画像処理装置１３
は、観察画像よりレーザ照射によるスミアの軽減または
除去を行った後、ビデオプロセッサ６に観察画像の画像
信号を送出する。このため、ビデオプロセッサ６に接続
されたモニタ７には、レーザ照射時に観察画像にスミア
を軽減または除去された画像が表示されるようになって
いる。以上が内視鏡システム全体の構成である。
処理装置１３は、レーザ照射時のスミアを除去または軽
減することができる装置である。この画像処理装置１３
は、観察画像よりレーザ照射によるスミアの軽減または
除去を行った後、ビデオプロセッサ６に観察画像の画像
信号を送出する。このため、ビデオプロセッサ６に接続
されたモニタ７には、レーザ照射時に観察画像にスミア
を軽減または除去された画像が表示されるようになって
いる。以上が内視鏡システム全体の構成である。
【００１５】次に、スミア除去ができる画像処理装置１
３の構成について説明する。
３の構成について説明する。
【００１６】図２には、画像処理装置のブロック構成図
を示す。
を示す。
【００１７】前記画像処理装置１３は、ビデオプロセッ
サ６からのＲＧＢ画像データを信号処理に必要な時間遅
らせるフレームメモリ１４と、ＲＧＢ画像データを１フ
レーム分記憶するフレームメモリ１５と、ＲＧＢ画像に
おける同一水平位置の画像信号レベルの平均を算出する
ために、各画素単位で加算処理する加算回路１６と、こ
の加算回路１６の出力を１Ｈ分記憶する１Ｈラインメモ
リ１７と、加算回路１６と１Ｈラインメモリ１７にて算
出された、同一水平位置における画素信号レベル累積値
の平均値をフィールド毎に算出し１フィールド期間、デ
ータをホールドする平均値算出回路１８とを有してい
る。
サ６からのＲＧＢ画像データを信号処理に必要な時間遅
らせるフレームメモリ１４と、ＲＧＢ画像データを１フ
レーム分記憶するフレームメモリ１５と、ＲＧＢ画像に
おける同一水平位置の画像信号レベルの平均を算出する
ために、各画素単位で加算処理する加算回路１６と、こ
の加算回路１６の出力を１Ｈ分記憶する１Ｈラインメモ
リ１７と、加算回路１６と１Ｈラインメモリ１７にて算
出された、同一水平位置における画素信号レベル累積値
の平均値をフィールド毎に算出し１フィールド期間、デ
ータをホールドする平均値算出回路１８とを有してい
る。
【００１８】前記フレームメモリ１５は、前記平均値算
出回路１８にて算出された画像データと同一時間の画像
データを出力するために、ビデオプロセッサ６からのＲ
ＧＢ画像データを１フレーム期間分記憶するようになっ
ている。
出回路１８にて算出された画像データと同一時間の画像
データを出力するために、ビデオプロセッサ６からのＲ
ＧＢ画像データを１フレーム期間分記憶するようになっ
ている。
【００１９】また、前記画像処理装置１３は、前記フレ
ームメモリ１５からの映像信号と、平均値算出回路１８
にて算出された同一水平位置における画像信号レベルの
平均値とのレベル差を算出するレベル差算出回路１９
と、前記フレームメモリ１５により記憶された画像の輝
度情報を算出する輝度信号算出回路２０と、前記レベル
差算出回路１９により算出されたレベル差が所定値以下
で、輝度信号算出回路２０にて算出された輝度信号レベ
ルが所定値以上の位置をスミアとして算出するスミアレ
ベル算出回路２４とを有している。
ームメモリ１５からの映像信号と、平均値算出回路１８
にて算出された同一水平位置における画像信号レベルの
平均値とのレベル差を算出するレベル差算出回路１９
と、前記フレームメモリ１５により記憶された画像の輝
度情報を算出する輝度信号算出回路２０と、前記レベル
差算出回路１９により算出されたレベル差が所定値以下
で、輝度信号算出回路２０にて算出された輝度信号レベ
ルが所定値以上の位置をスミアとして算出するスミアレ
ベル算出回路２４とを有している。
【００２０】さらに、前記画像処理装置１３は、レーザ
発振装置２７のレーザ照射信号と、スミアレベル算出回
路２４の算出結果とに基づき、スミアの補正レベルを制
御する制御回路２５を有している。
発振装置２７のレーザ照射信号と、スミアレベル算出回
路２４の算出結果とに基づき、スミアの補正レベルを制
御する制御回路２５を有している。
【００２１】以上の構成に加えて、前記画像処理装置１
３は、前記平均値算出回路１８にて算出された水平方向
の画像信号の平均値より所定のスライスレベルより高輝
度部を算出する高輝度部算出回路２１と、高輝度部算出
回路２１により算出された高輝度部の信号レベルを拡大
する信号拡大回路２２と、この信号拡大回路２１により
拡大された信号の帯域を制限するＬＰＦ２３と、前記フ
レームメモリ１４に記録された原画像の画像信号からＬ
ＰＦ２３の出力を制御回路２５の制御信号に従って減算
処理をする減算回路２６とを有している。
３は、前記平均値算出回路１８にて算出された水平方向
の画像信号の平均値より所定のスライスレベルより高輝
度部を算出する高輝度部算出回路２１と、高輝度部算出
回路２１により算出された高輝度部の信号レベルを拡大
する信号拡大回路２２と、この信号拡大回路２１により
拡大された信号の帯域を制限するＬＰＦ２３と、前記フ
レームメモリ１４に記録された原画像の画像信号からＬ
ＰＦ２３の出力を制御回路２５の制御信号に従って減算
処理をする減算回路２６とを有している。
【００２２】図３には、レーザプローブ２８を内視鏡先
端まで挿入し、生体３１にレーザ光による経内視鏡的処
置を行っている図を示す。このレーザプローブ２８は、
図１に示す内視鏡システムの処置具チャンネルを経て、
内視鏡先端まで挿入された後、レーザ発振装置２７のレ
ーザ光を伝送する。そして、このレーザプローブ２８を
用いて、レーザー光による処置を行っているものであ
る。
端まで挿入し、生体３１にレーザ光による経内視鏡的処
置を行っている図を示す。このレーザプローブ２８は、
図１に示す内視鏡システムの処置具チャンネルを経て、
内視鏡先端まで挿入された後、レーザ発振装置２７のレ
ーザ光を伝送する。そして、このレーザプローブ２８を
用いて、レーザー光による処置を行っているものであ
る。
【００２３】本実施例におけるビデオスコープ１は、撮
像手段としてのＣＣＤの転送期間中は、照明光を遮光す
ることで良好な画像を得ている。一方、レーザ照射時
は、前記ＣＣＤの転送期間内においてもレーザが照射さ
れる。このため、図４（ｂ）に示すように、レーザ光の
ガイド光（スポット）ＬによるスミアＳが縦方向に発生
する。
像手段としてのＣＣＤの転送期間中は、照明光を遮光す
ることで良好な画像を得ている。一方、レーザ照射時
は、前記ＣＣＤの転送期間内においてもレーザが照射さ
れる。このため、図４（ｂ）に示すように、レーザ光の
ガイド光（スポット）ＬによるスミアＳが縦方向に発生
する。
【００２４】この観察画像は、ビデオプロセッサ６から
画像処理装置１３に入力される。１ラインめの画像信号
は、１Ｈラインメモリ１７に何も記録されていない。こ
のため、加算回路１６では、そのままの値が出力され１
Ｈラインメモリ１７に記録される。次に、２ラインめの
画像信号は、加算回路１６にて、１Ｈラインメモリ１７
からの１ライン目の同一水平位置の画像信号と加算され
る。加算された結果は１Ｈラインメモリ１７に再度記録
される。同様に１フレーム期間、累積加算が行われ、得
られた画像信号は、平均値算出回路１８にて累積加算さ
れたライン数で除算されることで、図４（ａ）に示すよ
うな同一水平位置における画像レベルの平均値を算出
し、１フレーム期間その値をホールドする。
画像処理装置１３に入力される。１ラインめの画像信号
は、１Ｈラインメモリ１７に何も記録されていない。こ
のため、加算回路１６では、そのままの値が出力され１
Ｈラインメモリ１７に記録される。次に、２ラインめの
画像信号は、加算回路１６にて、１Ｈラインメモリ１７
からの１ライン目の同一水平位置の画像信号と加算され
る。加算された結果は１Ｈラインメモリ１７に再度記録
される。同様に１フレーム期間、累積加算が行われ、得
られた画像信号は、平均値算出回路１８にて累積加算さ
れたライン数で除算されることで、図４（ａ）に示すよ
うな同一水平位置における画像レベルの平均値を算出
し、１フレーム期間その値をホールドする。
【００２５】ここで、レーザ照射によるスミアの発生原
理は、転送期間内に各画素がレーザにより露光してしま
うことが原因である。このため、画面内に垂直に一定レ
ベルの高輝度の白色の帯状に発生し、スミアの発生位置
は平均化された画像信号においてもレベルが高い。一
方、照明光により発生するハレーションＨは、孤立点と
して発生するため、平均値を算出することで、その輝度
レベルはほとんど増加しない。
理は、転送期間内に各画素がレーザにより露光してしま
うことが原因である。このため、画面内に垂直に一定レ
ベルの高輝度の白色の帯状に発生し、スミアの発生位置
は平均化された画像信号においてもレベルが高い。一
方、照明光により発生するハレーションＨは、孤立点と
して発生するため、平均値を算出することで、その輝度
レベルはほとんど増加しない。
【００２６】前記レベル差検出回路１９は、平均値算出
回路１８ではホールドされた平均値と、この平均値が算
出されたフレームメモリ１５の原画像信号と比較して、
その相関を算出する。
回路１８ではホールドされた平均値と、この平均値が算
出されたフレームメモリ１５の原画像信号と比較して、
その相関を算出する。
【００２７】図５を用いて、平均値算出回路１８の動作
について説明する。
について説明する。
【００２８】図５（ａ）の斜線で示す生体粘膜３１ａの
画像信号が、フレームメモリ１５から（ｃ）に示す原信
号として出力され、且つ平均値算出回路１８を経て
（ｂ）に示す平均信号として出力される。ハレーション
Ｈの位置では、原信号とではレベル差が極めて大きくな
り、図５（ｂ）の信号が他の部分のレベル差はハレーシ
ョンＨに比較して小さい。尚、図５（ｂ），（ｃ）は、
同図（ａ）に示す破線の水平ラインについてのグラフで
ある。
画像信号が、フレームメモリ１５から（ｃ）に示す原信
号として出力され、且つ平均値算出回路１８を経て
（ｂ）に示す平均信号として出力される。ハレーション
Ｈの位置では、原信号とではレベル差が極めて大きくな
り、図５（ｂ）の信号が他の部分のレベル差はハレーシ
ョンＨに比較して小さい。尚、図５（ｂ），（ｃ）は、
同図（ａ）に示す破線の水平ラインについてのグラフで
ある。
【００２９】次に、フレームメモリ１５の原画像信号か
らは、輝度信号算出回路２０により輝度信号が算出さ
れ、この輝度信号がスミアレベル算出回路２４に入力さ
れる。一方、レベル差検出回路１９の出力は、レベル差
の少ない部分が算出されたものなので、ハレーション部
Ｈが除かれた信号となって、スミアレベル算出回路２４
に入力される。
らは、輝度信号算出回路２０により輝度信号が算出さ
れ、この輝度信号がスミアレベル算出回路２４に入力さ
れる。一方、レベル差検出回路１９の出力は、レベル差
の少ない部分が算出されたものなので、ハレーション部
Ｈが除かれた信号となって、スミアレベル算出回路２４
に入力される。
【００３０】前記スミアレベル算出回路２４では、レベ
ル差が少なく且つ高輝度部をスミアレベルが高いと判別
する。従って、図５（ａ）のハレーション部Ｈ、生体粘
膜部分３１ａ及び暗部３１ｂは除かれ、レーザ光による
スミア発生部Ｓのみが検出される。
ル差が少なく且つ高輝度部をスミアレベルが高いと判別
する。従って、図５（ａ）のハレーション部Ｈ、生体粘
膜部分３１ａ及び暗部３１ｂは除かれ、レーザ光による
スミア発生部Ｓのみが検出される。
【００３１】一方、前記平均値算出回路１８から算出さ
れた平均値は、高輝度部算出回路２１にて、図６（ａ）
に示すように所定スライスレベルｒs以上の画像信号が
図６（ｂ）のごとく算出される。高輝度部算出回路２１
にて算出された画像信号は、拡大回路２２にてその画像
信号レベルが増幅され、ＬＰＦ２３によって帯域制限を
することで、図６（ｃ）のように信号波形のすそ野が若
干広がった補正信号に処理される。
れた平均値は、高輝度部算出回路２１にて、図６（ａ）
に示すように所定スライスレベルｒs以上の画像信号が
図６（ｂ）のごとく算出される。高輝度部算出回路２１
にて算出された画像信号は、拡大回路２２にてその画像
信号レベルが増幅され、ＬＰＦ２３によって帯域制限を
することで、図６（ｃ）のように信号波形のすそ野が若
干広がった補正信号に処理される。
【００３２】前記制御回路２５は、レーザ発振装置２７
にてレーザ光が照射された場合にのみ、減算回路２６を
動作させる。この制御により、減算回路２６は、フレー
ムメモリ１４の出力する原画像から、スミアレベル算出
回路２４にて算出されたスミアレベルに応じて、ＬＰＦ
２３より算出されるスミア補正信号を原画像から減算処
理する。
にてレーザ光が照射された場合にのみ、減算回路２６を
動作させる。この制御により、減算回路２６は、フレー
ムメモリ１４の出力する原画像から、スミアレベル算出
回路２４にて算出されたスミアレベルに応じて、ＬＰＦ
２３より算出されるスミア補正信号を原画像から減算処
理する。
【００３３】このようにして、図５（ｃ）の画像信号は
図６（ｄ）のようにレーザ照射によるスミア成分のみが
除去されると共に、ハレーション部はそのままとなる。
従って、図７（ａ）のようにレーザ光によるスミアＳの
発生した画像は、図７（ｂ）のようにスミアＳが除去さ
れた画像となる。
図６（ｄ）のようにレーザ照射によるスミア成分のみが
除去されると共に、ハレーション部はそのままとなる。
従って、図７（ａ）のようにレーザ光によるスミアＳの
発生した画像は、図７（ｂ）のようにスミアＳが除去さ
れた画像となる。
【００３４】また、本実施例では補正画像のみが出力さ
れるように構成されているが、画像記録する際、補正前
の原画像データも記録しておけば、処理の有無による画
像の確認ができる。
れるように構成されているが、画像記録する際、補正前
の原画像データも記録しておけば、処理の有無による画
像の確認ができる。
【００３５】前記構成の動作をまとめると、概略以下の
ようになる。１Ｈラインメモリ１７と加算回路１６によ
って得られる平均化された画像を基に、前記平均値算出
回路１８が算出した信号は、ハレーション部Ｈが除か
れ、高輝度部算出回路２１にて所定レベル以上、すなわ
ち高輝度であるスミア成分のみが抽出され、信号拡大回
路２２及びＬＰＦ２３により若干の補正、つまり増幅と
抽出成分の低レベルのすそ野を広げる補正が加えられ
る。これら１Ｈラインメモリ１７、加算回路１６、平均
値算出回路１８、高輝度部算出回路２１、信号拡大回路
２２及びＬＰＦ２３がスミア成分抽出手段を構成してい
る。さらに、補正手段を構成する減算回路２６により、
原画像からスミア成分が除去される。
ようになる。１Ｈラインメモリ１７と加算回路１６によ
って得られる平均化された画像を基に、前記平均値算出
回路１８が算出した信号は、ハレーション部Ｈが除か
れ、高輝度部算出回路２１にて所定レベル以上、すなわ
ち高輝度であるスミア成分のみが抽出され、信号拡大回
路２２及びＬＰＦ２３により若干の補正、つまり増幅と
抽出成分の低レベルのすそ野を広げる補正が加えられ
る。これら１Ｈラインメモリ１７、加算回路１６、平均
値算出回路１８、高輝度部算出回路２１、信号拡大回路
２２及びＬＰＦ２３がスミア成分抽出手段を構成してい
る。さらに、補正手段を構成する減算回路２６により、
原画像からスミア成分が除去される。
【００３６】このとき、制御回路２６は、スミアレベル
算出回路２４の出力つまりハレーション部Ｈではなく高
輝度のスミア部分のみが検出される位置で、且つレーザ
ＯＮのときにのみ、前記減算回路２６を動作させてい
る。すなわち、減算回路２６が、ハレーションその他に
よって誤動作することを防止している。
算出回路２４の出力つまりハレーション部Ｈではなく高
輝度のスミア部分のみが検出される位置で、且つレーザ
ＯＮのときにのみ、前記減算回路２６を動作させてい
る。すなわち、減算回路２６が、ハレーションその他に
よって誤動作することを防止している。
【００３７】以上のように、本実施例では、レーザ光に
よる処置あるいはレーザ光等の高照度の光によって生じ
るスミアが除去され、レーザ処置等の際でも得られる画
像の画質が良好となる。このため、本実施例では、レー
ザ処置や高照度光の照射等の際における観察能を向上で
き、且つレーザ処置が的確になされるので、診断や処置
の際における疲労を軽減できる。
よる処置あるいはレーザ光等の高照度の光によって生じ
るスミアが除去され、レーザ処置等の際でも得られる画
像の画質が良好となる。このため、本実施例では、レー
ザ処置や高照度光の照射等の際における観察能を向上で
き、且つレーザ処置が的確になされるので、診断や処置
の際における疲労を軽減できる。
【００３８】尚、前記スミアは、レーザ照射に限らず高
照度の光であれば、それに起因して生じるが、この場合
も本実施例の装置は効果を発揮する。また、レーザプロ
ーブからの光が直接撮像素子に入射した場合も、スミア
成分の軽減を図ることができる。
照度の光であれば、それに起因して生じるが、この場合
も本実施例の装置は効果を発揮する。また、レーザプロ
ーブからの光が直接撮像素子に入射した場合も、スミア
成分の軽減を図ることができる。
【００３９】また、本実施例は、ビデオスコープに限ら
ず、ファイバースコープの接眼部に取付け可能な外付け
カメラによるスミアまたは同時撮像方式の高輝度部のス
ミア等の除去に用いても良い。さらに、ビデオスコープ
等の撮像手段は、面順次撮像方式のものでも良い。
ず、ファイバースコープの接眼部に取付け可能な外付け
カメラによるスミアまたは同時撮像方式の高輝度部のス
ミア等の除去に用いても良い。さらに、ビデオスコープ
等の撮像手段は、面順次撮像方式のものでも良い。
【００４０】
【発明の効果】本発明によれば、レーザ光等の高照度光
を照射する際に生じるスミアが軽減または除去され、画
像の画質が良好となり、レーザ処置等の高照度光照射の
際における観察能を向上させることができるので、診断
や処置の際における疲労を軽減できるという効果があ
る。
を照射する際に生じるスミアが軽減または除去され、画
像の画質が良好となり、レーザ処置等の高照度光照射の
際における観察能を向上させることができるので、診断
や処置の際における疲労を軽減できるという効果があ
る。
【図１】図１ないし図７は本発明の一実施例に係り、図
１は内視鏡装置の全体的な構成図。
１は内視鏡装置の全体的な構成図。
【図２】図２は画像処理装置のブロック図。
【図３】図３はレーザ光による経内視鏡的処置の説明
図。
図。
【図４】図４はハレーション及びスミアが発生した画像
と平均化された信号の説明図。
と平均化された信号の説明図。
【図５】図５はレベル差検出に関する説明図。
【図６】図６はスミア成分の補正に関する説明図。
【図７】図７は原画像と補正後の画像の比較説明図。
１…ビデオスコープ １３…画像処理装置 １６…加算回路 １７…１Ｈラインメモリ １８…平均値算出回路 １９…レベル差検出回路 ２０…輝度信号検出回路 ２１…高輝度部算出回路 ２２…信号拡大回路 ２３…ＬＰＦ ２４…スミアレベル検出回路 ２５…制御回路 ２６…減算回路 Ｓ…レーザ光によるスミア Ｈ…照明光によるハレーション Ｌ…レーザ照射位置を示すガイド光
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) A61B 1/00 - 1/32 G02B 23/24 - 23/26 H04N 5/14 - 5/217 H04N 5/30 - 5/335
Claims (2)
- 【請求項１】 高照度光により体腔内を処置する処置具
と共に用いられる内視鏡用画像処理装置において、 照明光を受けて反射した被写体の反射光を入射して光電
変換し、変換した電気信号を出力段に転送して外部に出
力する撮像手段と、 前記撮像手段が出力する前記電気信号のうち、高照度光
によって生じたスミア成分を信号として抽出するスミア
成分抽出手段と、 前記撮像手段が出力する前記電気信号を前記スミア成分
抽出手段の抽出した前記スミア成分信号に基づき補正す
る補正手段と、 前記高照度光の照射ＯＮ信号に対応して前記スミア成分
信号に基づく補正を行うように前記補正手段を制御する
制御手段と 、を備えた ことを特徴とする内視鏡用画像処理装置。 - 【請求項２】 照明光を受けて反射した被写体の反射光
を入射して光電変換し、変換した電気信号を出力段に転
送して外部に出力する撮像手段と、前記撮像手段が出力する前記電気信号の同一水平位置に
おける画素信号レベルの各フィールド毎の平均値を求め
る平均値算出手段と 、前記同一水平位置における前記電気信号の画素信号レベ
ルと前記平均値算出手段により算出された前記平均値と
のレベル差を算出するレベル差算出手段と 、前記レベル差算出手段により算出されたレベル差に基づ
いて、前記撮像手段が出力する前記電気信号のうち、高
照度光によって生じたスミア成分を信号として抽出する
スミア成分抽出手段と 、前記撮像手段が出力する前記電気信号を前記スミア成分
抽出手段の抽出した前記スミア成分信号に基づき補正す
る補正手段と 、を備えたことを特徴とする内視鏡用画像処理装置 。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26015393A JP3271838B2 (ja) | 1993-10-18 | 1993-10-18 | 内視鏡用画像処理装置 |
| US08/280,468 US5631695A (en) | 1993-10-18 | 1994-07-26 | Endoscope with smear extraction and correction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26015393A JP3271838B2 (ja) | 1993-10-18 | 1993-10-18 | 内視鏡用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07111978A JPH07111978A (ja) | 1995-05-02 |
| JP3271838B2 true JP3271838B2 (ja) | 2002-04-08 |
Family
ID=17344054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26015393A Expired - Fee Related JP3271838B2 (ja) | 1993-10-18 | 1993-10-18 | 内視鏡用画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5631695A (ja) |
| JP (1) | JP3271838B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864361A (en) * | 1993-12-24 | 1999-01-26 | Asahi Kogaku Kogyo Kabushiki Kaisha | Video endoscope system with color tone correction |
| US7453490B2 (en) * | 1997-01-31 | 2008-11-18 | Gyrus Acmi, Inc. | Correction of image signals characteristic of non-uniform images in an endoscopic imaging system |
| US6100920A (en) * | 1997-01-31 | 2000-08-08 | Circon Corporation | Video signal compensator for compensating differential picture brightness of an optical image due to uneven illumination and method |
| WO2004082265A1 (en) * | 2003-03-13 | 2004-09-23 | Roke Manor Research Limited | Camera illumination system |
| US7591783B2 (en) | 2003-04-01 | 2009-09-22 | Boston Scientific Scimed, Inc. | Articulation joint for video endoscope |
| US20050245789A1 (en) | 2003-04-01 | 2005-11-03 | Boston Scientific Scimed, Inc. | Fluid manifold for endoscope system |
| US7578786B2 (en) | 2003-04-01 | 2009-08-25 | Boston Scientific Scimed, Inc. | Video endoscope |
| US20040199052A1 (en) | 2003-04-01 | 2004-10-07 | Scimed Life Systems, Inc. | Endoscopic imaging system |
| US8118732B2 (en) | 2003-04-01 | 2012-02-21 | Boston Scientific Scimed, Inc. | Force feedback control system for video endoscope |
| US7241263B2 (en) | 2004-09-30 | 2007-07-10 | Scimed Life Systems, Inc. | Selectively rotatable shaft coupler |
| US7479106B2 (en) | 2004-09-30 | 2009-01-20 | Boston Scientific Scimed, Inc. | Automated control of irrigation and aspiration in a single-use endoscope |
| US8083671B2 (en) | 2004-09-30 | 2011-12-27 | Boston Scientific Scimed, Inc. | Fluid delivery system for use with an endoscope |
| CA2581079A1 (en) | 2004-09-30 | 2006-04-13 | Boston Scientific Scimed, Inc. | Multi-functional endoscopic system for use in electrosurgical applications |
| EP1799096A2 (en) | 2004-09-30 | 2007-06-27 | Boston Scientific Scimed, Inc. | System and method of obstruction removal |
| WO2006039522A2 (en) | 2004-09-30 | 2006-04-13 | Boston Scientific Scimed, Inc. | Adapter for use with digital imaging medical device |
| US7846107B2 (en) | 2005-05-13 | 2010-12-07 | Boston Scientific Scimed, Inc. | Endoscopic apparatus with integrated multiple biopsy device |
| US8097003B2 (en) | 2005-05-13 | 2012-01-17 | Boston Scientific Scimed, Inc. | Endoscopic apparatus with integrated variceal ligation device |
| US8052597B2 (en) | 2005-08-30 | 2011-11-08 | Boston Scientific Scimed, Inc. | Method for forming an endoscope articulation joint |
| US7967759B2 (en) | 2006-01-19 | 2011-06-28 | Boston Scientific Scimed, Inc. | Endoscopic system with integrated patient respiratory status indicator |
| JP2007251904A (ja) * | 2006-03-20 | 2007-09-27 | Toshiba Corp | 撮像装置 |
| US8888684B2 (en) | 2006-03-27 | 2014-11-18 | Boston Scientific Scimed, Inc. | Medical devices with local drug delivery capabilities |
| US8202265B2 (en) | 2006-04-20 | 2012-06-19 | Boston Scientific Scimed, Inc. | Multiple lumen assembly for use in endoscopes or other medical devices |
| US7955255B2 (en) | 2006-04-20 | 2011-06-07 | Boston Scientific Scimed, Inc. | Imaging assembly with transparent distal cap |
| US9633426B2 (en) | 2014-05-30 | 2017-04-25 | General Electric Company | Remote visual inspection image capture system and method |
| US8213676B2 (en) * | 2006-12-20 | 2012-07-03 | Ge Inspection Technologies Lp | Inspection apparatus method and apparatus comprising motion responsive control |
| US8810636B2 (en) | 2006-12-20 | 2014-08-19 | Ge Inspection Technologies, Lp | Inspection apparatus method and apparatus comprising selective frame output |
| US8514278B2 (en) * | 2006-12-29 | 2013-08-20 | Ge Inspection Technologies Lp | Inspection apparatus having illumination assembly |
| JP5948203B2 (ja) * | 2011-10-12 | 2016-07-06 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4010319A (en) * | 1975-11-20 | 1977-03-01 | Rca Corporation | Smear reduction in ccd imagers |
| JPS5814682A (ja) * | 1981-07-20 | 1983-01-27 | Sony Corp | 固体撮像装置 |
| US4490744A (en) * | 1982-06-30 | 1984-12-25 | Rca Corporation | Smear reduction technique for CCD field-transfer imager system |
| US4567524A (en) * | 1982-08-13 | 1986-01-28 | Rca Corporation | Smear reduction in CCD imagers using empty well clocking |
| JPS6085727A (ja) * | 1983-10-17 | 1985-05-15 | オリンパス光学工業株式会社 | 経内視鏡像撮影装置 |
| EP0283070A1 (en) * | 1987-03-05 | 1988-09-21 | Koninklijke Philips Electronics N.V. | Pick-up device including a solid-state radiation sensor and a signal smear reduction circuit |
| JP2961715B2 (ja) * | 1988-02-03 | 1999-10-12 | オリンパス光学工業株式会社 | 輝点軽減回路 |
| US4901143A (en) * | 1988-02-16 | 1990-02-13 | Olympus Optical Co., Ltd. | Electronic endoscope system provided with a means of imaging frozen pictures having few picture image smears |
| US5032913A (en) * | 1989-02-28 | 1991-07-16 | Olympus Optical Co., Ltd. | Electronic endoscope system equipped with color smear reducing means |
| JPH02301270A (ja) * | 1989-05-15 | 1990-12-13 | Sanyo Electric Co Ltd | 固体撮像素子のスミア除去回路 |
| US5049989A (en) * | 1990-01-04 | 1991-09-17 | Olympus Optical Co., Ltd. | Method and circuit for reducing the influence of a bright image area in an endoscope image signal |
| JP2848574B2 (ja) * | 1990-09-21 | 1999-01-20 | オリンパス光学工業株式会社 | 色ずれ補正装置 |
-
1993
- 1993-10-18 JP JP26015393A patent/JP3271838B2/ja not_active Expired - Fee Related
-
1994
- 1994-07-26 US US08/280,468 patent/US5631695A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07111978A (ja) | 1995-05-02 |
| US5631695A (en) | 1997-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3271838B2 (ja) | 内視鏡用画像処理装置 | |
| US20090213211A1 (en) | Method and Device for Reducing the Fixed Pattern Noise of a Digital Image | |
| JP2821141B2 (ja) | 内視鏡用自動調光制御装置 | |
| JP5372269B2 (ja) | 撮像装置 | |
| JP4175711B2 (ja) | 撮像装置 | |
| US10523911B2 (en) | Image pickup system | |
| JP2011098088A (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び画像処理方法 | |
| JPH04176435A (ja) | 内視鏡装置 | |
| JP5038027B2 (ja) | 画像処理装置およびこれを備えた内視鏡装置 | |
| JP6027793B2 (ja) | 内視鏡装置 | |
| US12089802B2 (en) | Medical image processing apparatus and medical observation system | |
| WO2016117373A1 (ja) | 医療機器 | |
| JPH01212077A (ja) | 電子内視鏡用信号処理回路 | |
| JP3199793B2 (ja) | 撮像装置 | |
| JP2022110536A (ja) | 医療用制御装置及び医療用観察システム | |
| CN215687682U (zh) | 一种集照明、成像及治疗于一体的内窥镜 | |
| WO2023090044A1 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
| JPH07108278B2 (ja) | 電子内視鏡装置 | |
| JP3623372B2 (ja) | 撮像装置 | |
| JPH10211166A (ja) | 内視鏡撮像装置 | |
| JP2009213629A (ja) | 撮像システム及び内視鏡システム | |
| JPH07313450A (ja) | 内視鏡装置 | |
| JPH04314181A (ja) | 内視鏡画像の処理方法 | |
| JP4503931B2 (ja) | 電子内視鏡装置 | |
| JP3820156B2 (ja) | 内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |