[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH0866357A - Electronic endoscope device - Google Patents

Electronic endoscope device

Info

Publication number
JPH0866357A
JPH0866357A JP6205205A JP20520594A JPH0866357A JP H0866357 A JPH0866357 A JP H0866357A JP 6205205 A JP6205205 A JP 6205205A JP 20520594 A JP20520594 A JP 20520594A JP H0866357 A JPH0866357 A JP H0866357A
Authority
JP
Japan
Prior art keywords
color
sound wave
image
microphone
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6205205A
Other languages
Japanese (ja)
Other versions
JP3477248B2 (en
Inventor
Akira Koike
亮 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP20520594A priority Critical patent/JP3477248B2/en
Publication of JPH0866357A publication Critical patent/JPH0866357A/en
Application granted granted Critical
Publication of JP3477248B2 publication Critical patent/JP3477248B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

PURPOSE: To provide an electron endoscope device capable of providing the clear color image of a vocal cord moving at high speed, according to a facial sequence system. CONSTITUTION: This electron endoscope device is equipped with a microphone 27 for detecting a sound wave, a sound wave synchronous lighting means 22 and 23 for irradiating and, then, shading a 'subject with every color of multiple- color light synchronously with the form of the sound wave detected with the microphone 27, and an image processing means 24 for forming a color image made of superposed images photographed with each color of the light.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、声帯の観察を可能と
した面順次方式の電子内視鏡装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a frame-sequential electronic endoscope apparatus capable of observing vocal cords.

【0002】[0002]

【従来の技術】面順次方式の電子内視鏡装置において
は、一般に、赤(R)、緑(G)、青(B)の三色の照
明光を各色別に時間をずらして被写体に順次照射して、
その被写体の像を固体撮像素子で順次撮像している。
2. Description of the Related Art Generally, in a frame-sequential type electronic endoscope apparatus, three colors of illumination light of red (R), green (G), and blue (B) are sequentially irradiated onto a subject by shifting the time for each color. do it,
Images of the subject are sequentially captured by the solid-state image sensor.

【0003】そしてビデオプロセッサにおいて、固体撮
像素子から順次送られてくる各色別の映像信号を一つに
合成して、モニタ画面上にカラー画像を表示している。
In the video processor, the video signals of the respective colors sequentially sent from the solid-state image pickup device are combined into one, and a color image is displayed on the monitor screen.

【0004】[0004]

【発明が解決しようとする課題】そのような面順次方式
の撮像は、モノクロ用の小さな固体撮像素子を用いてフ
ルカラー画像を表示することができるので、固体撮像素
子の大きさについて極端な制約を受ける内視鏡に用いる
のに適している。
In such a field-sequential imaging method, since a full-color image can be displayed by using a small solid-state image pickup device for monochrome, an extreme restriction is imposed on the size of the solid-state image pickup device. It is suitable for use in receiving endoscopes.

【0005】しかし面順次方式では、1フレームの画像
を得るのに、三色の照明光を各色別に時間をずらして被
写体に順次照射して、その各々の像を撮像しなければな
らない。
However, in the frame-sequential system, in order to obtain an image of one frame, it is necessary to sequentially illuminate the subject with illumination light of three colors for each color at different times to capture the respective images.

【0006】そのため、声帯のように被写体の動きが速
いと、被写体が同じ位置で三色の照明光を受けることな
く移動してしまうので、モニタ上においては三色の縞模
様が繰り返されるいわゆる色ずれが発生して、観察不能
になってしまう。
Therefore, if the subject moves quickly like a vocal cord, the subject moves at the same position without receiving the illumination light of the three colors, so that a striped pattern of three colors is repeated on the monitor. There is a gap and it becomes impossible to observe.

【0007】そこで本発明は、高速で動く声帯の鮮明な
カラー画像を面順次方式で得ることができる電子内視鏡
装置を提供することを目的とする。
Therefore, an object of the present invention is to provide an electronic endoscope apparatus capable of obtaining a clear color image of a vocal cord moving at high speed by a frame sequential method.

【0008】[0008]

【課題を解決するための手段】上記の目的を達成するた
め、本発明の電子内視鏡装置は、複数色の照明光を各色
別に時間をずらして被写体に順次照射し、上記被写体の
像を固体撮像素子で順次撮像してカラー画像をモニタ画
面上に表示するようにした面順次方式の電子内視鏡装置
において、音波を検知するためのマイクロフォンと、そ
のマイクロフォンにより検知された音波波形と同期をと
って上記各色照明光で一色毎に被写体を照明しては遮光
をする音波同期照明手段と、各色照明光によって撮像さ
れた画像を一つに合わせてカラー画像を形成する映像処
理手段とを設けたことを特徴とする。
In order to achieve the above object, the electronic endoscope apparatus of the present invention irradiates a plurality of colors of illuminating light on a subject one after another by shifting the time for each color, and displays the image of the subject. In a field-sequential electronic endoscope device in which a solid-state image sensor sequentially captures a color image on a monitor screen, a microphone for detecting sound waves and a waveform of the sound waves detected by the microphone are synchronized. And a sound wave synchronous illumination means for illuminating and shielding the subject with each color illumination light for each color, and a video processing means for forming a color image by combining the images captured by each color illumination light into one. It is characterized by being provided.

【0009】なお、上記音波同期照明手段が上記マイク
ロフォンにより検知された音波の波形に対して常に同じ
タイミングで照明と遮光をして、その結果、上記映像処
理手段から静止画像信号が出力されるようにしてもよ
く、上記音波同期照明手段が一つ又は複数のカラー画像
単位で検知音波の波形に対する照明と遮光のタイミング
を変化させて、その結果、上記映像処理手段からスロー
モーション画像信号が出力されるようにしてもよい。
It should be noted that the sound wave synchronous lighting means always illuminates and shields the sound wave waveform detected by the microphone at the same timing, so that a still image signal is output from the video processing means. Alternatively, the sound wave synchronization illumination means changes the timing of illumination and light blocking with respect to the waveform of the detected sound wave in units of one or a plurality of color images, and as a result, a slow motion image signal is output from the video processing means. You may do it.

【0010】[0010]

【実施例】図面を参照して実施例を説明する。図1は本
発明の実施例の全体構成を示しており、10は電子内視
鏡、20は光源装置兼ビデオプロセッサ、40はモニタ
テレビである。
Embodiments will be described with reference to the drawings. FIG. 1 shows the overall configuration of an embodiment of the present invention, in which 10 is an electronic endoscope, 20 is a light source device / video processor, and 40 is a monitor television.

【0011】電子内視鏡10の挿入部先端には、被写体
の観察画像を電気信号に変換して伝送するための例えば
モノクロタイプの電荷結合素子(CCD)からなる固体
撮像素子11が内蔵され、被写体を照明する照明光を伝
送するためのライトガイドファイババンドル12が配置
されている。
At the tip of the insertion portion of the electronic endoscope 10, there is built-in a solid-state image pickup device 11 composed of, for example, a monochrome type charge coupled device (CCD) for converting an observation image of a subject into an electric signal and transmitting the electric signal. A light guide fiber bundle 12 for transmitting illumination light for illuminating a subject is arranged.

【0012】光源装置兼ビデオプロセッサ20内には、
ライトガイドファイババンドル12に供給する照明光を
発生する光源ランプ21が配置され、その光源ランプ2
1とライトガイドファイババンドル12の入射端との間
には、R,G,B三色のカラーフィルタを交互に挿脱さ
せるために一定速度で回転駆動されるRGB回転フィル
タ22と、扇状の切り欠きを有して照明光を間欠的に遮
光するように回転駆動される円盤状のチョッパ23とが
配置されている。
In the light source device / video processor 20,
A light source lamp 21 that generates illumination light to be supplied to the light guide fiber bundle 12 is arranged.
1 and the incident end of the light guide fiber bundle 12, an RGB rotary filter 22 that is rotationally driven at a constant speed to alternately insert and remove color filters of three colors of R, G, and B, and a fan-shaped cut. A disk-shaped chopper 23, which has a notch and is rotationally driven so as to intermittently block the illumination light, is arranged.

【0013】光源装置兼ビデオプロセッサ20内には、
固体撮像素子11から送られてくる映像信号からRGB
面順次方式によるカラー画像をモニタテレビ40に表示
させるための映像処理部24が設けられていて、赤、
緑、青の三色に時分割された映像信号が一つに合成され
て、カラー画像がモニタテレビ40に表示される。
In the light source device / video processor 20,
From the video signal sent from the solid-state image sensor 11, RGB
A video processing unit 24 for displaying a color image of a frame sequential system on the monitor TV 40 is provided,
The video signals time-divided into three colors of green and blue are combined into one, and a color image is displayed on the monitor television 40.

【0014】そして、映像処理部24における映像信号
処理制御、及びRGB回転フィルタ22とチョッパ23
の回転制御などは、中央演算装置(CPU)25からの
制御信号によって行われる。制御内容の変更などは、キ
ーボード26からのキー入力によって行われる。
Then, the video signal processing control in the video processing unit 24, the RGB rotation filter 22 and the chopper 23 are performed.
The rotation control and the like are performed by a control signal from the central processing unit (CPU) 25. The control content is changed by key input from the keyboard 26.

【0015】この光源装置兼ビデオプロセッサ20に
は、音波を検知するためのマイクロフォン27が接続さ
れており、そこで検知された音波の信号が同期回路28
を経てCPU25に送られる。
A microphone 27 for detecting a sound wave is connected to the light source device / video processor 20, and a signal of the sound wave detected therein is synchronized with a synchronizing circuit 28.
Is sent to the CPU 25.

【0016】そして、マイクロフォン27により検知さ
れた音波の波形と同期をとって、R,G,Bの各色照明
光で一色毎に被写体を照明しては遮光をするようにRG
B回転フィルタ22とチョッパ23の回転が制御され、
それに対応して映像処理部24の信号処理が制御され
る。
Then, in synchronism with the waveform of the sound wave detected by the microphone 27, RG is used to illuminate the object for each color with R, G, and B illuminating light and to shield the object.
The rotations of the B rotation filter 22 and the chopper 23 are controlled,
In response to this, the signal processing of the video processing unit 24 is controlled.

【0017】図2は、上記実施例装置の動作を示してい
る。サインカーブ状の曲線はマイクロフォン27で検知
された音波の波形を示しており、それは左端に図示して
ある声帯の状態に対応している。
FIG. 2 shows the operation of the apparatus of the above embodiment. The sinusoidal curve shows the waveform of the sound wave detected by the microphone 27, which corresponds to the state of the vocal cords shown at the left end.

【0018】この実施例では、○印で示されるように音
波の一周期毎に同期基準点が設定され、その同期基準点
から常に一定時間後の●印で示されるタイミングで撮像
が行われる。
In this embodiment, the synchronization reference point is set for each cycle of the sound wave as indicated by the circle, and the image is taken at the timing indicated by the ●, which is always a fixed time after the synchronization reference point.

【0019】撮像は先ず、光源ランプ21とライトガイ
ドファイババンドル12の入射端との間にRGB回転フ
ィルタ22の赤(R)フィルタとチョッパ23の切り欠
き部とが位置していて、被写体が赤色(R)の照明光で
照明されている瞬間に行われる。
First of all, the red (R) filter of the RGB rotary filter 22 and the notch of the chopper 23 are located between the light source lamp 21 and the incident end of the light guide fiber bundle 12, and the object is red. It is performed at the moment of being illuminated with the illumination light of (R).

【0020】そして、チョッパ23が回転をして光源ラ
ンプ21とライトガイドファイババンドル12の入射端
との間にチョッパ23の遮光部が位置すると、ライトガ
イドファイババンドル12に照明光が供給されない状態
になって、被写体が真っ暗になり、その間に固体撮像素
子11からの電荷転送が行われる。
When the chopper 23 rotates and the light shielding part of the chopper 23 is located between the light source lamp 21 and the incident end of the light guide fiber bundle 12, the light guide fiber bundle 12 is not supplied with illumination light. Then, the subject becomes completely dark, and charge transfer from the solid-state imaging device 11 is performed during that period.

【0021】図2に示されるように、チョッパ23の回
転はマイクロフォン27による検知音波の波形に同期し
ていて、チョッパ23は音波波形の3周期でちょうど1
回転する。また、RGB回転フィルタ22の回転もそれ
と同期していて、RGB回転フィルタ22はチョッパ2
3が1回転する間に3分の1回転する。
As shown in FIG. 2, the rotation of the chopper 23 is synchronized with the waveform of the sound wave detected by the microphone 27, and the chopper 23 is exactly 1 in three cycles of the sound wave waveform.
Rotate. Further, the rotation of the RGB rotary filter 22 is also in synchronization with it, and the RGB rotary filter 22 is the chopper 2
While 3 rotates once, it rotates 1/3.

【0022】したがって、赤(R)成分の撮像から音波
波形のちょうど3周期後に、緑(G)成分の撮像がR成
分の撮像とまったく同じ●印のタイミングで行われて、
続いて電荷転送が行われ、さらに3周期後に青(B)成
分の撮像と電荷転送が行われる。
Therefore, the image of the green (G) component is taken at exactly the same timing as the image of the R component, exactly 3 cycles after the sound wave waveform from the image of the red (R) component,
Subsequently, charge transfer is performed, and after three cycles, image capturing and charge transfer of the blue (B) component are performed.

【0023】このようにして、R,G,B三色成分の撮
像が行われ、その三つの像は振動する声帯を3周期毎に
撮像したものであるが、マイクロフォン27からの入力
音波に同期させてあるので同じ状態の声帯画像である。
したがって、映像処理部24においてその三つの像を一
つに重ね合わせることにより、第1コマ目のカラー画像
が得られる。
In this way, the R, G, and B three-color components are imaged, and the three images are images of the vibrating vocal cords every three cycles, which are synchronized with the sound waves input from the microphone 27. This is the vocal cord image in the same state as it is.
Therefore, the color image of the first frame is obtained by superimposing the three images on one in the video processing unit 24.

【0024】続いて、第1コマ目と全く同様にして第2
コマ目のカラー画像が得られ、さらに、図示されてい
ないが第3コマ目以下のカラー画像が同様にして得られ
る。その結果、各コマの画像は声帯の同じ状態を撮像し
た静止画像となって、それがモニタテレビ40に表示さ
れる。
Then, in the same manner as the first frame, the second frame
The color image of the frame is obtained, and further, although not shown, the color images of the third and subsequent frames are similarly obtained. As a result, the image of each frame is a still image obtained by capturing the same state of the vocal cords, which is displayed on the monitor television 40.

【0025】図3は、●印で示される撮像のタイミング
を各コマのカラー画像、単位で順にずらすようにし
た場合の動作を示している。その制御は、キーボード2
6からのキー入力にしたがってCPU25によって行わ
れる。
FIG. 3 shows the operation in the case where the image pickup timing indicated by the mark ● is sequentially shifted in units of color images of each frame. The control is the keyboard 2
It is performed by the CPU 25 in accordance with the key input from 6.

【0026】図3に示されるように、同じコマ中のR,
G,B三色成分の撮像は各々が同一のタイミングで行わ
れ、二コマ目は一コマ目に対して少し遅れたタイミング
で撮像され、以下、各コマが順に同じ時間ずつ遅延して
撮像される。その結果、声帯のスローモーションのカラ
ー画像が得られ、それがモニタテレビ40に表示され
る。
As shown in FIG. 3, R,
The G and B three-color components are imaged at the same timing, the second frame is imaged at a timing slightly delayed from the first frame, and each frame is sequentially imaged with the same time delay. It As a result, a slow-motion color image of the vocal cords is obtained and displayed on the monitor television 40.

【0027】なお、複数コマのカラー画像単位で撮像の
タイミングを順にずらしても、スローモーションのカラ
ー画像を得ることができる。
A slow-motion color image can be obtained even if the timing of image pickup is sequentially shifted in units of color images of a plurality of frames.

【0028】[0028]

【発明の効果】本発明によれば、マイクロフォンにより
検知された音波波形と同期をとって複数色の照明光で一
色毎に被写体を照明しては遮光をし、各色照明光によっ
て撮像された画像を一つに合わせることにより、高速で
動く声帯の鮮明なカラー画像を面順次方式で得ることが
でき、同期のタイミングを制御することによって、静止
画像でもスローモーション画像でも得ることができる。
According to the present invention, an image picked up by each color of illumination light is obtained by illuminating an object for each color with illumination light of a plurality of colors in synchronism with a sound wave waveform detected by a microphone and blocking the light. By combining them into one, it is possible to obtain a clear color image of a vocal cord moving at high speed by a frame sequential method, and by controlling the timing of synchronization, either a still image or a slow motion image can be obtained.

【図面の簡単な説明】[Brief description of drawings]

【図1】実施例の構成を示す略示図である。FIG. 1 is a schematic diagram showing a configuration of an example.

【図2】実施例の静止画像撮像時の動作を示す線図であ
る。
FIG. 2 is a diagram showing an operation when capturing a still image according to the embodiment.

【図3】実施例のスローモーション画像撮像時の動作を
示す線図である。
FIG. 3 is a diagram showing an operation at the time of capturing a slow motion image according to the embodiment.

【符号の説明】[Explanation of symbols]

11 固体撮像素子 22 RGB回転フィルタ 23 チョッパ 24 映像処理部 27 マイクロフォン 28 同期回路 11 Solid-State Image Sensor 22 RGB Rotating Filter 23 Chopper 24 Image Processing Unit 27 Microphone 28 Synchronous Circuit

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】複数色の照明光を各色別に時間をずらして
被写体に順次照射し、その被写体の像を固体撮像素子で
順次撮像してカラー画像をモニタ画面上に表示するよう
にした面順次方式の電子内視鏡装置において、 音波を検知するためのマイクロフォンと、 上記マイクロフォンにより検知された音波波形と同期を
とって上記各色照明光で一色毎に被写体を照明しては遮
光をする音波同期照明手段と、 各色照明光によって撮像された画像を一つに合わせてカ
ラー画像を形成する映像処理手段とを設けたことを特徴
とする電子内視鏡装置。
1. A frame-sequential system in which illumination light of a plurality of colors is sequentially irradiated to a subject at different times for each color, the images of the subject are sequentially captured by a solid-state image sensor, and a color image is displayed on a monitor screen. In the electronic endoscope system of the method, a microphone for detecting a sound wave, and a sound wave synchronization for illuminating a subject for each color with each color illumination light and shielding the light in synchronization with a sound wave waveform detected by the microphone An electronic endoscope apparatus, comprising: an illuminating unit and an image processing unit that forms a color image by combining images captured by illumination lights of respective colors.
【請求項2】上記音波同期照明手段が、上記マイクロフ
ォンにより検知された音波の波形に対して常に同じタイ
ミングで照明と遮光をして、その結果、上記映像処理手
段から静止画像信号が出力される請求項1記載の電子内
視鏡装置。
2. The sound wave synchronous lighting means always illuminates and shields the sound wave waveform detected by the microphone at the same timing, and as a result, a still image signal is output from the video processing means. The electronic endoscope apparatus according to claim 1.
【請求項3】上記音波同期照明手段が、一つ又は複数の
カラー画像単位で検知音波の波形に対する照明と遮光の
タイミングを変化させて、その結果、上記映像処理手段
からスローモーション画像信号が出力される請求項1記
載の電子内視鏡装置。
3. The sound wave synchronous illumination means changes the timing of illumination and light shielding with respect to the waveform of the detected sound wave in units of one or a plurality of color images, and as a result, a slow motion image signal is output from the video processing means. The electronic endoscope apparatus according to claim 1.
JP20520594A 1994-08-30 1994-08-30 Electronic endoscope device Expired - Fee Related JP3477248B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20520594A JP3477248B2 (en) 1994-08-30 1994-08-30 Electronic endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20520594A JP3477248B2 (en) 1994-08-30 1994-08-30 Electronic endoscope device

Publications (2)

Publication Number Publication Date
JPH0866357A true JPH0866357A (en) 1996-03-12
JP3477248B2 JP3477248B2 (en) 2003-12-10

Family

ID=16503147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20520594A Expired - Fee Related JP3477248B2 (en) 1994-08-30 1994-08-30 Electronic endoscope device

Country Status (1)

Country Link
JP (1) JP3477248B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172088A (en) * 2000-12-07 2002-06-18 Asahi Optical Co Ltd Light source unit for endoscope system
JP2002219100A (en) * 2001-01-29 2002-08-06 Asahi Optical Co Ltd Electronic endoscopic instrument for simultaneously taking in stroboscopic image
JP2002272678A (en) * 2001-03-14 2002-09-24 Asahi Optical Co Ltd Processor for electronic scope
JP2002306410A (en) * 2001-04-19 2002-10-22 Asahi Optical Co Ltd Electronic endoscope system for observing vocal cord
JP2002365559A (en) * 2001-06-06 2002-12-18 Pentax Corp Light source system for endoscope and processor for the endoscope

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172088A (en) * 2000-12-07 2002-06-18 Asahi Optical Co Ltd Light source unit for endoscope system
JP4589521B2 (en) * 2000-12-07 2010-12-01 Hoya株式会社 Electronic endoscope light source device
JP2002219100A (en) * 2001-01-29 2002-08-06 Asahi Optical Co Ltd Electronic endoscopic instrument for simultaneously taking in stroboscopic image
JP2002272678A (en) * 2001-03-14 2002-09-24 Asahi Optical Co Ltd Processor for electronic scope
JP2002306410A (en) * 2001-04-19 2002-10-22 Asahi Optical Co Ltd Electronic endoscope system for observing vocal cord
JP2002365559A (en) * 2001-06-06 2002-12-18 Pentax Corp Light source system for endoscope and processor for the endoscope

Also Published As

Publication number Publication date
JP3477248B2 (en) 2003-12-10

Similar Documents

Publication Publication Date Title
US5812187A (en) Electronic endoscope apparatus
US4740837A (en) Endoscope apparatus with solid state image pickup device
JP3477248B2 (en) Electronic endoscope device
JP2007029746A (en) Endoscope apparatus
JP3690159B2 (en) Image processing apparatus and image processing method for time-division color display device
JPH11155808A (en) Endoscope image pickup device
JP2001136540A (en) Image processor
JPH11305144A (en) Endoscope device
JPH01160526A (en) Electronic endoscopic apparatus
JPH0584164B2 (en)
JPH0868952A (en) Electronic endoscope device
JP2002306410A (en) Electronic endoscope system for observing vocal cord
JPH07118810B2 (en) Color shift prevention device
JPS62111225A (en) Method for supplying illuminating light in electronic endoscope device
JP3255755B2 (en) Electronic endoscope device
KR101976812B1 (en) Stroboscope using total shutter image sensor
JPH088904B2 (en) Video endoscopy equipment
JPH08160319A (en) Light source device for endoscope
JP2690209B2 (en) Color shift prevention device
JP3514557B2 (en) Color shift reduction device for electronic endoscopes
JP2780256B2 (en) Common power supply for endoscope
JP2003070008A (en) Image signal processing apparatus
JPS6266221A (en) Optical pulse irradiating method in television type endoscope device
JP3055156B2 (en) Electronic endoscope device
JPH04297222A (en) Electronic endoscope system

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080926

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090926

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090926

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100926

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees