JP4836591B2 - Endoscope image signal processing apparatus and electronic endoscope system - Google Patents
Endoscope image signal processing apparatus and electronic endoscope system Download PDFInfo
- Publication number
- JP4836591B2 JP4836591B2 JP2006028281A JP2006028281A JP4836591B2 JP 4836591 B2 JP4836591 B2 JP 4836591B2 JP 2006028281 A JP2006028281 A JP 2006028281A JP 2006028281 A JP2006028281 A JP 2006028281A JP 4836591 B2 JP4836591 B2 JP 4836591B2
- Authority
- JP
- Japan
- Prior art keywords
- led
- image signal
- endoscope
- signal processing
- forward voltage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 48
- 238000003780 insertion Methods 0.000 claims description 16
- 230000037431 insertion Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Description
本発明は、光源としてLEDが用いられる内視鏡の画像の明るさを一定に保つ内視鏡画像信号処理装置に関する。 The present invention relates to an endoscope image signal processing apparatus that maintains constant brightness of an endoscope image in which an LED is used as a light source.
内視鏡を用いて被写体の観察をするために、内視鏡の挿入管の先端付近を照明することが必要である。従来の内視鏡において、内視鏡の外部の光源からの照射光を光ファイバにより形成されるライトガイドを介して内視鏡の挿入管の先端まで伝達させることにより照明が行なわれていた。 In order to observe a subject using an endoscope, it is necessary to illuminate the vicinity of the distal end of the insertion tube of the endoscope. In a conventional endoscope, illumination is performed by transmitting irradiation light from a light source outside the endoscope to a distal end of an insertion tube of the endoscope through a light guide formed by an optical fiber.
内視鏡においては挿入管の細径化が望まれている。そこで、挿入管の先端に照明光源としてLEDを設けることにより、ライトガイドを不要として細径化した内視鏡が知られている(特許文献1参照)。 In endoscopes, it is desired to reduce the diameter of the insertion tube. In view of this, there is known an endoscope in which an LED is provided as an illumination light source at the distal end of an insertion tube to reduce the diameter without using a light guide (see Patent Document 1).
しかし、LEDに一定の電流を供給しても、発光する光の輝度が変化することが問題であった。すなわち、照明光の輝度が変化することにより観察される被写体像全体の明るさが一定とならず、観察しづらいことが問題であった。
したがって、本発明ではLEDを照明光源として用いる電子内視鏡の撮影する画像を一定の明るさの画像となるように信号処理を行うことを目的とする。 Therefore, an object of the present invention is to perform signal processing so that an image captured by an electronic endoscope using an LED as an illumination light source becomes an image having a certain brightness.
本発明の内視鏡画像信号処理装置は、電子内視鏡の光源として用いられるLEDの順方向電圧を検出する電圧モニタ回路から順方向電圧をLED電圧信号として受信し電子内視鏡の撮影する画像を画像信号として受信する受信部と、LED電圧信号に応じたゲインを画像信号に乗じる画像信号処理部とを備えることを特徴としている。 An endoscope image signal processing apparatus according to the present invention receives a forward voltage as an LED voltage signal from a voltage monitor circuit that detects a forward voltage of an LED used as a light source of an electronic endoscope, and takes an image of the electronic endoscope. A reception unit that receives an image as an image signal, and an image signal processing unit that multiplies the image signal by a gain corresponding to the LED voltage signal.
さらに、画像信号処理部はLED固有の順方向電圧対温度特性および温度対輝度特性に基づいて順方向電圧毎に応じてゲインを定める演算部を有することが好ましい。さらには、演算部においてゲインはLED固有の順方向電圧対温度特性および温度対輝度特性に従って順方向電圧に応じて算出されるLEDの発する光の輝度とLEDの輝度の基準として予め定められる基準輝度との比に応じて定められることが好ましい。 Furthermore, it is preferable that the image signal processing unit includes a calculation unit that determines a gain for each forward voltage based on the forward voltage versus temperature characteristic and the temperature versus luminance characteristic specific to the LED. Further, in the calculation unit, the gain is a reference brightness predetermined as a reference of the brightness of the light emitted from the LED and the brightness of the LED, which is calculated according to the forward voltage according to the forward voltage vs. temperature characteristic and the temperature vs. brightness characteristic specific to the LED. It is preferable to be determined in accordance with the ratio.
また、LEDが電子内視鏡の挿入管の先端に設けられることが好ましい。 Moreover, it is preferable that LED is provided in the front-end | tip of the insertion tube of an electronic endoscope.
また、本発明の内視鏡システムは、電子内視鏡の光源として用いられるLEDの順方向電圧を検出する電圧モニタ回路と、電子内視鏡の先端に設けられLEDに照明される被写体像を撮像して画像信号を生成する撮像素子と、順方向電圧に応じたゲインを画像信号に乗じる画像信号処理部とを備えることを特徴としている。 The endoscope system of the present invention also includes a voltage monitor circuit that detects a forward voltage of an LED used as a light source of an electronic endoscope, and a subject image that is provided at the tip of the electronic endoscope and is illuminated by the LED. An image pickup device that picks up an image to generate an image signal and an image signal processing unit that multiplies the image signal by a gain corresponding to a forward voltage are provided.
本発明によれば、LED光源の温度変化により発光する光の輝度変化に関わらずモニタに表示させる画像の明るさを一定に保つことが可能になる。 According to the present invention, it is possible to keep the brightness of an image displayed on a monitor constant regardless of a change in luminance of light emitted due to a temperature change of an LED light source.
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を適用した内視鏡画像信号処理装置を有する内視鏡システムの外観図である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is an external view of an endoscope system having an endoscope image signal processing device to which an embodiment of the present invention is applied.
内視鏡システム10は、電子内視鏡20、内視鏡プロセッサ(内視鏡画像信号処理装置)40、およびモニタ50によって構成される。電子内視鏡20は、コネクタ21を介して内視鏡プロセッサ40に接続される。モニタ50もコネクタ(図示せず)を介して内視鏡プロセッサ40に接続される。
The
電子内視鏡20の挿入管22の先端近辺の被写体(図示せず)には、挿入管22の先端に設けられる光源(図示せず)から照明光が照射される。照明光が照射された被写体は、挿入管22の先端に設けられるCCD等の撮像素子(図示せず)により撮像される。
A subject (not shown) near the distal end of the
撮像された画像は画像信号として内視鏡プロセッサ40に送信される。内視鏡プロセッサ40に送信された画像信号は所定の処理が行われた後、モニタ50に出力され、そこで被写体像が表示される。
The captured image is transmitted to the
次に図2を用いて、電子内視鏡20の内部構成について説明する。図2は、電子内視鏡20の内部構成を概略的に示すブロック図である。
Next, the internal configuration of the
電子内視鏡20は、操作部23、挿入管22、ケーブル24、およびコネクタ21によって構成される。挿入管22は、操作部23に取り付けられる。コネクタ21は、ケーブル24を介して操作部23に取り付けられる。
The
操作部23には、内視鏡コントローラ25、光源駆動回路26、撮像素子駆動回路27、CDS/AGC28、撮像素子プロセス回路29、およびLED順方向電圧モニタリング回路34が設けられる。内視鏡コントローラ25によって、光源駆動回路26、撮像素子駆動回路27、CDS/AGC28、および撮像素子プロセス回路29の動作が制御される。
The
挿入管22の先端には、配光レンズ30、対物レンズ31、撮像素子32、およびLED光源33が設けられる。光源駆動回路26に駆動されてLED光源33が発光し、発光する光が配光レンズ30を介して、先端付近の被写体に照射される。なお、光量を安定させるために、LED光源33には一定の電流が流される。
A
対物レンズ31は、照明光が照射された被写体からの反射光を撮像素子32の受光面に結像させる。撮像素子駆動回路27に駆動され撮像素子32により撮像動作は実行される。撮像素子が撮像した被写体像に応じた画像信号が生成される。
The
画像信号は、CDS/AGC28に送られる。CDS/AGC28において、画像信号は相関二重サンプリングされ、またゲインの調整が行なわれる。ゲインの調整が行われた画像信号は、撮像素子プロセス回路29に送信される。撮像素子プロセス回路29において、クランプ、ブランキング、YC分離処理等の所定の信号処理が行なわれる。YC分離処理の行われた画像信号は、Y信号とC信号として内視鏡プロセッサ40に送られる。
The image signal is sent to the CDS /
LED光源33の入力端は光源駆動回路26に、出力端がLED順方向電圧モニタリング回路34にそれぞれ接続される。LED順方向電圧モニタリング回路34は、バッファ34aと差動増幅回路34bとによって構成される。
The input end of the
バッファ34aはインピーダンスの調整に用いられ、LED光源33の入力端および出力端における電位差、すなわち順方向電圧が差動増幅回路34bによって検出される。検出された順方向電圧がLED電圧信号として内視鏡コントローラ25に送られる。LED電圧信号は内視鏡コントローラ25からさらに内視鏡プロセッサ40に送られる。
The
後述するように、コネクタ21を介して電子内視鏡20を内視鏡プロセッサ40に接続することにより、撮像素子プロセス回路29および内視鏡コントローラ25が電気的に内視鏡プロセッサ40と接続される。
As will be described later, by connecting the
次に、内視鏡プロセッサ40の構成について図3を用いて説明する。図3は、内視鏡プロセッサ40の内部構成を概略的に示すブロック図である。
Next, the configuration of the
内視鏡プロセッサ40は、前段信号処理回路41、A/Dコンバータ42、画像メモリ43、D/Aコンバータ44、後段信号処理回路45、およびプロセッサコントローラ46等によって構成される。
The
コネクタ21を介して電子内視鏡20を内視鏡プロセッサ40に接続すると、撮像素子プロセス回路29と前段信号処理回路41とが接続され、内視鏡コントローラ25とプロセッサコントローラ46とが接続される。
When the
撮像素子プロセス回路29から出力された画像信号は、前段信号処理回路41に送られる。前段信号処理回路41において、画像信号に対して輪郭強調処理等の所定の信号処理が施される。前段信号処理回路41はA/Dコンバータ42に接続されており、所定の信号処理の施された画像信号はA/Dコンバータ42によってA/D変換される。
The image signal output from the image
A/Dコンバータ42は、画像メモリ43に接続される。A/Dコンバータ42によってデジタル信号に変換された画像信号は、画像メモリ43に格納される。画像メモリ43はさらにD/Aコンバータ44に接続されており、画像メモリ43に格納された画像信号は適時読出されてD/Aコンバータ44によってD/A変換される。
The A /
D/Aコンバータ44は、後段信号処理回路45に接続される。D/Aコンバータ44によりD/A変換された画像信号は、後段信号処理回路45において画像信号の輝度信号成分のゲイン調整が行われ、さらに所定の信号処理が施される。所定の信号処理が施された画像信号は、輝度信号成分、色度信号成分、および同期信号成分を有するビデオ信号としてモニタ50に出力される。モニタ50には送信されたビデオ信号に相当する画像が表示される。
The D /
後段信号処理回路45において行われる輝度信号のゲイン調整について詳細に説明する。1フレームの画像信号が後段信号処理回路45に送られるたびに、画像信号の輝度信号成分に乗じるゲインがプロセッサコントローラ46から後段信号処理回路45に送られる。
The gain adjustment of the luminance signal performed in the post-stage
プロセッサコントローラ46に、内視鏡コントローラ25からLED電圧信号が送られる。プロセッサコントローラ46において、LED電圧信号に対応するゲインが求められる。求められたゲインが、前述のように、プロセッサコントローラ46から後段信号処理回路45に送られる。
An LED voltage signal is sent from the
なお、一般的にLEDはLED自身の温度により電流の輝度変換効率が変わることが知られている。そのため、定電流によってLEDを発光させる場合であっても、温度変化に応じて発光する光の輝度が低下することが知られている。また、LEDに電流を流すことによりLEDは自ら発熱するため、挿入管22の先端のように密閉した空間における継続的な使用によりLEDの輝度は減じることが考えられる。
In general, it is known that the luminance conversion efficiency of current varies depending on the temperature of the LED itself. For this reason, it is known that even when the LED is caused to emit light with a constant current, the luminance of the emitted light is reduced in accordance with the temperature change. Further, since the LED generates heat by passing a current through the LED, it is conceivable that the brightness of the LED is reduced by continuous use in a sealed space such as the tip of the
ところで、LEDに流れる電流値が一定に保たれることを条件とすれば、温度対輝度特性はLED毎に固有である。また、LEDに一定の電流を流す時の順方向電圧はその時の周囲温度に応じて変化し、順方向電圧対温度特性もLED毎に固有である。従って、LED光源33の順方向電圧から順方向電圧対温度特性により温度が求まり、求められた温度からLED光源33の輝度を求めることが可能である。
By the way, assuming that the value of the current flowing through the LED is kept constant, the temperature-luminance characteristic is unique for each LED. Further, the forward voltage when a constant current flows through the LED changes according to the ambient temperature at that time, and the forward voltage versus temperature characteristic is also unique for each LED. Therefore, the temperature can be obtained from the forward voltage of the
そこで、LED光源33の輝度の基準となる基準輝度を予め定め、検出した順方向電圧により求められる温度に対応した現在輝度を求めることが可能である。この現在輝度を基準輝度で除した値に基づいてゲインが算出される。すなわち、基準輝度に対する現在輝度の増減の割合に応じて、後段信号処理回路45に送られるゲインが減少または増大されて、結果的にモニタ50に表示させる画像の明るさが一定に保たれる。
Therefore, it is possible to determine a reference luminance that is a reference for the luminance of the
このようにして求めたゲインが後段信号処理回路45において画像信号の輝度信号成分に乗じられる。なお、LED光源33の順方向電圧対温度特性およびLED光源33の温度からその温度の時のLED光源33の輝度と求めるためのLEDの温度対輝度特性の各係数はROM47に記憶され、必要に応じてプロセッサコントローラ46に送られる。
The gain obtained in this way is multiplied by the luminance signal component of the image signal in the post-stage
なお、プロセッサコントローラ46によって、前段信号処理回路41、A/Dコンバータ42、画像メモリ43、D/Aコンバータ44、後段信号処理回路45の動作が制御される。
Note that the
内視鏡プロセッサ40において行なわれるLED光源33の順方向電圧に対する表示画像の補正の動作を、図4のフローチャートを用いて説明する。内視鏡システム10において、電子内視鏡20の撮影画像を表示する観察モードに切替えられることにより、表示画像の補正の処理が始められる。
The operation of correcting the display image with respect to the forward voltage of the
ステップS100において、1フレームの画像信号が受信される。受信された画像信号は、ステップS101において、所定の信号処理が施される。次のステップS102では、ステップS100において受信した画像信号を生成したときのLED光源33の順方向電圧に相当するLED電圧信号が受信される。
In step S100, an image signal of one frame is received. The received image signal is subjected to predetermined signal processing in step S101. In the next step S102, an LED voltage signal corresponding to the forward voltage of the
LED電圧信号が受信されるとステップS103に進み、画像信号に乗じるゲインが算出される。すなわち、LED電圧信号に基づいてLED光源33の現在輝度が求められ、現在輝度と標準輝度とに基づいてゲインが算出される。
When the LED voltage signal is received, the process proceeds to step S103, and a gain multiplied by the image signal is calculated. That is, the current luminance of the
次のステップS104では、ステップS101において所定の信号処理が施された画像信号に、ステップS103で算出されたゲインが乗じられる。ゲイン調整が終了するとステップS105に進む。ステップS105においてゲイン調整の行われた画像信号にさらに所定の信号処理が施され、画像信号はモニタ50に出力される。
In the next step S104, the image signal subjected to the predetermined signal processing in step S101 is multiplied by the gain calculated in step S103. When the gain adjustment is completed, the process proceeds to step S105. Predetermined signal processing is further performed on the image signal whose gain has been adjusted in step S <b> 105, and the image signal is output to the
次のステップS106では、観察モードを終了とする入力があるか否かが判定される。終了の入力がある場合に、本実施形態における表示画像の補正の処理が終了する。終了入力が無い場合には、ステップS100に戻り、以後終了入力があるまでステップS100〜ステップS106の処理が繰返される。 In the next step S106, it is determined whether or not there is an input for ending the observation mode. When there is an end input, the display image correction processing in the present embodiment ends. If there is no end input, the process returns to step S100, and the processes in steps S100 to S106 are repeated until there is an end input thereafter.
以上のような構成の内視鏡画像信号処理装置によれば、LEDを照明光源として使用する電子内視鏡を用いる場合に、モニタ50に表示する画像の明るさを一定に保つことが可能である。
According to the endoscope image signal processing apparatus configured as described above, it is possible to keep the brightness of an image displayed on the
なお、本実施形態においては、LED光源33のLED光源33の順方向電圧に基づいてプロセッサコントローラ46においてゲインを算出する構成であるが、予めLED光源33の順方向電圧に対応したゲインのテーブルをROM47に記憶させ、検出された順方向電圧に応じてゲインが定められる構成であってもよい。
In the present embodiment, the gain is calculated by the
また、本実施形態において、LED光源33が挿入管22の先端に設けられる構成であるが、従来の内視鏡システムのように内視鏡の外部の光源装置に設けられる構成であってもよい。また、内視鏡の操作部に設けられる構成であってもよい。ただし、LED光源33が外部光源装置または操作部に設けられる構成の場合は、従来の内視鏡と同様にライトガイドなどを用いて照明光を挿入管22の先端まで伝達させることが必要である。
In the present embodiment, the
10 内視鏡システム
20 電子内視鏡
22 挿入管
25 内視鏡コントローラ
29 撮像素子プロセス回路
32 撮像素子
33 LED光源
34 LED順方向電圧モニタリング回路
40 内視鏡プロセッサ
45 後段信号処理回路
46 プロセッサコントローラ
50 モニタ
DESCRIPTION OF
Claims (4)
前記LED電圧信号に応じたゲインを前記画像信号に乗じる画像信号処理部とを備え、
前記画像信号処理部は、前記LEDの温度に応じて変化する前記LED固有の特性である順方向電圧対温度特性および温度対輝度特性に基づいて前記順方向電圧毎に応じて前記ゲインを定める演算部を有する
ことを特徴とする内視鏡画像信号処理装置。 A receiving unit that receives the forward voltage as an LED voltage signal from a voltage monitor circuit that detects the forward voltage of an LED used as a light source of the electronic endoscope, and receives an image captured by the electronic endoscope as an image signal When,
An image signal processing unit that multiplies the image signal by a gain corresponding to the LED voltage signal,
The image signal processing unit calculates the gain according to the forward voltage based on the forward voltage vs. temperature characteristic and the temperature vs. luminance characteristic, which are characteristic of the LED that changes according to the temperature of the LED. An endoscopic image signal processing apparatus characterized by comprising a unit.
前記電子内視鏡の先端に設けられ、前記LEDに照明される被写体像を撮像して画像信号を生成する撮像素子と、
前記順方向電圧に応じたゲインを前記画像信号に乗じる画像信号処理部とを備え、
前記画像信号処理部は、前記LEDの温度に応じて変化する前記LED固有の特性である順方向電圧対温度特性および温度対輝度特性に基づいて前記順方向電圧毎に応じて前記ゲインを定める演算部を有する
ことを特徴とする電子内視鏡システム。 A voltage monitor circuit for detecting a forward voltage of an LED used as a light source of an electronic endoscope;
An image sensor that is provided at a tip of the electronic endoscope and that captures a subject image illuminated by the LED to generate an image signal;
An image signal processing unit that multiplies the image signal by a gain corresponding to the forward voltage,
The image signal processing unit calculates the gain according to the forward voltage based on the forward voltage vs. temperature characteristic and the temperature vs. luminance characteristic, which are characteristic of the LED that changes according to the temperature of the LED. An electronic endoscope system characterized by having a section.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006028281A JP4836591B2 (en) | 2006-02-06 | 2006-02-06 | Endoscope image signal processing apparatus and electronic endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006028281A JP4836591B2 (en) | 2006-02-06 | 2006-02-06 | Endoscope image signal processing apparatus and electronic endoscope system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007202951A JP2007202951A (en) | 2007-08-16 |
JP4836591B2 true JP4836591B2 (en) | 2011-12-14 |
Family
ID=38482946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006028281A Active JP4836591B2 (en) | 2006-02-06 | 2006-02-06 | Endoscope image signal processing apparatus and electronic endoscope system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4836591B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6210767B2 (en) | 2013-07-17 | 2017-10-11 | オリンパス株式会社 | Light source device |
DE112016006920T5 (en) * | 2016-05-30 | 2019-02-14 | Olympus Corporation | Endoscope device and endoscope |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02126484A (en) * | 1988-11-04 | 1990-05-15 | Sony Chem Corp | Dusting tape for magnetic tape |
JPH07241270A (en) * | 1994-03-04 | 1995-09-19 | Fuji Photo Optical Co Ltd | Light source voltage variable electronic endoscope device |
-
2006
- 2006-02-06 JP JP2006028281A patent/JP4836591B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007202951A (en) | 2007-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5452785B1 (en) | Imaging system | |
JP5372269B2 (en) | Imaging device | |
EP2415390A1 (en) | Electronic endoscope system | |
US9439554B2 (en) | Endoscope having connector part with output selector | |
US10349027B2 (en) | Imaging device and processing device | |
JP5467182B1 (en) | Imaging system | |
JP6058235B1 (en) | Endoscope system | |
JP2007215907A (en) | Endoscope processor, endoscopic system and black balance adjustment program | |
JP4787032B2 (en) | Endoscope image signal processing apparatus and electronic endoscope system | |
JP5926980B2 (en) | Imaging apparatus and imaging system | |
JP6489644B2 (en) | Imaging system | |
JP4836591B2 (en) | Endoscope image signal processing apparatus and electronic endoscope system | |
US12082773B2 (en) | Control device, endoscope, and control method | |
US9247863B2 (en) | Endoscope apparatus which controls clamping of optical black included in an image pickup signal | |
JP2011024901A (en) | Electronic endoscope system and light control signal correcting method | |
JP2001070240A (en) | Endoscope instrument | |
JP2008307294A (en) | Imaging system | |
WO2016080527A1 (en) | Endoscopic system and endoscope | |
JP2009095466A (en) | Endoscope system | |
JPH10165363A (en) | Endoscopic image pickup signal processing device | |
JP2005261636A (en) | White balance adjusting device of endoscope | |
JP2007117153A (en) | Electronic endoscope system | |
JP2019154628A (en) | Endoscope, endoscope system, and temperature detection method and program | |
JP2010082224A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080502 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110927 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4836591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |