[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4931231B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP4931231B2
JP4931231B2 JP2007166688A JP2007166688A JP4931231B2 JP 4931231 B2 JP4931231 B2 JP 4931231B2 JP 2007166688 A JP2007166688 A JP 2007166688A JP 2007166688 A JP2007166688 A JP 2007166688A JP 4931231 B2 JP4931231 B2 JP 4931231B2
Authority
JP
Japan
Prior art keywords
pixels
voltage
imaging apparatus
pixel
transfer switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007166688A
Other languages
English (en)
Other versions
JP2009005285A5 (ja
JP2009005285A (ja
Inventor
照幸 大門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007166688A priority Critical patent/JP4931231B2/ja
Publication of JP2009005285A publication Critical patent/JP2009005285A/ja
Publication of JP2009005285A5 publication Critical patent/JP2009005285A5/ja
Application granted granted Critical
Publication of JP4931231B2 publication Critical patent/JP4931231B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、CMOSイメージセンサ等の撮像素子を用いた撮像装置及びその制御方法に関する。
デジタルカメラやビデオカメラ等の撮像装置においては、撮像素子としてCCDやCMOSイメージセンサを使用するのが一般的である。近年、撮像素子の多画素化が進む一方で、一定の面積内に数万もの画素を構成させるため、画素サイズは極度に縮小してきている。このため、1画素当たりが集光できる光量が減少すると共に、1画素当たりの飽和光量も極度に減少している。つまり、このような撮像装置で高コントラストの被写体を撮影した場合、明るい部分ではすぐに白飛び現象が発生してしまう。
このような点から、イメージセンサの飽和防止、つまりは飽和画素を検出して全画素の電荷蓄積動作を停止させる技術については、種々の提案がされている(例えば、特許文献1参照)。
特許文献1では、測距用のラインセンサにおいて1つのラインを構成する画素の中からピーク出力画素が所定のレベルに達することを検出し、電荷蓄積動作を停止させようとするものである。また、複数ラインセンサがある場合は、ライン毎のピーク出力画素を時系列に検出することで、複数ラインに適用している。
特開平10−318835号公報
しかしながら、上記特許文献1の手法を2次元の撮像素子を有する撮像装置に適用する場合、行又は列毎に時系列にピーク出力画素の検出を行うことになるため、リアルタイムに電荷蓄積動作の停止などの制御を行うことができないという問題があった。
本発明は上記従来の問題点に鑑み、以下を目的とする撮像装置及びその画素飽和状態検出方法を提供する。即ち、白飛び現象の無い良好な画像を得るために、撮像素子における画素の飽和状態をリアルタイムに検出して、電荷蓄積動作の停止などの制御をリアルタイムに行うことができることを目的とする。
上記目的を達成するため、本発明の撮像装置は、複数の画素が配列された撮像素子を有する撮像装置において、前記複数の画素にリセット電圧を供給するための共通電源と、前記共通電源に流れる電流に基づいて前記複数の画素のいずれかが飽和状態にあることを検出する飽和検出手段、を有することを特徴とする。
また、本発明の撮像装置の制御方法は、数の画素が配列され、前記複数の画素にリセット電圧を供給するための共通電源を備えた撮像素子を有する撮像装置の制御方法であって、前記共通電源に流れる電流に基づいて前記複数の画素のいずれかが飽和状態にあることを検出することを特徴とする。
本発明によれば、撮像素子における画素の飽和状態をリアルタイムに検出して、電荷蓄積動作の停止などの制御をリアルタイムに行うことが可能になる。これにより、撮影した画像の白飛び現象を確実に防止することができ、画質を向上を図ることができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
<実施の形態に係る画素部回路の構成>
図1は、本発明の実施の形態に係る撮像装置の要部構成を示す回路図であり、光電変換用の撮像素子としてCMOS型エリアセンサを用いた画素部回路を示している。
撮像素子は、複数の画素内の光量電荷を蓄積して電気信号として出力する。画素部回路は、駆動パルスが入力される駆動パルス入力線12と、信号が出力される垂直出力線13とがマトリックス状に配列されている。
駆動パルス入力線12は、駆動パルスとしてPselパルス、Presパルス及びPtxパルスがそれぞれ供給される3本の信号線から成る。駆動パルス入力線12と垂直出力線13との各交差箇所には、それぞれ光電変換用の画素50が接続され、各駆動パルス入力線12は、垂直走査回路14に接続されている。
以下、(m+1)行目の駆動パルスは、Pres(m+1)パルス、Ptx(m+1)パルス、Psel(m+1)パルスと記し、(m)行目の駆動パルスは、Pres(m)パルス、Ptx(m)パルス、Psel(m)パルスと記す。また、(m+1)行目の画素は画素50(m+1)と記し、(m)行目の画素は画素50(m)と記す。さらに、(m+1)行目の駆動パルス入力線は、駆動パルス入力線12(m+1)と記し、(m)行目の駆動パルス入力線は、駆動パルス入力線12(m)と記す。そして、(n+1)列目の垂直出力線は、垂直出力線13(n+1)と記し、(n)列目の垂直出力線は、垂直出力線13(n)と記す。
垂直走査回路14は、所定の行の画素50を選択する。この選択行の画素50の出力が垂直出力線13(m+1)、(m)、…下に読み出され、各転送ゲート15a,15bを介して、信号蓄積部15に蓄積される。信号蓄積部15に蓄積された出力は水平走査回路16によって順次出力アンプ部へ読み出されるようになっている。
図2は、図1中の画素50の回路構成を示す回路図である。
この各画素50(m)、(m+1)、…は、同一の回路構成である。即ち、各画素50は、NチャネルMOSトランジスタ(以下、単にMOSトランジスタと記す)から成るリセットスイッチ3を有する。また、リセットスイッチ3と電源SVDD(共通電源)との間には、電源SVDDに流れ込む電流をモニタするためのMOSトランジスタ21が接続されている。そして、そのMOSトランジスタ21のゲートを共通ゲートとするMOSトランジスタ22を設けてカレントミラー回路が構成されている。
MOSトランジスタ22のドレインは電源SVDDに接続され、ソースは負荷抵抗23を介して接地されている。さらに、前記カレントミラー回路の出力としてMOSトランジスタ22のソースは、可変電源Vcompを閾値とするコンパレータ24の入力側に接続され、コンパレータ24の出力側からVsvddmon信号が出力される。つまり、電源SVDDに流れる電流変化により、前記カレントミラー回路の出力電圧が所定電圧(Vcomp)を越えた場合にVsvddmon信号として出力される構成(飽和検出手段)となっている。
リセットスイッチ3のソースと接地との間には、接続点Nを介して、フローティングデフュージョン(FD)と呼ばれる電荷蓄積部9(以下、FD部9と記す)が接続されている。さらに、接続点Nと接地との間には、MOSトランジスタから成るMOS型転送スイッチ2と、光電変換用のフォトダイオード(PD)1とが直列接続されている。転送スイッチ2のゲートは、可変電圧バッファ18の出力側に接続されている。可変電圧バッファ18は、転送パルスPtxを入力し、転送スイッチ2のゲートに印加する低レベル電圧(Vtxl)を可変にするためのバッファである。
また、リセットスイッチ3のドレインと、当該画素50の出力端である垂直出力線13との間には、MOSトランジスタから成る行選択スイッチ6と、MOSトランジスタから成る画素アンプ10とが直列接続されている。画素アンプ10と負荷電流源7とでソース・フォロア回路が構成されている。そして、行選択スイッチ6のゲートは、行選択用の駆動パルスPselが印加され、画素アンプ10のゲートには、前記接続点Nが接続される。
図2の回路によれば、光電変換はPD1で行われ、光量電荷の蓄積期間中は、転送スイッチ2はオフ状態であり、画素アンプ10のゲート、即ちFD部9にはこのPD1で光電変換された電荷は転送されない。画素アンプ10のゲートは、蓄積開始前に該リセットスイッチ3がオンし、適当な電圧に初期化されている。即ちこれがダークレベルとなる。
次に又は同時に行選択スイッチ6がオンになると、負荷電流源7と画素アンプ10で構成されるソース・フォロア回路が動作状態になり、このとき、該転送スイッチ2をオンさせることでPD1に蓄積されていた電荷は、画素アンプ10のゲートに転送される。
ここで、選択行の画素の出力が図1の垂直出力線13上に発生する。この出力は、各転送ゲート15a,15bを介して、信号蓄積部15に蓄積される。信号蓄積部15に一時蓄積された出力は水平走査回路16によって順次出力アンプ部へ読み出される。
なお、前記カレントミラー回路及びコンパレータ24を含む構成を図2に示すように画素毎に配置することもできるが、回路が複雑になり回路構成面積も膨大になるため、行毎或いは列毎、又は全画素共通で1つの構成とすることも可能である。以下の本実施の形態における説明では、説明を簡単にするために、前記カレントミラー回路及びコンパレータ24を含む構成を、全画素共通で1つの構成とする前提で説明する。
<本実施の形態に係る撮像装置の動作>
次に、図3等を参照して、本実施の形態に係る撮像装置の動作を詳細に説明する。
図3は、本実施の形態に係る撮像装置の動作を示すタイミングチャートである。
図中のPVSRパルスは、垂直転送パルスであり、PHSRパルスは水平転送パルスである。メカニカルシャッタ(以下、メカシャッタと記す)は、開閉することで撮像素子の露光時間を制御する。VPD(m+1,n)は、(m+1)行、(n)列のフォトダイオード1の出力電圧であり、VFD(m+1,n)は、(m+1)行、(n)列の画素アンプ10のゲート電圧である。ITres(m+1,n)は、(m+1)行、(n)列のリセットスイッチ3を流れる電流である。
図3のA時点において、Presパルスを“1”にすることで、リセットスイッチ3をオン状態にしてFD部9をSVDD電圧でリセットする(図3のT1)。その状態で更にPtxパルスを“1”にすることで、転送スイッチ2をオンしてPD1をリセットし(T2)、更にPtxパルスを“0”にすることで、転送スイッチ2をオフしてPD1の蓄積を開始する。ここまでの動作は、全行一括で行われる。
その後、メカシャッタを開閉させて画素部を露光させる(T3)。露光終了後、Pres(m+1)パルスを“0”にすることでリセットスイッチ3をオフして、(m+1)行目のFD部9のリセット解除を行う。さらに、Psel(m+1)パルスを“1”にすることで(T4)、(m+1)行目の行選択スイッチ6をオンし、(m+1)行目の画素アンプ10の出力が垂直出力線13に接続される(この状態を仮に状態K1とする)。
そして、Ptx(m+1)パルスを“1”にすることで(T5)、(m+1)行目の転送スイッチ2をオンさせて、PD1で蓄積された光量電荷をFD部9へ転送する。そして、この光量電荷が、画素アンプ10を介して垂直出力線13に読み出される(この状態を仮に状態K2とする)。このとき、状態K1の出力と状態K2の出力を画素毎に一時記憶し、その差分をとることで各画素の出力を得ることができる。
その後、Ptx(m+1)パルスを“0”にすることで(T6)転送スイッチ2をオフさせる。さらに、Pres(m+1)パルスを“1”、Ptx(m+1)パルスを“1”、Psel(m+1)パルスを“0”にすることで(T7)、(m+1)行目の垂直出力線13への出力をオフさせ、FD部9及びPD1をリセットさせる。
その後、画素毎に記憶された信号を、水平転送パルスPHSRを駆動することで逐次読み出し(T8)、その読み出し終了後に、垂直転送パルスPVSRを駆動することで(T9)、次の(m)行の読み出しに移行する。(m)行の読み出し動作も、前記(m+1)行目の動作と等価なので説明を省略する。
ここで、PD1の電圧VPD(m+1,n)は、リセット後にメカシャッタが開状態になった瞬間(T3)からPD1に光量電荷が蓄積されるため、徐々に低下していくが、PD1が飽和したところで(T10)、その電圧降下は停止する。
一方、PD1が飽和後、光量電荷はPD1の周辺に溢れて半導体基板方向に吸収される。また、その一部はオフ状態の転送スイッチ2を越えてリセットスイッチ3を介して、電源SVDDへ流れ込む。このとき、FD部9は、低インピーダンスの電源SVDDでリセットされているため、その電圧変化は無いが、リセットスイッチ3を介して電源SVDDに流れる電流は増加する。
このような点を考慮して、本実施の形態では、PD1の飽和状態を検出する方法として、蓄積中の電源SVDDに流れる電流をモニタする方法を採用している。即ち、全画素共通の電源SVDDに流れ込む電流を例えば全画素共通の1つのカレントミラー回路を介してモニタし、全画素中のどこかの画素が飽和したところでその飽和状態を検出する。画素の飽和状態を検出したらメカシャッタを閉じ、これによって画素部に対する露光を停止させるように構成している。
また、転送スイッチ2のゲートには、PD1の蓄積電荷のFD部9へのリークを防止するため、−1.2V程度(第2の電圧)の低い電圧を印加することで転送スイッチを強力にオフさせるのが一般的である。しかし、本実施の形態では、PD1の飽和状態を精度よく検出させるために、可変電圧バッファ18により、PD1の蓄積動作中のみ転送スイッチ2のオフ時のゲート電圧を−0.8V程度(第1の電圧)にする。これにより、PD1が飽和した後の電荷を極力転送スイッチ2の方向に溢れさせるように工夫している。
しかし、転送スイッチ2に印加する低レベル電圧は、より低くすることで転送スイッチ2を強力にオフさせる効果があるとともに、転送スイッチ2のゲート下の暗電流を抑制する効果もある。従って、この低レベル電圧を画素部の蓄積動作中に上げると、より多くの暗電流を発生してしまうことになる。
この対策として、暗電流が無視できないような撮影条件、例えば、露光時間或いは電荷蓄積時間が長い場合や、環境温度が高温の場合は、次のようにしても良い。即ち、低レベル電圧を−0.8V(第1の電圧)よりも若干低め(例えば−0.9V:第3の電圧)にコントロールする。
また、露光が終了してから信号読み出しまでにタイムラグが生じる場合、露光終了後に発生する暗電流分も無視できない。このため、露光終了後には、転送スイッチ2に印加される低レベル電圧を、更に低い電圧(例えば、−1.2V:第2の電圧)にするようにしている。これにより、撮影された画像のほとんどの領域は飽和の無い、階調を残した画像として得ることができる。
次に、本実施の形態に係る画素部回路の特徴を明確化するために、一般的な従来回路と対比して説明する。
図4は、図2に対応した従来の一般的な画素の回路図であり、図2と共通の要素には同一の符号を付し、その説明を省略する。また、図5は、図4の従来の画素の回路の動作を示すフローチャートであり、図3と共通の要素には同一の符号を付し、その説明を省略する。
図4に示すように、従来の一般的な画素の回路は、図2で示した本実施の形態に係る画素の回路において、カレントミラー回路と可変電圧バッファ18を除いた構成になっている。この点から明らかなように、本実施の形態における画素の回路の特徴は、カレントミラー回路を設けてコンパレータ24から前記Vsvddmon信号を出力する構成にした。さらに、可変電圧バッファ18を設けて転送スイッチ2のゲートに低レベル電圧Vtxlを印加するように構成した点である。
転送スイッチ2のゲートに印加する低レベル電圧(Vtxl)は、本実施の形態では、メカシャッタの開時間に同期して−0.8V(第1の電圧)にしている(図3のT11)。このため、PD1の飽和後にリセットスイッチ3に流れる電流は、図5に示す従来回路と比べて大きくなる(図3のT12と図5のT22参照)。この電流によって適切な閾値電圧(Vcomp)に設定されたコンパレータ24の出力がVsvddmon信号として出力される(図3のT13)。
<本実施の形態の利点>
(1)本実施の形態によれば、光量電荷の蓄積中にVsvddmon信号をモニタして、その出力値が1になったことを検出することにより、全画素内のいずれかの画素が飽和したものとして、メカシャッタを閉じて露光を停止する。このような画素の飽和による露光停止(蓄積動作の停止)の制御をリアルタイムに行うことができる。即ち、全画素中のいずれかの画素が飽和しているかどうかをリアルタイムに検出することができ、その結果により露光又は蓄積を停止させる。そのため、飽和画素の極めて少ない画像を得ることができ、白飛び現象の無い且つ階調性を損なわない画像を得ることが可能となる。
(2)転送スイッチ2のゲートに印加される低レベル電圧(Vtxl)を、露光中又は光量電荷の蓄積中には通例よりも若干高い電圧(例えば−0.8V)に設定し、それ以外の時は若干低い電圧(例えば−1.2V)にするようにした。これにより、暗電流による悪影響を少なくすることができる。
(3)更に、露光中又は光量電荷蓄積中に転送スイッチ2のゲートに印加される低レベル電圧(Vtxl)を、露光時間又は蓄積時間、或いは周囲環境温度に合わせて可変にすることにより、更に暗電流の悪影響を排除することができる。
なお、上記の説明では、露光時間の制御をメカシャッタを用いて行うようにしているが、露光時間の制御を一般にいわれる電子シャッタにより行うことができる場合は、その方法を用いて露光制御させても良い。
実施の形態に係る撮像装置の要部構成を示す回路図である。 図1中の画素の回路構成を示す回路図である。 実施の形態に係る撮像装置の動作を示すタイミングチャートである。 図2に対応した従来の一般的な画素の回路図である。 図4の従来の画素の回路の動作を示すフローチャートである。
符号の説明
1 フォトダイオード
2 転送スイッチ
3 リセットスイッチ
6 行選択スイッチ
9 フローティングデフュージョン
10 画素アンプ
13 垂直出力線
14 垂直走査回路
16 水平走査回路
18 可変電圧バッファ
21、22 MOSトランジスタ
23 負荷抵抗
24 コンパレータ

Claims (7)

  1. 複数の画素が配列された撮像素子を有する撮像装置において、
    前記複数の画素にリセット電圧を供給するための共通電源と、
    前記共通電源に流れる電流に基づいて前記複数の画素のいずれかが飽和状態にあることを検出する飽和検出手段
    を有することを特徴とする撮像装置。
  2. 前記飽和検出手段により前記複数の画素が飽和状態にあることを検出したときに、前記複数の画素への露光を停止させる、又は前記複数の画素における電荷蓄積動作を停止させるように構成したことを特徴とする請求項1に記載の撮像装置。
  3. 前記複数の画素から信号を出力するために各画素毎に設けられたMOS型転送スイッチを有し、前記MOS型転送スイッチのゲートに印加される電圧のうち、低レベル電圧を可変にするように構成したことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記MOS型転送スイッチのゲートに印加される低レベル電圧は、前記複数の画素への露光中又は前記複数の画素における電荷の蓄積中に第1の電圧に設定され、それ以外の時は前記第1の電圧よりも低い第2の電圧に設定するように構成したことを特徴とする請求項3に記載の撮像装置。
  5. 前記複数の画素への露光中又は前記複数の画素における電荷の蓄積中に前記MOS型転送スイッチのゲートに印加される低レベル電圧は、周囲環境温度が高いときは前記第1の電圧よりも低く前記第2の電圧よりも高い第3の電圧に設定するように構成したことを特徴とする請求項4に記載の撮像装置。
  6. 前記複数の画素への露光中又は前記複数の画素における電荷の蓄積中に前記MOS型転送スイッチのゲートに印加される低レベル電圧は、露光時間又は電荷蓄積時間が長いときに、前記第1の電圧よりも低く前記第2の電圧よりも高い第3の電圧に設定させるようにしたことを特徴とする請求項4に記載の撮像装置。
  7. 数の画素が配列され、前記複数の画素にリセット電圧を供給するための共通電源を備えた撮像素子を有する撮像装置の制御方法であって、
    前記共通電源に流れる電流に基づいて前記複数の画素のいずれかが飽和状態にあることを検出することを特徴とする撮像装置の制御方法
JP2007166688A 2007-06-25 2007-06-25 撮像装置及びその制御方法 Expired - Fee Related JP4931231B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007166688A JP4931231B2 (ja) 2007-06-25 2007-06-25 撮像装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007166688A JP4931231B2 (ja) 2007-06-25 2007-06-25 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2009005285A JP2009005285A (ja) 2009-01-08
JP2009005285A5 JP2009005285A5 (ja) 2010-08-05
JP4931231B2 true JP4931231B2 (ja) 2012-05-16

Family

ID=40321146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007166688A Expired - Fee Related JP4931231B2 (ja) 2007-06-25 2007-06-25 撮像装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP4931231B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5266884B2 (ja) 2008-05-30 2013-08-21 ソニー株式会社 固体撮像装置、撮像装置、画素駆動方法
JP6452241B2 (ja) * 2015-02-13 2019-01-16 セイコーNpc株式会社 イメージセンサ
JP2018019354A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01103378A (ja) * 1987-10-16 1989-04-20 Sanyo Electric Co Ltd 固体撮像素子の露出制御回路
JP2006197425A (ja) * 2005-01-17 2006-07-27 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP4743839B2 (ja) * 2005-02-15 2011-08-10 キヤノン株式会社 撮像装置
JP4696877B2 (ja) * 2005-11-29 2011-06-08 ヤマハ株式会社 固体撮像装置

Also Published As

Publication number Publication date
JP2009005285A (ja) 2009-01-08

Similar Documents

Publication Publication Date Title
US6452633B1 (en) Exposure control in electronic cameras by detecting overflow from active pixels
JP4185949B2 (ja) 光電変換装置及び撮像装置
JP5247007B2 (ja) 撮像装置及び撮像システム
US9030589B2 (en) Image sensor and image sensing apparatus
KR101435964B1 (ko) 촬상장치 및 고체 촬상소자의 구동방법
JP6353533B2 (ja) 固体撮像素子及び電子情報機器
US20040130757A1 (en) Solid-state imaging device and control method for same
US20100149366A1 (en) Photoelectric conversion device, imaging system, and photoelectric conversion device driving method
US8384006B2 (en) Image pickup apparatus
US8223240B2 (en) Image pickup device and image pickup apparatus
US20150281610A1 (en) Solid-state imaging apparatus and imaging system
US20050128324A1 (en) Image sensing apparatus and method of controlling same
US7906752B2 (en) Solid-state imaging apparatus
JP4300635B2 (ja) 固体撮像装置
JP4758318B2 (ja) 固体撮像装置
JP4931231B2 (ja) 撮像装置及びその制御方法
US20040189845A1 (en) Solid-state image sensing apparatus
US8294799B2 (en) Solid-state imaging apparatus
US7999871B2 (en) Solid-state imaging apparatus, and video camera and digital still camera using the same
JP5627728B2 (ja) 撮像装置及び撮像システム
JP2013197697A (ja) 固体撮像装置及び電子機器
JP2008042675A (ja) 光電変換装置及び撮像装置
US8098315B2 (en) Solid state imaging apparatus, solid state imaging device driving method and camera
JP2007214791A (ja) 撮像素子、撮像装置、及び撮像素子の駆動方法
JP2006262070A (ja) 光電変換装置及びcmosイメージセンサ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

R151 Written notification of patent or utility model registration

Ref document number: 4931231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees