JP4767403B2 - 三次元計測装置および三次元計測方法 - Google Patents
三次元計測装置および三次元計測方法 Download PDFInfo
- Publication number
- JP4767403B2 JP4767403B2 JP2000337303A JP2000337303A JP4767403B2 JP 4767403 B2 JP4767403 B2 JP 4767403B2 JP 2000337303 A JP2000337303 A JP 2000337303A JP 2000337303 A JP2000337303 A JP 2000337303A JP 4767403 B2 JP4767403 B2 JP 4767403B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- slit
- cutting line
- light emitting
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
この発明は、光切断法を用いて三次元形状を計測する三次元計測装置および三次元計測方法に関する。特に、ロボットなどの可動装置に取り付けられて使用される三次元計測装置および三次元計測方法に関する。
【0002】
【従来の技術】
離れた場所にある三次元物体までの距離やその三次元物体の形状を測定するための一方法として光切断法が用いられている。この光切断法は、測定対象物体に対してスリット光を投影し、あたかも光の帯で物体を切断するかのようにして、別の方向からその光による切断面を観察するものである。
【0003】
図6は、光切断法による測定の原理を示す断面図である。図6において、符号901は三次元計測装置に設けられたスリット光源、902は前記三次元計測装置に設けられている撮像のためのレンズ、903はレンズ902による像の結像面、905は結像面903の中心点であり、この中心点905は結像面903と撮像方向軸との交点である。また、901aはスリット光源901から照射されるスリット光面、910は測定対象物体、911はスリット光面901aが測定対象物体を照射している照射点の一つである。
【0004】
ここで、スリット光源901とレンズ902の中心との距離をL(基線長)とする。また、図上の基準線は、スリット光源901とレンズ902とを結ぶ線を含む測定面(図6の断面に垂直な面)に垂直な方向を示している。また、スリット光の測定面に対する角度をθ、レンズ902の中心と照射点911とを結ぶ線の測定面に対する角度をφとする。ここで、測定面から測定対象物体910までの距離Zを求めるためには、次式のような計算を行えば良い。
【0005】
Z=L・tan(θ)・tan(φ)/(tan(θ)+tan(φ))
ただし、「tan()」は正接関数を表わす。
【0006】
なお、上記φは、撮像方向(中心点905とレンズ902の中心とを結ぶ方向)の撮像面に対する角度φ0と撮像方向に対する照射点911の変位角φ1とを用いて、次式で表わされる。
【0007】
φ=φ0+φ1
【0008】
また、変位角φ1は、レンズ902と結像面903との間の距離lと、結像面903における照射点911の像の中心点905からの変位Δxを用いて、次式で表わされる。
【0009】
φ1=arctan(Δx/l)
ただし、「arctan()」は正接逆関数を表わす。
【0010】
以上、断面図を用いて説明したが、スリット光は当該断面だけではなく、測定対象物体910の表面に線状の切断線を形成するように照射されるため、測定面からその切断線上の各箇所までの距離を測定することができる。
【0011】
上記の原理を用いて、様々な角度(θ)によるスリット光面901aを用いて、測定対象物体910の三次元形状を計測することが可能となる。従来技術においては、計測密度を上げるためにスリット光源901の照射角度を連続的に可変となるようにスリット光を機械的にスキャンさせることが行われていた。
【0012】
【発明が解決しようとする課題】
しかしながら、例えば二足歩行ロボットのようにそれ自体が移動するとともに移動時に断続的に衝撃が加わるような装置に、上記三次元計測装置を搭載するためには、従来技術で述べたような機械スキャン方式には問題がある。なぜならば、移動時の衝撃によってスキャン機能に障害が生じないような防震対策を施すことは、サイズや耐久性の点から高コスト化を招くものであるからである。特に、脚式移動ロボットは振動が多く、機械スキャン方式にはモータ等の駆動部が破損しやすい。
【0013】
また、スキャン方式をとる代わりに、単純にスリットビーム本数を増やすことは、ビームパワーの低下による検出限界の低下と、スリット間隔の減少による検出距離レンジの低下を招くという問題があった。
【0014】
また、特開平10−68607号公報には、複数本の光切断線を基準平面上で互いに平行かつ一定間隔になるように形成し、各光切断線は互いに異なる複数の光色とし、カラーTVカメラよりなる画像入力装置により撮像した光切断線を色信号別に取り出して距離を求めるようにするという技術が開示されている。しかしながら、このような手法では、カラーTVカメラを用いることが必須となり、高コスト化あるいは装置設計上の制約につながるという問題があった。また、測定対象の色と光切断線の色との関係によっては、正しい色として判断できず、光切断線を正しく認識できないという問題があった。
【0015】
本発明は、上記のような事情を考慮してなされたものであり、マルチスリット光による光切断法を用いた三次元測定において、スリット光を機械的にスキャンさせたりスリット間隔の減少による不都合を招いたりすることなく、計測密度を向上させることのできる三次元計測装置および三次元計測方法を提供することを目的とする。
【0016】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、各発光手段からそれぞれ複数のスリット光を測定対象物体に照射することによって該測定対象物体の表面に線状の切断線を形成し、該切断線を撮像手段で撮影して前記測定対象物体の形状を測定する三次元計測装置において、互いにスリット光の放射パターンが異なる少なくとも2つの発光手段と、該発光手段が時分割的に順次前記測定対象物体を照射するように制御する発光制御手段と、各々の前記発光手段から照射されるスリット光が略平行に形成され、前記スリット光による切断線形成位置が前記スリット光の並び方向にずれて互いに異なるように調節する切断線形成位置調節手段と、を具備し、前記切断線形成位置調節手段は、複数の前記発光手段の間の距離を制御する発光位置間隔制御手段であることを特徴とする三次元計測装置を要旨とする。
ここで、発光手段としては、例えば、レーザ光源と複数のスリット孔を有するスリット板とを組み合わせたものを用いるようにする。レーザ光源としては、例えばレーザダイオードなどを用いる。また、撮像手段としては、例えば、デジタル静止画カメラあるいはデジタル動画カメラなどを用いるようにする。また、発光制御手段としては、例えば、各発光手段の発光強度をそれぞれ独立に制御するためのパルス信号を出力する装置などを用いるようにする。
【0017】
このような構成により、各発光手段から照射されるスリット光による切断線形成位置を異ならしめ、測定対象物体の表面上の異なる位置を計測することとなり、結果として計測密度を向上させることとなる。
【0019】
また、本発明の三次元計測装置では、少なくとも2つの前記撮像手段を備え、第1の前記撮像手段と前記発光手段との距離が、第2の前記撮像手段と当該発光手段との距離と異なるように、前記撮像手段および前記発光手段を配置したことを特徴とする。
これにより、発光手段との距離が相対的に小さい方の撮像手段を用いて広い距離レンジの測定対象物体を捕捉するとともに、発光手段との距離が相対的に大きい方の撮像手段を用いてより高精度な三次元計測を行うことが可能となる。
【0020】
また、本発明は、第1の発光手段から複数のスリット光を測定対象物体に照射することによって該測定対象物体の表面に第1のパターンによる線状の切断線を形成し、この第1のパターンによる切断線を撮像手段で撮影して前記測定対象物体の形状を測定する第1の過程と、第2の発光手段から複数のスリット光を照射することによって前記測定対象物体の表面に前記第1のパターンと略平行且つ前記スリット光の並び方向にずれた第2のパターンによる線状の切断線を形成し、この第2のパターンによる切断線を撮像手段で撮影して前記測定対象物体の形状を測定する第2の過程と、前記第1の過程における測定結果に応じて、前記第2の過程における第2のパターンの前記切断線の位置を前記スリット光の並び方向にずらして異ならしめる過程と、を有することを特徴とする三次元計測方法を要旨とする。
【0022】
【発明の実施の形態】
以下、図面を参照しこの発明の第1の実施形態について説明する。図1は、同実施形態による三次元計測装置の構成を示すブロック図である。この三次元計測装置は二足歩行ロボットに搭載され、ロボットの移動経路上の床面を計測対象物体としてその距離を測定し、二足歩行時の足の着地位置が適切になるようにロボットの脚を制御することを目的とするものである。
【0023】
図1において、符号1aおよび1bは、所定の間隔をおいて設けられ、それぞれ計測対象物体に対してマルチスリット光を照射するレーザ光源(発光手段)である。また、2は、レーザ光源1aおよび1bによるスリット光が照射された計測対象物体を撮像するカメラ(撮像手段)である。また、3は、レーザ光源1aおよび1bとカメラ2とに対するタイミング信号を出力することにより、レーザ光源1aおよび1bの発光のタイミングとカメラ2による撮像のタイミングとを制御する発光制御部(発光制御手段)である。
【0024】
また、4はカメラ2によって撮像された画像を取り込みA/D変換(アナログ/デジタル変換)して画像メモリに記憶する画像取り込み部であり、5は画像取り込み部4によって取り込まれた画像を基に計測対象物体までの距離を算出する距離推定部である。また、8はロボットの移動経路を決定する移動経路決定部、6は移動経路決定部8が決定した経路情報と距離推定部5による距離算出結果とを基にロボットの足の着地位置を決定する着地位置決定部、7は着地位置決定部6が決定した着地位置に足を持っていくようにロボットのバランスを取りながらロボットの脚を駆動するモータを制御する脚制御部である。
【0025】
図2は、発光制御部3が出力するタイミング信号の波形を示すタイミングチャートである。図2の(a)は、レーザ光源1aによるレーザAのビーム強度を制御するための信号である。図2の(b)は、レーザ光源1bによるレーザBのビーム強度を制御するための信号である。また、図2の(c)は、カメラ2による撮像のタイミングを制御するための垂直同期信号である。図2に示すような制御信号により、レーザ光源1aおよび1bは交互にそれぞれのマルチスリット光を照射し、カメラ1は各レーザ光源によって照射されている測定対象物体を撮像することとなる。
【0026】
図3は、レーザ光源1aおよび1bによるスリット光の照射パターンを示す断面図である。図3では、レーザ光源1aによるスリット光の照射パターンは実線で示され、レーザ光源1bによるスリット光の照射パターンは破線で示されている。図2のタイミングチャートで示したように、レーザ光源1aおよび1bは交互に照射を行うため、それぞれの照射タイミングにおいて、図3の実線または破線のパターンによるスリット光を用いた距離の測定が行われる。例えば図3に示す符号21の領域(距離が1.1〜1.2のあたりの領域)では、レーザ光源1aと1bとのスリット光の照射箇所が近接しているため、トータルな計測密度は、レーザ光源1aあるいは1bのいずれか単一のレーザ光源を用いる場合の計測密度と大して変わらない。しかしながら、例えば図3に示す符号22の領域(距離が1.4〜1.6あたりの領域)では、レーザ光源1aと1bとが互いに補完しあうことにより、単一のレーザ光源を用いる場合に比べて、トータルな計測密度が最大で2倍となっている。
【0027】
次に、本発明の第2の実施形態について説明する。図4は、同実施形態による三次元計測装置の構成を示すブロック図である。この図4に示す構成の特徴は、光源間隔制御部11(切断線形成位置調節手段、発光位置間隔制御手段)を設け、この光源間隔制御部11の制御に応じてレーザ光源1aと1bとの間隔を可変としていることである。これ以外の構成は、図1に示したものと同様である。
【0028】
このように、レーザ光源1aと1bとの間隔を可変とすることにより、両光源によるマルチスリット光のパターンの関係を変えることが可能となる。例えば、図3に示した断面図においては、領域22においては単一レーザ光源を用いる場合に比べて計測密度が上がっているが、領域21においてはそれほど効果的には計測密度が向上しない。ところが、この第2の実施形態のようにレーザ光源1aと1bとの間隔を可変とすることにより、計測密度を上げることのできる領域を移動させることが可能となる。
【0029】
つまり、各々のレーザ光源から照射されるスリット光による切断線形成位置が互いに異なるように調節することが可能となる。従って、例えば、まず計測対象物体までの距離を低密度で計測し、その計測結果に応じて、高密度計測が可能となるように光源間隔制御部11がレーザ光源1aと1bとの距離を制御するようにする。これにより、いかなる距離帯においても高密度計測を行うことが可能となる。
【0030】
つまり、第1の発光手段から複数のスリット光を測定対象物体に照射することによって該測定対象物体の表面に第1のパターンによる線状の切断線を形成し、この第1のパターンによる切断線を撮像手段で撮影して前記測定対象物体の形状を測定する第1の過程と、第2の発光手段から複数のスリット光を照射することによって前記測定対象物体の表面に前記第1のパターンとは異なる第2のパターンによる線状の切断線を形成し、この第2のパターンによる切断線を撮像手段で撮影して前記測定対象物体の形状を測定する第2の過程とを有する三次元計測方法において、前記第1の過程における測定結果に応じて、前記第2の過程における第2のパターンを異ならしめることとしている。
【0031】
次に、本発明の第3の実施形態について説明する。図5は、同実施形態による三次元計測装置の構成を示すブロック図である。この図5に示す構成の特徴は、狭基線長カメラ2aと広基線長カメラ2bの2つのカメラを設けており、狭基線長カメラ2aは相対的にレーザ光源1aおよび1bの近くに設け、広い基線長カメラ2bは相対的にレーザ光源1aおよび1bから離れた位置に設けていることである。つまり、本実施形態では、少なくとも2つのカメラを備え、第1のカメラとレーザ光源との距離が、第2のカメラと当該レーザ光源との距離と異なるように、カメラおよびレーザ光源を配置している。これ以外の構成は、図1に示したものと同様である。
【0032】
狭基線長カメラ2aと広基線長カメラ2bの画角が互いに等しい場合、狭基線長カメラ2aで撮った画像は、広基線長カメラ2bで撮った画像に比べて、より広い距離レンジに存在する測定対象物体を捉えることができる。一方、光切断法の原理から明らかなように、広基線長カメラ2bで撮った画像を用いることにより、狭基線長カメラ2aで撮った画像を用いる場合よりも高精度な距離測定を行うことができる。つまり、狭基線長カメラ2aと広基線長カメラ2bとを適宜使い分けることにより、より広い範囲の測定対象物体までの距離をより高精度に測定することが可能となる。つまり、例えば、まず狭基線長カメラ2aを用いて測定対象物体までの距離を大まかな精度で測定し、この距離測定結果に応じて必要な場合には広基線長カメラ2bの撮像方向を調整し、次に広基線長カメラ2bを用いて測定対象物体までの距離を高精度で測定するようにする。これにより、広い距離レンジの測定対象物体を高精度に測定することが可能となる。
【0033】
なお、上記第1〜第3の実施形態においては、レーザ光源1aおよび1bの2つの光源を用いることとしたが、光源の数は2に限定されず、より多くの光源を用いて、それらを用いたマルチスリット光の照射を順次行い、測定対象物体までの距離を測定するようにしても良い。これにより、さらに高密度な測定を行ったり、光源間の距離を固定としたまま様々な距離レンジにおける高密度測定を行ったりすることも可能となる。
【0034】
【発明の効果】
以上説明したように、この発明によれば、互いにスリット光の放射パターンが異なる少なくとも2つの発光手段と、該発光手段が時分割的に順次前記測定対象物体を照射するように制御する発光制御手段とを備え、その切断線を撮像手段で撮影して前記測定対象物体の形状を測定するため、例えば、二足歩行ロボットに取り付ける場合など動作中に衝撃が加わる環境においても、低コストで高密度な測定を行うことが可能となる。また、複数の発光色を用いる必要もないため、装置構成が簡単になり、低コスト化が可能となる。また、複数の発光手段を時分割的に駆動するため、消費電力の低減が可能となる。
【0035】
また、この発明によれば、各々の発光手段から照射されるスリット光による切断線形成位置が互いに異なるように調節するため、測定対象物体の表面上の異なる位置を計測することが可能となり、広い測定領域を高密度で測定できるようになる。
【0036】
また、この発明によれば、少なくとも2つの撮像手段を備え、第1の撮像手段と発光手段との距離が、第2の撮像手段と当該発光手段との距離と異なるように、撮像手段および発光手段を配置するため、発光手段との距離が相対的に小さい方の撮像手段を用いて広い距離レンジの測定対象物体を捕捉するとともに、発光手段との距離が相対的に大きい方の撮像手段を用いてより高精度な三次元計測を行うことが可能となる。よって、より広い測定領域を高精度で測定することが可能となる。
【図面の簡単な説明】
【図1】 この発明の第1の実施形態による三次元測定装置の構成を示すブロック図である。
【図2】 同実施形態による三次元測定装置における発光および撮像のタイミングを制御するタイミング信号を示すタイミングチャートである。
【図3】 同実施形態による三次元測定装置における2つのレーザ光源から照射されるスリット光のパターンを示す断面図である。
【図4】 この発明の第2の実施形態による三次元測定装置の構成を示すブロック図である。
【図5】 この発明の第3の実施形態による三次元測定装置の構成を示すブロック図である。
【図6】 この発明の基礎となる光切断法を用いた距離測定の原理を示す断面図である。
【符号の説明】
1a,1b レーザ光源
2 カメラ
2a 狭基線長カメラ
2b 広基線長カメラ
3 発光制御部
4 画像取り込み部
5 距離推定部
6 着地位置決定部
7 脚制御部
8 移動経路決定部
11 光源間隔制御部
Claims (3)
- 各発光手段からそれぞれ複数のスリット光を測定対象物体に照射することによって該測定対象物体の表面に線状の切断線を形成し、該切断線を撮像手段で撮影して前記測定対象物体の形状を測定する三次元計測装置において、
互いにスリット光の放射パターンが異なる少なくとも2つの発光手段と、
該発光手段が時分割的に順次前記測定対象物体を照射するように制御する発光制御手段と、
各々の前記発光手段から照射されるスリット光が略平行に形成され、前記スリット光による切断線形成位置が前記スリット光の並び方向にずれて互いに異なるように調節する切断線形成位置調節手段と、
を具備し、
前記切断線形成位置調節手段は、複数の前記発光手段の間の距離を制御する発光位置間隔制御手段であることを特徴とする三次元計測装置。 - 少なくとも2つの前記撮像手段を備え、
第1の前記撮像手段と前記発光手段との距離が、第2の前記撮像手段と当該発光手段との距離と異なるように、前記撮像手段および前記発光手段を配置したことを特徴とする請求項1に記載の三次元計測装置。 - 第1の発光手段から複数のスリット光を測定対象物体に照射することによって該測定対象物体の表面に第1のパターンによる線状の切断線を形成し、この第1のパターンによる切断線を撮像手段で撮影して前記測定対象物体の形状を測定する第1の過程と、
第2の発光手段から複数のスリット光を照射することによって前記測定対象物体の表面に前記第1のパターンと略平行且つ前記スリット光の並び方向にずれた第2のパターンによる線状の切断線を形成し、この第2のパターンによる切断線を撮像手段で撮影して前記測定対象物体の形状を測定する第2の過程と、
前記第1の過程における測定結果に応じて、前記第2の過程における第2のパターンの前記切断線の位置を前記スリット光の並び方向にずらして異ならしめる過程と、
を有することを特徴とする三次元計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000337303A JP4767403B2 (ja) | 2000-11-06 | 2000-11-06 | 三次元計測装置および三次元計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000337303A JP4767403B2 (ja) | 2000-11-06 | 2000-11-06 | 三次元計測装置および三次元計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002139310A JP2002139310A (ja) | 2002-05-17 |
JP4767403B2 true JP4767403B2 (ja) | 2011-09-07 |
Family
ID=18812714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000337303A Expired - Fee Related JP4767403B2 (ja) | 2000-11-06 | 2000-11-06 | 三次元計測装置および三次元計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4767403B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2191357A2 (en) | 2007-09-07 | 2010-06-02 | International Business Machines Corporation | Scroll bar control |
US9482755B2 (en) | 2008-11-17 | 2016-11-01 | Faro Technologies, Inc. | Measurement system having air temperature compensation between a target and a laser tracker |
US9400170B2 (en) | 2010-04-21 | 2016-07-26 | Faro Technologies, Inc. | Automatic measurement of dimensional data within an acceptance region by a laser tracker |
US9772394B2 (en) | 2010-04-21 | 2017-09-26 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
DE112012001082B4 (de) | 2011-03-03 | 2015-12-03 | Faro Technologies Inc. | Verfahren zum Messen von Zielen |
US9482529B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
WO2012141868A1 (en) | 2011-04-15 | 2012-10-18 | Faro Technologies, Inc. | Enhanced position detector in laser tracker |
US9686532B2 (en) | 2011-04-15 | 2017-06-20 | Faro Technologies, Inc. | System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices |
JP6099675B2 (ja) | 2012-01-27 | 2017-03-22 | ファロ テクノロジーズ インコーポレーテッド | バーコード識別による検査方法 |
US9041914B2 (en) | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
KR102025716B1 (ko) | 2013-03-21 | 2019-09-26 | 삼성전자주식회사 | 3차원 형상 측정장치 |
KR102582420B1 (ko) * | 2013-04-08 | 2023-09-26 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
US9395174B2 (en) | 2014-06-27 | 2016-07-19 | Faro Technologies, Inc. | Determining retroreflector orientation by optimizing spatial fit |
-
2000
- 2000-11-06 JP JP2000337303A patent/JP4767403B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002139310A (ja) | 2002-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4767403B2 (ja) | 三次元計測装置および三次元計測方法 | |
CN113074669B (zh) | 具有闪光对准的激光投影仪 | |
CA2511828C (en) | Laser digitizer system for dental applications | |
US9435891B2 (en) | Time of flight camera with stripe illumination | |
KR101605386B1 (ko) | 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템 | |
US7830528B2 (en) | 3D image measuring apparatus and method thereof | |
KR100420272B1 (ko) | 오프셋 측정방법, 툴위치 검출방법 및 본딩장치 | |
JP6805904B2 (ja) | 計測装置、計測方法およびロボット | |
JPH0616147B2 (ja) | カメラ | |
US8155483B2 (en) | Apparatus for and method of measuring image | |
JP2011040548A5 (ja) | ||
JP2009544952A (ja) | 画像作成センサーを備えた動的画像記録 | |
CN110871457A (zh) | 三维计测装置,机器人及机器人系统 | |
JPH0523877A (ja) | レーザ加工機 | |
US6181424B1 (en) | Three-dimensional measurement apparatus | |
KR100449175B1 (ko) | 광학식 2차원 및 3차원 형상 측정 시스템 | |
JP6887141B2 (ja) | 表面形状測定方法および表面形状測定装置 | |
WO2015052618A1 (ja) | 描画装置及び描画方法 | |
JP5205101B2 (ja) | パターン描画装置およびパターン描画方法 | |
JP3973979B2 (ja) | 三次元形状計測装置 | |
JP2004053532A (ja) | 光学的形状測定装置 | |
JPS63302315A (ja) | 距離測定装置 | |
KR100856466B1 (ko) | 스케닝 모아레 측정장치 및 측정방법 | |
JP4454714B2 (ja) | 被測定物の測定方法及びその装置 | |
JP4427779B2 (ja) | ビームスポットのサイズを測定可能なパターン描画装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090714 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4767403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |