[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3971347B2 - 光学的情報読み取り方法 - Google Patents

光学的情報読み取り方法 Download PDF

Info

Publication number
JP3971347B2
JP3971347B2 JP2003179640A JP2003179640A JP3971347B2 JP 3971347 B2 JP3971347 B2 JP 3971347B2 JP 2003179640 A JP2003179640 A JP 2003179640A JP 2003179640 A JP2003179640 A JP 2003179640A JP 3971347 B2 JP3971347 B2 JP 3971347B2
Authority
JP
Japan
Prior art keywords
image data
brightness difference
optical information
gray value
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003179640A
Other languages
English (en)
Other versions
JP2005020174A (ja
Inventor
正己 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2003179640A priority Critical patent/JP3971347B2/ja
Publication of JP2005020174A publication Critical patent/JP2005020174A/ja
Application granted granted Critical
Publication of JP3971347B2 publication Critical patent/JP3971347B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、バーコードのような光学的情報の読み取り方法、特には液晶画面に表示された光学的情報の読み取りに好適する光学的情報読み取り方法に関する。
【0002】
【従来の技術】
特許文献1には、バーコードラベルからバーコードを読み取る際に、その読み取り波形に含まれるノイズ成分(ラベルの汚れや擦れなどに起因したノイズ成分)を分離して除去する方法が記載されている。具体的には、このノイズ除去方法では、読み取った信号波形を量子化する工程、量子化された信号波形のピーク値を検出し、検出したピーク値相互間における波高差を検出する工程、その波高差の度数分布を検出する工程、最小の信号波高差を検出する工程、その最小の信号波高差より小さい値を基準信号として信号パターン読み取り波形より削除する工程を順次行うことにより、読み取り波形に含まれるノイズ成分を除去する構成となっている。
【0003】
【特許文献1】
特開平5−180210号公報
【0004】
【発明が解決しようとする課題】
近年では、携帯電話機などの端末機器が有する液晶画面に表示された光学的情報(例えばバーコード)を読み取るというニーズが多くなっている。この場合、液晶画面には、多数の画素の境界線部分に対応した暗い縞が格子状に存在するため、液晶画面から光学的情報を読み取る際には、当該格子状の暗い縞の影響によって、読み取り信号波形中に比較的大きいレベルのノイズ成分が含まれることになる。このようなノイズ成分は、読み取り対象がバーコードの場合、細い黒バーと認識されることになるため、そのデコードが不可能になる恐れがある。また、液晶画面に照明むらがある場合にも、読み取り信号波形中に比較的大きいレベルのノイズ成分が含まれるものであり、従って、バーコードのデコードが不可能になる可能性が高くなる。特許文献1に記載されたノイズ除去方法は、比較的低いレベルのノイズを除去する場合に有効であるが、液晶画面に表示されたバーコードを読み取るというニーズを全く考慮に入れておらず、このため、液晶画面に表示されたバーコードを読み取る場合のように読み取り信号波形中に比較的大きいレベルのノイズ成分が含まれる場合には、十分なノイズ除去効果を発揮することが困難になるという事情があった。
【0005】
本発明は上記のような事情に鑑みてなされたものであり、その目的は、液晶画面に表示された光学的情報の読み取りを確実に行うことができる光学的情報読み取り方法を提供することにある。
【0006】
【課題を解決するための手段】
請求項1記載の光学的情報読み取り方法においては、画像センサによる読み取り動作に応じてメモリに順次取り込まれたグレイ値画像データ、つまり読み取り面に表示された光学的情報に対応したグレイ値画像データの極小値及び極大値が出現順に検出されると共に、隣接する極小値及び極大値の差が明度差データとして検出される。検出された明度差データ群は、複数段階の明度差階層毎に分類され、その分類結果に基づいて明度差階層毎の明度差データ出現頻度の度数分布が検出される。
【0007】
ここで、読み取り対象の光学的情報が例えば液晶画面であった場合、画像センサは、液晶画面上に存在する格子状の暗い縞も同時に読み取るため、上述した明度差階層毎の明度差データ出現頻度の度数分布においては、画素境界線部分に対応した明度差データ、つまりグレイ値画像データに含まれるノイズ成分に対応した明度差データの出現頻度が最も多くなる。このノイズ成分に対応した明度差データは、読み取り対象のグレイ値画像データに対応した明度差データに比べて相対的に小さい明度差階層に属する。従って、明度差データ出現頻度の度数分布の包絡線に着目した場合、明度差階層が比較的低い領域に、ノイズ成分に対応したピークが相対的に大きな山部が出現し、明度差階層が比較的高い領域に、読み取り対象の光学的情報に対応したピークが相対的に小さな山部が出現することになる。
【0008】
請求項1記載の光学的情報読み取り方法においては、明度差データ出現頻度の度数分布の包絡線により形成される山部のうち、その山部のピークに対応した明度差データ出現頻度が予め決められた範囲(例えば、予め設定された基準値以下の範囲)にあり、且つ明度差階層が相対的に高い山部に属するグレイ値画像データ群を読み取り対象として区分する構成となっている。このため、液晶画面に表示された光学的情報を読み込む場合に、その液晶画面上に存在する格子状の暗い縞に起因したノイズ成分の除去を的確に行い得るようになる。そして、上記のように読み取り対象に区分されたグレイ値画像データは、予め設定されたしきい値に基づいて二値化されると共に、このように二値化されたデータ列の解析処理が行われるものであり、結果的に、液晶画面に表示された光学的情報の読み取りを確実に行い得るようになる。
【0009】
請求項2記載の光学的情報読み取り方法によれば、読み取り対象に区分されたグレイ値画像データ群が適正なものであるか否かが、当該グレイ値画像データ群についての隣接する極小値及び極大値の差を示す明度差データの大きさと極大値相互間のピッチまたは極小値相互間のピッチとに基づいてチェックされることになるから、液晶画面に表示された光学的情報の読み取り動作の信頼性を高め得るようになる。
【0010】
請求項3記載の光学的情報読み取り方法によれば、読み取り面に表示された光学的情報を読み取るための一連の動作を、複数に分割された画像領域毎に行うようになっているから、光学的情報が表示された読み取り面の明るさにばらつきがある場合であっても、そのばらつきが光学的情報の読み取り動作に及ぼす悪影響を抑制できることになる。
【0011】
請求項4記載の光学的情報読み取り法方法によれば、読み取り対象に区分されたグレイ値画像データを二値化するために必要なしきい値が、ノイズ成分に区分されたグレイ画像データ群に含まれる最も大きい明度差データを基準に設定されるから、グレイ値画像データの二値化処理がノイズ成分により不正確になる事態を未然に防止できる。
【0012】
請求項5記載の光学的情報読み取り方法によれば、ノイズ成分に区分されたグレイ画像データ群に含まれる最も大きい明度差データを基準に設定されたしきい値が、マージン領域に含まれるグレイ値画像データのレベルに基づいて調整されるから、グレイ値画像データの二値化処理の信頼性を高め得るようになる。
【0013】
【発明の実施の形態】
以下、本発明の一実施例について図1ないし図5を参照しながら説明する。
図4にはバーコードリーダの概略的な上面図が示されている。この図4において、バーコードリーダ1には、光学ヘッド部2、液晶ディスプレイ3、各種キーを備えた操作部4、トリガスイッチ5が設けられている。尚、光学ヘッド部2には、CCDイメージセンサ或いはCMOSイメージセンサのような光学素子より成る画像センサ(後述する図5に符号7を付して示す)、及びLEDなどを備えて構成された照明部(図5に符号8を付して示す)が設けられている。この場合、画像センサ7は、読み取り面から読み取ったバーコード(光学的情報)を例えば256階調のグレイ値画像データに変換して出力する構成となっている。
【0014】
図5には、バーコードリーダ1の電気的構成が機能ブロックの組合せにより概略的に示されている。この図5に示すように、バーコードリーダ1は、マイコン6を中心に構成されている。このマイコン6には、前記液晶ディスプレイ3、操作部4、トリガスイッチ5、画像センサ7及び照明部8の他に、画像センサ7が読み取ったグレイ値画像データがAD変換部9を通じて与えられる画像メモリ10、外部装置との間でデータの送受信を行うための入出力インタフェース部11、種々のデータ格納用のメモリ12が接続されている。尚、図示しないが、バーコードリーダ1内には、マイコン6などに電源を供給するための電池を含む電源回路が内蔵されている。
【0015】
マイコン6は、携帯電話機などの液晶画面に表示されたバーコード(光学的情報)を、通常の読み込み動作とは異なる解析処理方法で読み取る機能を備えたものであり、以下、その読み取り機能について図1ないし図3も参照しながら説明する。
【0016】
図1のフローチャートには、液晶画面に表示されたバーコードを読み取るときの動作内容が示されている。すなわち、このような読み取り動作を行うときには、バーコードを表示した状態の液晶画面に対して、バーコードリーダ1の光学ヘッド部2を対向させながらトリガスイッチ5を操作するものであり、これに応じて図1に示すグレイ値画像データ取込ステップS1が実行される。このステップS1では、画像センサ7が液晶画面に表示されたバーコードを走査すると共に、その走査により得られたグレイ値画像データを画像メモリ10に取り込むようになる。
【0017】
この後には、取り込まれたグレイ値画像データの極小値及び極大値を出現順に検出してメモリ12に記憶するステップS2(本発明でいう第1のステップに相当)を実行する。つまり、画像メモリ10に取り込まれたグレイ値画像データ(256階調)は、読み取り対象のバーコードの黒地部分で明度階調が低くなると共に、白地部分で明度階調が高くなるものであり、従って、図2に一例を示すように、バーコードを読み取ったときのグレイ値画像データにおいては、極小値及び極大値が交互に出現することになる。勿論、グレイ値画像データ中には、ノイズ成分に対応した極小値及び極大値も含まれることになる。ステップS2では、このようなグレイ値画像データについての極小値及び極大値がメモリ12に順次記憶される。
【0018】
再び図1において、ステップS2の実行後には、検出した極小値及び極大値群のうち隣接する極小値及び極大値の差を明度差データとして順次検出し、その検出結果をメモリ12に記憶するというステップS3(本発明でいう第2のステップに相当)を実行する。つまり、図2中に一例を示すように、極小値及びこれに隣接する極大値の差が明度差データΔLとなるものである。
【0019】
この後には、検出した明度差データ群を各明度差データの大きさに従って分類するための複数段階の明度差階層を設定するステップS4(本発明でいう第3のステップに相当)を実行する。この明度差階層は、例えば32段階に設定されるものであり、この実施例ではグレイ値画像データが256階調であるから、各明度差階層には8階調分ずつのグレイ値画像データが含まれることになる。
【0020】
次いで、ステップS3で検出した明度差データ群をステップS4で設定された明度差階層毎に分類することにより、明度差階層毎の明度差データ出現頻度の度数分布を検出するステップS5(本発明でいう第4のステップに相当)を実行する。すなわち、このステップS5では、図3に示すような明度差データ出現頻度の度数分布が作成されることになる。尚、この図3は、横軸が明度差階層(32段階)、縦軸が明度差データ出現頻度を示すものである。
【0021】
この場合、本実施例のように読み取り対象のバーコードが液晶画面に表示されたものであったときには、画像センサ7は、液晶画面上に存在する格子状の暗い縞も同時に読み取るため、図3に示すような明度差階層毎の明度差データ出現頻度の度数分布においては、液晶画面における画素境界線部分に対応した明度差データ、つまりグレイ値画像データに含まれるノイズ成分に対応した明度差データの出現頻度が最も多くなる。また、このノイズ成分に対応した明度差データは、読み取り対象となるバーコードを示すグレイ値画像データに対応した明度差データに比べて相対的に小さい明度差階層に属する。従って、明度差データ出現頻度の度数分布の包絡線に着目した場合、明度差階層が比較的低い領域(図3の例では明度差階層が「17」以下の領域)にノイズ成分に対応したピークが相対的に大きな山部が出現し、明度差階層が比較的高い領域にピークが相対的に小さな山部が出現することになる。
【0022】
そこで、ステップS5の実行後には、ステップS6(本発明でいう第5のステップに相当)を実行する。このステップS6では、明度差データ出現頻度の度数分布(図3参照)の包絡線により形成される山部のうち、その山部のピークに対応した明度差データ出現頻度が予め決められた範囲(例えば、読み取り対象のバーコードのデータ量などに応じて予め設定された基準値以下の範囲)にあり、且つ明度差階層が相対的に高い山部(図3の例では右側の山部)に属するグレイ値画像データ群を読み取り対象に区分し、その山部以外のグレイ値画像データをノイズ成分に区分する。
【0023】
この後には、読み取り対象に区分されたグレイ値画像データを予め設定されたしきい値に基づいて二値化するステップS7(本発明でいう第6のステップに相当)を実行する。当該しきい値は、ステップS6でノイズ成分に区分されたグレイ画像データ群に含まれる最も大きい明度差データを基準に設定されるものであり、図3の例では、ノイズ成分に区分された山部の最も大きな明度階層差が「17」であるから、これを8倍した「136」が上記最も大きい明度差データとなるものであり、従って、しきい値は「136」に設定されることになる。
【0024】
ステップS7で二値化されたデータ列は、引き続き行われるステップS8でのデータ解析処理に供されるものであり、このステップS8では、そのデータ列をデコードすることによりバーコードに記録された情報を読み取るものである。この後には、解析結果を出力するためのステップS9を実行して一連のバーコード読取動作を終了する。尚、ステップS9では、解析結果を液晶ディスプレイ3に表示すると共に、メモリ12に記憶する動作が行われるものであり、その解析結果は、必要に応じて入出力インタフェース11を通じて外部に出力されるものである。
【0025】
要するに、上記した本実施例によれば、液晶画面に表示されたバーコードを読み込む場合に、ステップS2〜S5の実行に応じて、その液晶画面上に存在する格子状の暗い縞に起因したノイズ成分の除去を的確に行い得るようになる。また、読み取り対象に区分されたグレイ値画像データは、ステップS6において、予め設定されたしきい値により二値化されると共に、その二値化データ列の解析処理に供されるものであり、結果的に、読み取り対象のバーコードが液晶画面に表示されたものであっても、当該バーコードの読み取りを確実に行い得るようになる。
【0026】
また、本実施例によるバーコードの読み取り法方法によれば、ステップS6において読み取り対象に区分されたグレイ値画像データを二値化するために必要なしきい値が、当該ステップS6においてノイズ成分に区分されたグレイ画像データ群に含まれる最も大きい明度差データを基準に設定されるから、グレイ値画像データの二値化処理がノイズ成分により不正確になる事態を未然に防止できるようになる。
【0027】
(他の実施の形態)
ステップS6においては、読み取り対象に区分したグレイ値画像データ群について、明度差データの大きさと極大値相互間のピッチまたは極小値相互間のピッチとをチェックし、それら明度差データの大きさ並びにピッチがそれぞれについて予め設定された範囲に収まっているときに当該グレイ値画像データ群を読み取り対象として確定する構成とすることができる。つまり、読み取り対象のバーコードに対応したグレイ値画像データにあっては、明度差データの大きさが所定の有効レベル以上あるはずであり、極大値相互間のピッチまたは極小値相互間のピッチも所定範囲で揃うはずであるから、これを利用して上述のような確定処理を行うことができる。
このようなバーコード読み取り方法によれば、読み取り対象に区分されたグレイ値画像データ群が適正なものであるか否かが、当該グレイ値画像データ群についての隣接する極小値及び極大値の差を示す明度差データと極大値相互間のピッチまたは極小値相互間のピッチとに基づいてチェックされることになるから、液晶画面に表示されたバーコードの読み取り動作が一段と確実なものになり、その信頼性を向上できるようになる。
【0028】
また、読み取り対象の領域、つまりグレイ値画像データに対応した画像領域を複数の領域に分割し、それら分割領域毎にステップS2〜S8を実行する構成とすることもできる。このようなバーコード読み取り方法によれば、液晶画面に表示されたバーコードを読み取るための一連の動作を、複数に分割された画像領域毎に行うようになっているから、バーコードが表示された液晶画面の明るさにばらつきがある場合(例えば、バックライトの位置が偏っている場合)であっても、そのばらつきがバーコードの読み取り動作に及ぼす悪影響を抑制できることになる。
【0029】
ステップS6では、明度差データ出現頻度の度数分布の特徴からバーコードのマージン領域を判別するステップと、判別されたマージン領域に含まれるグレイ値画像データのレベルに基づいてステップS7での設定しきい値を調整するステップとを行うようにしても良い。具体的には、図2と同一内容の図6に示すように、グレイ値画像データの極小値及び極大値の変化幅が設定値以下の領域をバーコードのマージン領域と判別し、そのマージン領域に含まれるグレイ値画像データの最大明度階調が設定しきい値より大きい場合に、前記しきい値を当該最大明度階調より大きい値となるように調整する構成としても良い。
このようなバーコードの読み取り方法によれば、ノイズ成分に区分されたグレイ画像データ群に含まれる最も大きい明度差データを基準に設定されたしきい値が、マージン領域に含まれるグレイ値画像データのレベルに基づいて調整されるから、グレイ値画像データの二値化処理の信頼性を高め得るようになる。
【図面の簡単な説明】
【図1】本発明の一実施例による光学的情報読取方法を示すフローチャート
【図2】画像センサで読み取ったグレイ値画像データの明度階調例を示す図
【図3】明度差データ出現頻度の度数分布図
【図4】バーコードリーダの概略的正面図
【図5】バーコードリーダの電気的構成を示す機能ブロック図
【図6】変形例を説明するための図2相当図
【符号の説明】
1はバーコードリーダ、6はマイコン、7は画像センサ、10は画像メモリ、12はメモリを示す。

Claims (5)

  1. 読み取り面に表示された光学的情報を画像センサにより読み取ってグレイ値画像データに変換すると共に、当該画像データを順次メモリに取り込み、このメモリに取り込んだグレイ値画像データを二値化したデータ列の解析処理を行うことにより前記光学的情報の読み取りを行う方法において、
    前記グレイ値画像データの極小値及び極大値を出現順に検出する第1のステップと、
    検出した極小値及び極大値群のうち隣接する極小値及び極大値の差を明度差データとして検出する第2のステップと、
    検出した明度差データ群を各明度差データの大きさに従って分類するための複数段階の明度差階層を設定する第3のステップと、
    前記明度差データ群を前記明度差階層毎に分類することにより、明度差階層毎の明度差データ出現頻度の度数分布を検出する第4のステップと、
    前記明度差データ出現頻度の度数分布の特徴から前記メモリに取り込んだ前記グレイ値画像データをノイズ成分と読み取り対象とに区分する第5のステップと、
    読み取り対象に区分されたグレイ値画像データを予め設定されたしきい値に基づいて二値化すると共に、二値化したデータ列を前記解析処理に供する第6のステップとを実行するように構成され、
    前記第5のステップでは、前記明度差データ出現頻度の度数分布の包絡線により形成される山部のうち、その山部のピークに対応した明度差データ出現頻度が予め決められた範囲にあり、且つ明度差階層が相対的に高い山部に属するグレイ値画像データ群を読み取り対象に区分することを特徴とする光学的情報読み取り方法。
  2. 前記第5のステップでは、読み取り対象に区分したグレイ値画像データ群について、前記明度差データの大きさと前記極大値相互間のピッチまたは極小値相互間のピッチとをチェックし、それら明度差データの大きさ並びにピッチがそれぞれについて予め設定された範囲に収まっているときに当該グレイ値画像データ群を読み取り対象として確定することを特徴とする請求項1記載の光学的情報読み取り方法。
  3. 前記グレイ値画像データに対応した画像領域を複数の領域に分割し、それら分割領域毎に前記第1ないし第6のステップを実行することを特徴とする請求項1または2記載の光学的情報読み取り方法。
  4. 前記第5のステップでは、前記第5のステップでノイズ成分に区分されたグレイ画像データ群に含まれる最も大きい明度差データを基準に前記しきい値を設定することを特徴とする請求項1ないし3の何れかに記載の光学的情報読み取り方法。
  5. 請求項4記載の光学的情報読み取り方法において、
    前記第5のステップでは、前記明度差データ出現頻度の度数分布の特徴から前記光学的情報のマージン領域を判別するステップと、判別されたマージン領域に含まれるグレイ値画像データのレベルに基づいて前記設定しきい値を調整するステップとを含んで成ることを特徴とする光学的情報読み取り方法。
JP2003179640A 2003-06-24 2003-06-24 光学的情報読み取り方法 Expired - Fee Related JP3971347B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003179640A JP3971347B2 (ja) 2003-06-24 2003-06-24 光学的情報読み取り方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003179640A JP3971347B2 (ja) 2003-06-24 2003-06-24 光学的情報読み取り方法

Publications (2)

Publication Number Publication Date
JP2005020174A JP2005020174A (ja) 2005-01-20
JP3971347B2 true JP3971347B2 (ja) 2007-09-05

Family

ID=34180917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003179640A Expired - Fee Related JP3971347B2 (ja) 2003-06-24 2003-06-24 光学的情報読み取り方法

Country Status (1)

Country Link
JP (1) JP3971347B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014210834B3 (de) * 2014-06-06 2015-09-03 Robert Bosch Gmbh Verfahren für die Ansteuerung einer Anzeigevorrichtung sowie Anzeigevorrichtung für insbesondere ein Kraftfahrzeug

Also Published As

Publication number Publication date
JP2005020174A (ja) 2005-01-20

Similar Documents

Publication Publication Date Title
JP4288756B2 (ja) 情報コード概略存在領域推定方法、情報コード読取方法及び装置、記録媒体
US7333656B2 (en) Image processing method and image processing apparatus
US20080152230A1 (en) Programmable pattern matching device
KR101597739B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
KR20120132314A (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
US8538191B2 (en) Image correction apparatus and method for eliminating lighting component
JP6630341B2 (ja) シンボルの光学的検出方法
US8718370B2 (en) Optical information-reading apparatus and optical information-reading method
JP5782838B2 (ja) 画像処理装置及び画像処理プログラム
JP5870745B2 (ja) 画像処理装置、二値化閾値算出方法及びコンピュータプログラム
CN1074302A (zh) 符号信息读取装置
JPH041866A (ja) 画像処理方法およびその装置
JP3971347B2 (ja) 光学的情報読み取り方法
JP4749382B2 (ja) 2次元コード読取装置及びその方法
JP3906221B2 (ja) 画像処理方法及び画像処理装置
JP5427828B2 (ja) 2次元コード読取装置及びその方法
JP2004104635A (ja) 画像処理装置
JP2009140244A (ja) 画像処理プログラム及び画像処理装置
JP2010225047A (ja) ノイズ成分除去装置、ノイズ成分除去プログラムを記録した媒体
WO2007072548A1 (ja) 画像判別装置
JP4122703B2 (ja) 画像処理装置
US20090122167A1 (en) Method And Apparatus For Removing Noise By Dark Current Of Image Sensor
JP5316662B2 (ja) 画像処理装置、画像処理プログラムおよび撮像装置
JP2005295313A (ja) コード読取装置、電子機器、パラメータの調整方法及びパラメータ調整プログラム
JP5282559B2 (ja) 情報コード読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070607

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees