[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4426436B2 - 車両検知装置 - Google Patents

車両検知装置 Download PDF

Info

Publication number
JP4426436B2
JP4426436B2 JP2004375417A JP2004375417A JP4426436B2 JP 4426436 B2 JP4426436 B2 JP 4426436B2 JP 2004375417 A JP2004375417 A JP 2004375417A JP 2004375417 A JP2004375417 A JP 2004375417A JP 4426436 B2 JP4426436 B2 JP 4426436B2
Authority
JP
Japan
Prior art keywords
vehicle
image
determination
detection
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004375417A
Other languages
English (en)
Other versions
JP2006182086A (ja
Inventor
裕史 大塚
彰二 村松
寛 武長
竜彦 門司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004375417A priority Critical patent/JP4426436B2/ja
Priority to US11/317,010 priority patent/US20060140449A1/en
Priority to EP05028523A priority patent/EP1674883A3/en
Publication of JP2006182086A publication Critical patent/JP2006182086A/ja
Application granted granted Critical
Publication of JP4426436B2 publication Critical patent/JP4426436B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両を検知する技術に関する。
同一車線上の前方車両を検知し、その車両までの距離を一定に維持しようとする技術がある（ＡＣＣ：自動車間制御システム）。
前方の車両を検知する方法として、レーダを用いる方法や、カメラで撮像した画像を用いる方法がある。レーダは、対象物までの距離を精度よく検知できるものの、横方向の検知精度が低く、検知した車両が自車両のレーンの車両であるのか、隣のレーンの車両であるのかを区別できない場合がある。一方、カメラは、広角が広く、撮像した画像を解析することにより、車両の横方向の位置を正確に検知することができ、カーブ時や割り込み車両がある場合でも、より確実に同一車線上の前方車両を検知することができる。
特許文献１には、カメラで撮像した画像を利用して、前方の車両を検知する車両検知装置が記載されている。この車両検知装置は、撮像した画像から抽出した特徴量を、ニューラルネットワークの応用技術であるサポートベクタマシンで構成される識別器に入力し、車両か否かを判別する。識別器は、予め記憶装置に登録されているものを用いる。
IEEE TRANS ON PATTERN ANALYSYS AND MACHINE INTELLIGENCE VOL. 26, No. 8, 2004, pp.1064-1072
非特許文献１の技術では、識別器は、当該識別器が生成される以前に存在した車両のパターンを識別するように構成されている。したがって、非特許文献１の技術では、識別器の生成後に出現した新型車を、車両として検知できない場合がある。
本発明の目的は、新型車についても車両として検知できる技術を提供することにある。
上記課題を解決すべく、本発明の車両検知装置は、撮像した画像を用いて識別器を更新していく。
例えば、本発明の車両検知装置は、特徴量の入力を受け付けて車両か否か判定する識別器を記憶する手段と、画像を取り込む画像取込手段と、前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する車両判定手段と、車両を検知する前記車両判定手段以外の他の検知手段と、前記車両判定手段で判定した判定結果と前記他の検知手段の検知結果とが一致するか否か判定する一致判定手段と、前記一致判定手段で不一致と判定した場合、前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力した場合の判定結果が前記他の検知手段の結果と同一になるように前記識別器を更新する手段とを有する。
前記車両検知装置は、前記一致判定手段で不一致と判定した場合、前記画像取込手段で取り込んだ画像を教師データとしてセンタ装置に引き渡す手段を有してもよい。前記センタ装置は、前記車両検知装置から受け取った教師データを用いて識別器を更新する手段を有してもよい。そして、前記車両検知装置は、さらに、前記センタ装置で更新された識別器を受け取る手段と、受け取った識別器を前記記憶装置に記憶する手段とを有してもよい。
また、前記他の検知手段としては、車両を検知するレーダであってもよい。
本発明が適用された一実施形態について、図面を用いて説明する。
図１は、本実施形態のACC（Adaptive Cruise Control：自動車間制御）システムの概略構成図である。
なお、以下では、ＡＣＣシステムを載せた車両を「自車両」という。また、検知の対象となる前方の車両を「前方車両」という。
ＡＣＣシステムは、車両検知部１００と、ＡＣＣ制御部２００と、ＡＣＣ実行部３００とから構成される
車両検知部１００は、カメラ１１０と、画像処理部１２０と、識別器１２２と、レーダ１３０と、レーダデータ処理部１４０と、結果処理部１５０とを有する。
カメラ１１０は、ＣＣＤカメラなどで構成され、自車両の前方を撮像できる位置に取り付けられている。カメラ１１０は、撮像して得た画像データを画像処理部１２０に送る。
画像処理部１２０は、カメラ１１０から画像データを受け取り、画像データの中から車両候補領域を特定する。そして、特定した車両候補領域に前方車両が含まれているか否か判定する。車両か否かの判定は、後述するように、記憶装置（不図示）に記憶されている識別器１２２を用いて行う。画像処理部１２０は、判定結果を、結果処理部１５０に送る。
レーダ１３０は、公知の方法で、前方車両（対象物）を検知する。そして、車両を検知した場合、その検知結果を結果処理部１５０に送る。レーダ１３０としては、ミリ波レーダやレーザレーダなどを用いることができる。例えば、ミリ波レーダであれば、ミリ波を前方に照射し、前方車両から反射して戻ってきた波を解析して、前方車両の存在、位置（自車両から前方車両までの距離、自車両からみた前方車両の方向）、前方車両の速度（自車両を基準とした相対速度）、を検知する。なお、レーダ１３０が、ミリ波レーダの場合、ほとんどの立体物を検知できる反面、ノイズも多く検知してしまうため、検知した対象物が車両かどうかを区別する必要がる。また、レーザレーダの場合、ノイズは少ないが路肩のリフレクタを検知してしまう場合があるため、それらと車両の区別を行う必要がある。車両か否かの区別は、公知の方法を用いることができる。
結果処理部１５０は、画像処理部１２０から受け取った判定結果と、レーダ１３０から受け取った車両検知結果とを用いて、最終的な車両の検出結果を出力する。また、画像処理部１２０から受け取った判定結果と、レーダ１３０から受け取った車両検知結果とが一致しなかった場合、後述するように、カメラ１１０で撮像した画像を、識別器１２２を学習させるための教師データとして登録する。
ＡＣＣ制御部２００は、結果処理部１５０から出力された前方車両の存在、位置、速度等の情報に基づいて、アクセルやブレーキの動作のコマンドを生成し、ＡＣＣ実行部３００に送る。例えば、自車両と前方車両との距離が所定値（例えば３０ｍ）以上の場合、アクセルを開放するコマンドを生成し、ＡＣＣ実行部３００に送る。一方、自車両と前方車両との距離が所定値（例えば２５ｍ）未満の場合、アクセルを緩めるコマンドと、ブレーキを掛けるコマンドを生成し、それぞれＡＣＣ実行部３００に送る。
ＡＣＣ実行部３００は、アクセル制御部３１０と、ブレーキ制御部３２０とを有する。アクセル制御部３１０は、ＡＣＣ制御部２００からのコマンドに従って、車両のアクセルを開いたり、閉じたりする。ブレーキ制御部３２０は、ＡＣＣ制御部２００からのコマンドに従って、車両のブレーキを掛けたり、緩めたりする
なお、画像処理部１２０、識別器１２２、結果処理部１５０、ＡＣＣ制御部２００は、ＣＰＵなどの演算装置、メモリやＨＤＤなどの記憶装置を備えるコンピュータにより達成される。各機能部の処理は、ＣＰＵがメモリにロードしたプログラムを実行することにより達成される。また、識別器１２２の構成（階層構造、ノードの接続、重み係数）は、メモリ又はＨＤＤに記憶される。レーダ１３０は、独自のＭＰＵとメモリを備え、上述の処理を行う。
上記のように構成されるＡＣＣシステムは、次のように動作する。
図２は、ＡＣＣシステムの車両検知部１００が行う車両検知の処理のフロー図である。
レーダ１３０は、車両候補を検出する（Ｓ１０１）。レーダ１３０は、検出された車両候補が車両か否かを判定し、車両と判定した場合、検知結果（車両の存在、位置（距離、方向）、速度）を結果処理部１５０に送る（Ｓ１０２）。
一方、カメラ１１０は、撮像して得た画像データを、画像処理部１２０に継続的に送る。
画像処理部１２０は、カメラ１１０から受信した画像データの中から、車両候補が含まれる領域（車両候補領域）を特定する（Ｓ１０３）。車両候補領域を特定する手法は、車両両端の縦方向のエッジを検出する方法や、車両の水平エッジを検出する方法などが知られているがどの手法を用いても良い。
図３は、画像データの中から、車両候補領域を特定する方法を説明するための図である。図３（ａ）は、カメラ１１０によって前方車両の後面を含む画像が撮像された場合の画像データを示す。画像データ中の車両は、車両の両端を左右辺、ルーフを上辺、影あるいはバンパーの線を下辺としたほぼ矩形になる。
そこで、画像処理部１２０は、矩形の縦線を成す車両両端の縦エッジを検出する。具体的には、画像処理部１２０は、図３（ｂ）に示すように、濃淡画像から縦方向のエッジのみを検出する。つぎに、縦エッジの分布を見るため、図３（ｃ）に示すように、車両が存在する可能性のあるウィンドウ領域４０１を定め、エッジのＸ軸投影を行い、ヒストグラム４０２を得る。車両両端には縦エッジが密集しているはずであるので、画像処理部１２０は、ヒストグラム４０２のピークの位置を車両両端４０３ａ，ｂと特定する。
つぎに、画像処理部１２０は、図２（ｅ）に示すように、車両両端４０３ａ，ｂの間で、横エッジが連続している部分を画面下方からサーチし、その部分を車両下端４０４とする。さらに、車両の幅と高さの比は、ある程度決まっているので、車両の下端４０４から、所定距離（例えば、両端の距離の０．８倍の距離）だけ上に、上端４０５を定める。こうして、画像処理部１２０は、車両候補領域４０６を定める。
なお、画像処理部１２０は、車両の両端を求めると、自車両を基準として、前方車両の方向と距離を求める。方向は車両の写っている横位置から求めることができる。距離は、遠くであれば小さく写り近くであれば大きく写る原理を利用して、求めることができる。
次に、画像処理部１２０は、Ｓ１０３で特定した車両候補領域の画像が、前方車両か否かの判定を行う（Ｓ１０４）。車両候補領域は、上記のように縦エッジを検出することにより特定したものである。実際には、画像データの中に、電信柱や信号、ガードレールの支柱が含まれる場合があり、これらも縦エッジとして検出してしまう場合がある。したがって、車両候補領域の画像（パターン）が前方車両か否か判定する必要がある。
判定方法としては、車両パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークに代表される識別器を用いてパターン認識を行う方法が挙げられる。いずれの方法をとるとしても、あらかじめ車両か否かを決定する指標となるソースのデータベースが必要となる。様々な車両のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な乗用車、軽自動車、トラック、特別車両などが存在し、さらにそれぞれ色が異なったり環境光の当たり方が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。そこで、本実施形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
図４に、識別器を用いて車両か否か判定する様子を示す。
画像処理部１２０は、Ｓ１０３で得た車両候補領域の画像から、特徴量を抽出する。具体的には、まず、車両候補領域の画像を、縦１２ドット、横１６ドットの画像に変換する。そして、変換後の画像のドット毎の輝度を特徴量とする。
画像処理部１２０は、特徴量（ドットの輝度）を、画像の左上のドットから順番に識別器の入力層のノードに入力する。
識別器１２２は、１９２ノードの入力層、９６ノードの中間層、２ノードの出力層からなる階層構造を有するニューラルネットワークである。各層間のノードの接続には、それぞれ重み係数が割り当てられている。識別器１２２は、入力層のノードに入力された特徴量を、割り当てられた重み係数で乗じた後、中間層のノードに出力する。そして、中間層のノードに入力された値を、全て加算し、割り当てられた重み係数で乗じた後、出力層のノードに出力する。さらに、出力層ノードに入力された値を、全て加算し、最終的に出力層のノードＯ１の値と、ノードＯ２の値を出力する。
それぞれの重み係数は、車両候補領域の画像が車両である場合、（ノードＯ１の値）＞（ノードＯ２の値）となり、車両候補領域の画像が車両のでない場合、（ノードＯ１の値）≦（ノードＯ２の値）となるように割り当てられている。
画像処理部１２０は、（ノードＯ１の値）＞（ノードＯ２の値）の場合、車両候補領域の画像は前方車両であると判定し、（ノードＯ１の値）≦（ノードＯ２の値）の場合、車両候補領域の画像は前方車両でないと判定する。そして、その判定結果を、結果処理部１５０に送る。このとき、車両と判定された場合は、前方車両の距離、方向も結果処理部１５０に送る。
つぎに、結果処理部１５０は、レーダ１３０からの検知結果及び画像処理部１２０からの車両判定結果について、整合性をみる（Ｓ１０６）。
ただし、結果処理部１５０は、同一の対象物について、検知結果の整合性をみるようにする。具体的には、結果処理部１５０は、レーダ１３０からの検知結果に含まれる対象物の位置（距離、方向）と、画像処理部１２０からの車両判定結果に含まれる車両候補領域の位置（距離、方向）が一致（あるいは、所定の範囲内で一致）するもの同士で、整合性をみる。
レーダ１３０で車両を検知した場合で、かつ画処理部１２０でも同一車両を検知した場合、結果処理部１５０は、判定結果が一致したとする。また、レーダ１３０で車両を検知しなかった場合で、かつ画処理部１２０でも車両が検知されなかった場合、結果処理部１５０は、判定結果が一致したとする。
一方、レーダ１３０で車両を検知されなかったにも関らず、画処理部１２０で車両が検知された場合、結果処理部１５０は、判定結果が不一致であるとする。また、レーダ１３０で車両を検知したにも関らず、画処理部１２０で車両が検知されなかった場合、結果処理部１５０は、判定結果が不一致であるとする。
判定結果が一致した場合（Ｓ１０６でＹｅｓ）、結果処理部１５０は、判定結果をＡＣＣ制御部２００に出力する。判定結果には、正常に検出された旨の情報、車両が検出された場合は、検出された車両の詳細情報（距離、方向等）が含まれている。
一方、判定結果が一致しなかった場合（Ｓ１０６でＮｏ）、結果処理部１５０は、Ｓ１０３で特定した車両候補領域の画像を、識別器１２２の学習のための教師データに登録するか否か決定する。そして、登録するように決定された場合、候補領域の画像を記憶装置の教師データ１２１に登録する（Ｓ１０８）。具体的には、
（１）レーダ１３０で車両が検知されたにも関らず、画像処理部１２０が、その車両を検知しなかった場合、結果処理部１５０は、そのときの車両候補領域の画像を、車両の画像であるとして教師データ１２１に登録する。
（２）また、逆に、レーダ１３０で検知されなかったにも関わらず、画像処理部１２０が、車両を検知した場合、結果処理部１５０は、そのときの車両候補領域の画像を、車両の画像でないものとして教師データ１２１に登録する。
なお、教師データとして登録する際、候補領域の画像から抽出した特徴量を登録するようにしてもよい。
つぎに、Ｓ１０９において、結果処理部１０９は、不一致の旨の情報とともに、レーダの検知結果と、画像処理部１２０の判定結果を、ＡＣＣ制御部２００に送る。なお、ＡＣＣ制御部２００は、不一致の場合、いずれを選択するかが設定されている。そして、設定に従って、受信した検知結果と判定結果のいずれかを選択する。さらに、選択した情報にしたがって、ＡＣＣ実行部３１０に送るコマンドを生成する。
以上、車両または車両候補が検知された場合に、行われる処理について説明したが、画像処理部１２０は、さらに、定期的に教師データ１２１を用いて、識別器１２２を学習させ更新する。
すなわち、教師データが、車両である画像の場合、その画像から抽出された特徴量が、入力層に入力されたとき、（ノードＯ１の値）＞（ノードＯ２の値）となるように重み係数を割り当てなおす。一方、教師データが、車両でない画像の場合、その画像から抽出された特徴量が、入力層に入力されたとき、（ノードＯ１の値）≦（ノードＯ２の値）となるように、重み係数を割り当てなおす。このような、ニューラルネットワークで構成される識別器の教師データを用いた学習は、誤差逆伝播法などの公知の方法で行うことができる。
以上、本発明の一実施形態について説明した。
上記実施形態によれば、レーダでの車両検知結果と、カメラでの車両検知結果とを統合（センサフュージョン）して、最終的な車両検知結果を出力する。したがって、より信頼性のある車両検知結果を出力できる。すなわち、レーダは、前方車両までの距離を精度よく検知するが、横方向の検知精度が低く、検知した車両が走行中のレーンの車両か、隣のレーンの車両かを区別できない場合がある。一方、カメラでの車両検知によれば、撮像した画像の解析により、車幅をより正確に検知することができ、カーブ時や割り込み車両がある場合でも、より確実に同一車線の前方車両を検知できる。したがって、レーダとカメラの検知結果の統合により、車両検知結果のデータ精度を向上できる。
また、識別器１２２は、随時、更新されていく。したがって、新型車両が出現した場合でも、車両と判定できるようになる。
上記実施形態は、本発明の要旨の範囲内で様々な変形が可能である。
例えば、レーダの情報も誤認識を含んでいる可能性があり、誤った情報を教師データ１２１に登録してしまう可能性がある。その場合、かえって認識率を下げる要因となる。そのため、候補領域の画像を教師データ１２１としてすぐには登録せずに、教師データ１２１に登録するかどうかをユーザ（ドライバー）に判断させ、登録要求を入力装置から受け付けた場合に、登録するようにしてもよい。例えば、車両の停車を検出したとき、車両検知部１００に接続された表示装置に、車両かどうかの判定を受け付ける画面を表示する。車両であるとの判定を受け付けた場合、車両候補領域の画像を車両の画像として教師データ１２１に登録する。一方、車両でないとの判定を受け付けた場合、車両候補領域の画像を車両でないものとして教師データに登録する。こうすれば、誤った情報が教師データ１２１に登録され、誤った教師データ１２１で識別器１２２が学習されるのを防止できる。
また、学習の処理量は大きく処理時間がかかるため、画像処理部１２０は、車両検知処理を行っていないとき、たとえば、停車中や低速走行中に、学習を行うようにしてもよい。停車中、低速走行中かの判断は、速度センサの出力から判断できる。
また、教師データ１２１に誤った情報が混入している可能性があるため、一度カーディーラなどに設置されたセンタ装置に、教師データ１２１を、ネットワークや記録媒体を介して渡すようにしてもよい。そして、センタ装置は、教師データ１２１を検査して、検査後の教師データ１２１で識別器を学習させる。車両検知部１００は、センタ装置が生成した識別器を、ネットワークや記録媒体を介して受信する。この場合、センタ装置は、複数の車両検知部１００から得た教師データを用いて識別器を生成するようにしてもよい。そうすれば、効率よく識別器の性能向上を果たすことができる。なお、センタ装置の教師データ１２1の検査は、例えば、教師データに含まれる画像を表示画面に表示していき、操作者から、車両か否かの判定を受け付けるようにする。そして、車両でないとの判定を受け付けた教師データは、削除するようにする。
また、上記実施形態では、Ｓ１０６で、レーダ１３０からの車両検知結果と、画像処理部１２０からの判定結果を比較したが、これに限定されない。前方車両を検知できる他の方法の出力と、画像処理部１２０からの判定結果とを比較するようにしてもよい。
また、識別器は、ニューラルネットワークに限定されない。サポートベクターマシン識別器、ＮＮ（ニアレストネイバー）識別器、ベイズ識別器などを用いてもよい。
また、車両検知部１００は、ナビゲーション装置と一体に設けられ、ＣＰＵやメモリを共有するものであってもよい。
本発明の一実施形態にかかるＡＣＣシステムの概略構成図。 車両検知部１００の処理のフロー図。 車両候補領域を特定する方法を説明するための図。 識別器を用いた車両判定の方法を説明するための図。
符号の説明
１００ 車両検知部
１１０ カメラ
１２０ 画像処理部
１２１ 教師データ
１２２ 識別器
１３０ レーダ
１５０ 結果処理部
２００ ＡＣＣ制御部
３００ ＡＣＣ実行部
３１０ アクセル制御部
３２０ ブレーキ制御部

Claims (6)

  1. 車両検知装置であって、
    特徴量の入力を受け付けて車両か否か判定する識別器を記憶する手段と、
    画像を取り込む画像取込手段と、
    前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する車両判定手段と、
    車両を検知する前記車両判定手段以外の他の検知手段と、
    前記車両判定手段で判定した判定結果と前記他の検知手段の検知結果とが一致するか否か判定する一致判定手段と、
    前記一致判定手段で不一致と判定した場合、前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力した場合の判定結果が前記他の検知手段の結果と同一になるように前記識別器を更新する手段と
    を有することを特徴とする車両検知装置。
  2. 車両検知装置であって、
    特徴量の入力を受け付けて車両か否か判定する識別器を記憶する手段と、
    車両を検知するレーダと、
    画像を取り込む画像取込手段と、
    前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する車両判定手段と、
    前記車両判定手段で判定した判定結果と前記レーダの検知結果とが一致するか否か判定する一致判定手段と、
    前記一致判定手段で不一致と判定した場合、前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力した場合の判定結果が前記レーダの検知結果と同一になるように前記識別器を更新する手段と
    を有することを特徴とする車両検知装置。
  3. 車両検知装置であって、
    特徴量の入力を受け付けて車両か否か判定する識別器を記憶する手段と、
    画像を取り込む画像取込手段と、
    前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する判定手段と、
    前記判定手段で判定された判定結果を示すとともに、登録の指示を受け付ける登録指示受付手段と、
    前記登録指示受付手段で登録の指示を受け付けた場合、前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力した場合に正しく判定されるように前記識別器を更新する手段とを有することを特徴とする車両検知装置。
  4. 車両検知装置とセンタ装置とを有するシステムであって、
    前記車両検知装置は、
    特徴量の入力を受け付けて車両か否か判定する識別器を記憶する記憶装置と、
    画像を取り込む画像取込手段と、
    前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する車両判定手段と、
    車両を検知する前記車両判定手段以外の他の検知手段と、
    前記車両判定手段で判定した判定結果と前記他の検知手段の検知結果とが一致するか否か判定する一致判定手段と、
    前記一致判定手段で不一致と判定した場合、前記画像取込手段で取り込んだ画像を教師データとしてセンタ装置に引き渡す手段とを有し、
    前記センタ装置は、
    前記車両検知装置から受け取った教師データを用いて識別器を更新する手段を有し、
    前記車両検知装置は、さらに、
    前記センタ装置で更新された識別器を受け取る手段と、
    受け取った識別器を前記記憶装置に記憶する手段とを有する
    ことを特徴とするシステム。
  5. 車両検知装置であって、
    特徴量の入力を受け付けて車両か否か判定する識別器を記憶する記憶装置と、
    画像を取り込む画像取込手段と、
    前記画像取込手段で取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する車両判定手段と、
    車両を検知する前記車両判定手段以外の他の検知手段と、
    前記車両判定手段で判定した判定結果と前記他の検知手段の検知結果とが一致するか否か判定する一致判定手段と、
    前記一致判定手段で不一致と判定した場合、前記画像取込手段で取り込んだ画像を前記識別器を学習させるための教師データとして登録する手段とを有する
    ことを特徴とする車両検知装置。
  6. 車両検知装置の車両検知方法であって、
    前記車両検知装置は、
    特徴量の入力を受け付けて車両か否か判定する識別器を記憶する手段を有し、
    画像を取り込む画像取込ステップと、
    前記画像取込ステップで取り込んだ画像から抽出される特徴量を前記識別器に入力して前記画像に車両が含まれるか否か判定する車両判定ステップと、
    車両を検知する前記車両判定ステップ以外の他の検知ステップと、
    前記車両判定ステップで判定した判定結果と前記他の検知ステップの検知結果とが一致するか否か判定する一致判定ステップと、
    前記一致判定ステップで不一致と判定した場合、前記画像取込ステップで取り込んだ画像から抽出される特徴量を前記識別器に入力した場合の判定結果が前記他の検知手段の結果と同一になるように前記識別器を更新するステップと
    を有することを特徴とする車両検知方法。
JP2004375417A 2004-12-27 2004-12-27 車両検知装置 Expired - Fee Related JP4426436B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004375417A JP4426436B2 (ja) 2004-12-27 2004-12-27 車両検知装置
US11/317,010 US20060140449A1 (en) 2004-12-27 2005-12-27 Apparatus and method for detecting vehicle
EP05028523A EP1674883A3 (en) 2004-12-27 2005-12-27 Apparatus and method for detecting vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004375417A JP4426436B2 (ja) 2004-12-27 2004-12-27 車両検知装置

Publications (2)

Publication Number Publication Date
JP2006182086A JP2006182086A (ja) 2006-07-13
JP4426436B2 true JP4426436B2 (ja) 2010-03-03

Family

ID=36129742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004375417A Expired - Fee Related JP4426436B2 (ja) 2004-12-27 2004-12-27 車両検知装置

Country Status (3)

Country Link
US (1) US20060140449A1 (ja)
EP (1) EP1674883A3 (ja)
JP (1) JP4426436B2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE8902315D0 (sv) * 1989-06-27 1989-06-27 Pharmacia Ab Anjonbytare
JP4532171B2 (ja) * 2004-06-01 2010-08-25 富士重工業株式会社 立体物認識装置
JP5405741B2 (ja) * 2004-07-26 2014-02-05 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4211809B2 (ja) 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
JP4166253B2 (ja) 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
JP2009086787A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 車両検出装置
JP4533936B2 (ja) 2008-02-01 2010-09-01 日立オートモティブシステムズ株式会社 画像処理装置、及びこれを備えた車両検知装置
US20110102237A1 (en) * 2008-12-12 2011-05-05 Lang Hong Fusion Algorithm for Vidar Traffic Surveillance System
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
JP5518007B2 (ja) 2011-07-11 2014-06-11 クラリオン株式会社 車両用外界認識装置及びそれを用いた車両制御システム
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
JP5974448B2 (ja) * 2011-10-25 2016-08-23 富士通株式会社 車両情報登録方法、車両情報登録装置、及び車両情報登録プログラム
JP5969220B2 (ja) * 2012-02-28 2016-08-17 株式会社日本自動車部品総合研究所 車間距離制御装置
JP5798078B2 (ja) * 2012-03-30 2015-10-21 クラリオン株式会社 車両用外界認識装置とそれを用いた車両システム
JP5786793B2 (ja) * 2012-05-09 2015-09-30 株式会社デンソー 車両検出装置
US8928730B2 (en) 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
US20210133213A1 (en) * 2019-10-31 2021-05-06 Vettd, Inc. Method and system for performing hierarchical classification of data
DE102014118035B4 (de) * 2014-12-05 2022-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen einer Abschattung einer Sensoreinrichtung eines Kraftfahrzeugs durch ein Objekt, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016200995B4 (de) * 2015-01-28 2021-02-11 Mando Corporation System und Verfahren zum Erfassen von Fahrzeugen
JP6252549B2 (ja) * 2015-05-29 2017-12-27 株式会社デンソー 物体検出装置
US9778353B2 (en) * 2015-06-24 2017-10-03 Htc Corporation Handheld device, object positioning method and computer-readable recording medium
CN106405539B (zh) * 2015-07-31 2020-12-08 株式会社万都 车辆雷达系统以及用于去除一非感兴趣目标的方法
JP6682833B2 (ja) * 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US10353053B2 (en) * 2016-04-22 2019-07-16 Huawei Technologies Co., Ltd. Object detection using radar and machine learning
JP6223504B1 (ja) * 2016-05-18 2017-11-01 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
DE102017207442A1 (de) * 2017-05-03 2018-11-08 Scania Cv Ab Verfahren und Vorrichtung zum Klassifizieren von Objekten im Umfeld eines Kraftfahrzeuges
JP6922447B2 (ja) * 2017-06-06 2021-08-18 株式会社デンソー 情報処理システム、サーバおよび通信方法
US10850732B2 (en) 2017-09-05 2020-12-01 Aptiv Technologies Limited Automated speed control system
CN110609274B (zh) * 2018-06-15 2022-07-01 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统
JP7082545B2 (ja) 2018-08-01 2022-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
US10621473B1 (en) * 2019-01-30 2020-04-14 StradVision, Inc. Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same
CN112017239B (zh) * 2019-05-31 2022-12-20 北京市商汤科技开发有限公司 确定目标对象朝向方法、智能驾驶控制方法和装置及设备
JP6705539B1 (ja) * 2019-08-22 2020-06-03 トヨタ自動車株式会社 失火検出装置、失火検出システムおよびデータ解析装置
DE112019007681T5 (de) * 2019-09-02 2022-06-09 Mitsubishi Electric Corporation Automatische Fahrsteuerungsvorrichtung und automatisches Fahrsteuerungsverfahren
DE102019213803A1 (de) * 2019-09-11 2021-03-11 Zf Friedrichshafen Ag Anpassen einer Klassifizierung von Objekten
EP3800581A1 (en) * 2019-10-03 2021-04-07 Axis AB A method and apparatus for generating an object classification for an object

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP3230642B2 (ja) * 1995-05-29 2001-11-19 ダイハツ工業株式会社 先行車検出装置
US6025796A (en) * 1996-12-09 2000-02-15 Crosby, Ii; Robert G. Radar detector for pre-impact airbag triggering
US5923280A (en) * 1997-01-17 1999-07-13 Automotive Systems Laboratory, Inc. Vehicle collision radar with randomized FSK wave form
JP3562278B2 (ja) * 1997-11-07 2004-09-08 日産自動車株式会社 環境認識装置
JP3669205B2 (ja) * 1999-05-17 2005-07-06 日産自動車株式会社 障害物認識装置
JP3714116B2 (ja) * 1999-08-09 2005-11-09 トヨタ自動車株式会社 操縦安定性制御装置
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
AU8002001A (en) * 2000-07-20 2002-02-05 Viraf S Kapadia System and method for transportation vehicle monitoring, feedback and control
JP2002099906A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP4070437B2 (ja) * 2001-09-25 2008-04-02 ダイハツ工業株式会社 前方車両認識装置及び認識方法
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP4425669B2 (ja) * 2004-03-09 2010-03-03 富士重工業株式会社 車両用運転支援装置
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP2006047057A (ja) * 2004-08-03 2006-02-16 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2006140636A (ja) * 2004-11-10 2006-06-01 Toyota Motor Corp 障害物検出装置および方法

Also Published As

Publication number Publication date
JP2006182086A (ja) 2006-07-13
EP1674883A2 (en) 2006-06-28
EP1674883A3 (en) 2006-08-16
US20060140449A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4426436B2 (ja) 車両検知装置
US11816991B2 (en) Vehicle environment modeling with a camera
CN109886998B (zh) 多目标跟踪方法、装置、计算机装置及计算机存储介质
CN109903310B (zh) 目标跟踪方法、装置、计算机装置及计算机存储介质
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
Khammari et al. Vehicle detection combining gradient analysis and AdaBoost classification
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
CN111754625A (zh) 用于计算机辅助或自主驾驶车辆的协作式3-d环境地图
JP4070437B2 (ja) 前方車両認識装置及び認識方法
JP2000293670A (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
Liu et al. Vehicle detection and ranging using two different focal length cameras
US12012102B2 (en) Method for determining a lane change indication of a vehicle
JP6818626B2 (ja) 車種判別装置、車種判別方法、および車種判別システム
CN107667378A (zh) 用于识别和评估路面反射的方法和装置
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN113971795A (zh) 基于自驾车视觉感测的违规巡检系统及其方法
CN112052807B (zh) 车辆位置检测方法、装置、电子设备及存储介质
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
Singh et al. Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes
JP2001256485A (ja) 車種判別システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091210

R151 Written notification of patent or utility model registration

Ref document number: 4426436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20100601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees