JP4287532B2 - 車両用後側方監視装置 - Google Patents
車両用後側方監視装置 Download PDFInfo
- Publication number
- JP4287532B2 JP4287532B2 JP05243799A JP5243799A JP4287532B2 JP 4287532 B2 JP4287532 B2 JP 4287532B2 JP 05243799 A JP05243799 A JP 05243799A JP 5243799 A JP5243799 A JP 5243799A JP 4287532 B2 JP4287532 B2 JP 4287532B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- image processing
- road
- processing means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は車両用後側方監視装置に係り、より詳細には、自動車などの車両等に設置されたビデオカメラ等の撮像手段によって車両の後側方の道路を撮像し、撮像された道路画像を用いて走行している自車両の後側方より接近してくる他車両を検知して運転者に警報を与えるため車両の後側方を監視する車両用後側方監視装置に関するものである。
【０００２】
【従来の技術】
従来、自車両が走行している自車線に隣接する左右の隣接車線上の後続車を正確に認識し、車両が進路変更を行おうとする際に、その方向の隣接車線を後続車が走行中であれば衝突の危険性があるとしてドライバーに警報を与えることにより、進路変更時における後続車との衝突を未然に防ぐため車両の後側方の道路を監視する後側方監視警報装置が、例えば特許第２６４１５６２号、特開平６−１０７０９６号公報及び特開平７−５０７６９号公報などにおいて提案されている。
【０００３】
これらの提案の装置では、隣接車線内の後続車両を余計な画像処理を行うことなく、より早くかつ確実に検出することができるように、ビデオカメラによって撮像された道路画像を用いて車線区画ラインである白線を認識して道路上の車線を識別し、この識別によって隣接車線に監視領域を設定し、ビデオカメラによって撮像された道路画像に設定された監視領域内、すなわち隣接車線内に存在する接近中の後続車両の検出のための画像処理量を低減するようにしている。
【０００４】
上記特開平６−１０７０９６号公報及び特開平７−５０７６９号公報にはオプティカルフローの検出を応用したものが開示されており、その主要点を図７及び図８を参照して説明する。
【０００５】
図７は、従来装置の構成を示すブロック図である。同図において、１０は撮像手段としての撮像部で、例えばビデオカメラ１１を有している。また、３０は演算処理装置としてのデータ処理部であり、４２は警報手段としてのスピーカである。
【０００６】
撮像部１０は、車両後方の所定位置例えばトランクの上部位置に車両後側方の道路を撮像するように正面に向けて配設されている。データ処理部３０は、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２、ＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。スピーカ４２は、車両内部に配設され、データ処理部３０のＣＰＵ３１からの駆動信号に必要に応じて音声や警報音を発生することにより運転者などに危険を知らせる。
【０００７】
図８は、上述したように、自車両の後方部に搭載された撮像部１０による撮像画像の変化を説明する図であり、図８（ａ）は時刻ｔにおける撮像画像、図８（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示している。
そして、これらの各図において、２００は自車両の後側方を走行する後続車両、３００は道路５００に隣接して配設された道路標識、４００は同じく道路５００に隣接して配設された建物である。
【０００８】
今、自車両が平坦な道を直進しているとすると、時刻の経過すなわち自車両の走行に伴い、道路標識３００や建物４００は自車両との相対距離が離れ小さく撮像される。図においては、図８（ａ）すなわち時刻ｔの撮像画像における道路標識３００及び建物４００と、図８（ｂ）すなわち時刻ｔ＋△ｔの撮像画像における道路標識３００及び建物４００に関し、図８（ｂ）の道路標識３００及び建物４００の方が小さく撮像されている。
以下、これらの図を参照して、オプティカルフローについて説明する。
【０００９】
これらの図において、撮像画像内に設定された複数の対応点、例えば他車両２００における着目点、道路標識３００における着目点、建物４００における着目点に関し、各時間毎の着目点すなわち時刻ｔ〔図８（ａ）〕における各着目点２０１ａ、２０２ａ、３０１ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、時刻ｔ＋△ｔ〔図８（ｂ）〕における各着目点２０１ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１ｂ及び４０２ｂについて、互いに対応する着目点同士を結合することにより、図８（ｃ）に示す速度ベクトルすなわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３０３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られた速度ベクトルがオプティカルフローである。
【００１０】
ここで、このオプティカルフローは、画面内の無限遠点あるいは消失点として定義されるＦＯＥ(Focus of Expansion)から放射状に現れていることが判る。このＦＯＥは、車両が直進している場合の画像上において、自車両の進行方向の正反対方向を示す１点に対応する。
そして、自車両の走行状態において、自車両から遠ざかる物体のオプティカルフローは上記ＦＯＥに向かう収束方向のベクトルとなり、自車両に近づいてくる物体のオプティカルフローは上記ＦＯＥから離れる発散方向のベクトルとなる。従って、同図に２０１Ｆ及び２０２Ｆで示す後続の他車両２００のオプティカルフローは発散方向のベクトルであるので、この他車両は自車両に近づいてきていること、換言すれば自車両よりも高速で走行している車両であることが分かる。
【００１１】
また、このオプティカルフローの大きさに関し、このオプティカルフローの大きさは、単位時間における自車両と対象物体との距離の差すなわち速度差が大きい程大きくなり、自車両と対象物体との相対距離が近い程大きくなる。このことを図面を参照して説明する。
【００１２】
図９は、撮像部１０の光学的配置を示した図である。同図において、１１ａは撮像部１０のビデオカメラが有するレンズ、１１ｂは同じくビデオカメラが有するイメージプレーン、ｆはレンズ１１ａからイメージプレーン１１ｂまでの距離、Ｐ（Ｘa ，Ｙa ，Ｚa ）は後続する他車両上の任意の１点、ｐ（ｘa ，ｙa）はイメージプレーン１１ｂ上における上記点Ｐに対応する点である。
【００１３】
この場合、３角形の相似の比から、次式（１）の関係が得られる。
ｘa ＝ｆ・Ｘa ／Ｚa ・・・ （１）
この式（１）を変形して時間微分すると、次式（２）が得られる。
Ｘa ’＝（Δｘa ／Δｔ・Ｚa ＋ｘa ・Ｚa ’）／ｆ ・・・ （２）
また、オプティカルフローのｘ方向成分ｕは、次式（３）で表せる。
ｕ＝Δｘa ／Δｔ ・・・ （３）
従って、この式（３）により次式（４）を得ることができる。
Ｚa ＝（ｆ・Ｘa ’−ｘa ・Ｚa ’）／ｕ ・・・ （４）
【００１４】
ここで、上式（４）のＺa ’は、同一車線あるいは隣接車線を走行する他車両（図８に符号２００で示す）と撮像部１０が搭載された自車両との速度差すなわち相対速度を示している。この相対速度を−αとすると上式（４）は次式（５）となる。
Ｚa ＝（ｆ・Ｘa ’＋ｘa α）／ｕ ・・・ （５）
よって、オプティカルフローのｘ方向成分ｕは、次式（６）のように表すことができる。
ｕ＝（ｆ・Ｘa ’＋ｘa α）／Ｚa ・・・ （６）
なお、点ＰのＹ座標Ｙa についても同様にして求めることができる。
【００１５】
よって上式（６）より、Ｚが小すなわち後続車両又は隣接車線を走行中の他車両２００までの距離が小である程、あるいは、αが大すなわち他車両２００との速度差が大である程、オプティカルフローのｘ成分は大きくなる。これはＹ方向についても同様である。
従って、オプティカルフローは後続する他車両２００との距離が小な程、更に互いの速度差が大な程長くなり、これよりオプティカルフローの方向がＦＯＥに対して発散し、その長さが短いときより長いときの方が相対的に後続車両又は隣接車両に対する危険度が大きいことが判る。
【００１６】
従って、データ処理部３０は、このオプティカルフローが上述した発散方向のベクトルであり且つその大きさが大きい場合には、対象物体は自車両に対し、接近した位置に存在するか、自車両よりも高速で接近しているかの少なくとも一方の状態にあると考えられ、危険度が高いと判断する。
そして、危険度が高いと判断した場合には、スピーカ４２により運転者にその旨を知らせる。
【００１７】
以上のような処理を、時間ｔの画像の全ての点において繰り返し行うことにより、画像全体のオプティカルフローを求めることができ、各対象物における危険度が求められる。そして、求められた危険度の大きさに従って警報を鳴らすこと等によって運転者に対し注意を促し、これにより、人間の有する有限な認識力を補完することができ、上述の大事故に発展しかねない危険な状態や、実際の大事故の発生を未然に防止している。
【００１８】
また、従来の技術では、図１０に示す如くに、片側３車線の直線高速道路にて自車両が走行している車線の白線を検出することで、自車両の走行車線とその横の隣接車線領域とを識別し、監視領域を決定することで監視不要なものについての処理時間を省いて処理の高速化を図っている。そして、検出された白線の延長からＦＯＥ点を求め、自車線領域及び隣接車線領域についてそれぞれ前記ＦＯＥ点から放射状にオプティカルフローを求めることで自車両に対する接近車両２００の検出を行っており、このオプティカルフローの大きさに基づき認識を行うよう構成されているので、後方や隣接車線を走行している他車両２００に関し、その危険度を自動的に判断でき、且つ、特別な距離計を必要としない利点があり有効である。
【００１９】
現在提案されているオプティカルフロー検出方法の中で、実用化に近いレベルまで達しているものは、相関法である。相関法は、設定した窓の対応点を周辺の領域全方向に関して探索し、相関値の計算を行う必要があるため、計算量が膨大になってしまうという問題点があるが、本発明が対象としているような複雑な画像に関しても、比較的正確にオプティカルフローを求めることが可能であるという利点もある。
【００２０】
上述したように、一般的な相関法においては、ある時刻ｔの画像に関してオプティカルフローを求める際には、時刻ｔの画像の全画素について、それぞれの画素が、時刻ｔ−Δｔの画像において、どの画素に対応しているかを全方向にわたって探索する必要があるため、計算量が膨大になると同時に誤対応が生じるという問題点がある。即ち、対応点探索の際に、全画素に関して全方向に探索していることにより、計算量が膨大となり誤対応が多くなる原因になっているといえる。
そこで、監視領域を設定することにより、処理時間および検出精度の面で問題を解消することが考えられている。
【００２１】
【発明が解決しようとする課題】
ところで、この種の後側方監視装置では、ビデオカメラによって撮像した画像からは、自車両の近傍は遠方に比べて大きな他車両の像が得られるが、遠方は小さな他車両の像しか得られない。このため、近傍は低解像度の画像でもよいが、遠方の場合には、低解像度の像では、画像処理によって他車両の挙動を精度良く捕らえることが難しく、できるだけ解像度のよい画像が得られることが好ましい。
【００２２】
また、車線変更する際のことを考慮すると、隣接車線をできるだけ自車両に近いところまで監視できる広角のビデオカメラを使用することが好ましいが、広角のビデオカメラを使用すると、監視範囲が広くなり、それだけ解像度が低下するとともに、処理すべき画像情報が多くなって、処理時間および検出精度の面で問題となる。
【００２３】
このように、遠方から近傍までを監視する必要のあるこの種の装置では、相矛盾する状況が存在し、何らかの対策を施すことが求められている。
【００２４】
よって本発明は、上記問題に鑑みてなされたもので、近傍から遠方までの広い範囲を好ましい状態で監視できるようにした車両用後側方監視装置を提供することを課題としている。
【００２５】
【課題を解決するための手段】
上記課題を解決するためなされた請求項１記載の発明は、図１（ａ）の基本構成図から明らかなように、車両に装着され車両の後側方の道路を撮像して一定時間毎に道路画像を得る撮像手段１０と、該撮像手段によって得た道路画像を処理して後続の他車両を検出する検出手段３１−１とを備え、該検出手段によって検出した後続の他車両と自車両との相対関係を監視する車両用後側方監視装置において、前記撮像手段が広角で高解像度のカメラで構成され、前記検出手段が、前記撮像手段によって得た道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−１１と、前記撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−１２と、状況に応じて前記第１の画像処理手段及び前記第２の画像処理手段の一方を選択する選択手段３１−１３とを有し、前記選択手段が、自車両の近傍に他車両を検出したとき、前記第１の画像処理手段を選択し、前記検出手段が自車両の近傍に他車両を検出していないとき、前記第２の画像処理手段を選択し、前記第２の画像処理手段を選択しているとき、低い頻度で前記第１の画像処理手段を選択することを特徴とする車両用後側方監視装置に存する。
【００２６】
上記請求項１に記載の発明である車両用後側方監視装置においては、車両に装着された撮像手段１０が車両の後側方の道路を撮像して得た一定時間毎に道路画像を検出手段３１−１が処理して後続の他車両を検出し、検出した後続の他車両と自車両との相対関係を監視する。撮像手段が広角で高解像度のカメラで構成され、検出手段の有する第１の画像処理手段３１−１１が撮像手段によって得た道路画像の全体を画像情報を間引きして処理し、第２の画像処理手段３１−１２が撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理し、かつ選択手段３１−１３が状況に応じて第１の画像処理手段及び第２の画像処理手段の一方を選択するようになっている。
従って、選択手段が第１の画像処理手段を選択したときには、撮像手段によって得た道路画像の全体が画像情報を間引きして処理され、広範囲の画像が低解像度で処理されるので、処理時間が長くなることなく、自車両に近い他車両を広範囲で監視することができる。一方、選択手段が第２の画像処理手段を選択したときには、撮像手段によって得た道路画像の一部領域が画像情報を間引きせずに処理され、狭い範囲の画像が高解像度で処理されるようになるので、処理時間が長くなることなく、自車両から遠い他車両を高解像度で監視することができる。
【００２８】
そして、選択手段は、検出手段が自車両の近傍に他車両を検出したとき、第１の画像処理手段を選択し、低解像度ではあるが自車両近傍の他車両を監視することができ、検出手段が自車両の近傍に他車両を検出していないとき、第２の画像処理手段を選択し、狭い範囲ではあるが高解像度で遠方の他車両を監視できる。しかも、第２の画像処理手段を選択しているとき、低い頻度で第１の画像処理手段を選択するので、低解像度であるが時々自車両の近傍の他車両も監視できるようになっている。
【００３１】
請求項２記載の発明は、図１（ｂ）の基本構成図から明らかなように、車両に装着され車両の後側方の道路を撮像して一定時間毎に道路画像を得る撮像手段１０と、該撮像手段によって一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段３１−３とを備え、該オプティカルフロー検出手段によって検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視する車両用後側方監視装置において、前記撮像手段を広角で高解像度のカメラで構成するとともに、前記オプティカルフロー検出手段が、前記撮像手段によって得た一定時間毎に得た相前後する２つの道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−３１と、前記撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−３２と、状況に応じて前記第１の画像処理手段及び前記第２の画像処理手段の一方を選択する選択手段３１−３３とを有し、前記選択手段が、前記検出手段が自車両の近傍に他車両を検出したとき、前記第１の画像処理手段を選択し、前記検出手段が自車両の近傍に他車両を検出していないとき、前記第２の画像処理手段を選択し、前記第２の画像処理手段を選択しているとき、低い頻度で前記第１の画像処理手段を選択することを特徴とする車両用後側方監視装置に存する。
【００３２】
請求項２に記載の発明である車両用後側方監視装置においては、車両に装着された撮像手段１０が車両の後側方の道路を撮像して一定時間毎に得た相前後する２つの道路画像に基づいてオプティカルフロー検出手段３１−３が他車両から発生するオプティカルフローを検出し、検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視する。検出手段の有する第１の画像処理手段３１−３１が撮像手段によって得た一定時間毎に得た相前後する２つの道路画像の全体を画像情報を間引きして処理し、第２の画像処理手段３１−３２が撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理し、かつ選択手段３１−３３が状況に応じて画像処理の一方を選択するようになっているので、撮像手段が広角で高解像度のカメラで構成されていても、処理時間が長くなることなく、他車両の発生するオプティカルフローにより、自車両に近い他車両を広範囲に、自車両から遠い他車両を高解像度で監視することができる。
そして、選択手段は、検出手段が自車両の近傍に他車両を検出したとき、第１の画像処理手段を選択し、低解像度ではあるが自車両近傍の他車両を監視することができ、検出手段が自車両の近傍に他車両を検出していないとき、第２の画像処理手段を選択し、狭い範囲ではあるが高解像度で遠方の他車両を監視できる。しかも、第２の画像処理手段を選択しているとき、低い頻度で第１の画像処理手段を選択するので、低解像度であるが時々自車両の近傍の他車両も監視できるようになっている。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態の具体例を図面を参照して説明する。図２は、本発明が適用されるオプティカルフロー方式の車両用後側方監視装置の構成を示すブロック図で、同図において、１０は撮像手段としての撮像部、２０は撮像部１０からの画像データなどを保持する記憶部、３０は撮像部１０からの画像情報に基づき画像処理及び他車両との相対関係を監視する処理などを実行するデータ処理部、４０は警報を発生する警報手段としての警報部、５０は自車両の走行方向を変更する際の操作情報を示す信号の入力を行う信号入力部である。
【００３４】
撮像部１０は、ビデオカメラ１１から構成されている。そして、このビデオカメラ１１は、１２０度の画角となる広角レンズ１１ａと、図３に示すようにピクセル数が例えば１０２４×１０２４と多く解像度の高いイメージプレーン１１ｂとを有し、イメージプレーン１１ｂの任意のピクセルをランダムにアクセスして読み込み可能なＣＭＯＳカメラと称されるもので構成されている。ＣＭＯＳカメラはＸ−Ｙアドレス型に構成されているので、入射光に応じた量の電荷を蓄積している画素の電荷を順次転送して取り出す電荷転送型と異なり、電荷を蓄積している画素を水平（Ｘ）ラインと垂直（Ｙ）ラインにて選択でき、このラインを選択する各々の走査回路をマルチプレクサを使用してランダムアクセスできる回路構成とすることによって、任意の画素を選択して電荷を取り出すことができる。そして、撮像部１０のビデオカメラ１１は、車両の後部のトランク部の上部或いは後端部に、車両の後方に向けて取り付けられる。そして、このビデオカメラ１１は、車両の後側方の道路画像を撮像するように構成されている。そして、このビデオカメラ１１は、データ処理部３０のＣＰＵ３１（後述）に対し、車両後側方の道路画像情報を出力する。
【００３５】
記憶部２０は、前記撮像部１０からの道路画像情報を保持する第１フレームメモリ２１及び第２フレームメモリ２２と、発散方向のオプティカルフローを保持する発散オプティカルフローメモリ２３とを有している。
【００３６】
そして、この記憶部２０を構成する第１フレームメモリ２２及び第２フレームメモリ２３は、例えば５１２画素×５１２画素といったｍ行ｎ列からなるマトリクス状のメモリとして構成されている。そして、図３に示すように、広角時にはイメージプレーン１１ｂから１つ置きのピクセルから読み込むことにより画像情報を間引かれた画素データが書き込まれ、ズーム時にはイメージプレーン１１ｂのＦＯＥ周辺の５１２画素×５１２画素分のピクセルから読み込むことによって全画像の一部領域の画素データが書き込まれる。また、各メモリ２１〜２３は、データ処理部３０のＣＰＵ３１に対し、読み書き可能に接続されている。
【００３７】
データ処理部３０は、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２及びＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。
【００３８】
警報部４０は、表示器４１とスピーカ４２とを有している。表示器４１は、ＬＣＤなどで構成され、ビデオカメラ１１が撮像した撮像画像を表示したり、あるいは、データ処理部３０（ＣＰＵ３１）が他車両との接触危険性有りと判定した際に、メッセージなどを表示して運転者に対して危険を映像で知らせる。スピーカ４２は、データ処理部３０からの音声信号に基づき、音声ガイダンスあるいは警報音といった音声を発生する。そして、データ処理部３０が他車両との接触危険性有りと判定した場合には、この音声により運転者に対して危険を音声で知らせる。
【００３９】
信号入力部５０は、ハンドル舵角あるいは車両の操舵輪（一般には前輪）の操舵角を検出する舵角検知手段としての舵角センサ５１と、運転者によるウインカ機構の操作状態とその操作方向を検出するウインカ検出手段としてのウインカ（ターンシグナル）検出スイッチ５２とを有しており、舵角センサ５１により車両の転回情報を検出し、ウインカ検出スイッチ５２により運転者が車両を左右側に転回させる際に操作するウインカ機構からの転回指示情報を検出する。
【００４０】
以上の構成を有する具体例の動作、すなわちデータ処理部３０による制御動作について、フローチャートを参照して説明する。
この具体例においては、まず図４のフローチャートすなわち具体例における主フローチャートのステップＳ１１０にて、画像取得処理を行う。このステップＳ１１０における画像取得処理により、例えば図５に示す後側方の道路画像が得られる。なお、初期状態では、ビデオカメラ１１は広角に設定されており、このときには、１つ置きのピクセル情報が読み出されるようになっている。
【００４１】
この道路画像は、高速道路といった自動車専用道路上を走行中の自車両からの画像を例示しており、ビデオカメラ１１が車両の後部に後側方に向けて取り付けられているので、車両の後側方を直視した画像となっている。同図に示すように、道路５００、道路５００上に描かれ自車線と隣接車線を区画する破線からなり車線変更を可能とする白線５１０及び５２０と側路を区画する連続直線からなり車線変更を禁止する白線５３０及び５４０、並びに道路５００の両脇に立設された壁６００が、画像上における水平方向中心位置でかつ垂直方向１／３位置にて消失する画像となってり、この消失点がＦＯＥとなっている。
そして、この取得した道路画像の情報については、記憶部２０の第１フレームメモリ２１に格納される。
【００４２】
また、この道路画像は、上述したように、車両の後側方に向けて取り付けられているので、道路画像における右側が進行方向を基準とした場合の左側に相当し、道路画像における左側が進行方向を基準とした場合の右側に相当する。以後、この道路画像を基準とした左右方向で説明を行うことにする。
【００４３】
その後は、図４のフローチャートにおけるステップＳ１２０に進んでオプティカルフロー検出処理を行う。よって、ＣＰＵ３１は、予め定めたプログラムによって動作してビデオカメラ１０によって一定時間毎に得た相前後する２つの道路画像に基づいて設定された監視領域内にある他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段３１−１として機能する。このオプティカルフロー検出処理は、第１フレームメモリ２１に格納された時刻ｔにおける道路画像中の画像構成点と、道路画像より所定時間△ｔだけ遅延して撮像され、第２フレームメモリ２２に格納された時刻ｔ＋△ｔの撮像画像中の画像構成点との互いに対応する各点間の移動方向並びに移動量をオプティカルフローとして検出する。検出したオプティカルフローのうち発散方向のもの、すなわち自車両に接近中の他車両からの発散オプティカルフローは発散オプティカルフローメモリ２３に記憶される。
【００４４】
その後のステップＳ１３０では、広角−ズーム切替処理を行う。この切替処理は図６のフローチャートに示すように行われ、先ず最初ステップＳ２１０ａにおいて、発散オプティカルフローメモリ２３に自車両近傍のオプティカルフローが記憶されるかどうかを判断する。自車両近傍のオプティカルフローが記憶されているときにはステップＳ２２０ａで広角モードを設定し、次のステップＳ２２０ａ′においてカウンタＣをクリアしてから元のフローチャートに戻る。一方、ステップＳ２１０ａの判断の結果、自車両近傍のオプティカルフローが記憶されていないときにはステップ２３０ａでズームモードを設定する。その後ステップＳ２４０ａでカウンタＣをインクリメントする。そしてステップＳ２５０ａでカウンタ値が１０になったかどうかを判断し、１０になっていればステップＳ２６０ａで広角モードを設定するとともにステップＳ２７０ａでカウンタをクリアしてから元のフローチャートに戻る。
【００４５】
以上の処理によって、データ処理部３０のＣＰＵ３１は、撮像部１０のビデオカメラ１１によって一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段３１−３、撮像部１０のビデオカメラ１１によって得た一定時間毎に得た相前後する２つの道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−３１、撮像部１０のビデオカメラ１１によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−３２、状況に応じて第１の画像処理手段及び第２の画像処理手段の一方を選択する選択手段３１−３３としてそれぞれ機能する。
【００４６】
以上により、ズームモードが設定されているときには、自車両近傍のオプティカルフローが記憶されていなくても１０回に１回広角モードが設定され、ズームモードではカバーしきれない、自車両近傍への他車両の突然の割り込みの有無をチェックできるようになっている。この場合、１回の広角モードで、オプティカルフローの検出の都合上、時間的に前後する２つの道路画像が得られるようにする。
【００４７】
そして、ステップＳ１４０では、危険度の算出処理を行う。すなわち、このステップＳ１４０では、上記ステップＳ１３０にて取得したオプティカルフローの内、上述したオプティカルフロー２０１Ｆ及び２０２Ｆのように発散方向のオプティカルフローに対し、その大きさ（長さ）に重み付けをし数値化する。
なお、この算出処理において、しきい値を数レベル設定しておき、危険度のレベルを算出するようにしてもよい。
【００４８】
引き続くステップＳ１５０では、上記ステップＳ１４０で算出された危険度に基づき、この危険度が或るしきい値を越えたら危険と判断する。また、危険度のレベルが与えられた場合には、このレベルが規定値以上となった場合に危険と判断する。
そして、この判定処理で危険と判断された場合には、ステップＳ１６０にて警報処理を実行し、一方、危険でないと判断された場合には、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する。
【００４９】
このステップＳ１６０の警報処理では、警報部４０のスピーカ４２に対し音声信号を送出し、このスピーカ４２から音声ガイダンスあるいは警報音を発生させることにより運転者に対して注意を促し、表示器４１によりメッセージなどを表示して運転者に対して危険を映像で知らせる。
そして、このステップＳ１６０の警報処理が終了すると、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する。
【００５０】
上述の実施の形態では、自車両の近傍にオプティカルフローがあるかどうかによって広角とズームを切り替えるようにしているが、自車両の近傍にオプティカルフローがあるかどうかに関係なく、広角とズームを常時交互に切り替えて近傍と遠方を常時監視するようにし、オプティカルフローの検出は１つ置きの１組の相前後する広角画像、ズーム画像を利用して行うようにする。
【００５１】
また、常時ズームにて左右エリアを交互に監視し、ウインカ検出スイッチ５２の動作によって方向変更側のエリアに固定して監視を行うようにしたり、或いは、常時広角にて監視し、ウインカ検出スイッチ５２の動作に応じて方向変更側のエリアをズームにて監視するようにしてもよい。
この場合、データ処理部３０のＣＰＵ３１は、撮像部１０のビデオカメラ１１によって得た道路画像を処理して後続の他車両を検出する検出手段３１−２、撮像部１０のビデオカメラ１１によって得た道路画像の左領域を処理する第１の画像処理手段３１−２１、撮像部１０のビデオカメラ１１によって得た道路画像の右領域を処理する第２の画像処理手段３１−２２、第１の画像処理手段及び前記第２の画像処理手段の一方を交互に選択し、ウインカ検出スイッチ５２がウインカ動作を検出したとき、ウインカ動作の方向に対応する画像処理手段の一方を選択し続ける選択手段３１−２３としてそれぞれ機能する。
【００５２】
また、上述の実施の形態では、メモリ容量を増やすことなく対処できるように、イメージプレーン１１ｂ自体がランダムにアクセス可能なビデオカメラを使用した例を示したが、第１フレームメモリ２１及び第２フレームメモリ２２の他に、大きな容量の第３のフレームメモリを用意できる場合には、電荷転送型の高解像度のビデオカメラ１１によって撮像した画像を一度第３のフレームメモリに読み込んだ後に、第３のフレームメモリから画素単位のデータをランダムにアクセスして上述したと同様のことを行うようにすることもできる。
【００５３】
何れにしても、広角、ズームの何れの場合にも、処理すべき画素数が大きくならないので、画像処理に要する時間が長くならず、高速のデータ処理部を用意しなくても、相前後する画像を取得する間にオプティカルフローの検出処理ができるようになっている。
【００５４】
また、上述の実施の形態では、オプティカルフローを検出して他車両を監視しているが、本発明はオプティカルフローを利用しない他の任意の画像処理を使用して他車両を監視する装置に適用することができる。この場合、画像処理を行うデータ処理部３０のＣＰＵ３１は、撮像部１０のビデオカメラ１１によって得た道路画像を処理して後続の他車両を検出する検出手段３１−１、撮像部１０のビデオカメラ１１によって得た道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−１１、撮像部１０のビデオカメラ１１によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−１２、状況に応じて第１の画像処理手段及び第２の画像処理手段の一方を選択する選択手段３１−１３としてそれぞれ機能する。
【００５５】
【発明の効果】
以上説明したように、上記請求項１記載の発明によれば、広角で高解像度のカメラで構成された撮像手段によって得た道路画像の全体が間引きして処理され、広範囲の画像が低解像度で処理されたり、撮像手段によって得た道路画像の一部領域が間引きせずに処理され、狭い範囲の画像が高解像度で処理されるようになるので、広角で高解像度のカメラを使用しても、監視範囲が広くなり、それだけ解像度が低下したり、処理すべき画像情報が多くなって、処理時間および検出精度の面で問題を起こすことなく、近傍及び遠方の両方をそれぞれに好ましい状態で監視できる。
【００５６】
そして、自車両の近傍に他車両を検出したとき、低解像度ではあるが自車両近傍の他車両を監視することができ、自車両の近傍に他車両を検出していないとき、狭い範囲ではあるが高解像度で遠方の他車両を監視でき、しかも、低い頻度で低解像度であるが時々自車両の近傍の他車両も監視できるようになっているので、近傍及び遠方の両方をそれぞれに好ましい状態で他車両を監視できる車両用後側方監視装置が得られる。
【００５８】
請求項２記載の発明によれば、車両の後側方の道路を広記角で高解像度のカメラで撮像して一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出し、検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視するため、広角で高解像度のカメラを使用しても、一定時間毎に得た相前後する２つの道路画像の全体を間引きして処理したり、道路画像の一部領域を間引きせずに処理することを状況に応じて選択できるようになっているので、広角で高解像度のカメラを使用することの不都合を招くことなく、好ましい状態で他車両を監視できる。そして、自車両の近傍に他車両を検出したとき、低解像度ではあるが自車両近傍の他車両を監視することができ、自車両の近傍に他車両を検出していないとき、狭い範囲ではあるが高解像度で遠方の他車両を監視でき、しかも、低い頻度で低解像度であるが時々自車両の近傍の他車両も監視できるようになっているので、近傍及び遠方の両方をそれぞれに好ましい状態で他車両を監視できる車両用後側方監視装置が得られる。
【図面の簡単な説明】
【図１】 本発明の車両用後側方監視装置の基本構成図である。
【図２】 本発明を適用した車両用後側方監視警報装置の構成を示したブロック図である。
【図３】 ビデオカメラ内のイメージプレーンの一例を示す図である。
【図４】 本発明の車両用後側方監視警報装置における動作の概要を示したフローチャートである。
【図５】 本発明の車両用後側方監視警報装置におけるビデオカメラによって撮像した道路画像の一例を示した図である。
【図６】 広角−ズーム切替処理の一例のフローチャートを示した図である。
【図７】 従来の車両用後側方監視警報装置の構成を示したブロック図である。
【図８】 ビデオカメラによって得られる後側方の道路画像の変化を説明するための図である。
【図９】 光学配置を示す図である。
【図１０】 片側３車線の高速専用道路の道路画像を示した概念図である。
【符号の説明】
１０ 撮像手段（撮像部）
３１−１ 検出手段（ＣＰＵ）
３１−１１ 第１の画像処理手段（ＣＰＵ）
３１−１２ 第２の画像処理手段（ＣＰＵ）
３１−１３ 選択手段（ＣＰＵ）
３１−３ オプティカルフロー検出手段（ＣＰＵ）
３１−３１ 第１の画像処理手段（ＣＰＵ）
３１−３２ 第２の画像処理手段（ＣＰＵ）
３１−３３ 選択手段（ＣＰＵ）
【発明の属する技術分野】
本発明は車両用後側方監視装置に係り、より詳細には、自動車などの車両等に設置されたビデオカメラ等の撮像手段によって車両の後側方の道路を撮像し、撮像された道路画像を用いて走行している自車両の後側方より接近してくる他車両を検知して運転者に警報を与えるため車両の後側方を監視する車両用後側方監視装置に関するものである。
【０００２】
【従来の技術】
従来、自車両が走行している自車線に隣接する左右の隣接車線上の後続車を正確に認識し、車両が進路変更を行おうとする際に、その方向の隣接車線を後続車が走行中であれば衝突の危険性があるとしてドライバーに警報を与えることにより、進路変更時における後続車との衝突を未然に防ぐため車両の後側方の道路を監視する後側方監視警報装置が、例えば特許第２６４１５６２号、特開平６−１０７０９６号公報及び特開平７−５０７６９号公報などにおいて提案されている。
【０００３】
これらの提案の装置では、隣接車線内の後続車両を余計な画像処理を行うことなく、より早くかつ確実に検出することができるように、ビデオカメラによって撮像された道路画像を用いて車線区画ラインである白線を認識して道路上の車線を識別し、この識別によって隣接車線に監視領域を設定し、ビデオカメラによって撮像された道路画像に設定された監視領域内、すなわち隣接車線内に存在する接近中の後続車両の検出のための画像処理量を低減するようにしている。
【０００４】
上記特開平６−１０７０９６号公報及び特開平７−５０７６９号公報にはオプティカルフローの検出を応用したものが開示されており、その主要点を図７及び図８を参照して説明する。
【０００５】
図７は、従来装置の構成を示すブロック図である。同図において、１０は撮像手段としての撮像部で、例えばビデオカメラ１１を有している。また、３０は演算処理装置としてのデータ処理部であり、４２は警報手段としてのスピーカである。
【０００６】
撮像部１０は、車両後方の所定位置例えばトランクの上部位置に車両後側方の道路を撮像するように正面に向けて配設されている。データ処理部３０は、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２、ＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。スピーカ４２は、車両内部に配設され、データ処理部３０のＣＰＵ３１からの駆動信号に必要に応じて音声や警報音を発生することにより運転者などに危険を知らせる。
【０００７】
図８は、上述したように、自車両の後方部に搭載された撮像部１０による撮像画像の変化を説明する図であり、図８（ａ）は時刻ｔにおける撮像画像、図８（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示している。
そして、これらの各図において、２００は自車両の後側方を走行する後続車両、３００は道路５００に隣接して配設された道路標識、４００は同じく道路５００に隣接して配設された建物である。
【０００８】
今、自車両が平坦な道を直進しているとすると、時刻の経過すなわち自車両の走行に伴い、道路標識３００や建物４００は自車両との相対距離が離れ小さく撮像される。図においては、図８（ａ）すなわち時刻ｔの撮像画像における道路標識３００及び建物４００と、図８（ｂ）すなわち時刻ｔ＋△ｔの撮像画像における道路標識３００及び建物４００に関し、図８（ｂ）の道路標識３００及び建物４００の方が小さく撮像されている。
以下、これらの図を参照して、オプティカルフローについて説明する。
【０００９】
これらの図において、撮像画像内に設定された複数の対応点、例えば他車両２００における着目点、道路標識３００における着目点、建物４００における着目点に関し、各時間毎の着目点すなわち時刻ｔ〔図８（ａ）〕における各着目点２０１ａ、２０２ａ、３０１ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、時刻ｔ＋△ｔ〔図８（ｂ）〕における各着目点２０１ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１ｂ及び４０２ｂについて、互いに対応する着目点同士を結合することにより、図８（ｃ）に示す速度ベクトルすなわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３０３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られた速度ベクトルがオプティカルフローである。
【００１０】
ここで、このオプティカルフローは、画面内の無限遠点あるいは消失点として定義されるＦＯＥ(Focus of Expansion)から放射状に現れていることが判る。このＦＯＥは、車両が直進している場合の画像上において、自車両の進行方向の正反対方向を示す１点に対応する。
そして、自車両の走行状態において、自車両から遠ざかる物体のオプティカルフローは上記ＦＯＥに向かう収束方向のベクトルとなり、自車両に近づいてくる物体のオプティカルフローは上記ＦＯＥから離れる発散方向のベクトルとなる。従って、同図に２０１Ｆ及び２０２Ｆで示す後続の他車両２００のオプティカルフローは発散方向のベクトルであるので、この他車両は自車両に近づいてきていること、換言すれば自車両よりも高速で走行している車両であることが分かる。
【００１１】
また、このオプティカルフローの大きさに関し、このオプティカルフローの大きさは、単位時間における自車両と対象物体との距離の差すなわち速度差が大きい程大きくなり、自車両と対象物体との相対距離が近い程大きくなる。このことを図面を参照して説明する。
【００１２】
図９は、撮像部１０の光学的配置を示した図である。同図において、１１ａは撮像部１０のビデオカメラが有するレンズ、１１ｂは同じくビデオカメラが有するイメージプレーン、ｆはレンズ１１ａからイメージプレーン１１ｂまでの距離、Ｐ（Ｘa ，Ｙa ，Ｚa ）は後続する他車両上の任意の１点、ｐ（ｘa ，ｙa）はイメージプレーン１１ｂ上における上記点Ｐに対応する点である。
【００１３】
この場合、３角形の相似の比から、次式（１）の関係が得られる。
ｘa ＝ｆ・Ｘa ／Ｚa ・・・ （１）
この式（１）を変形して時間微分すると、次式（２）が得られる。
Ｘa ’＝（Δｘa ／Δｔ・Ｚa ＋ｘa ・Ｚa ’）／ｆ ・・・ （２）
また、オプティカルフローのｘ方向成分ｕは、次式（３）で表せる。
ｕ＝Δｘa ／Δｔ ・・・ （３）
従って、この式（３）により次式（４）を得ることができる。
Ｚa ＝（ｆ・Ｘa ’−ｘa ・Ｚa ’）／ｕ ・・・ （４）
【００１４】
ここで、上式（４）のＺa ’は、同一車線あるいは隣接車線を走行する他車両（図８に符号２００で示す）と撮像部１０が搭載された自車両との速度差すなわち相対速度を示している。この相対速度を−αとすると上式（４）は次式（５）となる。
Ｚa ＝（ｆ・Ｘa ’＋ｘa α）／ｕ ・・・ （５）
よって、オプティカルフローのｘ方向成分ｕは、次式（６）のように表すことができる。
ｕ＝（ｆ・Ｘa ’＋ｘa α）／Ｚa ・・・ （６）
なお、点ＰのＹ座標Ｙa についても同様にして求めることができる。
【００１５】
よって上式（６）より、Ｚが小すなわち後続車両又は隣接車線を走行中の他車両２００までの距離が小である程、あるいは、αが大すなわち他車両２００との速度差が大である程、オプティカルフローのｘ成分は大きくなる。これはＹ方向についても同様である。
従って、オプティカルフローは後続する他車両２００との距離が小な程、更に互いの速度差が大な程長くなり、これよりオプティカルフローの方向がＦＯＥに対して発散し、その長さが短いときより長いときの方が相対的に後続車両又は隣接車両に対する危険度が大きいことが判る。
【００１６】
従って、データ処理部３０は、このオプティカルフローが上述した発散方向のベクトルであり且つその大きさが大きい場合には、対象物体は自車両に対し、接近した位置に存在するか、自車両よりも高速で接近しているかの少なくとも一方の状態にあると考えられ、危険度が高いと判断する。
そして、危険度が高いと判断した場合には、スピーカ４２により運転者にその旨を知らせる。
【００１７】
以上のような処理を、時間ｔの画像の全ての点において繰り返し行うことにより、画像全体のオプティカルフローを求めることができ、各対象物における危険度が求められる。そして、求められた危険度の大きさに従って警報を鳴らすこと等によって運転者に対し注意を促し、これにより、人間の有する有限な認識力を補完することができ、上述の大事故に発展しかねない危険な状態や、実際の大事故の発生を未然に防止している。
【００１８】
また、従来の技術では、図１０に示す如くに、片側３車線の直線高速道路にて自車両が走行している車線の白線を検出することで、自車両の走行車線とその横の隣接車線領域とを識別し、監視領域を決定することで監視不要なものについての処理時間を省いて処理の高速化を図っている。そして、検出された白線の延長からＦＯＥ点を求め、自車線領域及び隣接車線領域についてそれぞれ前記ＦＯＥ点から放射状にオプティカルフローを求めることで自車両に対する接近車両２００の検出を行っており、このオプティカルフローの大きさに基づき認識を行うよう構成されているので、後方や隣接車線を走行している他車両２００に関し、その危険度を自動的に判断でき、且つ、特別な距離計を必要としない利点があり有効である。
【００１９】
現在提案されているオプティカルフロー検出方法の中で、実用化に近いレベルまで達しているものは、相関法である。相関法は、設定した窓の対応点を周辺の領域全方向に関して探索し、相関値の計算を行う必要があるため、計算量が膨大になってしまうという問題点があるが、本発明が対象としているような複雑な画像に関しても、比較的正確にオプティカルフローを求めることが可能であるという利点もある。
【００２０】
上述したように、一般的な相関法においては、ある時刻ｔの画像に関してオプティカルフローを求める際には、時刻ｔの画像の全画素について、それぞれの画素が、時刻ｔ−Δｔの画像において、どの画素に対応しているかを全方向にわたって探索する必要があるため、計算量が膨大になると同時に誤対応が生じるという問題点がある。即ち、対応点探索の際に、全画素に関して全方向に探索していることにより、計算量が膨大となり誤対応が多くなる原因になっているといえる。
そこで、監視領域を設定することにより、処理時間および検出精度の面で問題を解消することが考えられている。
【００２１】
【発明が解決しようとする課題】
ところで、この種の後側方監視装置では、ビデオカメラによって撮像した画像からは、自車両の近傍は遠方に比べて大きな他車両の像が得られるが、遠方は小さな他車両の像しか得られない。このため、近傍は低解像度の画像でもよいが、遠方の場合には、低解像度の像では、画像処理によって他車両の挙動を精度良く捕らえることが難しく、できるだけ解像度のよい画像が得られることが好ましい。
【００２２】
また、車線変更する際のことを考慮すると、隣接車線をできるだけ自車両に近いところまで監視できる広角のビデオカメラを使用することが好ましいが、広角のビデオカメラを使用すると、監視範囲が広くなり、それだけ解像度が低下するとともに、処理すべき画像情報が多くなって、処理時間および検出精度の面で問題となる。
【００２３】
このように、遠方から近傍までを監視する必要のあるこの種の装置では、相矛盾する状況が存在し、何らかの対策を施すことが求められている。
【００２４】
よって本発明は、上記問題に鑑みてなされたもので、近傍から遠方までの広い範囲を好ましい状態で監視できるようにした車両用後側方監視装置を提供することを課題としている。
【００２５】
【課題を解決するための手段】
上記課題を解決するためなされた請求項１記載の発明は、図１（ａ）の基本構成図から明らかなように、車両に装着され車両の後側方の道路を撮像して一定時間毎に道路画像を得る撮像手段１０と、該撮像手段によって得た道路画像を処理して後続の他車両を検出する検出手段３１−１とを備え、該検出手段によって検出した後続の他車両と自車両との相対関係を監視する車両用後側方監視装置において、前記撮像手段が広角で高解像度のカメラで構成され、前記検出手段が、前記撮像手段によって得た道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−１１と、前記撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−１２と、状況に応じて前記第１の画像処理手段及び前記第２の画像処理手段の一方を選択する選択手段３１−１３とを有し、前記選択手段が、自車両の近傍に他車両を検出したとき、前記第１の画像処理手段を選択し、前記検出手段が自車両の近傍に他車両を検出していないとき、前記第２の画像処理手段を選択し、前記第２の画像処理手段を選択しているとき、低い頻度で前記第１の画像処理手段を選択することを特徴とする車両用後側方監視装置に存する。
【００２６】
上記請求項１に記載の発明である車両用後側方監視装置においては、車両に装着された撮像手段１０が車両の後側方の道路を撮像して得た一定時間毎に道路画像を検出手段３１−１が処理して後続の他車両を検出し、検出した後続の他車両と自車両との相対関係を監視する。撮像手段が広角で高解像度のカメラで構成され、検出手段の有する第１の画像処理手段３１−１１が撮像手段によって得た道路画像の全体を画像情報を間引きして処理し、第２の画像処理手段３１−１２が撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理し、かつ選択手段３１−１３が状況に応じて第１の画像処理手段及び第２の画像処理手段の一方を選択するようになっている。
従って、選択手段が第１の画像処理手段を選択したときには、撮像手段によって得た道路画像の全体が画像情報を間引きして処理され、広範囲の画像が低解像度で処理されるので、処理時間が長くなることなく、自車両に近い他車両を広範囲で監視することができる。一方、選択手段が第２の画像処理手段を選択したときには、撮像手段によって得た道路画像の一部領域が画像情報を間引きせずに処理され、狭い範囲の画像が高解像度で処理されるようになるので、処理時間が長くなることなく、自車両から遠い他車両を高解像度で監視することができる。
【００２８】
そして、選択手段は、検出手段が自車両の近傍に他車両を検出したとき、第１の画像処理手段を選択し、低解像度ではあるが自車両近傍の他車両を監視することができ、検出手段が自車両の近傍に他車両を検出していないとき、第２の画像処理手段を選択し、狭い範囲ではあるが高解像度で遠方の他車両を監視できる。しかも、第２の画像処理手段を選択しているとき、低い頻度で第１の画像処理手段を選択するので、低解像度であるが時々自車両の近傍の他車両も監視できるようになっている。
【００３１】
請求項２記載の発明は、図１（ｂ）の基本構成図から明らかなように、車両に装着され車両の後側方の道路を撮像して一定時間毎に道路画像を得る撮像手段１０と、該撮像手段によって一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段３１−３とを備え、該オプティカルフロー検出手段によって検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視する車両用後側方監視装置において、前記撮像手段を広角で高解像度のカメラで構成するとともに、前記オプティカルフロー検出手段が、前記撮像手段によって得た一定時間毎に得た相前後する２つの道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−３１と、前記撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−３２と、状況に応じて前記第１の画像処理手段及び前記第２の画像処理手段の一方を選択する選択手段３１−３３とを有し、前記選択手段が、前記検出手段が自車両の近傍に他車両を検出したとき、前記第１の画像処理手段を選択し、前記検出手段が自車両の近傍に他車両を検出していないとき、前記第２の画像処理手段を選択し、前記第２の画像処理手段を選択しているとき、低い頻度で前記第１の画像処理手段を選択することを特徴とする車両用後側方監視装置に存する。
【００３２】
請求項２に記載の発明である車両用後側方監視装置においては、車両に装着された撮像手段１０が車両の後側方の道路を撮像して一定時間毎に得た相前後する２つの道路画像に基づいてオプティカルフロー検出手段３１−３が他車両から発生するオプティカルフローを検出し、検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視する。検出手段の有する第１の画像処理手段３１−３１が撮像手段によって得た一定時間毎に得た相前後する２つの道路画像の全体を画像情報を間引きして処理し、第２の画像処理手段３１−３２が撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理し、かつ選択手段３１−３３が状況に応じて画像処理の一方を選択するようになっているので、撮像手段が広角で高解像度のカメラで構成されていても、処理時間が長くなることなく、他車両の発生するオプティカルフローにより、自車両に近い他車両を広範囲に、自車両から遠い他車両を高解像度で監視することができる。
そして、選択手段は、検出手段が自車両の近傍に他車両を検出したとき、第１の画像処理手段を選択し、低解像度ではあるが自車両近傍の他車両を監視することができ、検出手段が自車両の近傍に他車両を検出していないとき、第２の画像処理手段を選択し、狭い範囲ではあるが高解像度で遠方の他車両を監視できる。しかも、第２の画像処理手段を選択しているとき、低い頻度で第１の画像処理手段を選択するので、低解像度であるが時々自車両の近傍の他車両も監視できるようになっている。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態の具体例を図面を参照して説明する。図２は、本発明が適用されるオプティカルフロー方式の車両用後側方監視装置の構成を示すブロック図で、同図において、１０は撮像手段としての撮像部、２０は撮像部１０からの画像データなどを保持する記憶部、３０は撮像部１０からの画像情報に基づき画像処理及び他車両との相対関係を監視する処理などを実行するデータ処理部、４０は警報を発生する警報手段としての警報部、５０は自車両の走行方向を変更する際の操作情報を示す信号の入力を行う信号入力部である。
【００３４】
撮像部１０は、ビデオカメラ１１から構成されている。そして、このビデオカメラ１１は、１２０度の画角となる広角レンズ１１ａと、図３に示すようにピクセル数が例えば１０２４×１０２４と多く解像度の高いイメージプレーン１１ｂとを有し、イメージプレーン１１ｂの任意のピクセルをランダムにアクセスして読み込み可能なＣＭＯＳカメラと称されるもので構成されている。ＣＭＯＳカメラはＸ−Ｙアドレス型に構成されているので、入射光に応じた量の電荷を蓄積している画素の電荷を順次転送して取り出す電荷転送型と異なり、電荷を蓄積している画素を水平（Ｘ）ラインと垂直（Ｙ）ラインにて選択でき、このラインを選択する各々の走査回路をマルチプレクサを使用してランダムアクセスできる回路構成とすることによって、任意の画素を選択して電荷を取り出すことができる。そして、撮像部１０のビデオカメラ１１は、車両の後部のトランク部の上部或いは後端部に、車両の後方に向けて取り付けられる。そして、このビデオカメラ１１は、車両の後側方の道路画像を撮像するように構成されている。そして、このビデオカメラ１１は、データ処理部３０のＣＰＵ３１（後述）に対し、車両後側方の道路画像情報を出力する。
【００３５】
記憶部２０は、前記撮像部１０からの道路画像情報を保持する第１フレームメモリ２１及び第２フレームメモリ２２と、発散方向のオプティカルフローを保持する発散オプティカルフローメモリ２３とを有している。
【００３６】
そして、この記憶部２０を構成する第１フレームメモリ２２及び第２フレームメモリ２３は、例えば５１２画素×５１２画素といったｍ行ｎ列からなるマトリクス状のメモリとして構成されている。そして、図３に示すように、広角時にはイメージプレーン１１ｂから１つ置きのピクセルから読み込むことにより画像情報を間引かれた画素データが書き込まれ、ズーム時にはイメージプレーン１１ｂのＦＯＥ周辺の５１２画素×５１２画素分のピクセルから読み込むことによって全画像の一部領域の画素データが書き込まれる。また、各メモリ２１〜２３は、データ処理部３０のＣＰＵ３１に対し、読み書き可能に接続されている。
【００３７】
データ処理部３０は、動作プログラムに従って動作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め与えられる設定値などを保持するＲＯＭ３２及びＣＰＵ３１の演算実行時に必要なデータを一時的に保持するＲＡＭ３３を有している。
【００３８】
警報部４０は、表示器４１とスピーカ４２とを有している。表示器４１は、ＬＣＤなどで構成され、ビデオカメラ１１が撮像した撮像画像を表示したり、あるいは、データ処理部３０（ＣＰＵ３１）が他車両との接触危険性有りと判定した際に、メッセージなどを表示して運転者に対して危険を映像で知らせる。スピーカ４２は、データ処理部３０からの音声信号に基づき、音声ガイダンスあるいは警報音といった音声を発生する。そして、データ処理部３０が他車両との接触危険性有りと判定した場合には、この音声により運転者に対して危険を音声で知らせる。
【００３９】
信号入力部５０は、ハンドル舵角あるいは車両の操舵輪（一般には前輪）の操舵角を検出する舵角検知手段としての舵角センサ５１と、運転者によるウインカ機構の操作状態とその操作方向を検出するウインカ検出手段としてのウインカ（ターンシグナル）検出スイッチ５２とを有しており、舵角センサ５１により車両の転回情報を検出し、ウインカ検出スイッチ５２により運転者が車両を左右側に転回させる際に操作するウインカ機構からの転回指示情報を検出する。
【００４０】
以上の構成を有する具体例の動作、すなわちデータ処理部３０による制御動作について、フローチャートを参照して説明する。
この具体例においては、まず図４のフローチャートすなわち具体例における主フローチャートのステップＳ１１０にて、画像取得処理を行う。このステップＳ１１０における画像取得処理により、例えば図５に示す後側方の道路画像が得られる。なお、初期状態では、ビデオカメラ１１は広角に設定されており、このときには、１つ置きのピクセル情報が読み出されるようになっている。
【００４１】
この道路画像は、高速道路といった自動車専用道路上を走行中の自車両からの画像を例示しており、ビデオカメラ１１が車両の後部に後側方に向けて取り付けられているので、車両の後側方を直視した画像となっている。同図に示すように、道路５００、道路５００上に描かれ自車線と隣接車線を区画する破線からなり車線変更を可能とする白線５１０及び５２０と側路を区画する連続直線からなり車線変更を禁止する白線５３０及び５４０、並びに道路５００の両脇に立設された壁６００が、画像上における水平方向中心位置でかつ垂直方向１／３位置にて消失する画像となってり、この消失点がＦＯＥとなっている。
そして、この取得した道路画像の情報については、記憶部２０の第１フレームメモリ２１に格納される。
【００４２】
また、この道路画像は、上述したように、車両の後側方に向けて取り付けられているので、道路画像における右側が進行方向を基準とした場合の左側に相当し、道路画像における左側が進行方向を基準とした場合の右側に相当する。以後、この道路画像を基準とした左右方向で説明を行うことにする。
【００４３】
その後は、図４のフローチャートにおけるステップＳ１２０に進んでオプティカルフロー検出処理を行う。よって、ＣＰＵ３１は、予め定めたプログラムによって動作してビデオカメラ１０によって一定時間毎に得た相前後する２つの道路画像に基づいて設定された監視領域内にある他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段３１−１として機能する。このオプティカルフロー検出処理は、第１フレームメモリ２１に格納された時刻ｔにおける道路画像中の画像構成点と、道路画像より所定時間△ｔだけ遅延して撮像され、第２フレームメモリ２２に格納された時刻ｔ＋△ｔの撮像画像中の画像構成点との互いに対応する各点間の移動方向並びに移動量をオプティカルフローとして検出する。検出したオプティカルフローのうち発散方向のもの、すなわち自車両に接近中の他車両からの発散オプティカルフローは発散オプティカルフローメモリ２３に記憶される。
【００４４】
その後のステップＳ１３０では、広角−ズーム切替処理を行う。この切替処理は図６のフローチャートに示すように行われ、先ず最初ステップＳ２１０ａにおいて、発散オプティカルフローメモリ２３に自車両近傍のオプティカルフローが記憶されるかどうかを判断する。自車両近傍のオプティカルフローが記憶されているときにはステップＳ２２０ａで広角モードを設定し、次のステップＳ２２０ａ′においてカウンタＣをクリアしてから元のフローチャートに戻る。一方、ステップＳ２１０ａの判断の結果、自車両近傍のオプティカルフローが記憶されていないときにはステップ２３０ａでズームモードを設定する。その後ステップＳ２４０ａでカウンタＣをインクリメントする。そしてステップＳ２５０ａでカウンタ値が１０になったかどうかを判断し、１０になっていればステップＳ２６０ａで広角モードを設定するとともにステップＳ２７０ａでカウンタをクリアしてから元のフローチャートに戻る。
【００４５】
以上の処理によって、データ処理部３０のＣＰＵ３１は、撮像部１０のビデオカメラ１１によって一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段３１−３、撮像部１０のビデオカメラ１１によって得た一定時間毎に得た相前後する２つの道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−３１、撮像部１０のビデオカメラ１１によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−３２、状況に応じて第１の画像処理手段及び第２の画像処理手段の一方を選択する選択手段３１−３３としてそれぞれ機能する。
【００４６】
以上により、ズームモードが設定されているときには、自車両近傍のオプティカルフローが記憶されていなくても１０回に１回広角モードが設定され、ズームモードではカバーしきれない、自車両近傍への他車両の突然の割り込みの有無をチェックできるようになっている。この場合、１回の広角モードで、オプティカルフローの検出の都合上、時間的に前後する２つの道路画像が得られるようにする。
【００４７】
そして、ステップＳ１４０では、危険度の算出処理を行う。すなわち、このステップＳ１４０では、上記ステップＳ１３０にて取得したオプティカルフローの内、上述したオプティカルフロー２０１Ｆ及び２０２Ｆのように発散方向のオプティカルフローに対し、その大きさ（長さ）に重み付けをし数値化する。
なお、この算出処理において、しきい値を数レベル設定しておき、危険度のレベルを算出するようにしてもよい。
【００４８】
引き続くステップＳ１５０では、上記ステップＳ１４０で算出された危険度に基づき、この危険度が或るしきい値を越えたら危険と判断する。また、危険度のレベルが与えられた場合には、このレベルが規定値以上となった場合に危険と判断する。
そして、この判定処理で危険と判断された場合には、ステップＳ１６０にて警報処理を実行し、一方、危険でないと判断された場合には、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する。
【００４９】
このステップＳ１６０の警報処理では、警報部４０のスピーカ４２に対し音声信号を送出し、このスピーカ４２から音声ガイダンスあるいは警報音を発生させることにより運転者に対して注意を促し、表示器４１によりメッセージなどを表示して運転者に対して危険を映像で知らせる。
そして、このステップＳ１６０の警報処理が終了すると、一連の処理を終了して再度上述したステップＳ１１０からの処理を実行する。
【００５０】
上述の実施の形態では、自車両の近傍にオプティカルフローがあるかどうかによって広角とズームを切り替えるようにしているが、自車両の近傍にオプティカルフローがあるかどうかに関係なく、広角とズームを常時交互に切り替えて近傍と遠方を常時監視するようにし、オプティカルフローの検出は１つ置きの１組の相前後する広角画像、ズーム画像を利用して行うようにする。
【００５１】
また、常時ズームにて左右エリアを交互に監視し、ウインカ検出スイッチ５２の動作によって方向変更側のエリアに固定して監視を行うようにしたり、或いは、常時広角にて監視し、ウインカ検出スイッチ５２の動作に応じて方向変更側のエリアをズームにて監視するようにしてもよい。
この場合、データ処理部３０のＣＰＵ３１は、撮像部１０のビデオカメラ１１によって得た道路画像を処理して後続の他車両を検出する検出手段３１−２、撮像部１０のビデオカメラ１１によって得た道路画像の左領域を処理する第１の画像処理手段３１−２１、撮像部１０のビデオカメラ１１によって得た道路画像の右領域を処理する第２の画像処理手段３１−２２、第１の画像処理手段及び前記第２の画像処理手段の一方を交互に選択し、ウインカ検出スイッチ５２がウインカ動作を検出したとき、ウインカ動作の方向に対応する画像処理手段の一方を選択し続ける選択手段３１−２３としてそれぞれ機能する。
【００５２】
また、上述の実施の形態では、メモリ容量を増やすことなく対処できるように、イメージプレーン１１ｂ自体がランダムにアクセス可能なビデオカメラを使用した例を示したが、第１フレームメモリ２１及び第２フレームメモリ２２の他に、大きな容量の第３のフレームメモリを用意できる場合には、電荷転送型の高解像度のビデオカメラ１１によって撮像した画像を一度第３のフレームメモリに読み込んだ後に、第３のフレームメモリから画素単位のデータをランダムにアクセスして上述したと同様のことを行うようにすることもできる。
【００５３】
何れにしても、広角、ズームの何れの場合にも、処理すべき画素数が大きくならないので、画像処理に要する時間が長くならず、高速のデータ処理部を用意しなくても、相前後する画像を取得する間にオプティカルフローの検出処理ができるようになっている。
【００５４】
また、上述の実施の形態では、オプティカルフローを検出して他車両を監視しているが、本発明はオプティカルフローを利用しない他の任意の画像処理を使用して他車両を監視する装置に適用することができる。この場合、画像処理を行うデータ処理部３０のＣＰＵ３１は、撮像部１０のビデオカメラ１１によって得た道路画像を処理して後続の他車両を検出する検出手段３１−１、撮像部１０のビデオカメラ１１によって得た道路画像の全体を画像情報を間引きして処理する第１の画像処理手段３１−１１、撮像部１０のビデオカメラ１１によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段３１−１２、状況に応じて第１の画像処理手段及び第２の画像処理手段の一方を選択する選択手段３１−１３としてそれぞれ機能する。
【００５５】
【発明の効果】
以上説明したように、上記請求項１記載の発明によれば、広角で高解像度のカメラで構成された撮像手段によって得た道路画像の全体が間引きして処理され、広範囲の画像が低解像度で処理されたり、撮像手段によって得た道路画像の一部領域が間引きせずに処理され、狭い範囲の画像が高解像度で処理されるようになるので、広角で高解像度のカメラを使用しても、監視範囲が広くなり、それだけ解像度が低下したり、処理すべき画像情報が多くなって、処理時間および検出精度の面で問題を起こすことなく、近傍及び遠方の両方をそれぞれに好ましい状態で監視できる。
【００５６】
そして、自車両の近傍に他車両を検出したとき、低解像度ではあるが自車両近傍の他車両を監視することができ、自車両の近傍に他車両を検出していないとき、狭い範囲ではあるが高解像度で遠方の他車両を監視でき、しかも、低い頻度で低解像度であるが時々自車両の近傍の他車両も監視できるようになっているので、近傍及び遠方の両方をそれぞれに好ましい状態で他車両を監視できる車両用後側方監視装置が得られる。
【００５８】
請求項２記載の発明によれば、車両の後側方の道路を広記角で高解像度のカメラで撮像して一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出し、検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視するため、広角で高解像度のカメラを使用しても、一定時間毎に得た相前後する２つの道路画像の全体を間引きして処理したり、道路画像の一部領域を間引きせずに処理することを状況に応じて選択できるようになっているので、広角で高解像度のカメラを使用することの不都合を招くことなく、好ましい状態で他車両を監視できる。そして、自車両の近傍に他車両を検出したとき、低解像度ではあるが自車両近傍の他車両を監視することができ、自車両の近傍に他車両を検出していないとき、狭い範囲ではあるが高解像度で遠方の他車両を監視でき、しかも、低い頻度で低解像度であるが時々自車両の近傍の他車両も監視できるようになっているので、近傍及び遠方の両方をそれぞれに好ましい状態で他車両を監視できる車両用後側方監視装置が得られる。
【図面の簡単な説明】
【図１】 本発明の車両用後側方監視装置の基本構成図である。
【図２】 本発明を適用した車両用後側方監視警報装置の構成を示したブロック図である。
【図３】 ビデオカメラ内のイメージプレーンの一例を示す図である。
【図４】 本発明の車両用後側方監視警報装置における動作の概要を示したフローチャートである。
【図５】 本発明の車両用後側方監視警報装置におけるビデオカメラによって撮像した道路画像の一例を示した図である。
【図６】 広角−ズーム切替処理の一例のフローチャートを示した図である。
【図７】 従来の車両用後側方監視警報装置の構成を示したブロック図である。
【図８】 ビデオカメラによって得られる後側方の道路画像の変化を説明するための図である。
【図９】 光学配置を示す図である。
【図１０】 片側３車線の高速専用道路の道路画像を示した概念図である。
【符号の説明】
１０ 撮像手段（撮像部）
３１−１ 検出手段（ＣＰＵ）
３１−１１ 第１の画像処理手段（ＣＰＵ）
３１−１２ 第２の画像処理手段（ＣＰＵ）
３１−１３ 選択手段（ＣＰＵ）
３１−３ オプティカルフロー検出手段（ＣＰＵ）
３１−３１ 第１の画像処理手段（ＣＰＵ）
３１−３２ 第２の画像処理手段（ＣＰＵ）
３１−３３ 選択手段（ＣＰＵ）
Claims (2)
- 車両に装着され車両の後側方の道路を撮像して一定時間毎に道路画像を得る撮像手段と、該撮像手段によって得た道路画像を処理して後続の他車両を検出する検出手段とを備え、該検出手段によって検出した後続の他車両と自車両との相対関係を監視する車両用後側方監視装置において、
前記撮像手段が広角で高解像度のカメラで構成され、
前記検出手段が、
前記撮像手段によって得た道路画像の全体を画像情報を間引きして処理する第１の画像処理手段と、
前記撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理する第２の画像処理手段と、
状況に応じて前記第１の画像処理手段及び前記第２の画像処理手段の一方を選択する選択手段とを有し、
前記選択手段は、前記検出手段が自車両の近傍に他車両を検出したとき、前記第１の画像処理手段を選択し、前記検出手段が自車両の近傍に他車両を検出していないとき、前記第２の画像処理手段を選択し、前記第２の画像処理手段を選択しているとき、低い頻度で前記第１の画像処理手段を選択する
ことを特徴とする車両用後側方監視装置。 - 車両に装着され車両の後側方の道路を撮像して一定時間毎に道路画像を得る撮像手段と、該撮像手段によって一定時間毎に得た相前後する２つの道路画像に基づいて他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段とを備え、該オプティカルフロー検出手段によって検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視する車両用後側方監視装置において、
前記撮像手段を広角で高解像度のカメラで構成するとともに、
前記オプティカルフロー検出手段が、
前記撮像手段によって得た一定時間毎に得た相前後する２つの道路画像の全体を間引きして処理する第１の画像処理手段と、
前記撮像手段によって得た道路画像の一部領域を間引きせずに処理する第２の画像処理手段と、
状況に応じて前記第１の画像処理手段及び前記第２の画像処理手段の一方を選択する選択手段とを有し、
前記選択手段は、前記検出手段が自車両の近傍に他車両を検出したとき、前記第１の画像処理手段を選択し、前記検出手段が自車両の近傍に他車両を検出していないとき、前記第２の画像処理手段を選択し、前記第２の画像処理手段を選択しているとき、低い頻度で前記第１の画像処理手段を選択する
ことを特徴とする車両用後側方監視装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05243799A JP4287532B2 (ja) | 1999-03-01 | 1999-03-01 | 車両用後側方監視装置 |
| EP00104079A EP1033694B1 (en) | 1999-03-01 | 2000-02-28 | Rear-view monitoring system for vehicles |
| DE60005426T DE60005426T2 (de) | 1999-03-01 | 2000-02-28 | Rückblicksüberwachungssystem für Fahrzeuge |
| US09/515,527 US6218960B1 (en) | 1999-03-01 | 2000-02-29 | Rear-view monitor for use in vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05243799A JP4287532B2 (ja) | 1999-03-01 | 1999-03-01 | 車両用後側方監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000251080A JP2000251080A (ja) | 2000-09-14 |
| JP4287532B2 true JP4287532B2 (ja) | 2009-07-01 |
Family
ID=12914734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05243799A Expired - Fee Related JP4287532B2 (ja) | 1999-03-01 | 1999-03-01 | 車両用後側方監視装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6218960B1 (ja) |
| EP (1) | EP1033694B1 (ja) |
| JP (1) | JP4287532B2 (ja) |
| DE (1) | DE60005426T2 (ja) |
Families Citing this family (111)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000225970A (ja) * | 1998-11-30 | 2000-08-15 | Tuner Kk | 車載用画像記録システム |
| JP3738949B2 (ja) * | 1999-07-08 | 2006-01-25 | 三菱自動車工業株式会社 | 車両周辺領域監視装置 |
| JP2001074444A (ja) * | 1999-09-08 | 2001-03-23 | Fujitsu Ltd | 撮像装置の設置姿勢パラメータ自動抽出方法及び撮像装置を用いた監視システム |
| US6476730B2 (en) * | 2000-02-29 | 2002-11-05 | Aisin Seiki Kabushiki Kaisha | Assistant apparatus and method for a vehicle in reverse motion |
| EP1158804A3 (en) * | 2000-05-24 | 2003-12-17 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a display image |
| US6369701B1 (en) * | 2000-06-30 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a drive assistant image for drive assistance |
| US6825779B2 (en) * | 2000-06-30 | 2004-11-30 | Matsushita Electric Industrial Co., Ltd. | Rendering device |
| JP2002036991A (ja) * | 2000-07-27 | 2002-02-06 | Honda Motor Co Ltd | 駐車支援装置 |
| JP4183372B2 (ja) * | 2000-09-08 | 2008-11-19 | 富士通株式会社 | 宅配方法および宅配サーバ並びに記録媒体 |
| US6424273B1 (en) * | 2001-03-30 | 2002-07-23 | Koninklijke Philips Electronics N.V. | System to aid a driver to determine whether to change lanes |
| US6552656B2 (en) * | 2001-04-12 | 2003-04-22 | Horizon Navigation, Inc. | Method and apparatus for generating notification of changed conditions behind a vehicle |
| JP2002308030A (ja) * | 2001-04-16 | 2002-10-23 | Yazaki Corp | 車両用周辺監視装置 |
| JP4425495B2 (ja) * | 2001-06-08 | 2010-03-03 | 富士重工業株式会社 | 車外監視装置 |
| CN1413860A (zh) * | 2002-02-25 | 2003-04-30 | 中华研升科技股份有限公司 | 应用于车外状况监视器之角度调整装置与方法 |
| JPWO2003034738A1 (ja) * | 2001-10-10 | 2005-02-10 | 松下電器産業株式会社 | 画像処理装置 |
| US20030076981A1 (en) * | 2001-10-18 | 2003-04-24 | Smith Gregory Hugh | Method for operating a pre-crash sensing system in a vehicle having a counter-measure system |
| US6819991B2 (en) * | 2001-11-29 | 2004-11-16 | Ford Global Technologies, Llc | Vehicle sensing based pre-crash threat assessment system |
| US6775605B2 (en) | 2001-11-29 | 2004-08-10 | Ford Global Technologies, Llc | Remote sensing based pre-crash threat assessment system |
| JP4043439B2 (ja) * | 2001-12-03 | 2008-02-06 | ジェイ マジリ，ジョーゼフ | 自動車用３６０度ビデオ・カメラ装置 |
| US7006129B1 (en) | 2001-12-12 | 2006-02-28 | Mcclure Daniel R | Rear-view display system for vehicle with obstructed rear view |
| US7158870B2 (en) * | 2002-01-24 | 2007-01-02 | Ford Global Technologies, Llc | Post collision restraints control module |
| US6831572B2 (en) | 2002-01-29 | 2004-12-14 | Ford Global Technologies, Llc | Rear collision warning system |
| US6519519B1 (en) | 2002-02-01 | 2003-02-11 | Ford Global Technologies, Inc. | Passive countermeasure methods |
| US6721659B2 (en) | 2002-02-01 | 2004-04-13 | Ford Global Technologies, Llc | Collision warning and safety countermeasure system |
| US6498972B1 (en) | 2002-02-13 | 2002-12-24 | Ford Global Technologies, Inc. | Method for operating a pre-crash sensing system in a vehicle having a countermeasure system |
| US20030151598A1 (en) * | 2002-02-13 | 2003-08-14 | Sutor Thomas Andrew | Uses for truck cam |
| TW515766B (en) * | 2002-03-08 | 2003-01-01 | Shr-Shiung Li | Method and device for detecting distance by car reversing radar |
| KR200277875Y1 (ko) * | 2002-03-11 | 2002-06-14 | 이스턴 마스텍 주식회사 | 자동차의 후방용 감시카메라의 좌우반전 스위칭 장치 |
| EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
| JP2005062992A (ja) * | 2003-08-08 | 2005-03-10 | Nissan Motor Co Ltd | 画像生成装置および画角変換手法並びに画角変換プログラム |
| JPWO2005024754A1 (ja) * | 2003-09-02 | 2006-11-09 | 富士通株式会社 | 車載用画像処理装置 |
| JP4513318B2 (ja) * | 2003-12-10 | 2010-07-28 | 日産自動車株式会社 | 後側方画像制御装置および方法 |
| JP4258385B2 (ja) * | 2004-01-14 | 2009-04-30 | 株式会社デンソー | 路面反射検出装置 |
| DE102005013920B4 (de) * | 2004-03-26 | 2007-12-13 | Mitsubishi Jidosha Kogyo K.K. | Frontsicht-Überwachungsvorrichtung |
| US7982772B2 (en) * | 2004-03-30 | 2011-07-19 | Fujifilm Corporation | Image correction apparatus and image correction method for correcting image blur using a mobile vector |
| DE102004046101B4 (de) * | 2004-09-23 | 2007-01-18 | Daimlerchrysler Ag | Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| JP4760138B2 (ja) * | 2005-05-27 | 2011-08-31 | パナソニック株式会社 | 画像処理装置 |
| JP4410168B2 (ja) * | 2005-07-15 | 2010-02-03 | 三菱電機株式会社 | 画像処理装置 |
| JP4658724B2 (ja) * | 2005-07-20 | 2011-03-23 | 株式会社オートネットワーク技術研究所 | 後側方視認システム |
| US20070150138A1 (en) | 2005-12-08 | 2007-06-28 | James Plante | Memory management in event recording systems |
| US10878646B2 (en) | 2005-12-08 | 2020-12-29 | Smartdrive Systems, Inc. | Vehicle event recorder systems |
| JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| TWI298298B (en) * | 2006-03-09 | 2008-07-01 | Chih Jung Ho | The warning system for measuring the distance to a following vehicle |
| US8996240B2 (en) | 2006-03-16 | 2015-03-31 | Smartdrive Systems, Inc. | Vehicle event recorders with integrated web server |
| US9201842B2 (en) | 2006-03-16 | 2015-12-01 | Smartdrive Systems, Inc. | Vehicle event recorder systems and networks having integrated cellular wireless communications systems |
| US20070257782A1 (en) * | 2006-05-08 | 2007-11-08 | Drivecam, Inc. | System and Method for Multi-Event Capture |
| US7804426B2 (en) * | 2006-05-08 | 2010-09-28 | Drivecam, Inc. | System and method for selective review of event data |
| US8314708B2 (en) * | 2006-05-08 | 2012-11-20 | Drivecam, Inc. | System and method for reducing driving risk with foresight |
| US9836716B2 (en) * | 2006-05-09 | 2017-12-05 | Lytx, Inc. | System and method for reducing driving risk with hindsight |
| US20070268158A1 (en) * | 2006-05-09 | 2007-11-22 | Drivecam, Inc. | System and Method for Reducing Driving Risk With Insight |
| US7536457B2 (en) * | 2006-05-08 | 2009-05-19 | Drivecam, Inc. | System and method for wireless delivery of event data |
| US7659827B2 (en) * | 2006-05-08 | 2010-02-09 | Drivecam, Inc. | System and method for taking risk out of driving |
| US8373567B2 (en) * | 2006-05-08 | 2013-02-12 | Drivecam, Inc. | System and method for identifying non-event profiles |
| US20080043736A1 (en) * | 2006-08-18 | 2008-02-21 | Drivecam, Inc. | Data Transfer System and Method |
| JP5117003B2 (ja) * | 2006-07-11 | 2013-01-09 | 本田技研工業株式会社 | 運転支援装置 |
| US8649933B2 (en) | 2006-11-07 | 2014-02-11 | Smartdrive Systems Inc. | Power management systems for automotive video event recorders |
| US8989959B2 (en) | 2006-11-07 | 2015-03-24 | Smartdrive Systems, Inc. | Vehicle operator performance history recording, scoring and reporting systems |
| US8868288B2 (en) | 2006-11-09 | 2014-10-21 | Smartdrive Systems, Inc. | Vehicle exception event management systems |
| US8239092B2 (en) | 2007-05-08 | 2012-08-07 | Smartdrive Systems Inc. | Distributed vehicle event recorder systems having a portable memory data transfer system |
| FR2917209B1 (fr) * | 2007-06-08 | 2009-10-16 | Valeo Vision Sa | Procede de detection d'un vehicule |
| JP4985142B2 (ja) * | 2007-06-26 | 2012-07-25 | 株式会社日本自動車部品総合研究所 | 画像認識装置および画像認識装置の画像認識処理方法 |
| JP4436392B2 (ja) * | 2007-09-07 | 2010-03-24 | 株式会社デンソー | 映像処理装置 |
| US20090091620A1 (en) * | 2007-10-05 | 2009-04-09 | Anderson Leroy E | Electronic security system |
| KR101207134B1 (ko) | 2007-10-25 | 2012-11-30 | 주식회사 만도 | 고해상도 절대 조향각 측정 방법 및 그를 이용한 전자 제어장치 |
| US20090115847A1 (en) * | 2007-11-07 | 2009-05-07 | Anderson Leroy E | Electronic automobile proximity viewer |
| JP5136071B2 (ja) * | 2008-01-15 | 2013-02-06 | 日産自動車株式会社 | 車両用後方監視装置および車両後方監視方法 |
| JP5152758B2 (ja) * | 2008-04-14 | 2013-02-27 | 国立大学法人東京工業大学 | 移動体追跡カメラシステム |
| DE102008023504A1 (de) * | 2008-05-09 | 2009-11-19 | Siemens Aktiengesellschaft | Streckenüberwachungssystem für ein Fahrzeug und Verfahren zu dessen Betrieb |
| TW201008812A (en) * | 2008-08-22 | 2010-03-01 | shi-xiong Li | Auxiliary video warning device for vehicle |
| DE102009050368A1 (de) | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
| JP5361901B2 (ja) | 2008-10-31 | 2013-12-04 | 株式会社小糸製作所 | 前照灯制御装置 |
| US8964032B2 (en) | 2009-01-30 | 2015-02-24 | Magna Electronics Inc. | Rear illumination system |
| WO2011085489A1 (en) | 2010-01-13 | 2011-07-21 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
| JP2012222664A (ja) * | 2011-04-11 | 2012-11-12 | Honda Elesys Co Ltd | 車載カメラシステム |
| JP5622648B2 (ja) | 2011-04-14 | 2014-11-12 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| EP2523173B1 (en) * | 2011-05-10 | 2017-09-20 | Autoliv Development AB | Driver assisting system and method for a motor vehicle |
| DE102011076112A1 (de) * | 2011-05-19 | 2012-11-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes |
| TWI434239B (zh) | 2011-08-26 | 2014-04-11 | Ind Tech Res Inst | 後方來車變換車道預警方法及其系統 |
| JP5878808B2 (ja) * | 2012-03-27 | 2016-03-08 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
| TW201348038A (zh) * | 2012-05-31 | 2013-12-01 | Yottastor Information Technology Inc | 行車警示系統 |
| US9728228B2 (en) | 2012-08-10 | 2017-08-08 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
| JP6034767B2 (ja) * | 2013-09-02 | 2016-11-30 | 公益財団法人鉄道総合技術研究所 | レール検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール検出方法ならびに制御方法 |
| US9501878B2 (en) | 2013-10-16 | 2016-11-22 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
| US9610955B2 (en) | 2013-11-11 | 2017-04-04 | Smartdrive Systems, Inc. | Vehicle fuel consumption monitor and feedback systems |
| JP6070676B2 (ja) * | 2014-02-14 | 2017-02-01 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| US8892310B1 (en) | 2014-02-21 | 2014-11-18 | Smartdrive Systems, Inc. | System and method to detect execution of driving maneuvers |
| US10068472B2 (en) * | 2014-06-06 | 2018-09-04 | Veoneer Us, Inc. | Automotive lane discipline system, method, and apparatus |
| JP5794398B1 (ja) * | 2014-09-05 | 2015-10-14 | 横浜ゴム株式会社 | 衝突回避システム及び衝突回避方法 |
| US9663127B2 (en) | 2014-10-28 | 2017-05-30 | Smartdrive Systems, Inc. | Rail vehicle event detection and recording system |
| US11069257B2 (en) | 2014-11-13 | 2021-07-20 | Smartdrive Systems, Inc. | System and method for detecting a vehicle event and generating review criteria |
| US9679420B2 (en) | 2015-04-01 | 2017-06-13 | Smartdrive Systems, Inc. | Vehicle event recording system and method |
| JP5957575B1 (ja) * | 2015-06-12 | 2016-07-27 | Ckd株式会社 | 三次元計測装置 |
| US11228700B2 (en) | 2015-10-07 | 2022-01-18 | Magna Electronics Inc. | Vehicle vision system camera with adaptive field of view |
| JP6838248B2 (ja) | 2016-02-22 | 2021-03-03 | 日立Astemo株式会社 | 情報処理装置 |
| JP6862465B2 (ja) * | 2016-03-18 | 2021-04-21 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | センサによる間接計測によって自動車の周囲の少なくとも１つの物体の検出を向上させる方法、コントローラ、運転者支援システム、及び自動車 |
| EP3229172A1 (en) | 2016-04-04 | 2017-10-11 | Conti Temic microelectronic GmbH | Driver assistance system with variable image resolution |
| US10300859B2 (en) | 2016-06-10 | 2019-05-28 | Magna Electronics Inc. | Multi-sensor interior mirror device with image adjustment |
| GB201614475D0 (en) * | 2016-08-24 | 2016-10-05 | Denholm Timothy J H And Milne Timothy S | Bicycle safety apparatus and methods |
| IT201600094414A1 (it) * | 2016-09-20 | 2018-03-20 | St Microelectronics Srl | Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo |
| US10897572B2 (en) | 2016-10-25 | 2021-01-19 | Toyota Jidosha Kabushiki Kaisha | Imaging and display device for vehicle and recording medium thereof for switching an angle of view of a captured image |
| JP6555240B2 (ja) * | 2016-10-25 | 2019-08-07 | トヨタ自動車株式会社 | 車両用撮影表示装置及び車両用撮影表示プログラム |
| JP2020501423A (ja) * | 2016-12-06 | 2020-01-16 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法 |
| DE102017205630A1 (de) * | 2017-04-03 | 2018-10-04 | Conti Temic Microelectronic Gmbh | Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs |
| KR102313026B1 (ko) * | 2017-04-11 | 2021-10-15 | 현대자동차주식회사 | 차량 및 차량 후진 시 충돌방지 보조 방법 |
| DE102017210845A1 (de) | 2017-06-27 | 2018-12-27 | Conti Temic Microelectronic Gmbh | Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs |
| CN107599976A (zh) * | 2017-09-07 | 2018-01-19 | 如皋福大工程技术研究院有限公司 | 红绿灯追踪识别系统 |
| EP3567565A1 (en) * | 2018-05-09 | 2019-11-13 | Volkswagen AG | Apparatus, method, computer program, base station and vehicle for providing information related to an approaching vehicle |
| JP2020204839A (ja) | 2019-06-14 | 2020-12-24 | マツダ株式会社 | 外部環境認識装置 |
| IT201900019268A1 (it) * | 2019-10-18 | 2021-04-18 | Riccardo Cesari | Metodo per rilevare in maniera automatica il sorpasso di una bicicletta da parte di un veicolo a motore e relativo dispositivo di rilevamento per rilevare in maniera automatica il sorpasso di una bicicletta da parte di un veicolo a motore e relativo sistema di rilevamento |
| JP7345114B2 (ja) * | 2020-03-25 | 2023-09-15 | パナソニックＩｐマネジメント株式会社 | 車両用表示制御装置、表示制御方法、およびプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4277804A (en) * | 1978-11-01 | 1981-07-07 | Elburn Robison | System for viewing the area rearwardly of a vehicle |
| JP2641562B2 (ja) | 1989-04-28 | 1997-08-13 | 松下電器産業株式会社 | 車両用衝突防止装置 |
| US5303205A (en) * | 1990-02-26 | 1994-04-12 | Trend Tec Inc. | Vehicular distance measuring system with integral mirror display |
| US5121200A (en) * | 1990-07-06 | 1992-06-09 | Choi Seung Lyul | Travelling monitoring system for motor vehicles |
| US5138454A (en) * | 1991-09-16 | 1992-08-11 | Eastman Kodak Company | Megapixel video previewer framestore and display |
| DE4332612C2 (de) * | 1992-09-25 | 1996-02-22 | Yazaki Corp | Außenansichts-Überwachungsverfahren für Kraftfahrzeuge |
| JP2863381B2 (ja) | 1992-09-25 | 1999-03-03 | 矢崎総業株式会社 | 車両用監視方法 |
| JP3452268B2 (ja) | 1993-08-06 | 2003-09-29 | 矢崎総業株式会社 | 車両用後側方監視方法 |
| US5289321A (en) * | 1993-02-12 | 1994-02-22 | Secor James O | Consolidated rear view camera and display system for motor vehicle |
| FR2706211B1 (fr) * | 1993-06-08 | 1995-07-21 | Thomson Csf | Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. |
| JP3390289B2 (ja) * | 1995-06-16 | 2003-03-24 | 富士重工業株式会社 | 警報装置 |
| US5680123A (en) * | 1996-08-06 | 1997-10-21 | Lee; Gul Nam | Vehicle monitoring system |
| JP3358709B2 (ja) * | 1997-08-11 | 2002-12-24 | 富士重工業株式会社 | 車両用運転支援装置 |
-
1999
- 1999-03-01 JP JP05243799A patent/JP4287532B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-28 EP EP00104079A patent/EP1033694B1/en not_active Expired - Lifetime
- 2000-02-28 DE DE60005426T patent/DE60005426T2/de not_active Expired - Lifetime
- 2000-02-29 US US09/515,527 patent/US6218960B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1033694A3 (en) | 2001-11-14 |
| EP1033694A2 (en) | 2000-09-06 |
| EP1033694B1 (en) | 2003-09-24 |
| DE60005426T2 (de) | 2004-05-06 |
| US6218960B1 (en) | 2001-04-17 |
| JP2000251080A (ja) | 2000-09-14 |
| DE60005426D1 (de) | 2003-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4287532B2 (ja) | 車両用後側方監視装置 | |
| JP3452268B2 (ja) | 車両用後側方監視方法 | |
| US6330511B2 (en) | Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor | |
| JP6838248B2 (ja) | 情報処理装置 | |
| EP1033693A2 (en) | Rear and side view monitor with camera for a vehicle | |
| JP2887039B2 (ja) | 車両周辺監視装置 | |
| JP2863381B2 (ja) | 車両用監視方法 | |
| WO2010058821A1 (ja) | 接近物体検知システム | |
| JP2000295604A (ja) | 車両用後側方監視装置 | |
| JP2003123196A (ja) | 車両の周辺監視装置及びプログラム | |
| JP3990836B2 (ja) | 車両用周辺監視装置 | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| JP3351340B2 (ja) | オプティカルフロー式後方情報検出装置 | |
| JP3464368B2 (ja) | 車両用後側方監視装置 | |
| JP3635591B2 (ja) | 車両周辺監視装置 | |
| JP2020166409A (ja) | 車載装置、車載システムおよび周辺監視方法 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP2000251199A (ja) | 車両用後側方監視装置 | |
| JP2009246808A (ja) | 車両用周辺監視装置 | |
| JP2005182305A (ja) | 車両走行支援装置 | |
| JP2000315255A (ja) | 車両用後側方監視装置及び車両用後側方監視警報装置 | |
| JP5245471B2 (ja) | 撮像装置、並びに、画像処理装置および方法 | |
| JP3398934B2 (ja) | 車両用監視方法 | |
| JP3585071B2 (ja) | 車両周辺監視装置 | |
| JP3441342B2 (ja) | 車両用距離測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090327 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |