[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4434234B2 - 車両用撮像システム、及び車両用制御装置 - Google Patents

車両用撮像システム、及び車両用制御装置 Download PDF

Info

Publication number
JP4434234B2
JP4434234B2 JP2007144088A JP2007144088A JP4434234B2 JP 4434234 B2 JP4434234 B2 JP 4434234B2 JP 2007144088 A JP2007144088 A JP 2007144088A JP 2007144088 A JP2007144088 A JP 2007144088A JP 4434234 B2 JP4434234 B2 JP 4434234B2
Authority
JP
Japan
Prior art keywords
vehicle
visible light
imaging
imaging system
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007144088A
Other languages
English (en)
Other versions
JP2008299538A (ja
Inventor
祐之 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007144088A priority Critical patent/JP4434234B2/ja
Priority to US12/127,354 priority patent/US8659406B2/en
Priority to DE102008002086A priority patent/DE102008002086B4/de
Publication of JP2008299538A publication Critical patent/JP2008299538A/ja
Application granted granted Critical
Publication of JP4434234B2 publication Critical patent/JP4434234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • B60Q2300/056Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)

Description

本発明は、車両周辺を撮像して画像データを出力する車両用撮像システム、及びこれを利用した車両用制御装置に関する。
近年、道路に描画又は敷設された道路区画線の位置を検知して自車両と走行車線との位置関係を認識し、走行車線を自車両が逸脱せずに走行できるようにステアリングトルクを自動的に出力する(以下、この種の制御を車線維持制御と称する)制御システムが、LKA(Lane Keeping Assist)等の名称で知られている。
また、車両前方の障害物を検知し、自車両と障害物との衝突可能性を予測して種々の制御を行なう(以下、この種の制御を衝突予測制御と称する)制御システムが、プリクラッシュ・セーフティシステム等の名称で知られ、研究が進められている。
一方、赤外線撮像手段により撮像された障害物に対して所定の可視波長の光を発し、当該所定波長の光を運転者の眼に入射させないためのフィルターを備える車両用照明システムについての発明が開示されている(例えば、特許文献1参照)。
また、インストルメントパネルから運転者の頭部を赤外線撮影する撮影装置であって、カメラの前に可視光カットフィルターを、フロントウインドガラスの上部に赤外カットフィルターを、それぞれ備える装置についての発明が開示されている(例えば、特許文献2参照)。この装置において赤外カットフィルターは、外部から車室内に入射する赤外線を遮蔽して、運転者の頭部に当たる赤外線の強度を一定に保つ役割を果たしている。
特開2005−47390号公報 特許第3119031号公報
上記の各制御システムにおいて必須の構成となるのが、道路区画線を認識するための手段、及び車両前方の障害物を検知するための手段であり、現状では、前者についてCCDカメラやCMOSカメラが用いられ、後者についてミリ波レーダー等のレーダー装置が用いられている。ところが、カメラとレーダー装置の双方を備える場合、装置全体のサイズやコストが増大するという問題がある。また、レーダー装置には、誘電率の低い物体(レーダー波をあまり反射しない物体)を明確に認識できないという弱点が存在し、これにより、車両やガードレール等は比較的容易に認識できるが、歩行者等を認識することが困難であるという問題がある。
これに対し、赤外線を歩行者等に投射して反射された赤外線を撮像する、或いは歩行者等がその体温により自ら発する赤外線を撮像することが考えられる。そして、道路区画線を認識するためのカメラと赤外線を撮像するカメラが同一のものであれば、サイズやコストの問題も解消することとなる。
しかしながら、上記特許文献1及び2に記載の装置は、全く異なる目的のために創作されたものであり、車線維持制御や衝突予測制御のためのカメラ装置に適用することは不可能である。
本発明はこのような課題を解決するためのものであり、簡易な構成により可視光撮像と赤外線撮像の双方を行なって、画像データを出力することが可能な車両用撮像システム、及びこれを利用した車両用制御装置を提供することを、主たる目的とする。
上記目的を達成するための本発明の第1の態様は、車両周辺を撮像する撮像手段と、撮像手段に入射する可視光の一部を減衰させる可視光減衰手段と、を備える車両用撮像システムであって、撮像手段は、可視光と赤外線との双方を電気変換可能な撮像素子を有し、可視光減衰手段を通過せずに入射した可視光を電気変換した信号に基づく画像データと、可視光減衰手段を透過した赤外線を電気変換した信号に基づく画像データと、の双方を出力可能な手段である、車両用撮像システムである。
この本発明の第1の態様によれば、撮像手段を複数備えることなく、すなわち簡易な構成により、可視光撮像と赤外線撮像の双方を行なって画像データを出力することができる。
本発明の第1の態様において、可視光減衰手段は、フロントウインドシールドに配設され、撮像手段は、フロントウインドシールドを介して車両前方を撮像する手段であるものとしてもよい。この場合、車両前方に赤外線を投射可能な赤外線投射手段を備え、可視光減衰手段は、赤外線投射手段が赤外線を投射する範囲から入射する可視光を減衰させるように配置されると、好適である。更にこの場合、赤外線投射手段は、車両から見て、ロービームヘッドランプが可視光を照射する範囲よりも遠方側に、赤外線を投射する手段であると、好適である。
また、本発明の第1の態様において、可視光減衰手段は、前記撮像手段が有する撮像素子と撮像レンズとの間に配設されるものとしてもよい。
本発明の第2の態様は、本発明の第1の態様の車両用撮像システムが有する撮像手段が出力する、赤外線を電気変換した信号に基づく画像データに基づいて衝突予測制御を行なう衝突予測制御手段と、可視光を電気変換した信号に基づく画像データに基づいて車線維持制御を行なう車線維持制御手段と、を備える車両用制御装置である。
本発明によれば、簡易な構成により可視光撮像と赤外線撮像の双方を行なって、画像データを出力することが可能な車両用撮像システム、及びこれを利用した車両用制御装置を提供することができる。
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
以下、本発明の一実施例に係る車両用撮像システム10、及びこれを利用した車両用制御装置1について説明する。
[構成]
図1は、車両用制御装置1の全体構成の一例を示す図である。車両用制御装置1は、主要な構成として、車両用撮像システム10と、車線維持ECU(Electronic Control Unit)50と、衝突予測ECU60と、を備える。図中、破線矢印は、有線又は無線による主要な情報通信の流れを示す。
車両用撮像システム10は、カメラ20と、可視光カットフィルター30と、ヘッドランプASSY40と、ライトECU45と、を備える。
カメラ20は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したカメラである。カメラ20は、例えば、車室内の天井部付近に配設され、車両前方の斜め下方に向いた光軸を有し、車両前方の路面から略水平方向に至るまでを撮像領域とするように画角が調節されている。図2は、カメラ20が撮像する車両前方の風景の一例を示す図である。図示する如く、カメラ20は、車両前方に存在する路面に描画・敷設等された道路区画線や他車両、歩行者等を撮像することが可能である。
図3は、カメラ20のハードウエア構成の一例を示す図である。カメラ20は、例えば、前述の撮像領域を実現する撮像レンズ22と、イメージセンサー24と、電子制御部26と、を備える。以下、カメラ20がCCDカメラであるものとして説明する。
イメージセンサー24は、例えばインターライン型イメージセンサーであり、光電変換を行なう受光素子であるフォトダイオードと、これに対応するCCDとをそれぞれ2次元平面状に配列し、フォトダイオードとCCDの間にアナログスイッチとして機能するトランスファゲートを有する。各フォトダイオードの前側(撮像レンズ22側)には、集光のためのマイクロレンズが取り付けられている。なお、こうした構造は、あくまでイメージセンサー24の機能を簡易に説明するために模式的に例示したものであり、機能性向上等のための如何なる設計変更も許容される。また、インターライン型イメージセンサーに限らず、CCD自体が受光素子として機能するフルフレームトランスファ型やフレームトランスファ型のイメージセンサーを用いてもよい。
また、イメージセンサー24は、通常の可視光領域についてのみならず、近赤外線まで感知領域を拡大している。これにより、カメラ20は、近赤外線を発する物体(発熱を行なっている物体)を撮像することが可能である。
電子制御部26は、例えば、マイクロコンピューターや電子回路等が用いられ、イメージセンサー24が有するトランスファゲートの開閉タイミングを制御することによりカメラ20のシャッタースピードや撮像周期(例えば、1秒間に数十回程度)を調節する。そして、電子制御部26は、イメージセンサー24の出力回路から出力されるデータに対して所定のゲインによる増幅等を行なって、画像データとして外部に出力する。
可視光カットフィルター30は、可視光を遮蔽し又は減光させて近赤外線を透過させるフィルターであり、前述したカメラ20の撮像領域のうち上側領域を覆うように、フロントウインドシールド32に、貼り付け、挟み込み、或いは一体形成等される。なお、図1の位置関係から明らかなように、可視光カットフィルター30は運転者の必要とする前方視界を殆ど妨げない。
図4は、図2に例示した車両前方の風景において、可視光カットフィルター30により可視光が部分的に遮蔽又は減光される様子を示す図である。図示する如く、車両前端部から数十[m]までの領域(以下、非遮蔽等領域という;図1において(B)部が相当する)について、可視光が遮蔽又は減光されないため、道路区画線が撮像可能である。一方、それよりも遠い領域(以下、遮蔽等領域という;図1において(A)部が相当する)については、可視光が遮蔽又は減光され、近赤外線を反射する物体(歩行者等)のみが撮像可能である。
ヘッドランプASSY40は、ロービームヘッドランプ41と、ハイビームヘッドランプ42と、可動フィルター43と、を備える。ロービームヘッドランプ41は、例えば白色発光ダイオードを用いたLED(Light Emitting Diode)ランプである。ハイビームヘッドランプ42は、例えば赤外線を比較的多く発するハロゲンランプである。可動フィルター43は、可視光を遮蔽し又は減光させるフィルターである。可動フィルター43は、図示しないアクチュエーターにより駆動され、ハイビームヘッドランプ42の前面を覆う状態と、ハイビームヘッドランプ42の前面から除去された状態とを切り替え可能に構成される。
また、本実施例のヘッドランプシステムは、昼間等、ヘッドランプが点灯されていないときであっても、赤外線を前方に照射してカメラ20との協働により車両前方の歩行者等を積極的に監視する赤外投射モードをユーザー操作によって選択可能に構成される。ここで、ユーザー操作は、例えばタッチパネル上に設定されたGUI(Graphical User Interface)スイッチやその他の機械的スイッチに対して行なわれる。
各ヘッドランプの点灯制御や可動フィルター43の駆動制御は、ライトECU45により行なわれる。ライトECU45は、(1)運転者の操作によりロービーム点灯が指示されたときには、ロービームヘッドランプ41とハイビームヘッドランプ42の双方を点灯させると共に、可動フィルター43でハイビームヘッドランプ42の前面を覆うようにアクチュエーターを駆動する。また、(2)運転者の操作によりハイビーム点灯が指示されたときには、ハイビームヘッドランプ42のみを点灯させると共に、可動フィルター43をハイビームヘッドランプ42の前面から除去するようにアクチュエーターの駆動を行なう。また、(3)昼間であっても赤外投射モードが運転者により選択されている場合は、ハイビームヘッドランプ42のみを点灯させると共に、可動フィルター43でハイビームヘッドランプ42の前面を覆うようにアクチュエーターを駆動する。(以上、図5参照)なお、運転者の操作はステアリングホイール脇のコンビネーションスイッチやタッチパネル上のGUI(Graphical User Interface)スイッチ等に対して行なわれる。また、(2)において、ロービームヘッドランプ41を点灯させてもよい。ライトECU45は、こうした各ヘッドランプの状態(特にハイビームヘッドランプ42の点灯状態)を、電子制御部26に随時(定期的に、又は変更された度に)出力している。
そして、ロービームヘッドランプ41の投射範囲が前述した非遮蔽等領域に含まれ、ハイビームヘッドランプ42の投射範囲が前述した遮蔽等領域に含まれるように、可視光カットフィルター30の位置、大きさ、範囲が調節されることが好ましい(図6参照)。こうすることにより、非遮蔽等領域については、昼間の太陽光又はロービームヘッドランプ41の投射光が当たることとなり、道路区画線が常時撮像できるようになる。また、遮蔽等領域については、ハイビームヘッドランプ42の投射する赤外線(及び可動フィルターが除去されている場合には可視光)が当たることとなり、歩行者等が撮像できるようになる。
[利用態様]
カメラ20が出力する画像データは、画像認識を経て車線維持制御や衝突予測制御に用いられる。ここで、カメラ20が出力する画像データの利用例について説明する。
車線維持ECU50は、例えば、CPUを中心としてROMやRAM等がバスを介して相互に接続されたコンピューターユニットであり、その他、HDD(Hard Disc Drive)やDVD(Digital Versatile Disk)等の記憶媒体やI/Oポート、タイマー、カウンター等を備える。ROMには、CPUが実行するプログラムやデータが格納されている。
車線維持ECU50は、カメラ20から入力された画像データのうち非遮蔽等領域に係る部分を解析することにより、自車両と走行車線との位置関係を認識する。そして、走行車線を自車両が逸脱せずに走行するための補助ステアリングトルクを出力するように、電動パワーステアリング装置に干渉制御を行なう(車線維持制御)。また、走行車線を自車両が逸脱しそうなタイミングで警告音を発するようにスピーカー、ブザー等を吹鳴させる。これにより、運転者のステアリング操作負担を軽減すると共に、車両の走行軌跡を安定させ、交通安全に寄与することができる。
自車両と走行車線との位置関係は、カメラ20の撮像画像(画像データに基づき復元された画像をいう。以下同じ。)に占める道路区画線の位置に基づいて認識される。そして、カメラ20の撮像画像における道路区画線の認識は、例えば、輝度勾配(隣接する画素との輝度差)が閾値以上の点を特徴点として抽出し、直線状又は曲線状に並んだ点を道路区画線の輪郭であると認識する。また、ボッツドッツやキャッツアイ等の点列状道路区画線に対しては、適宜モルフォロジー演算による認識処理等が組み合わされる。いずれにしても、道路区画線を正確に認識するには、カメラ20の撮像画像において、道路面(アスファルト等)と道路区画線とのコントラスト(輝度差)が明確である必要がある。この点、カメラ20の撮像画像における自車両の手前から数十[m]までの領域については可視光が遮蔽等されていないため、道路面と道路区画線とのコントラストが十分に明確なものとなる。
衝突予測ECU60は、カメラ20から入力された画像データのうち遮蔽等領域に係る部分を解析することにより、自車両と歩行者等との距離や位置関係を認識する。そして、歩行者等との衝突を回避するように電動パワーステアリング装置や電子制御ブレーキ装置に干渉制御を行なう(衝突予測制御)。具体的には、例えば、歩行者等が自車両の走行する走行車線上に存在し、自車両との距離が所定距離以内となり、且つ自車両の速度が所定速度以上である場合に、歩行者を回避するように操舵力を自動的に出力したり、歩行者の手前で自車両が停止するように制動力を自動的に出力したりする。また、これに限らず、自車両において衝突の衝撃に備えるためにシートベルトの自動巻き取りやプリクラッシュエアバッグの展開を行なったり、歩行者の頭部を保護するためにボンネット上にエアバッグを展開したり、ボンネットを持ち上げて歩行者の頭部を受け止めたりする制御を行なってもよい。
自車両と歩行者等との距離や位置関係は、カメラ20の撮像画像に占める歩行者等の位置、大きさに基づいて認識される。ここで、歩行者等を可視光の画像により背景と区別するのは、コントラストが必ずしも明確でないため困難な場合が多いが、赤外線を投射して反射されたものを撮像することにより、撮像画像に占める歩行者等を比較的容易に認識することができる。なお、非遮蔽領域においては、こうした歩行者等の認識は困難となるが、より遠い遮蔽領域において歩行者等を認識して、既に前述した衝突回避や衝突からの保護のための制御が開始されているため、衝突予測制御の機能は保たれる。
以上の利用態様から理解できるように、本実施例の車両用撮像システム10によれば、同一のカメラ装置から、可視光を撮像した部分と赤外線を撮像した部分との双方を含む画像データを出力することができる。これにより、可視光を撮像した部分を解析して道路区画線を認識し、赤外線を撮像した部分を解析して歩行者等の存在を認識する等の用に供することができる。しかも、撮像画像の上側(自車両から遠い側)において可視光を遮蔽し又は減衰させるので、道路区画線や歩行者等を認識するのに適合しており、また、運転者の必要とする前方視界を殆ど妨げない。従って、簡易な構成により可視光撮像と赤外線撮像の双方を行なって画像データを出力することができる。
また、夜間においてもロービームヘッドランプ41が非遮蔽等領域を照射しているため、道路区画線の認識が常時可能となっており、時間帯を問わずハイビームヘッドランプ42が赤外線(場合によっては、赤外線及び可視光)を遮蔽等領域に投射可能であるため、歩行者等の認識が可能となる。
なお、歩行者等の存在を検知するものとしてレーダー装置を用いることが考えられるが、歩行者の如く誘電率の低い物体はレーダー波を十分に反射しない等の問題が存在し、少なくとも歩行者の認識に関しては、赤外線を撮像して認識する方が優位である。
また、本実施例の車両用制御装置1によれば、同一のカメラ装置から出力された画像データに基づき、車線維持制御や衝突予測制御を行なうことができる。従って、簡易な構成により、複数の機能を実現することができる。
[制御例]
ところで、可視光を撮像した部分についての最適なシャッタースピードやゲインと、近赤外線を撮像した部分についての最適なシャッタースピードやゲインは異なるものであるため、電子制御部26は、図7に示す如きフローチャートに従って、道路区画線を認識するのに適した画像データと、歩行者等を認識するのに適した画像データと、を交互に出力するものとした。なお、本図はあくまで一例であり、如何なる変更も許容されるものである。
まず、電子制御部26は、ライトECU45から入力される情報を参照し、ハイビームヘッドランプ42が点灯しているか否かを判定する(S100)。この際に、可動フィルター43の状態は問わない。すなわち、赤外線が遮蔽等領域に投射されているか否かを判定する。
ハイビームヘッドランプ42が点灯していない場合(昼間で、且つ赤外投射モードが選択されていない場合;運転者が衝突予測制御を不要と考えている場面、或いは省エネルギーを優先している場面である)は、赤外線が遮蔽等領域に投射されていないため、歩行者等の認識が困難である。従って、道路区画線を認識するのに適したシャッタースピードでイメージセンサー24を制御すると共に、道路区画線を認識するのに適したゲインで画像データを生成する(S104)。この場合、衝突予測制御は行なわれず、車線維持制御のみが可能となる。
一方、ハイビームヘッドランプ42が点灯している場合は、送信しようとしている画像データが、偶数フレームであるか否かを判定する(S102)。ここで、1回の撮像動作に係るものとして送信される画像データには、車両起動時の最初の画像データから起算して順次整理番号(整数)が付与されており、当該整理番号が偶数であるものを偶数フレームと称している。
送信しようとしている画像データが偶数フレームである場合には、道路区画線を認識するのに適したシャッタースピードでイメージセンサー24を制御すると共に、道路区画線を認識するのに適したゲインで画像データを生成する(S104)。一方、送信しようとしている画像データが奇数フレームである場合には、道路区画線を認識するのに適したシャッタースピードでイメージセンサー24を制御すると共に、道路区画線を認識するのに適したゲインで画像データを生成する(S106)。すなわち、S104とS106の制御を交互に実行する。
[まとめ]
本実施例の車両用撮像システム10によれば、同一のカメラ装置により可視光撮像と赤外線撮像の双方を行なって、画像データを出力することができる。
また、本実施例の車両用制御装置1によれば、同一のカメラ装置から出力された画像データに基づき、車線維持制御や衝突予測制御を行なうことができる。従って、簡易な構成により、複数の機能を実現することができる。
[変形例]
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、可視光カットフィルター30をフロントウインドシールド32に貼り付け等するものとしたが、図8に示す如く、カメラ20の内部において、可視光カットフィルター30を撮像レンズ22とイメージセンサー24の間に、イメージセンサー24に近接させて配設するものとしてもよい。
また、カメラ20は、実施例で説明した如くフロントウインドシールドを介して車両前方を撮像するものに限られず、車両周辺を撮像するものであれば如何なる位置に配設されてもよく、如何なる方向を撮像するものであってもよい。例えば、ドアミラーに内蔵されて車両側方を撮像するものであってもよいし、フロントバンパー付近に配設されて車両前側方を撮像するものであってもよい。これらの場合、可視光カットフィルター30は、カメラ20の配設位置に応じてカメラ20に入射する可視光の一部を減衰させることができる任意の位置に配設されてよい(上記の如く撮像レンズ22とイメージセンサー24の間に配設されてもよい)。
また、赤外線を投射する手段は、ハイビームヘッドランプ43とは別体として備えられてもよい。また、赤外線を投射する手段を備えず、カメラ20は、歩行者が体温により発する赤外線のみを撮像するものとしてもよい。
また、必ずしも実施例で説明した赤外投射モードが選択可能に構成される必要はなく、歩行者等の認識は夜間にのみ行なわれるものとしてもよい。
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
車両用制御装置1の全体構成の一例を示す図である。 カメラ20が撮像する車両前方の風景の一例を示す図である。 カメラ20のハードウエア構成の一例を示す図である。 図2に例示した車両前方の風景において、可視光カットフィルター30により可視光が部分的に遮蔽又は減光される様子を示す図である。 ライトECU45により実行される、各ヘッドランプの点灯制御や可動フィルター43の駆動制御の一例を示す図である。 ロービームヘッドランプ41の投射範囲が前述した非遮蔽等領域に含まれ、ハイビームヘッドランプ42の投射範囲が前述した遮蔽等領域に含まれるように、可視光カットフィルター30の位置、大きさ、範囲が調節される様子を示す図である。 電子制御部26が、実行する制御の流れを示すフローチャートである。 カメラ20の内部において、可視光カットフィルター30を撮像レンズ22とイメージセンサー24の間に配設した状態を示す図である。
符号の説明
1 車両用制御装置
10 車両用撮像システム
20 カメラ
22 撮像レンズ
24 イメージセンサー
26 電子制御部
30 可視光カットフィルター
32 フロントウインドシールド
40 ヘッドランプASSY
41 ロービームヘッドランプ
42 ハイビームヘッドランプ
43 可動フィルター
45 ライトECU
50 車線維持ECU
60 衝突予測ECU

Claims (4)

  1. フロントウインドシールドを介して車両前方を撮像する撮像手段と、
    フロントウインドシールドに配設され、前記撮像手段に入射する可視光の一部を減衰させる可視光減衰手段と、を備える車両用撮像システムであって、
    前記撮像手段は、可視光と赤外線との双方を電気変換可能な撮像素子を有し、前記可視光減衰手段を通過せずに入射した可視光を電気変換した信号に基づく画像データと、前記可視光減衰手段を透過した赤外線を電気変換した信号に基づく画像データと、の双方を出力可能な手段である、
    車両用撮像システム。
  2. 請求項に記載の車両用撮像システムであって、
    車両前方に赤外線を投射可能な赤外線投射手段を備え、
    前記可視光減衰手段は、前記赤外線投射手段が赤外線を投射する範囲から入射する可視光を減衰させるように配置される、
    車両用撮像システム。
  3. 請求項に記載の車両用撮像システムであって、
    前記赤外線投射手段は、車両から見て、ロービームヘッドランプが可視光を照射する範囲よりも遠方側に、赤外線を投射する手段である、
    車両用撮像システム。
  4. 請求項1ないしのいずれかに記載の車両用撮像システムと、
    該車両用撮像システムが有する撮像手段が出力する、赤外線を電気変換した信号に基づく画像データに基づいて衝突予測制御を行なう衝突予測制御手段と、可視光を電気変換した信号に基づく画像データに基づいて車線維持制御を行なう車線維持制御手段と、
    を備える車両用制御装置。
JP2007144088A 2007-05-30 2007-05-30 車両用撮像システム、及び車両用制御装置 Active JP4434234B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007144088A JP4434234B2 (ja) 2007-05-30 2007-05-30 車両用撮像システム、及び車両用制御装置
US12/127,354 US8659406B2 (en) 2007-05-30 2008-05-27 Vehicle imaging system and vehicle control apparatus
DE102008002086A DE102008002086B4 (de) 2007-05-30 2008-05-29 Fahrzeugabbildungssystem und Fahrzeugsteuerungsgerät

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007144088A JP4434234B2 (ja) 2007-05-30 2007-05-30 車両用撮像システム、及び車両用制御装置

Publications (2)

Publication Number Publication Date
JP2008299538A JP2008299538A (ja) 2008-12-11
JP4434234B2 true JP4434234B2 (ja) 2010-03-17

Family

ID=39942276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007144088A Active JP4434234B2 (ja) 2007-05-30 2007-05-30 車両用撮像システム、及び車両用制御装置

Country Status (3)

Country Link
US (1) US8659406B2 (ja)
JP (1) JP4434234B2 (ja)
DE (1) DE102008002086B4 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009286234A (ja) * 2008-05-28 2009-12-10 Funai Electric Co Ltd 車載用サイドビューカメラ
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
DE102009036595A1 (de) * 2009-08-07 2011-02-10 Conti Temic Microelectronic Gmbh Bildgebender Multifunktions-Sensor
JP2011051441A (ja) * 2009-09-01 2011-03-17 Koito Mfg Co Ltd 車両用前照灯システム
DE102011004937A1 (de) * 2011-03-02 2012-09-06 Robert Bosch Gmbh Verfahren und Steuergerät zum Beeinflussen einer Beleuchtungsszene vor einem Fahrzeug
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
JP2013217886A (ja) * 2012-04-12 2013-10-24 Honda Elesys Co Ltd 車載用のレーダ装置、検知方法、検知プログラム
US9550455B2 (en) * 2012-04-25 2017-01-24 Gentex Corporation Multi-focus optical system
US9707892B2 (en) 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system
KR101882249B1 (ko) * 2012-06-04 2018-08-24 현대모비스 주식회사 차등가중치 적용 차선 인식 방법 및 장치와 이를 이용한 차선유지보조시스템 제어 방법 및 장치
DE102012011886A1 (de) * 2012-06-15 2013-12-19 Connaught Electronics Ltd. Kamera mit einem durch Wärme beeinflussten Bildsensor
TWI459170B (zh) * 2012-10-04 2014-11-01 Ind Tech Res Inst 行進控制裝置以及具有該行進控制裝置之自動引導載具
EP3086994B1 (de) * 2013-12-23 2018-03-28 ADC Automotive Distance Control Systems GmbH Park-assistenzsystem und verfahren zum einparken eines fahrzeuges in eine parkgarage
JP2015120424A (ja) * 2013-12-24 2015-07-02 いすゞ自動車株式会社 歩行者保護装置
JP6174516B2 (ja) * 2014-04-24 2017-08-02 本田技研工業株式会社 衝突回避支援装置、衝突回避支援方法、及びプログラム
CN110293973B (zh) 2014-05-30 2022-10-04 新唐科技日本株式会社 驾驶支援系统
CN104192055B (zh) * 2014-07-11 2016-09-14 奇瑞汽车股份有限公司 汽车近红外补光灯
KR101683509B1 (ko) * 2015-05-20 2016-12-07 현대자동차 주식회사 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
US9878711B2 (en) * 2015-12-14 2018-01-30 Honda Motor Co., Ltd. Method and system for lane detection and validation
US10742890B2 (en) 2016-10-28 2020-08-11 Kyocera Corporation Imaging apparatus, imaging system, moving body, and imaging method
JP6551382B2 (ja) * 2016-12-22 2019-07-31 トヨタ自動車株式会社 衝突回避支援装置
EP3601178B1 (en) * 2017-03-30 2022-06-08 AGC Glass Europe Glass for autonomous car
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
CN108674302B (zh) * 2018-03-22 2021-04-06 河南科技大学 一种汽车远近光灯的自动调节装置及调节方法
CN108556848A (zh) * 2018-04-28 2018-09-21 李俊宏 车辆辅助或自动驾驶方法及系统
US10467903B1 (en) 2018-05-11 2019-11-05 Arnold Chase Passive infra-red pedestrian detection and avoidance system
US11062608B2 (en) 2018-05-11 2021-07-13 Arnold Chase Passive infra-red pedestrian and animal detection and avoidance system
US11294380B2 (en) 2018-05-11 2022-04-05 Arnold Chase Passive infra-red guidance system
US10750953B1 (en) 2018-05-11 2020-08-25 Arnold Chase Automatic fever detection system and method
US10990834B2 (en) * 2018-12-13 2021-04-27 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
KR102235031B1 (ko) * 2019-01-24 2021-04-01 주식회사 아이에이 실시간 처리 가능 카메라 기반 주행 환경 탐지 차량 시스템
EP4070994A4 (en) 2019-12-04 2023-01-18 Koito Manufacturing Co., Ltd. VEHICLE DETECTION DEVICE, VEHICLE LAMP SYSTEM, VEHICLE DETECTION METHOD, LIGHT DISTRIBUTION CONTROL DEVICE AND LIGHT DISTRIBUTION CONTROL METHOD
CN112298172A (zh) * 2020-10-20 2021-02-02 江苏亚楠电子科技有限公司 一种车载主动安全系统、方法及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03119031A (ja) 1989-09-29 1991-05-21 Matsui Mfg Co 合成樹脂成形材料の着色方法
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
JP3119031B2 (ja) * 1993-05-10 2000-12-18 三菱電機株式会社 撮影装置
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
JPH08248133A (ja) * 1995-03-07 1996-09-27 Omron Corp 位置情報検出装置、位置情報検出装置を用いた車両搭載用レーダ、および路上障害物認識方法
JP2000147124A (ja) * 1998-11-12 2000-05-26 Denso Corp 車載レーダ装置
JP2000318513A (ja) 1999-05-17 2000-11-21 Mitsubishi Electric Corp 車両用障害物検出装置
US6759949B2 (en) * 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
JP3868857B2 (ja) 2002-06-24 2007-01-17 三菱電機株式会社 電磁波放射装置および車両前方撮像装置
JP2004058828A (ja) * 2002-07-29 2004-02-26 Denso Corp 車両前方表示システム
JP3909691B2 (ja) * 2002-09-12 2007-04-25 株式会社日立製作所 車載用画像処理装置
DE10254023A1 (de) 2002-11-20 2004-06-03 Automotive Lighting Reutlingen Gmbh Scheinwerferanordnung für Fahrzeuge sowie Vorrichtung zur Visualisierung eines Sichtfeldes in Fahrtrichtung eines Fahrzeuges
DE10315741A1 (de) 2003-04-04 2004-11-04 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
KR100559381B1 (ko) * 2003-05-29 2006-03-10 현대자동차주식회사 차량용 하이빔/적외선 일체형 램프
JP4175196B2 (ja) * 2003-06-27 2008-11-05 市光工業株式会社 車両用撮像装置
JP4120513B2 (ja) 2003-07-09 2008-07-16 株式会社デンソー 車両用暗視装置
JP4042655B2 (ja) * 2003-07-29 2008-02-06 日産自動車株式会社 車両用照明システム
DE10335189A1 (de) 2003-07-30 2005-03-03 Daimlerchrysler Ag Vorrichtung zur Sichtverbesserung bei Kraftfahrzeugen
JP4326999B2 (ja) * 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
JP2005085621A (ja) * 2003-09-09 2005-03-31 Nissan Motor Co Ltd 車両用暗視装置
JP2005112052A (ja) * 2003-10-03 2005-04-28 Denso Corp 車室内モジュールおよびインナーミラー
JP4628666B2 (ja) 2003-10-15 2011-02-09 株式会社デンソー 車載カメラシステム
JP4317908B2 (ja) * 2003-11-07 2009-08-19 ハリソン東芝ライティング株式会社 自動車前照灯・赤外暗視装置兼用メタルハライドランプおよびメタルハライドランプ点灯装置
DE102004001556A1 (de) 2004-01-10 2005-08-04 Robert Bosch Gmbh Nachtsichtsystem für Kraftfahrzeuge mit partiellem optischem Filter
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
DE102004022168A1 (de) * 2004-05-05 2005-12-01 Hella Kgaa Hueck & Co. Beleuchtungseinrichtung für Fahrzeuge
DE102004028616A1 (de) 2004-06-12 2006-02-02 Robert Bosch Gmbh Kameraobjektiv
JP4351132B2 (ja) * 2004-09-17 2009-10-28 本田技研工業株式会社 車載用暗視装置
JP5262057B2 (ja) * 2006-11-17 2013-08-14 株式会社豊田中央研究所 照射装置

Also Published As

Publication number Publication date
DE102008002086A1 (de) 2008-12-11
US8659406B2 (en) 2014-02-25
JP2008299538A (ja) 2008-12-11
US20080297374A1 (en) 2008-12-04
DE102008002086B4 (de) 2009-10-01

Similar Documents

Publication Publication Date Title
JP4434234B2 (ja) 車両用撮像システム、及び車両用制御装置
KR102637069B1 (ko) 촬상 장치, 고체 이미지 센서, 및 전자 기기
JP7395650B2 (ja) 撮像素子および電子機器
JP6493087B2 (ja) 車載カメラ装置
JP5413511B2 (ja) 車両配光制御装置及び方法
EP2698777A1 (en) Vehicle-mounted peripheral object recognition device and driving assistance device using same
US10850681B2 (en) Vehicle-mounted optical device and vehicle-mounted optical system
JP5936098B2 (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ
JP4688196B2 (ja) 自動車用暗視システム
US10023118B2 (en) Vehicle vision system with thermal sensor
US10368009B2 (en) Imaging apparatus
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
JP2010212156A (ja) 車両用前照灯
JP6003396B2 (ja) 撮像装置、車載用監視装置および対象物検知方法
JP2008068714A (ja) 車両窓制御装置
JP4867761B2 (ja) 夜間視界支援装置
JP5468863B2 (ja) 車両用灯具
KR101997063B1 (ko) 차량의 주변 감시 장치
KR20130084427A (ko) 차량의 상향등 제어 시스템 및 그 제어방법
JP5163091B2 (ja) 車両用物体監視装置、及び車両用画像解析装置
JP7414569B2 (ja) 固体撮像素子
KR20180021469A (ko) 전방 카메라를 통해 획득된 보행자 영상을 이용한 충돌방지시스템
KR20160059696A (ko) 차량용 영상 시스템 및 이를 이용한 차량용 영상 처리 방법
JP2021125574A (ja) 受光素子、固体撮像装置及び電子機器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091221

R151 Written notification of patent or utility model registration

Ref document number: 4434234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3