JP4075559B2 - 撮影システム - Google Patents
撮影システム Download PDFInfo
- Publication number
- JP4075559B2 JP4075559B2 JP2002294032A JP2002294032A JP4075559B2 JP 4075559 B2 JP4075559 B2 JP 4075559B2 JP 2002294032 A JP2002294032 A JP 2002294032A JP 2002294032 A JP2002294032 A JP 2002294032A JP 4075559 B2 JP4075559 B2 JP 4075559B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- captured image
- photographing
- imaging system
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に搭載され車外を撮影する撮像システムに関するものである。
【０００２】
【従来の技術】
従来、撮像システムとして、例えば特開平５−５６３４１号公報に記載されるように、撮像光学系を通じて入射される光をＣＣＤで光電変換し出力する撮影装置が知られている。この撮像装置は、撮像光学系への透過光量や撮像素子の光蓄積時間を制御するとともに、撮像素子出力のゲインを可変制御するものであって、所定の撮影モードにおいて光蓄積時間の設定を短時間化するためにゲインを増大するように制御し、撮影状況によらず最適な露出制御を実現しようとするものである。
【０００３】
【特許文献１】
特開平５−５６３４１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、このような撮像装置を車両に搭載し車外撮影に用いる場合、走行時における撮影環境の変化が大きいことから、撮影した映像を適切に表示できないおそれがある。例えば、市街地など照明が多い道路を走行しているときには、撮影映像全体が明るいものとなり先の道路を適切に撮影することが困難となる。この場合、撮影映像を表示しても、映像表示が必要以上に明るいものとなり、夜間運転時などに運転者の眩惑を招きかねない。
【０００５】
また、高速道路を走行しているときには、一般道路よりさらに遠方を明瞭に撮影することが望ましいが、通常撮影では遠方は暗く撮影され、運転者が要求する適切な映像表示が行えない。
【０００６】
そこで本発明は、このような問題点を解決するためになされたものであって、車両の走行環境に対応した適切な映像表示を可能とする撮像システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
すなわち、本発明に係る撮像システムは、車両に設置され車外を撮像する撮像撮像する撮像システムにおいて、車外を撮影する撮影手段と、車両の現在の走行環境情報を取得する走行環境取得手段と、走行環境に応じて撮像手段の撮影映像の出力制御を行う制御手段とを備え、制御手段は、車両の現在走行する道路がカーブの多い道であると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
また本発明に係る撮像システムは、車両に設置され車外を撮像する撮像システムにおいて、車外を撮影する撮影手段と、車両の現在の走行環境情報を取得する走行環境取得手段と、走行環境に応じて撮像手段の撮影映像の出力制御を行う制御手段とを備え、制御手段は、車両の現在走行する地域が市街地であると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
【００１１】
これらの発明によれば、車両の現在の走行環境に応じて撮像手段の撮影映像の出力制御することにより、走行環境に適した撮影映像の提供が可能となり、適切な映像表示が可能となる。例えば、山道などの急カーブの多い道や市街地を走行しているときに撮影映像を通常より暗くすることにより、不適切な映像が表示されることを防止できる。すなわち、山道を走行する際、カーブが多いことから、車両前方を撮影しても遠方まで撮影することが困難であり、有効な映像表示が行えない。このときに、撮影映像を通常時より暗くすることにより、夜間時などに撮影映像の明るさが運転の支障となるような事態を防止できる。
また、市街地を走行する際には、道路周囲が明るいことから、撮影映像が過度に明るいものとなる。このときに、撮影映像を通常時より暗くすることにより、夜間時などに撮影映像の明るさが運転の支障となるような事態を防止できる。
【００１２】
また本発明に係る撮像システムは、前述の制御手段が、車両の現在走行する地域が高速道路であると判断した場合に撮影映像を通常時より明るく出力することを特徴とする。
【００１３】
この発明によれば、高速道路を走行しているときに撮影映像を通常より明るくすることにより、車両の遠方を明るく表示することが可能となる。このため、高速走行時において車両遠方を明瞭に視認したいという運転者の要求に応じた適切な映像表示が行える。
【００１４】
また本発明に係る撮像システムは、前述の制御手段が、車両の現在走行する地域が直線的な郊外路であると判断した場合に撮影映像を通常時より明るく出力することを特徴とする。
【００１５】
この発明によれば、直線的な郊外路では遠方まで撮影可能であり、周囲に光が少なくハレーションなどのおそれも少ないため、明るく出力することにより、遠方の人物や景色までより明瞭に映像表示できる。
【００１６】
また本発明に係る撮像システムは、前述の走行環境取得手段が走行環境情報として気象情報を取得するものであって、前述の制御手段が気象情報に基づいて車両の現在走行する地域に雨が降っていると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
【００１７】
また本発明に係る撮像システムは、前述の制御手段が、気象情報に基づいて車両の現在走行する路面に積雪があると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
【００１８】
これらの発明によれば、雨天時に撮影映像を通常より暗くすることにより、対向車のヘッドランプによるハレーションを抑制できる。また、積雪時に撮影映像を暗くすることにより、雪による路面反射で撮影映像が過度に明るくなることを防止できる。
【００１９】
また本発明に係る撮像システムは、前述の制御手段が、気象情報に基づいて車両の現在走行する路面に積雪があると判断した場合に、撮影映像の明るい部分に対し暗い部分の輝度値を上げて撮影映像の明るさ調整を行うことを特徴とする。
【００２０】
この発明によれば、撮影映像の暗い部分を明るく表示することが可能となる。このため、積雪時において、車両から遠方を明るく表示できる。
【００２１】
更に本発明に係る撮像システムは、好適には、撮影映像を表示して車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられる。
【００２２】
この場合、走行環境の変化が大きい視認支援システムにおいて、適切な撮影映像の表示が可能となり、適切な視認支援が行える。
【００２３】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２４】
（第一実施形態）
図１は第一実施形態に係る撮像システムの構成概要図である。
【００２５】
本実施形態に係る撮像システムは、車両に設置され車外を撮像する撮像システムである。本実施形態では、車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用した場合について説明する。
【００２６】
図１に示すように、撮像システム１は、車外の撮影を行うカメラ２を備えている。カメラ２は、車室内に設置されており、撮影方向を車外に向けて配設されている。カメラ２は、例えばガラス１１に取り付けられ、ガラス１１越しに車外の撮影を行う。ガラス１１としては、例えばフロントウインドシールドなどが該当する。カメラ２には、ＣＣＤ（Charge-Coupled Device）２２が内蔵されている。ＣＣＤ２２は、車外を撮像する撮像手段として機能するものであり、その前方には撮影光学系２１が設置されている。
【００２７】
撮影光学系２１は、例えば撮影像をＣＣＤ２に結像させるレンズ群や可視光カットフィルタなどにより構成される。撮影光学系２１に可視光カットフィルタを配設することにより、ＣＣＤ２にて近赤外成分を中心とした映像化が可能となる。なお、ここでいう近赤外の光とは、波長７８０〜１５００ｎｍの光を意味する。
【００２８】
ＣＣＤ２２の出力側には、アンプ２３が設けられている。アンプ２３は、ＣＣＤ２の撮影信号を増幅するアナログ増幅器である。アンプ２３の出力側には、カメラ制御処理部２４が設けられている。カメラ制御処理部２４は、アンプ２３の出力信号を受けて信号処理を行うとともに、ＣＣＤ駆動部２５に制御信号を出力する。
【００２９】
ＣＣＤ駆動部２５は、ＣＣＤ２２の蓄積動作、読み出し動作、リセット動作、バイアス電圧などを制御するＣＣＤ駆動回路であり、駆動パルスの切換えなどによってＣＣＤ２２の蓄積時間を変化させ、ＣＣＤ２２の露光時間すなわちシャッタスピードを制御する電子シャッタとして機能する。
【００３０】
カメラ制御処理部２４には、カーナビゲーションシステム３が接続されている。カーナビゲーションシステム３は、車両の走行環境情報の取得手段として機能するものである。
【００３１】
すなわち、カーナビゲーションシステム３は、現在車両が走行する道路情報を走行環境情報として取得し、撮影システム１に提供する。例えば、現在車両が走行する道路が山道であるかどうかなどの道路種類情報や現在車両が走行する領域が市街地であるかなどの道路周辺地域情報を取得する。
【００３２】
なお、図１では、カーナビゲーションシステム３はカメラ制御処理部２４に直接情報データを出力しているが、システム制御部４を介して情報データをカメラ制御処理部２４に出力してもよい。
【００３３】
カメラ制御処理部２４の出力側にはシステム制御部４が接続されている。カメラ制御処理部２４にて信号処理された撮影映像の映像信号がシステム制御部４に出力される。システム制御部４は、撮影システム全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。
【００３４】
撮像システム１には、近赤外投光器７が設けられている。近赤外投光器７は、車両の前方へ近赤外線を投光する投光手段であり、システム制御部４から信号を受けて投光制御されている。近赤外投光器７は、例えばヘッドライトのハイビーム相当の照射範囲で近赤外光を投射することができるように構成することが望ましい。
【００３５】
また、撮像システム１には、表示部５が設けられている。表示部５は、カメラ２の撮影映像を表示する表示手段であり、運転者が撮影映像を視認できるように設けられている。また、撮像システム１には、本システムのオンオフなどを操作するためのスイッチ群６が設けられている。
【００３６】
次に、本実施形態に係る撮像システム１の動作を説明する。
【００３７】
図１において、車両が夜間に走行している際に、近赤外投光器７により車両前方に近赤外光が投光される。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つカメラ２によって、近赤外光で照らされた車両前方が撮影される。
【００３８】
このとき、カーナビゲーションシステム３から車両の走行環境情報がカメラ制御処理部２４に入力される。カメラ制御処理部２４は、走行環境情報に基づいて撮影映像の出力制御を行う。
【００３９】
例えば、走行環境情報に基づき車両が走行する道路が山道など所定以上にカーブの多い道であると判断されたときには、撮影映像が通常より暗くなるように出力制御される。具体的には、図２に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて下げられる。これにより、図１において、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を低減させる。従って、カメラ２による撮影映像が暗くなる。
【００４０】
そして、カメラ２から映像信号がシステム制御部４に出力される。システム制御部４は、映像信号を表示部５に出力し、表示部５に映像信号に応じた撮影映像が表示される。
【００４１】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より暗く表示される。これにより、山道でカーブが多く車両前方を撮影しても遠方まで撮影することが困難であり適切に視認支援しにくい状況において、撮影映像の明るさが夜間時などの運転の支障となるような事態を防止できる。
【００４２】
ところで、走行環境情報に基づき車両が走行する地域が市街地であると判断されたときにも、山道の場合と同様に、撮影映像が暗くなるように出力制御される。この出力制御により、表示部５に撮影映像が通常表示時より暗く表示される。これにより、道路周囲が非常に明るい市街地で適切に視認支援しにくい状況において、撮影映像の明るさが夜間時などの運転の支障となるような事態を防止できる。
【００４３】
以上のように、本実施形態に係る撮像システム１によれば、車両の現在走行する走行環境に応じて撮影映像の出力制御を行うことにより、不適切な映像の表示が防止され、走行環境に応じた適切な映像表示が可能となる。
【００４４】
（第二実施形態）
次に第二実施形態に係る撮像システムについて説明する。
【００４５】
本実施形態に係る撮像システムは、図１に示す第一実施形態に係る撮像システムと同様なハード構成を備えるものである。しかし、本実施形態に係る撮像システムは、第一実施形態に係る撮像システムが車両の走行環境に応じて撮影映像の出力を下げるものであるのに対し、その出力を上げることによって走行環境に応じた適切な映像表示を可能とした点で異なっている。
【００４６】
次に、本実施形態に係る撮像システムの動作を説明する。
【００４７】
図１において、車両が夜間に走行している際に、近赤外投光器７により車両前方に近赤外光が投光される。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つカメラ２によって、近赤外光で照らされた車両前方が撮影される。このとき、カーナビゲーションシステム３から車両の走行環境情報がカメラ制御処理部２４に入力される。カメラ制御処理部２４は、走行環境情報に基づいて撮影映像の出力制御を行う。
【００４８】
例えば、走行環境情報に基づき車両が走行する道路が高速道路であると判断されたときには、撮影映像が通常より明るくなるように出力制御される。具体的には、図３に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて上げられる。これにより、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を増加させる。従って、カメラ２による撮影映像が明るくなる。
【００４９】
そして、カメラ２から映像信号がシステム制御部４に出力される。システム制御部４は、映像信号を表示部５に出力し、表示部５に映像信号に応じた撮影映像が表示される。
【００５０】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より明るく表示される。これにより、車両の遠方を明るく表示することが可能となる。このため、高速走行時において遠方を明瞭に視認したいという運転者の要求に応じた適切な映像表示が行える。
【００５１】
また、走行環境情報に基づき車両が走行する道路が直線的な郊外路であると判断されたときには、撮影映像が通常より明るくなるように出力制御される。直線的な郊外路では、遠方まで撮影可能であり、周囲に光が少なくハレーションなどのおそれも少ないため、明るく出力することにより、遠方の人物や景色までより明瞭に映像表示できる。
【００５２】
以上のように、本実施形態に係る撮像システムによれば、車両の現在走行する走行環境に応じて撮影映像の出力制御を行うことにより、走行環境に応じた適切な映像表示が可能となる。
【００５３】
（第三実施形態）
次に第三実施形態に係る撮像システムについて説明する。
【００５４】
図４に本実施形態に係る撮像システムの構成概要図を示す。この撮像システム１ｂは、図１の撮像システム１とほぼ同様に構成されているが、カーナビゲーションシステムに代えて気象情報取得部１３を備える点で異なっている。気象情報取得部１３は、走行環境情報として降雨情報や積雪情報などの気象情報を取得する気象情報取得手段である。
【００５５】
この気象情報取得部１３は、気象情報として降雨情報を取得する場合には、例えばレインセンサやワイパー作動検出センサなどが用いられる。一方、気象情報として積雪情報を取得する場合には、例えば外気温度センサなどが用いられる。
【００５６】
また、その他変形例として、気象情報取得部１３が通信により情報センタなどの車両外部から気象情報を取得するものであってもよい。
【００５７】
次に、本実施形態に係る撮像システムの動作を説明する。
【００５８】
図４において、車両が夜間に走行している際に、近赤外投光器７により車両前方に近赤外光が投光される。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つカメラ２によって、近赤外光で照らされた車両前方が撮影される。このとき、気象情報取得部１３から車両の気象情報である走行環境情報がカメラ制御処理部２４に入力される。カメラ制御処理部２４は、走行環境情報に基づいて撮影映像の出力制御を行う。
【００５９】
例えば、走行環境情報に基づき車両が現在走行する地域に雨が降っていると判断されたときには、撮影映像が通常より暗くなるように出力制御される。具体的には、図５に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて下げられる。これにより、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を低減させる。従って、カメラ２による撮影映像が暗くなる。
【００６０】
そして、カメラ２から映像信号がシステム制御部４に出力される。システム制御部４は、映像信号を表示部５に出力し、表示部５に映像信号に応じた撮影映像が表示される。
【００６１】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より暗く表示される。これにより、路面ウエット時における対向車のヘッドランプのハレーションを抑制することができ、車両前方の視認支援に際し、適切な映像表示が可能となる。
【００６２】
一方、走行環境情報に基づき車両が現在走行する路面に積雪があると判断されたときにも、撮影映像が通常より暗くなるように出力制御される。この場合も、図５に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて下げられる。これにより、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を低減し、カメラ２による撮影映像が暗くなる。
【００６３】
そして、カメラ２から映像信号がシステム制御部４に出力され、システム制御部４を介して映像信号が表示部５に出力され、表示部５に映像信号に応じた撮影映像が表示される。
【００６４】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より暗く表示される。これにより、雪による路面反射で撮影映像が過度に明るくなることを防止でき、車両前方の視認支援に際し、適切な映像表示が可能となる。
【００６５】
次に本実施形態に係る撮像システムの変形例について説明する。
【００６６】
図６は、本実施形態に係る撮像システムの変形例における撮影映像の出力制御の説明図である。図６に示すように、撮影映像の出力制御において映像の明るさ調整が行われる。すなわち、気象情報に基づいて車両の現在走行する路面に積雪があると判断したときには、撮影映像の明るい部分に対し暗い部分の輝度値を上げて撮影映像の明るさ調整が行われる。
【００６７】
このように明るさ調整を行うことにより、撮影映像の暗い部分を明るい部分に対し明るく表示することが可能となる。このため、積雪時において、車両から遠方を明るく表示できる。
【００６８】
以上のように、本実施形態に係る撮像システムによれば、現在の気象状況などの走行環境に応じて撮影映像の出力制御を行うことにより、走行環境に応じた適切な映像表示が可能となる。
【００６９】
また、上述した各実施形態に係る撮像システムを車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用する場合、撮影環境の変化が大きい視認支援システムにおいて適切な撮影が可能であり、視認支援システムにおける適切な撮影映像の表示が行える。
【００７０】
ただし、各本実施形態において、本発明を車両の夜間走行における運転者の視認を支援する視認支援システムに適用した場合について説明したが、本発明に係る撮像システムはそのようなものに限られるものではなく、他のシステムなどに用いられるものであってもよい。
【００７１】
【発明の効果】
以上説明したように本発明によれば、車両の走行環境に対応した適切な映像表示を可能とする撮像システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係る撮像システムの構成概要図である。
【図２】図１の撮像システムにおける出力制御の説明図である。
【図３】第二実施形態に係る撮像システムにおける出力制御の説明図である。
【図４】第三実施形態に係る撮像システムの構成概要図である。
【図５】図４の撮像システムにおける出力制御の説明図である。
【図６】第三実施形態に係る撮像システムの変形例における出力制御の説明図である。
【符号の説明】
１…撮像システム、２…カメラ、３…カーナビゲーションシステム、４…システム制御部、５…表示部、２２…ＣＣＤ。
【発明の属する技術分野】
本発明は、車両に搭載され車外を撮影する撮像システムに関するものである。
【０００２】
【従来の技術】
従来、撮像システムとして、例えば特開平５−５６３４１号公報に記載されるように、撮像光学系を通じて入射される光をＣＣＤで光電変換し出力する撮影装置が知られている。この撮像装置は、撮像光学系への透過光量や撮像素子の光蓄積時間を制御するとともに、撮像素子出力のゲインを可変制御するものであって、所定の撮影モードにおいて光蓄積時間の設定を短時間化するためにゲインを増大するように制御し、撮影状況によらず最適な露出制御を実現しようとするものである。
【０００３】
【特許文献１】
特開平５−５６３４１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、このような撮像装置を車両に搭載し車外撮影に用いる場合、走行時における撮影環境の変化が大きいことから、撮影した映像を適切に表示できないおそれがある。例えば、市街地など照明が多い道路を走行しているときには、撮影映像全体が明るいものとなり先の道路を適切に撮影することが困難となる。この場合、撮影映像を表示しても、映像表示が必要以上に明るいものとなり、夜間運転時などに運転者の眩惑を招きかねない。
【０００５】
また、高速道路を走行しているときには、一般道路よりさらに遠方を明瞭に撮影することが望ましいが、通常撮影では遠方は暗く撮影され、運転者が要求する適切な映像表示が行えない。
【０００６】
そこで本発明は、このような問題点を解決するためになされたものであって、車両の走行環境に対応した適切な映像表示を可能とする撮像システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
すなわち、本発明に係る撮像システムは、車両に設置され車外を撮像する撮像撮像する撮像システムにおいて、車外を撮影する撮影手段と、車両の現在の走行環境情報を取得する走行環境取得手段と、走行環境に応じて撮像手段の撮影映像の出力制御を行う制御手段とを備え、制御手段は、車両の現在走行する道路がカーブの多い道であると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
また本発明に係る撮像システムは、車両に設置され車外を撮像する撮像システムにおいて、車外を撮影する撮影手段と、車両の現在の走行環境情報を取得する走行環境取得手段と、走行環境に応じて撮像手段の撮影映像の出力制御を行う制御手段とを備え、制御手段は、車両の現在走行する地域が市街地であると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
【００１１】
これらの発明によれば、車両の現在の走行環境に応じて撮像手段の撮影映像の出力制御することにより、走行環境に適した撮影映像の提供が可能となり、適切な映像表示が可能となる。例えば、山道などの急カーブの多い道や市街地を走行しているときに撮影映像を通常より暗くすることにより、不適切な映像が表示されることを防止できる。すなわち、山道を走行する際、カーブが多いことから、車両前方を撮影しても遠方まで撮影することが困難であり、有効な映像表示が行えない。このときに、撮影映像を通常時より暗くすることにより、夜間時などに撮影映像の明るさが運転の支障となるような事態を防止できる。
また、市街地を走行する際には、道路周囲が明るいことから、撮影映像が過度に明るいものとなる。このときに、撮影映像を通常時より暗くすることにより、夜間時などに撮影映像の明るさが運転の支障となるような事態を防止できる。
【００１２】
また本発明に係る撮像システムは、前述の制御手段が、車両の現在走行する地域が高速道路であると判断した場合に撮影映像を通常時より明るく出力することを特徴とする。
【００１３】
この発明によれば、高速道路を走行しているときに撮影映像を通常より明るくすることにより、車両の遠方を明るく表示することが可能となる。このため、高速走行時において車両遠方を明瞭に視認したいという運転者の要求に応じた適切な映像表示が行える。
【００１４】
また本発明に係る撮像システムは、前述の制御手段が、車両の現在走行する地域が直線的な郊外路であると判断した場合に撮影映像を通常時より明るく出力することを特徴とする。
【００１５】
この発明によれば、直線的な郊外路では遠方まで撮影可能であり、周囲に光が少なくハレーションなどのおそれも少ないため、明るく出力することにより、遠方の人物や景色までより明瞭に映像表示できる。
【００１６】
また本発明に係る撮像システムは、前述の走行環境取得手段が走行環境情報として気象情報を取得するものであって、前述の制御手段が気象情報に基づいて車両の現在走行する地域に雨が降っていると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
【００１７】
また本発明に係る撮像システムは、前述の制御手段が、気象情報に基づいて車両の現在走行する路面に積雪があると判断した場合に撮影映像を通常時より暗く出力することを特徴とする。
【００１８】
これらの発明によれば、雨天時に撮影映像を通常より暗くすることにより、対向車のヘッドランプによるハレーションを抑制できる。また、積雪時に撮影映像を暗くすることにより、雪による路面反射で撮影映像が過度に明るくなることを防止できる。
【００１９】
また本発明に係る撮像システムは、前述の制御手段が、気象情報に基づいて車両の現在走行する路面に積雪があると判断した場合に、撮影映像の明るい部分に対し暗い部分の輝度値を上げて撮影映像の明るさ調整を行うことを特徴とする。
【００２０】
この発明によれば、撮影映像の暗い部分を明るく表示することが可能となる。このため、積雪時において、車両から遠方を明るく表示できる。
【００２１】
更に本発明に係る撮像システムは、好適には、撮影映像を表示して車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられる。
【００２２】
この場合、走行環境の変化が大きい視認支援システムにおいて、適切な撮影映像の表示が可能となり、適切な視認支援が行える。
【００２３】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２４】
（第一実施形態）
図１は第一実施形態に係る撮像システムの構成概要図である。
【００２５】
本実施形態に係る撮像システムは、車両に設置され車外を撮像する撮像システムである。本実施形態では、車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用した場合について説明する。
【００２６】
図１に示すように、撮像システム１は、車外の撮影を行うカメラ２を備えている。カメラ２は、車室内に設置されており、撮影方向を車外に向けて配設されている。カメラ２は、例えばガラス１１に取り付けられ、ガラス１１越しに車外の撮影を行う。ガラス１１としては、例えばフロントウインドシールドなどが該当する。カメラ２には、ＣＣＤ（Charge-Coupled Device）２２が内蔵されている。ＣＣＤ２２は、車外を撮像する撮像手段として機能するものであり、その前方には撮影光学系２１が設置されている。
【００２７】
撮影光学系２１は、例えば撮影像をＣＣＤ２に結像させるレンズ群や可視光カットフィルタなどにより構成される。撮影光学系２１に可視光カットフィルタを配設することにより、ＣＣＤ２にて近赤外成分を中心とした映像化が可能となる。なお、ここでいう近赤外の光とは、波長７８０〜１５００ｎｍの光を意味する。
【００２８】
ＣＣＤ２２の出力側には、アンプ２３が設けられている。アンプ２３は、ＣＣＤ２の撮影信号を増幅するアナログ増幅器である。アンプ２３の出力側には、カメラ制御処理部２４が設けられている。カメラ制御処理部２４は、アンプ２３の出力信号を受けて信号処理を行うとともに、ＣＣＤ駆動部２５に制御信号を出力する。
【００２９】
ＣＣＤ駆動部２５は、ＣＣＤ２２の蓄積動作、読み出し動作、リセット動作、バイアス電圧などを制御するＣＣＤ駆動回路であり、駆動パルスの切換えなどによってＣＣＤ２２の蓄積時間を変化させ、ＣＣＤ２２の露光時間すなわちシャッタスピードを制御する電子シャッタとして機能する。
【００３０】
カメラ制御処理部２４には、カーナビゲーションシステム３が接続されている。カーナビゲーションシステム３は、車両の走行環境情報の取得手段として機能するものである。
【００３１】
すなわち、カーナビゲーションシステム３は、現在車両が走行する道路情報を走行環境情報として取得し、撮影システム１に提供する。例えば、現在車両が走行する道路が山道であるかどうかなどの道路種類情報や現在車両が走行する領域が市街地であるかなどの道路周辺地域情報を取得する。
【００３２】
なお、図１では、カーナビゲーションシステム３はカメラ制御処理部２４に直接情報データを出力しているが、システム制御部４を介して情報データをカメラ制御処理部２４に出力してもよい。
【００３３】
カメラ制御処理部２４の出力側にはシステム制御部４が接続されている。カメラ制御処理部２４にて信号処理された撮影映像の映像信号がシステム制御部４に出力される。システム制御部４は、撮影システム全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。
【００３４】
撮像システム１には、近赤外投光器７が設けられている。近赤外投光器７は、車両の前方へ近赤外線を投光する投光手段であり、システム制御部４から信号を受けて投光制御されている。近赤外投光器７は、例えばヘッドライトのハイビーム相当の照射範囲で近赤外光を投射することができるように構成することが望ましい。
【００３５】
また、撮像システム１には、表示部５が設けられている。表示部５は、カメラ２の撮影映像を表示する表示手段であり、運転者が撮影映像を視認できるように設けられている。また、撮像システム１には、本システムのオンオフなどを操作するためのスイッチ群６が設けられている。
【００３６】
次に、本実施形態に係る撮像システム１の動作を説明する。
【００３７】
図１において、車両が夜間に走行している際に、近赤外投光器７により車両前方に近赤外光が投光される。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つカメラ２によって、近赤外光で照らされた車両前方が撮影される。
【００３８】
このとき、カーナビゲーションシステム３から車両の走行環境情報がカメラ制御処理部２４に入力される。カメラ制御処理部２４は、走行環境情報に基づいて撮影映像の出力制御を行う。
【００３９】
例えば、走行環境情報に基づき車両が走行する道路が山道など所定以上にカーブの多い道であると判断されたときには、撮影映像が通常より暗くなるように出力制御される。具体的には、図２に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて下げられる。これにより、図１において、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を低減させる。従って、カメラ２による撮影映像が暗くなる。
【００４０】
そして、カメラ２から映像信号がシステム制御部４に出力される。システム制御部４は、映像信号を表示部５に出力し、表示部５に映像信号に応じた撮影映像が表示される。
【００４１】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より暗く表示される。これにより、山道でカーブが多く車両前方を撮影しても遠方まで撮影することが困難であり適切に視認支援しにくい状況において、撮影映像の明るさが夜間時などの運転の支障となるような事態を防止できる。
【００４２】
ところで、走行環境情報に基づき車両が走行する地域が市街地であると判断されたときにも、山道の場合と同様に、撮影映像が暗くなるように出力制御される。この出力制御により、表示部５に撮影映像が通常表示時より暗く表示される。これにより、道路周囲が非常に明るい市街地で適切に視認支援しにくい状況において、撮影映像の明るさが夜間時などの運転の支障となるような事態を防止できる。
【００４３】
以上のように、本実施形態に係る撮像システム１によれば、車両の現在走行する走行環境に応じて撮影映像の出力制御を行うことにより、不適切な映像の表示が防止され、走行環境に応じた適切な映像表示が可能となる。
【００４４】
（第二実施形態）
次に第二実施形態に係る撮像システムについて説明する。
【００４５】
本実施形態に係る撮像システムは、図１に示す第一実施形態に係る撮像システムと同様なハード構成を備えるものである。しかし、本実施形態に係る撮像システムは、第一実施形態に係る撮像システムが車両の走行環境に応じて撮影映像の出力を下げるものであるのに対し、その出力を上げることによって走行環境に応じた適切な映像表示を可能とした点で異なっている。
【００４６】
次に、本実施形態に係る撮像システムの動作を説明する。
【００４７】
図１において、車両が夜間に走行している際に、近赤外投光器７により車両前方に近赤外光が投光される。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つカメラ２によって、近赤外光で照らされた車両前方が撮影される。このとき、カーナビゲーションシステム３から車両の走行環境情報がカメラ制御処理部２４に入力される。カメラ制御処理部２４は、走行環境情報に基づいて撮影映像の出力制御を行う。
【００４８】
例えば、走行環境情報に基づき車両が走行する道路が高速道路であると判断されたときには、撮影映像が通常より明るくなるように出力制御される。具体的には、図３に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて上げられる。これにより、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を増加させる。従って、カメラ２による撮影映像が明るくなる。
【００４９】
そして、カメラ２から映像信号がシステム制御部４に出力される。システム制御部４は、映像信号を表示部５に出力し、表示部５に映像信号に応じた撮影映像が表示される。
【００５０】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より明るく表示される。これにより、車両の遠方を明るく表示することが可能となる。このため、高速走行時において遠方を明瞭に視認したいという運転者の要求に応じた適切な映像表示が行える。
【００５１】
また、走行環境情報に基づき車両が走行する道路が直線的な郊外路であると判断されたときには、撮影映像が通常より明るくなるように出力制御される。直線的な郊外路では、遠方まで撮影可能であり、周囲に光が少なくハレーションなどのおそれも少ないため、明るく出力することにより、遠方の人物や景色までより明瞭に映像表示できる。
【００５２】
以上のように、本実施形態に係る撮像システムによれば、車両の現在走行する走行環境に応じて撮影映像の出力制御を行うことにより、走行環境に応じた適切な映像表示が可能となる。
【００５３】
（第三実施形態）
次に第三実施形態に係る撮像システムについて説明する。
【００５４】
図４に本実施形態に係る撮像システムの構成概要図を示す。この撮像システム１ｂは、図１の撮像システム１とほぼ同様に構成されているが、カーナビゲーションシステムに代えて気象情報取得部１３を備える点で異なっている。気象情報取得部１３は、走行環境情報として降雨情報や積雪情報などの気象情報を取得する気象情報取得手段である。
【００５５】
この気象情報取得部１３は、気象情報として降雨情報を取得する場合には、例えばレインセンサやワイパー作動検出センサなどが用いられる。一方、気象情報として積雪情報を取得する場合には、例えば外気温度センサなどが用いられる。
【００５６】
また、その他変形例として、気象情報取得部１３が通信により情報センタなどの車両外部から気象情報を取得するものであってもよい。
【００５７】
次に、本実施形態に係る撮像システムの動作を説明する。
【００５８】
図４において、車両が夜間に走行している際に、近赤外投光器７により車両前方に近赤外光が投光される。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つカメラ２によって、近赤外光で照らされた車両前方が撮影される。このとき、気象情報取得部１３から車両の気象情報である走行環境情報がカメラ制御処理部２４に入力される。カメラ制御処理部２４は、走行環境情報に基づいて撮影映像の出力制御を行う。
【００５９】
例えば、走行環境情報に基づき車両が現在走行する地域に雨が降っていると判断されたときには、撮影映像が通常より暗くなるように出力制御される。具体的には、図５に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて下げられる。これにより、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を低減させる。従って、カメラ２による撮影映像が暗くなる。
【００６０】
そして、カメラ２から映像信号がシステム制御部４に出力される。システム制御部４は、映像信号を表示部５に出力し、表示部５に映像信号に応じた撮影映像が表示される。
【００６１】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より暗く表示される。これにより、路面ウエット時における対向車のヘッドランプのハレーションを抑制することができ、車両前方の視認支援に際し、適切な映像表示が可能となる。
【００６２】
一方、走行環境情報に基づき車両が現在走行する路面に積雪があると判断されたときにも、撮影映像が通常より暗くなるように出力制御される。この場合も、図５に示すように、撮影映像の平均の明るさの目標値が通常撮影時に比べて下げられる。これにより、カメラ制御処理部２４からＣＣＤ駆動部２５に制御信号が出力され、ＣＣＤ駆動部２５が電子シャッタ機能により入力光量を低減し、カメラ２による撮影映像が暗くなる。
【００６３】
そして、カメラ２から映像信号がシステム制御部４に出力され、システム制御部４を介して映像信号が表示部５に出力され、表示部５に映像信号に応じた撮影映像が表示される。
【００６４】
その際、カメラ制御処理部２４における出力制御により、撮影映像が通常撮影時より暗く表示される。これにより、雪による路面反射で撮影映像が過度に明るくなることを防止でき、車両前方の視認支援に際し、適切な映像表示が可能となる。
【００６５】
次に本実施形態に係る撮像システムの変形例について説明する。
【００６６】
図６は、本実施形態に係る撮像システムの変形例における撮影映像の出力制御の説明図である。図６に示すように、撮影映像の出力制御において映像の明るさ調整が行われる。すなわち、気象情報に基づいて車両の現在走行する路面に積雪があると判断したときには、撮影映像の明るい部分に対し暗い部分の輝度値を上げて撮影映像の明るさ調整が行われる。
【００６７】
このように明るさ調整を行うことにより、撮影映像の暗い部分を明るい部分に対し明るく表示することが可能となる。このため、積雪時において、車両から遠方を明るく表示できる。
【００６８】
以上のように、本実施形態に係る撮像システムによれば、現在の気象状況などの走行環境に応じて撮影映像の出力制御を行うことにより、走行環境に応じた適切な映像表示が可能となる。
【００６９】
また、上述した各実施形態に係る撮像システムを車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用する場合、撮影環境の変化が大きい視認支援システムにおいて適切な撮影が可能であり、視認支援システムにおける適切な撮影映像の表示が行える。
【００７０】
ただし、各本実施形態において、本発明を車両の夜間走行における運転者の視認を支援する視認支援システムに適用した場合について説明したが、本発明に係る撮像システムはそのようなものに限られるものではなく、他のシステムなどに用いられるものであってもよい。
【００７１】
【発明の効果】
以上説明したように本発明によれば、車両の走行環境に対応した適切な映像表示を可能とする撮像システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係る撮像システムの構成概要図である。
【図２】図１の撮像システムにおける出力制御の説明図である。
【図３】第二実施形態に係る撮像システムにおける出力制御の説明図である。
【図４】第三実施形態に係る撮像システムの構成概要図である。
【図５】図４の撮像システムにおける出力制御の説明図である。
【図６】第三実施形態に係る撮像システムの変形例における出力制御の説明図である。
【符号の説明】
１…撮像システム、２…カメラ、３…カーナビゲーションシステム、４…システム制御部、５…表示部、２２…ＣＣＤ。
Claims (8)
- 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記制御手段は、前記車両の現在走行する道路がカーブの多い道であると判断した場合に前記撮影映像を通常時より暗く出力すること、
を特徴とする撮影システム。 - 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記制御手段は、前記車両の現在走行する地域が市街地であると判断した場合に前記撮影映像を通常時より暗く出力すること、
を特徴とする撮影システム。 - 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記制御手段は、前記車両の現在走行する地域が高速道路であると判断した場合に前記撮影映像を通常時より明るく出力すること、
を特徴とする撮影システム。 - 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記制御手段は、前記車両の現在走行する地域が直線的な郊外路であると判断した場合に前記撮影映像を通常時より明るく出力すること、
を特徴とする撮影システム。 - 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記走行環境取得手段は、前記走行環境情報として気象情報を取得するものであり、
前記制御手段は、前記気象情報に基づいて前記車両の現在走行する地域に雨が降っていると判断した場合に前記撮影映像を通常時より暗く出力すること、
を特徴とする撮影システム。 - 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記走行環境取得手段は、前記走行環境情報として気象情報を取得するものであり、
前記制御手段は、前記気象情報に基づいて前記車両の現在走行する路面に積雪があると判断した場合に前記撮影映像を通常時より暗く出力すること、
を特徴とする撮影システム。 - 車両に設置され車外を撮像する撮像システムにおいて、
前記車外を撮影する撮影手段と、
前記車両の現在の走行環境情報を取得する走行環境取得手段と、
前記走行環境に応じて前記撮像手段の撮影映像の出力制御を行う制御手段と、
を備え、
前記走行環境取得手段は、前記走行環境情報として気象情報を取得するものであり、
前記制御手段は、前記気象情報に基づいて前記車両の現在走行する路面に積雪があると判断した場合に、前記撮影映像の明るい部分に対し暗い部分の輝度値を上げて前記撮影映像の明るさ調整を行うこと、
を特徴とする撮影システム。 - 車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられることを特徴とする請求項１〜７のいずれかに記載の撮像システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294032A JP4075559B2 (ja) | 2002-10-07 | 2002-10-07 | 撮影システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294032A JP4075559B2 (ja) | 2002-10-07 | 2002-10-07 | 撮影システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004123061A JP2004123061A (ja) | 2004-04-22 |
| JP4075559B2 true JP4075559B2 (ja) | 2008-04-16 |
Family
ID=32284760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002294032A Expired - Fee Related JP4075559B2 (ja) | 2002-10-07 | 2002-10-07 | 撮影システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4075559B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7340162B2 (en) * | 2005-02-23 | 2008-03-04 | Flir Systems, Inc. | Infrared camera systems and methods |
| US8077995B1 (en) | 2005-02-23 | 2011-12-13 | Flir Systems, Inc. | Infrared camera systems and methods using environmental information |
| JP2008039642A (ja) * | 2006-08-08 | 2008-02-21 | Denso Corp | ナビゲーション装置、画像生成方法及び画像生成プログラム |
| JP4979456B2 (ja) * | 2007-05-15 | 2012-07-18 | 株式会社豊田中央研究所 | 対象物探索装置 |
| JP2012088785A (ja) * | 2010-10-15 | 2012-05-10 | Toyota Central R&D Labs Inc | 対象物識別装置及びプログラム |
| JP6731135B2 (ja) * | 2014-05-30 | 2020-07-29 | パナソニックセミコンダクターソリューションズ株式会社 | センシングシステム及び運転支援システム |
| JP6877604B1 (ja) * | 2020-02-20 | 2021-05-26 | 三菱電機株式会社 | 車載カメラ装置および車載カメラ部品温度推定方法 |
-
2002
- 2002-10-07 JP JP2002294032A patent/JP4075559B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004123061A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4262072B2 (ja) | 自動車用補助機器制御装置 | |
| JP4491453B2 (ja) | 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置 | |
| JP5441462B2 (ja) | 車両用撮像装置 | |
| JP2000019259A (ja) | 環境認識装置 | |
| JP2009516278A (ja) | 光学式レインセンサが組み込まれているヘッドライトモジュール | |
| JP2003159996A (ja) | 車両における視界を改善する装置 | |
| JP4798945B2 (ja) | 撮像装置 | |
| JPH08240833A (ja) | 車両用カメラの露光制御装置 | |
| JP4313996B2 (ja) | 撮像装置 | |
| JP5152019B2 (ja) | 車両用制御装置 | |
| JP4950967B2 (ja) | 自動車用補助機器制御装置 | |
| JP4075559B2 (ja) | 撮影システム | |
| US11953708B2 (en) | Camera device | |
| JP2004112329A (ja) | 撮像システム | |
| JP4556777B2 (ja) | 夜間運転視界支援装置 | |
| JP2009035162A (ja) | 後方視認装置 | |
| JP2002099999A (ja) | 車両用車線検出装置 | |
| CN116391119A (zh) | 雨滴检测装置 | |
| JP7295645B2 (ja) | 車両用道路標識認識支援装置 | |
| JP2007091186A (ja) | 車両周囲状況の撮影表示方法および撮影表示システム | |
| JP4314103B2 (ja) | 車載カメラ | |
| JP2008146404A (ja) | 車載用画像認識装置 | |
| JP4867761B2 (ja) | 夜間視界支援装置 | |
| JP2002274257A (ja) | 車両用監視装置 | |
| JP4376050B2 (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |