JP2006254318A - 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法 - Google Patents

Abstract

【課題】 複数のシステムで利用可能な撮像エリアの異なる映像信号を出力可能で複数台のカメラとして機能する車載用カメラを提供する。
【解決手段】 光センサが二次元に複数配列された受像部を有し、各光センサよりなる画素毎に映像データを出力可能なイメージセンサ（例えば、ＣＭＯＳイメージセンサ）を備え、受像部上の位置又は大きさの異なる複数の読み取りエリアが、予め設定されるか、又は外部からの指令によって適宜設定され、各読み取りエリア内にある画素の映像データを順次イメージセンサから出力させる映像データ読み取り手段（アドレスジェネレータ４）と、この映像データ読み取り手段によって出力される映像データを含む映像信号を出力する複数の出力系統と、映像データ読み取り手段の動作に対応して、映像データ出力の接続先を、何れかの出力系統に切換える映像データ出力切換え手段（接続切換え回路５）とを設ける。
【選択図】 図１

Description

本発明は、車両に搭載され、運転者の視認補助、人や障害物の監視、車線認識等に利用される車載用カメラに関する。

近年、車両の分野においては、カメラを利用した各種のシステム（例えば、ナイトビジョンシステムなどの運転者の視認補助システム、人や障害物を認識して危険を警告する障害物監視システム、車線を認識して車両の走行レーンを維持するレーンキープシステムなど）が提案され、一部実用化されている。例えば特許文献１には、レーンキープシステム等のための車載カメラによる道路位置認識技術が開示されている。なお、特許文献２には、カメラ用の撮像素子（画像記録チップ用の画像セル）が開示されている。
そして従来、これらシステムでは、基本的に、各システムに応じてそれぞれ個別のカメラが設けられていた。例外的に共通ですむものもあるが、各システムによって、基本的に撮像すべきエリアが異なるからである。

なお、ナイトビジョンシステムは、夜間に車両の前方でヘッドライトの光が届かない比較的遠方の道路上の領域（道路周辺を含んでよい）の画像を、ナイトビジョンモニタに運転者が視認可能な明るさにして表示するものである。
また、レーンキープシステムは、道路（車線）と自車の関係を認識して、自動走行支援装置でステアリング操作を行ってレーンを維持するものであるため、車両前方斜め下方の比較的近距離の路面の画像を利用するものである。

特開２００５−５６１２８号公報 特表平７−５０６９３２号公報

上記従来の車載用カメラは、適用されるシステム毎に専用のカメラとして別個に設けられていたので、以下のような問題があった。
（１）カメラがシステム毎に必要であるため、１台の車両に搭載するカメラの数が増大し、コストがカメラ台数分だけ増大するとともに、カメラの設置スペースもカメラ台数分必要になる。
（２）複数のカメラでは視差が生じるため、同じ対象物の位置的な関連付けが困難である。
（３）経時的な光軸ズレが発生した場合、各カメラについて光軸調整をして、かつ各カメラ相互の相対的な光軸の位置関係を再調整するというめんどうで困難な作業が必要である。

なお、上記問題点（２）について、以下、具体例（前述のナイトビジョンシステム等）を挙げて説明する。前述のナイトビジョンシステムは従来、単に視認困難な領域の画像を視認可能に表示するだけのものであったため、衝突の危険のある人や障害物の存在は、人（運転者）がナイトビジョンモニタの表示を見て判断する必要があった。ところが、図６（ａ）に示すように、運転者が通常見ている方向と、ナイトビジョンモニタを見る方向には、当然ズレがあるため、運転者は常時ナイトビジョンモニタを見ることはできない。このため、衝突の危険のある人や障害物がナイトビジョンモニタにせっかく表示されても、運転者はこれを見落として危険を事前に察知できない恐れがある。

この問題を解決するためには、ナイトビジョンシステム用のカメラにより得られた画像に基づき、視認困難な領域にある人や障害物を認識して運転者に伝えればよい。具体的には、視認困難な領域に危険な人や障害物を認識したら、ナイトビジョンモニタにおいて、その危険な人や障害物を強調して表示する動作（例えば、その人や障害物を点滅させる、又はその人や障害物を囲む赤枠を表示するなど）を実行する、或いは警告のための音声を出力するなどの警告動作を実行する構成とすればよい。

しかし、このような動作を実現するためには、夜間に視認困難な領域監視用のカメラ（例えばナイトビジョンシステム用のカメラであって、遠方の道路上を撮像するカメラ）と、車線認識用のカメラ（例えばレーンキープシステム用のカメラであって、近距離の路面を撮像するカメラ）とによって得られる各画像を、対象物の位置関係を関連付けて相互に利用する必要がある。
第１には、正確な車線の位置や形状を、後者のカメラの画像から判定し、その判定結果から、前者のカメラの画像上における正確な車線の位置を認識し、前者のカメラの画像上の人や障害物が車線内（自車側）に存在していて自車と衝突する危険性があるか否かを判定する必要がある。

また第２には、正確な車線の位置や形状を後者のカメラの画像から判定し、その判定結果に基づいて、前者のカメラの画像から切り取って人や障害物判定のために処理する領域を決定する必要がある。というのは、夜間に視認困難な人や障害物を判定するために必要となる最小限の撮像エリア（比較的遠方の前方道路領域）は、道路と自車両との関係に応じて走行中に常に上下左右に変化する。そして、このような変化も含めた広い領域を前者のカメラで撮像して得られた画像全体について人や障害物の判定を実行してもよいが、その場合処理データが相当に多量となり、処理速度が大きく低下する不利がある。そこで、夜間に視認困難な人や障害物を判定するための必要最小限のエリアを適宜決定して前者のカメラの画像から切り取る必要があるが、そのためには、その切り取る位置をどこにすべきかを、後者のカメラの画像に基づく車線認識から決定する必要があるのである。

ところが従来では、カメラが別であるため（即ち、撮像するための光学系やイメージセンサが別であるため）、必ず前者と後者のカメラの画像には、視差が発生する。さらには取付け誤差や、衝撃や経年変化による撮影方向の誤差も存在する。さらにいうと、カメラの位置が異なるので、3次元空間における座標変換が必用となり処理量が非常に多い。遠方を撮影するカメラと車直前の道路を撮影するカメラは画角が異なるので、対応関係を求める処理は非常に複雑になり、処理量が非常に多い。各カメラが撮影している輝度範囲が同一であるとは限らず、あるカメラで画像を取得した対象が別のカメラの画像には取得されていないことがあり、完全な対応関係をつけることはできない。表示装置において、画像認識の結果を１ドットの誤差も無く位置合わせをして対応づけて表示することは極めて困難である。画像認識装置が認識した結果に応じて、他の装置の撮影範囲を変更するためには、複雑な構成が必要となる。同一時点の事象に関する対応関係を知るためには、同期をとる仕組みが必要となる。ところが、正確な同期をとるのは困難である。車載電装部品で外部を撮影できる取り付け場所は極めて限定されているので、カメラを複数取り付けることは非常に困難であるといった各種の問題がある。

このため、上述したような画像相互間における対象物の位置関係の関連付けが、正確にはできない、また、そもそも複数のカメラを取り付けることが非常に困難であるという事情があった。またこの結果、前述したような構成でナイトビジョンの前記問題点を解決することができないという問題があった。
そこで本発明は、上述したような問題点を改善又は解消できる車載用カメラを提供することを目的としている。さらには、この車載用カメラを利用した良好な車載用監視装置並びに前方道路領域撮像方法を提供することを目的としている。

本願の車載用カメラは、受光レンズを含む光学系と回路基板と筐体とを備え、前記回路基板には、光センサが二次元に複数配列されて前記光学系を経た光の像を受像する受像部を有し、前記光センサよりなる画素毎に映像データを出力可能なイメージセンサと、周辺回路とが搭載された車載用カメラにおいて、
前記受像部上の位置又は大きさの異なる複数の読み取りエリアが、予め設定されるか、又は外部からの指令によって適宜設定され、各読み取りエリア内にある前記画素の前記映像データを順次前記イメージセンサから出力させる映像データ読み取り手段と、
この映像データ読み取り手段によって出力される映像データを含む映像信号を出力する出力系統と
を前記周辺回路として備えたものである。
ここで、「筐体」は、少なくとも光学系を内部に保持するものであり、回路基板は、この筐体に収納されていてもよいし、収納されていなくてもよい。但し、筐体と回路基板は相互に取り付け状態とされ、光学系と回路基板上のイメージセンサとの位置関係が所定の関係に保持されている。また、「光センサ」は、例えばフォトダイオードであり、１画素に１個でもよいし、１画素に複数あってもよい。また、「映像データ」とは、白黒なら輝度のデータのみ、カラーなら例えばＲＧＢ各色の輝度のデータである。また、「イメージセンサ」としては、例えば、ＣＭＯＳイメージセンサがある。

本願の車載用カメラによれば、１台のカメラで、複数のシステムで利用可能な撮像エリアの異なる映像信号を出力可能となり、複数台のカメラとして機能する。このため、カメラを車両のシステム毎に設ける従来の構成に比較して、システムを格段に簡素化でき、コストや設置スペースを格段に低減できる。
また、経時的な光軸ズレが発生した場合でも、カメラ１台分の光軸調整をすればよく、複数のカメラについて光軸調整をして、かつ各カメラ相互の相対的な光軸の位置関係を再調整するというめんどうで困難な作業が不要になる。

次に、本願の車載用カメラの好ましい形態は、前記周辺回路の一部又は全てと、前記イメージセンサが、ワンチップの素子として構成されているものである。この場合、回路構成が格段に簡素化される。なお、ＣＭＯＳイメージセンサは、周辺回路を同一チップに組み込むこと（いわゆるシステム・オン・チップ）が容易である。
また、本願の車載用カメラの好ましい別の形態は、前記出力系統を複数設けるとともに、
前記映像データ読み取り手段の動作に対応して、前記イメージセンサの映像データ出力の接続先を、前記出力系統のうちの何れか一つ又は複数に切換える映像データ出力切換え手段を前記周辺回路として設けた態様である。
この形態では、出力系統が複数設けられているため、カメラから各システムへの映像信号の接続が容易になり、また同時に複数のシステム（例えばナイトビジョンシステムと車線認識システム）を稼動させることも容易になる。
なお出力系統は、読み取りエリア毎に設けられていてもよいし、同じ読み取りエリアの映像データであっても、例えばアナログ出力とデジタル出力のそれぞれについて出力系統が設けられていてもよい。また、読み取りエリアが異なる映像データであっても、同一の出力系統を時分割で共用する態様もあり得る。

また、本願の車載用カメラの好ましい別の形態は、前記出力系統のうちの何れか一つには、当該出力系統に対して前記イメージセンサから出力された映像データを記憶する映像データ記憶手段が設けられ、前記イメージセンサの映像データ出力の接続先が当該出力系統でない時（即ち、他の読み取りエリアの映像データの読み取り中）でも、当該出力系統から前記映像データ記憶手段に記憶された映像データを出力可能である構成である。
この態様であると、上記映像データ記憶手段が設けられた出力系統では、イメージセンサの映像データ出力の接続先が当該出力系統でない時（即ち、他の読み取りエリアの映像データの読み取り中）でも、上記映像データ記憶手段に記憶した映像データを出力して、映像データが間欠的にしか送信されないことによる不具合を改善できる。というのは、上記映像データ記憶手段が設けられていないと、一つの出力系統からは、イメージセンサの映像データ出力の接続先がその出力系統に切り換えられている時しか映像信号を出力できず、他の出力系統に切り換えられている時には、信号がブランクになる。となると、例えばモニタに映像を表示する場合、そのブランクの時間だけ、画像が表示されないことになり、適正な画像（動画）を表示できない恐れがある。しかし、上述したように映像データ記憶手段に記憶した映像データを出力すれば、このような不具合が改善できる。

また、本願の車載用カメラの好ましい別の形態は、前記イメージセンサが、輝度のダイナミックレンジが６０ｄＢを超える高ダイナミックレンジのイメージセンサであるものである。
この場合、絞りやシャッターなどを用いて光量を制限しなくても、イメージセンサの出力が飽和して撮影できなくなることがない。なお、通常のＣＣＤイメージセンサ（ダイナミックレンジはせいぜい５０ｄＢ程度）を用いると、絞りやシャッターなどを用いて光量を制限しない場合、複数の撮像エリアを撮影できない（撮像エリアの何れかが撮影可能輝度範囲を超えて撮影できなくなる）。
また、本願の車載用カメラの好ましい別の形態は、前記読み取りエリアのうちの少なくとも一つが、運転者視認用の車両周辺映像を撮像するためのエリアＡとして設定され、
前記読み取りエリアのうちの少なくとも他の一つが、道路や路面上の車線の位置認識のためのエリアＢとして設定されているものである。
この態様であると、運転者視認用の車両周辺映像の映像信号と、道路や路面上の車線の位置認識のための撮像エリアの映像信号とが１台のカメラから得られる。このため、ナイトビジョンなどの運転者視認補助システムと、道路等の位置認識を必要とするレーンキープシステムとが、１台のカメラで良好に実現可能となる。

また、本願の車載用監視装置は、本願の車載用カメラを備え、
前記車載用カメラの前記読み取りエリアのうちの少なくとも一つが、運転者視認用の車両周辺映像を撮像するためのエリアＡとして設定され、
前記車載用カメラの前記読み取りエリアのうちの少なくとも他の一つが、道路や路面上の車線の位置認識のためのエリアＢとして設定され、
前記車載用カメラの対応する出力系統から前記エリアＡについて出力される映像信号に基づいて、運転者視認用の車両周辺映像を車内の表示手段に表示する視認映像表示制御手段と、
前記車載用カメラの対応する出力系統から前記エリアＢについて出力される映像信号に基づいて、道路や路面上の車線の位置を認識する車線認識処理を行なう車線認識処理手段と、
を備えることを特徴とする。
ここで、「運転者視認用の車両周辺映像」とは、例えば、車両のライトが届かない遠方の道路領域（道路周辺を含んでもよい）の映像（いわゆるナイトビジョンの映像）であるが、必ずしもそれに限られない。例えば、車両前方の遠方でない道路領域の映像であってもよいし、車両後方の道路領域の映像である場合もあり得る。また、「車線」とは、白線や黄線等のレーンを仕切る路面上の標識（線状、点線状、二重線状のものなど）である。

本願の車載用監視装置によれば、１台のカメラで、カメラを必要とする複数のシステム（例えば、ナイトビジョンシステムとレーンキープシステム）が実現できる。
また、本装置の好ましい別の形態は、前記車載用カメラの対応する出力系統から前記エリアＡについて出力される映像信号に基づいて、人や障害物の存在位置を認識する障害物認識処理を行なう障害物認識処理手段を備えるものである。この場合、共通のカメラを利用して、さらに障害物監視システムも実現できる。

また、本装置の好ましい別の形態は、前記障害物認識処理手段により認識された人や障害物の存在位置が、前記車線認識処理手段により認識された車線の内側（自車側）である場合、前記視認映像表示制御手段は、当該人や障害物を強調して運転者に報知するための警告表示を実行するものである。
或いは、前記障害物認識処理手段により認識された人や障害物の存在位置が、前記車線認識処理手段により認識された車線の内側（自車側）である場合、前記表示手段とは別個の表示出力、又は音声出力によって、運転者に対する警告を実行する障害物警告制御手段を備える構成である。
このような構成であると、自車に衝突の可能性のある人や障害物を、運転者が見落とすことがなくなり、確実に危険を事前に察知できる。

次に、本願の前方道路領域撮像方法は、本願の車載用カメラ（読み取りエリアのうちの少なくとも一つが、運転者視認用の車両周辺映像を撮像するためのエリアＡとして設定され、読み取りエリアのうちの少なくとも他の一つが、道路や路面上の車線の位置認識のためのエリアＢとして設定されているもの）を使用し、運転者視認用の前方道路領域の映像信号を出力する前方道路領域撮像方法であって、
前記車載用カメラの対応する出力系統から前記エリアＢについて出力される映像信号に基づいて、道路や路面上の車線の位置を認識する車線認識処理を行ない、この車線認識処理結果に基づいて前記エリアＡの領域を適宜更新して設定し、こうして設定されたエリアＡについて対応する前記出力系統から出力された映像信号を、前記前方道路領域の映像信号として出力するものである。
ここで、「運転者視認用の前方道路領域」とは、例えばナイトビジョン用の撮像領域であり、前方の道路周辺を含んでもよい。
本願の前方道路領域撮像方法によれば、前方道路領域撮像のための読み取りエリアを必要最小限の大きさに適宜設定できる。このため、前方道路領域撮像のための読み取りエリアが非常に狭い領域となり、極めて高速に障害物認識等が実行できる利点がある。

本願の車載用カメラによれば、１台のカメラで、複数のシステムで利用可能な撮像エリアの異なる映像信号を出力可能となり、複数台のカメラとして機能する。このため、カメラを車両のシステム毎に設ける従来の構成に比較して、システムを格段に簡素化でき、コストや設置スペースを格段に低減できる。
また、経時的な光軸ズレが発生した場合でも、カメラ１台分の光軸調整をすればよく、複数のカメラについて光軸調整をして、かつ各カメラ相互の相対的な光軸の位置関係を再調整するというめんどうで困難な作業が不要になる。

また、本願の車載用監視装置によれば、１台のカメラで、カメラを必要とする複数のシステム（例えば、ナイトビジョンシステムとレーンキープシステム）が実現できる。
また、本願の前方道路領域撮像方法によれば、前方道路領域撮像のための読み取りエリアを必要最小限の大きさに適宜設定できる。このため、前方道路領域撮像のための読み取りエリアが非常に狭い領域となり、極めて高速に障害物認識等が実行できる利点がある。

以下、本発明の実施の形態例を図面に基づいて説明する。
（車載用カメラの形態例）
図１は、本形態例としての車載用カメラ１の装置構成を示す図である。図２は、同装置の動作を示すフローチャートである。図３（ａ），（ｂ）は、画像例を示す図であり、図３（ｃ）は、読み取りエリアを説明する図である。

図１において符号１で示すものが、車載用カメラである。車載用カメラ１は、イメージセンサ２、接続切換え回路５、ＲＡＭ６（ＲＡＭ＿ａ）、ＲＡＭ７（ＲＡＭ＿ｂ）、スイッチ回路（Ｓ／Ｗ）８、デジタルズーム回路９、デジタルアナログコンバータ（ＤＡ／Ｃ）１０、複合同期信号発生回路１１、混合回路１２を備え、表示用信号Ｘの出力系統（第１出力系統）と、認識用信号Ｙの出力系統（第２出力系統）を有する。ＲＡＭ６、ＲＡＭ７、スイッチ回路８、デジタルズーム回路９、デジタルアナログコンバータ１０、複合同期信号発生回路１１、混合回路１２は、表示用信号Ｘの出力系統に設けられている。
なお、車載用カメラ１は、受光レンズなどよりなる光学系や、少なくともこの光学系を保持する筐体を有するが、それらは図示省略している。また、イメージセンサ２や周辺回路としての各回路要素（接続切換え回路５、ＲＡＭ６、ＲＡＭ７、スイッチ回路８、デジタルズーム回路９、デジタルアナログコンバータ１０、複合同期信号発生回路１１、混合回路１２）は、図示省略した回路基板に搭載されて設けられ、この回路基板と光学系を保持する筐体が相互に所定の位置関係で取り付けられてカメラ１が構成されている。回路基板は、筐体に収納されていてもよいし、収納されていなくてもよい。また、上記各回路要素の一部又は全部が、イメージセンサ２と同一チップ内に作り込まれていてもよい。
なお本例では、後述するアドレスジェネレータ４が、本発明の映像データ読み取り手段を構成している。また接続切換え回路５が、本発明の映像データ出力切換え手段を構成している。またＲＡＭ７が、本発明の映像データ記憶手段を構成している。

ここで、イメージセンサ２は、例えば、いわゆるＣＭＯＳイメージセンサである。イメージセンサ２は、この場合、撮像素子３と周辺回路とが同一のチップ内に作り込まれたものである。この場合の周辺回路には、アドレスジェネレータ４が含まれている。なお、記述したように前述の各回路要素の一部又は全部がこの周辺回路として同一チップ内に作り込まれていてもよい。或いは、アドレスジェネレータ４がチップ外の回路として設けられている態様もあり得る。また、イメージセンサ２は、ＣＭＯＳ形イメージセンサに限られず、例えば走査方式がＸＹアドレス方式の固体撮像デバイスであれば、他の形式のものでもよい。但し、走査方式が電荷転送方式であるいわゆるＣＣＤイメージセンサは、本発明には適用困難である。また、この場合のイメージセンサ２は、輝度のダイナミックレンジが６０ｄＢを超える高ダイナミックレンジのイメージセンサ（例えば１２０ｄＢのダイナミックレンジを持つＨＤＲＣ）である。また、このイメージセンサ２（撮像素子３）は、光センサ（１個又は１組）が二次元（マトリクス状）に複数配列された受像部を有し、各光センサよりなる画素毎に映像データ（白黒なら輝度のみ、カラーなら例えばＲＧＢ各色の輝度）を出力可能なものである。また当然、上記受像部は、受光レンズを含む光学系を経た光の像を受像するように配置されている。

なお、アドレスジェネレータ４は、外部からの指令に応じて受像部上の読み取りエリア（いいかえると、イメージセンサ２によって得られる全画像上の特定のエリア）を複数設定可能なものであり、撮像素子本体３からはこのアドレスジェネレータ４によって設定された読み取りエリアの映像データが順次出力される。また、アドレスジェネレータ４は、読み取りエリアが切換わるタイミングを表す切換えタイミング信号を、出力する機能を持ち、この場合、この切換えタイミング信号が接続切換え回路５とスイッチ回路８に入力されている。
ここで、読み取りエリアの設定は、エリア内の画素のアドレスを全て設定してもよいが、図３（ｃ）の如く設定するのが好ましい。即ち、撮像素子３の受像部の全エリアにおける読み取りエリアの最も左上の画素（走査開始位置）のアドレス（Ｘｐ，Ｙｐ）と、読み取りエリアの縦横のサイズ（Ｘｓ，Ｙｓ）を設定する。また、読み取りエリアが複数あるときには、各読み取りエリアを順次設定する動作を繰り返す。また、この読み取りエリアの設定値は、撮像素子３内のレジスタに保存する。
また本例では、図３（ａ）又は（ｂ）に示すような、エリアＡとエリアＢが、アドレスジェネレータ４によって交互に読み取りエリアとして設定される構成となっている。エリアＡは、ナイトビジョンシステム用のエリア（遠方の路面上を撮像するためのエリア）であり、エリアＢは、車線認識用のエリア（近距離の路面を撮像するためのエリア）である。

次に接続切換え回路５は、前述の切換えタイミング信号に基づいて、読み取りエリアが切換わる度に、イメージセンサ２（撮像素子３）の映像データ出力の接続先（入力先）を、前記出力系統のうちの何れか一つ又は複数に切換える回路である。この場合、エリアＡが設定されてエリアＡの映像データが出力されている時には、前記映像データ出力の接続先を、二つの出力系統の両方とし（図１におけるＬ１とＬ２の両方を接続した状態とし）、エリアＢが設定されてエリアＢの映像データが出力されている時には、前記映像データ出力の接続先を、認識用信号Ｙの第２出力系統のみとする（図１におけるＬ２のみを接続した状態とする）。

次にＲＡＭ６は、映像データを１ライン分記憶可能なものであり、第１出力系統の最上流に接続され、前記映像データ出力の接続先が第１出力系統になっている時に、このＲＡＭ６に前記映像データ出力のデータが１ライン毎に記憶される。またＲＡＭ７は、このＲＡＭ６に記憶される１ライン分のデータを順次累積的に記憶し、１フレーム分記憶可能となっている。これにより、前記映像データ出力の接続先が第１出力系統でない時（即ち、読み取りエリアＢの映像データの読み取り中）でも、当該第１出力系統からＲＡＭ７（映像データ記憶手段）に記憶された映像データを出力可能となっている。
次にスイッチ回路８は、前述の切換えタイミング信号に基づいて、読み取りエリアが切換わる度に、デジタルズーム回路９への入力データ元を、ＲＡＭ６又はＲＡＭ７のうちの何れかに切換える回路である。この場合、エリアＡが設定されてエリアＡの映像データが出力されている時には、ＲＡＭ６の映像データが順次デジタルズーム回路９に入力される。また、エリアＢが設定されてエリアＢの映像データが出力されている時には、ＲＡＭ７の映像データが順次デジタルズーム回路９に入力される。

次にデジタルズーム回路９は、画素１個分の映像データの入力があると、水平方向に映像を２倍に拡大すべく、その入力された同じ映像データを画素２個分のタイミングで出力する回路である。
次にデジタルアナログコンバータ１０は、デジタルズーム回路９の出力（映像データの信号）をアナログ化する回路である。
次に複合同期信号発生回路１１は、二つの同期信号（水平同期信号と垂直同期信号）を複合した複合同期信号を発生させるものである。

次に混合回路１２は、複合同期信号発生回路１１で生成された複合同期信号と映像データの信号を重ね合わせて、例えばＮＴＳＣ方式のような表示用信号Ｘ（アナログビデオ信号）として出力する回路である。なお、この場合の表示用信号Ｘは、モニタ表示においていわゆる飛び越し走査（インターレース）方式で表示を行うための信号である。飛び越し走査は、図４（ａ）に示すように、奇数番目のライン（奇数フィールド）の走査と、偶数番目のライン（偶数フィールド）の走査を、交互に行う周知の走査方式であり、テレビなどに広く利用されている。
なお、接続切換え回路５から第２出力系統に出力された映像データの信号は、撮像素子３から出力される水平／垂直同期信号とともに、そのまま認識用信号（プログレッシブなデジタルビデオ信号）として出力される。

次に、以上説明した構成の車載カメラ１の動作を、図２のフローチャートによって説明する。
まず、アドレスジェネレータ４が読み取りエリアとしてエリアＡを設定すると、エリアＡの映像データの撮像素子３からの読み出しが開始される（ステップＳ１）。この際、前述の切換えタイミング信号に基づく接続切換え回路５の動作によって、映像データ出力の接続先（入力先）が、両方の出力系統となっているため、撮像素子３から読み出された映像データは、第１系統と第２系統に出力される。そして、接続切換え回路５から第２系統に出力されたその映像データ（エリアＡの映像データ）は、そのまま前述の認識用信号（プログレッシブなデジタルビデオ信号）として出力される。なおこの際、第１系統にのみ映像データが出力される態様（即ち、エリアＡについての認識用信号が出力されない態様）もあり得る。一方、接続切換え回路５から第１系統に出力された映像データは、１ライン毎にＲＡＭ６に保存され（ステップＳ２）、１ライン分の映像データがＲＡＭ６に記憶される度にＲＡＭ６から映像データが読み出されスイッチ回路８を介してデジタルズーム回路９に入力される（ステップＳ８、Ｓ１０）。この際、スイッチ回路８は、デジタルズーム回路９への入力データ元を、ＲＡＭ６に設定している（ステップＳ１０）ため、ＲＡＭ６のデータがデジタルズーム回路９に入力される。そして、このデータ入力があると、デジタルズーム回路９は、入力された同じ映像データを画素２個分のタイミングで出力し（ステップＳ１１）、この出力がデジタルアナログコンバータ１０でアナログ化され（ステップＳ１２）、混合回路１２で複合同期信号と重ね合わされて、表示用信号Ｘ（アナログビデオ信号）として出力される（ステップＳ１３）。

また、１ライン分の映像データがＲＡＭ６（ＲＡＭ＿ａ）に記憶されると、そのデータがＲＡＭ７（ＲＡＭ＿ｂ）にも保存される（ステップＳ３）。
そして、以上の動作（ステップＳ１〜Ｓ３、Ｓ８、Ｓ１０〜Ｓ１３）が、１ライン毎に繰り返され、１フレーム分の映像データがＲＡＭ７に累積的に記憶されると（即ち、エリアＡの１フレーム分の映像データが読み出されると）、アドレスジェネレータ４が読み取りエリアの設定をエリアＢに切り換える（ステップＳ４）。

読み取りエリアがエリアＢに設定されると、エリアＢの映像データの撮像素子３からの読み出しが開始される（ステップＳ５）。この際、前述の切換えタイミング信号に基づく接続切換え回路５の動作によって、映像データ出力の接続先（入力先）が、第２系統のみに設定されるため、撮像素子３から読み出された映像データは、第２系統のみに出力される。そして、接続切換え回路５から第２系統に出力されたその映像データ（エリアＢの映像データ）は、そのまま前述の認識用信号（プログレッシブなデジタルビデオ信号）として出力される。なおこの際、第１系統では、スイッチ回路８が、デジタルズーム回路９への入力データ元をＲＡＭ７に設定しており、ＲＡＭ７から映像データが読み出されスイッチ回路８を介してデジタルズーム回路９に入力される（ステップＳ８、Ｓ１０）。そして、このデータ入力があると、デジタルズーム回路９は、入力された同じ映像データを画素２個分のタイミングで出力し（ステップＳ１１）、この出力がデジタルアナログコンバータ１０でアナログ化され（ステップＳ１２）、混合回路１２で複合同期信号と重ね合わされて、表示用信号Ｘ（アナログビデオ信号）として出力される（ステップＳ１３）。

そして、以上説明したように第１出力系統から出力される表示用信号Ｘは、インターレース出力としてナイトビジョンモニタの表示用に利用される。インターレース方式は、図４（ａ）に示すように、奇数番目のライン（奇数フィールド）の１フレーム分の走査と、偶数番目のライン（偶数フィールド）の１フレーム分の走査を、順次繰り返す方式である。この場合、前記読み取りエリアとしてエリアＡが設定されている時、即ち、ＲＡＭ６（ＲＡＭ＿ａ）からの映像データが表示用信号Ｘとして出力されている時には、この表示用信号Ｘに基づいてナイトビジョンモニタの奇数番目の画素の走査（表示）が行われ、前記読み取りエリアとしてエリアＢが設定されている時、即ち、ＲＡＭ７（ＲＡＭ＿ｂ）からの映像データが表示用信号Ｘとして出力されている時には、この表示用信号Ｘに基づいてナイトビジョンモニタの偶数番目の画素の走査（表示）が行われる構成となっている。そして、ＲＡＭ７の映像データはＲＡＭ６の映像データと同じものである。このため、エリアＡの元画像の映像データが、例えば図４（ｂ）に示すものであった場合、ナイトビジョンモニタに表示される画像は、図４（ｃ）に示すように、上下方向２画素分において同じ映像データが繰り返し表示され、さらにデジタルズーム回路９の前記作用によって左右方向２画素分において同じ映像データが繰り返し表示される。これにより結果として、縦２倍、横２倍のデジタルズーム（電子的な画像の拡大）が施されたエリアＡの画像がナイトビジョンモニタに表示される。

また、前述したように第２出力系統から出力される認識用信号Ｙは、車線（白線等）認識又は人や障害物認識に利用される。即ち、前記読み取りエリアとしてエリアＡが設定されている時には、エリアＡの画像についてのデジタルビデオ信号（プログレッシブ）が認識用信号Ｙとして出力されるため、この信号に基づいてエリアＡ内に存在する人や障害物を認識する処理が可能となり、障害物監視システムが実現できる。また、前記読み取りエリアとしてエリアＢが設定されている時には、エリアＢの画像についてのデジタルビデオ信号（プログレッシブ）が認識用信号Ｙとして出力されるため、この信号に基づいて車線を認識する処理が可能となり、レーンキープシステムが実現できる。

以上説明した車載用カメラによれば、次のような効果が得られる。
（１）１台のカメラで複数のシステム（この場合、ナイトビジョンシステム、障害物監視システム、レーンキープシステム）が実現可能であるため、１台の車両に搭載するカメラの数を格段に低減し、大幅なコスト低減が実現できるとともに、カメラの設置スペースも１台分ですむ利点がある。また、出力系統が複数（この場合２系統）設けられているため、カメラから各システムへの映像信号の接続が容易になり、また同時に複数のシステム（この場合、例えばナイトビジョンシステムと車線認識システム）を稼動させることも容易になる。
（２）複数のカメラを用いた場合の視差の問題が解消され、複数の撮像エリア（この場合、エリアＡとエリアＢ）における同じ対象物の位置的な関連付けが正確かつ容易に可能である。本例では、同一のイメージセンサと同一の光学系を用いて複数の撮像エリア（エリアＡとエリアＢ）を撮影し、各エリアの画像を切り出してそれぞれ出力する。このようにしたことによって、エリアＡとエリアＢの画像は、どのような状況で撮影しても必ず同じ状況を同じ方向から同時に撮影した画像が出力されることになり、この画像を双方のエリアについて使用することになるため、視差や撮影方向の誤差が生じることがないからである。

（３）経時的な光軸ズレが発生した場合でも、カメラ１台分の光軸調整をすればよく、複数のカメラについて光軸調整をして、かつ各カメラ相互の相対的な光軸の位置関係を再調整するというめんどうで困難な作業が不要になる。
（４）イメージセンサとしてダイナミックレンジの広いものを用いているので、絞りやシャッターなどを用いて光量を制限しなくても、イメージセンサの出力が飽和して撮影できなくなることがない。なお、通常のＣＣＤイメージセンサ（ダイナミックレンジはせいぜい５０ｄＢ程度）を用いると、絞りやシャッターなどを用いて光量を制限しない場合、エリアＡとエリアＢの双方を撮影できない（エリアＡとエリアＢの何れかが撮影可能輝度範囲を超えて撮影できなくなる）。

（５）第１出力系統には、イメージセンサ２から出力された映像データを記憶する映像データ記憶手段（ＲＡＭ７）が設けられ、前記映像データ出力の接続先が当該第１出力系統でない時（即ち、他の読み取りエリアＢの映像データの読み取り中）でも、当該第１出力系統から前記映像データ記憶手段に記憶された映像データを出力可能である。
このため、第１系統から映像データが間欠的にしか送信されないことによる不具合を改善できる。というのは、上記映像データ記憶手段が設けられていないと、第１出力系統からは、イメージセンサの映像データ出力の接続先が第１出力系統に切り換えられている時しか映像信号を出力できず、第２出力系統に切り換えられている時には、信号がブランクになる。となると、例えばモニタに映像を表示する場合、そのブランクの時間だけ、画像が表示されないことになり（本例の場合には、ナイトビジョンモニタにおける偶数番目のラインの表示が行われないことになり）、適正な画像（動画）が表示できないことになる。しかし、上述したように映像データ記憶手段に記憶した映像データを出力すれば、このような不具合が改善できる。
ちなみに、本例の場合には、インターレース方式によるエリアＡの画像表示のための偶数番目のラインの表示のタイミングを有効利用して、他の読み取りエリアＢの映像データの読み出しを行っている。このため、複数の撮像エリアの画像を１台のカメラで撮像した画像から交互に切り出して出力しているにもかかわらず、エリアＡ用のカメラとエリアＢ用のカメラを別個に設けた場合と比較した時の動作の遅れが、少ない。

（車載用監視装置の形態例）
次に、前述の車載用カメラ１を用いた車載用監視装置の形態例を説明する。図５は、本例の車載用監視装置の装置構成を示す図である。
図１に示すように、本装置は、前述の車載用カメラ１と、画像処理用ＥＣＵ（画像処理用コントロールユニット）２０と、モニタ３１（ナイトビジョンモニタ）と、スピーカなどの音声出力手段３２と、レーンキープシステム用ＥＣＵ３３とを備える。

画像処理用ＥＣＵ２０は、マイクロコンピュータ或いはＤＳＰ（Digital Signal Processor）などの処理手段を含み、次のような機能を実現するように前記処理手段の動作プログラムなどが設定されている。
まず、読み取り位置サイズの設定を行う機能を持つ。これは、前述の読み取りエリアを設定する機能である。具体的には、予め人為的に決定され画像処理用ＥＣＵ２０に登録されたエリアＡとエリアＢの位置と大きさ（例えば図３（ａ）に示すもの）に設定する。なお、ナイトビジョンや障害物認識に使用するエリアＡの設定は、エリアＢの画像に基づいて認識した道路や車線の位置や形状（後述する車線認識結果）に応じて、例えば図３（ａ）や図３（ｂ）に示すように適宜変更するようにしてもよい。例えば、エリアＢについての映像による車線認識処理結果に基づいて認識された道路又は車線の延長線上の周辺領域（例えば、画像上において、上下方向の幅がエリアＢよりも上方を含み、上下方向の中心位置がエリアＢよりも上方の領域であって、エリアＢの上端付近において道路の幅よりも所定量又は所定割合だけ横方向に広い領域）を、前記エリアＡの領域として適宜更新して設定すればよい。このようにすれば、走行中に上下左右に変動する前方道路領域（ナイトビジョンや人／障害物認識などに好適な必要最小限の広さの撮像エリア）に、前記エリアＡを設定することが可能となる。

また画像処理用ＥＣＵ２０は、カメラ１から出力される認識用信号Ｙ（エリアＡについてのデジタル映像信号）に基づいて、人や障害物の存在位置を認識する人／障害物認識を行い、カメラ１から出力される認識用信号Ｙ（エリアＢについてのデジタル映像信号）に基づいて、道路や車線（白線等）の存在位置（形状含む）を認識する車線認識を行う機能を有する。なお、車線認識の結果は、レーンキープシステム用ＥＣＵ３３に送信され、レーンキープシステムの動作に利用される。
また画像処理用ＥＣＵ２０は、人／障害物認識と車線認識の結果に基づいて、検知された人や障害物が車線内に位置するか否かを判定する人／障害物車線内判定を行う機能を持つ。この際、エリアＡにおける車線の位置は、エリアＢで判定した車線の延長線として容易かつ正確に判定できる。
また画像処理用ＥＣＵ２０は、カメラ１から出力される表示用信号Ｘ（エリアＡについてのアナログ映像信号）に基づいて、モニタ３１にエリアＡの画像（２×２倍に拡大したもの）を表示する機能を持つ。

なお、モニタ３１での表示において、道路と人や障害物の関係が瞬時に視認できるように、エリアＢによる車線認識処理によって認識した道路の境界線や車線、停止線、横断歩道など道路に関する情報の認識結果をカメラが取得したエリアＡの画像に重ね合わせて表示することが望ましい（一例を、図６（ｂ）に示す）。このようにすることで、夜間など画像からは識別しにくい場合にも、人や障害物と自車が走行する領域との位置関係を運転者が容易に理解することが可能となる。この際、本カメラ１ではエリアＡとエリアＢを同一の撮像素子３によって同一の瞬間に撮影しているので、空間と時間のいずれにおいてもずれのない画像を表示と画像認識（車線認識）において扱うことが可能となり（即ち、空間的には、1ドットのずれもなくエリアＡとエリアＢの対応関係がとれることになり）、正確な情報表示が容易かつ高速に可能となる。なお、図６（ｂ）は、車線の情報（車線を表す太い点線）を元画像（エリアＡの画像）の上に重ねて表示したナイトビジョンの表示例であるが、さらに詳細な情報を加えた表示を行う構成としてもよい。

また画像処理用ＥＣＵ２０は、人／障害物車線内判定によって、エリアＡ内に検知された人や障害物が車線内に位置する（即ち、自車に衝突する危険性がある）と判定すると、表示用信号Ｘ（エリアＡについてのアナログ映像信号）に警告表示を合成して警告表示をモニタ３１で行うとともに、音声出力手段３２を作動させて警告用の音声を出力する制御機能を有する。
なお、警告表示としては、例えば図６（ｂ）（或いは、図３（ａ）や図３（ｂ））に示すように、危険な障害物や人（自車線内に位置すると判定された障害物や人）を目立たせるように、その障害物や人の位置を取り囲む線（好ましくは、赤色などの目立つ線）、或いはさらに危険を表す文字情報などを表示する（点滅させてもよい）。

以上説明した車載用監視装置によれば、１台のカメラで、カメラを必要とする複数のシステム（ナイトビジョンシステムと、障害物監視システムと、レーンキープシステム）が実現できる。
また、危険な障害物や人が存在すると、ナイトビジョンモニタ上でこの障害物や人を目立たせる警告表示が実行されるとともに、警告用の音声が出力される。このため、運転者はこれを見落とすことなく、確実に危険を事前に察知できる。
また、ナイトビジョンや障害物認識に使用するエリアＡを、エリアＢの画像に基づいて認識した道路や車線の存在位置に応じて、例えば図３（ａ）や図３（ｂ）に示すように適宜変更する構成とした場合には、エリアＡを必要最小限の大きさに設定できる。このため、エリアＡが非常に狭い領域となり、極めて高速に障害物認識等が実行できる利点がある。

また、夜間などにおいて、表示装置が表示する領域と、自車のヘッドライトで照らされた自車直前の領域では輝度が大きく異なり、通常の撮像素子では全体の輝度領域を含むように撮影することは不可能であるが、本例ではダイナミックレンジが広い例えばＣＭＯＳ撮像素子を用いることで、全体の輝度領域を含む画像を取得することが可能である。結果として、エリアＡとエリアＢの画像が輝度領域全体で得られることによって、対応関係をつけることが漏れなく可能となる。エリアＡとエリアＢで撮影される画像で撮影可能な輝度範囲が異なる従来技術ではいずれかで撮影されていない対象の対応関係を求めることができない。

なお、本発明は以上説明した形態例に限定されず、各種の態様や変形が有り得る。以下、各種変形例について説明する。
例えば、エリアＡについての認識用信号Ｙを出力しない態様（人や障害物の認識を行わない態様）としてもよい。
また、図３（ｂ）に示すようにエリアＡとエリアＢの一部を重ねる構成とすることが望ましい。このようにすることで、車線認識によって認識した道路に関する情報と、人／障害物認識によって認識した人や障害物の情報を、エリアＡの画像を表示する表示モニタ（例えば、前述のナイトビジョンモニタ）に重ねて表示することができる。

また、上記形態例ではナイトビジョン用の撮像エリアと、人／障害物認識用の撮像エリアとして、共通のエリアＡを使用しているが、これに限られない。例えば、ナイトビジョン用の撮像エリアＡを少し拡大したエリアＡ´を、人／障害物認識用の撮像エリアとして使用するようにしてもよい。このようにすることで、前方の道路が大きく右や左にカーブしているときにも、エリアＡに入る手前の段階で道路と人や障害物の関係を認識して、エリアＡに入った瞬間に警告表示（赤枠線で囲むなど）を実行して運転者に警告することが可能となる。

車載用カメラの装置構成を示す図である。 車載用カメラの動作を示すフローチャートである。 （ａ），（ｂ）は、全体の画像例を示す図であり、（ｃ）は、読み取りエリアを説明する図である。 （ａ）は、インターレース走査を説明する図であり、（ｂ），（ｃ）は、元画像とデジタルズームされた表示画像を説明する図である。 車載用監視装置の装置構成を示す図である。 （ａ）は、ナイトビジョンの問題点（視認方向の違い）を説明する図であり、（ｂ）は、ナイトビジョンの表示例を示す図である。

符号の説明

１ 車載用カメラ
２ イメージセンサ
４ アドレスジェネレータ（映像データ読み取り手段）
５ 接続切換え回路（映像データ出力切換え手段）
７ ＲＡＭ（映像データ記憶手段）
２０ 画像処理用ＥＣＵ（視認映像表示制御手段、車線認識処理手段、障害物認識処理手段、障害物警告制御手段）
３１ モニタ（表示手段）

Claims (12)

1. 受光レンズを含む光学系と回路基板と筐体とを備え、前記回路基板には、光センサが二次元に複数配列されて前記光学系を経た光の像を受像する受像部を有し、前記光センサよりなる画素毎に映像データを出力可能なイメージセンサと、周辺回路とが搭載された車載用カメラにおいて、
   前記受像部上の位置又は大きさの異なる複数の読み取りエリアが、予め設定されるか、又は外部からの指令によって適宜設定され、各読み取りエリア内にある前記画素の前記映像データを順次前記イメージセンサから出力させる映像データ読み取り手段と、
   この映像データ読み取り手段によって出力される映像データを含む映像信号を出力する出力系統と
   を前記周辺回路として備えたことを特徴とする車載用カメラ。
2. 前記周辺回路の一部又は全てと、前記イメージセンサが、ワンチップの素子として構成されていることを特徴とする請求項１に記載の車載用カメラ。
3. 前記出力系統を複数設けるとともに、
   前記映像データ読み取り手段の動作に対応して、前記イメージセンサの映像データ出力の接続先を、前記出力系統のうちの何れか一つ又は複数に切換える映像データ出力切換え手段を前記周辺回路として設けたことを特徴とする請求項１又は２に記載の車載用カメラ。
4. 前記出力系統のうちの何れか一つには、当該出力系統に対して前記イメージセンサから出力された映像データを記憶する映像データ記憶手段が設けられ、前記イメージセンサの映像データ出力の接続先が当該出力系統でない時でも、当該出力系統から前記映像データ記憶手段に記憶された映像データを出力可能であることを特徴とする請求項３に記載の車載用カメラ。
5. 前記イメージセンサは、輝度のダイナミックレンジが６０ｄＢを超える高ダイナミックレンジのイメージセンサであることを特徴とする請求項１乃至４の何れかに記載の車載用カメラ。
6. 前記読み取りエリアのうちの少なくとも一つが、運転者視認用の車両周辺映像を撮像するためのエリアＡとして設定され、
   前記読み取りエリアのうちの少なくとも他の一つが、道路や路面上の車線の位置認識のためのエリアＢとして設定されていることを特徴とする請求項１乃至５の何れかに記載の車載用カメラ。
7. 請求項１乃至６の何れかに記載の車載用カメラを備え、
   前記車載用カメラの前記読み取りエリアのうちの少なくとも一つが、運転者視認用の車両周辺映像を撮像するためのエリアＡとして設定され、
   前記車載用カメラの前記読み取りエリアのうちの少なくとも他の一つが、道路や路面上の車線の位置認識のためのエリアＢとして設定され、
   前記車載用カメラの対応する出力系統から前記エリアＡについて出力される映像信号に基づいて、運転者視認用の車両周辺映像を車内の表示手段に表示する視認映像表示制御手段と、
   前記車載用カメラの対応する出力系統から前記エリアＢについて出力される映像信号に基づいて、道路や路面上の車線の位置を認識する車線認識処理を行なう車線認識処理手段と、
   を備えることを特徴とする車載用監視装置。
8. 前記車両周辺映像は、車両のライトが届かない場所の映像であることを特徴とする請求項７に記載の車載用監視装置。
9. 前記車載用カメラの対応する出力系統から前記エリアＡについて出力される映像信号に基づいて、人や障害物の存在位置を認識する障害物認識処理を行なう障害物認識処理手段を備えることを特徴とする請求項７又は８に記載の車載用監視装置。
10. 前記障害物認識処理手段により認識された人や障害物の存在位置が、前記車線認識処理手段により認識された車線の内側である場合、前記視認映像表示制御手段は、当該人や障害物を強調して運転者に報知するための警告表示を実行することを特徴とする請求項９に記載の車載用監視装置。
11. 前記障害物認識処理手段により認識された人や障害物の存在位置が、前記車線認識処理手段により認識された車線の内側である場合、前記表示手段とは別個の表示出力、又は音声出力によって、運転者に対する警告を実行する障害物警告制御手段を備えることを特徴とする請求項９又は１０に記載の車載用監視装置。
12. 請求項６に記載の車載用カメラを使用し、運転者視認用の前方道路領域の映像信号を出力する前方道路領域撮像方法であって、
    前記車載用カメラの対応する出力系統から前記エリアＢについて出力される映像信号に基づいて、道路や路面上の車線の位置を認識する車線認識処理を行ない、この車線認識処理結果に基づいて前記エリアＡの領域を適宜更新して設定し、こうして設定されたエリアＡについて対応する前記出力系統から出力された映像信号を、前記前方道路領域の映像信号として出力することを特徴とする前方道路領域撮像方法。

Images