JP2002074339A

JP2002074339A - 車載撮像装置

Info

Publication number: JP2002074339A
Application number: JP2000263733A
Authority: JP
Inventors: Isao Furusawa; 勲古沢; Tatsuhiko Moji; 竜彦門司; Jiro Takezaki; 次郎竹崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-08-31
Filing date: 2000-08-31
Publication date: 2002-03-15
Anticipated expiration: 2020-08-31
Also published as: JP3820342B2

Abstract

(57)【要約】【課題】撮像光軸や画角などが設計値に対してずれた
場合にも自動的に対応できるようにした車載撮像装置を
提供すること。【解決手段】必要な領域より広い領域が撮像できるよ
うにしたカメラ１を用い、その視野内に含まれるように
して設置してある左右２個のマーク３による画像によ
り、カメラ１の光軸や画角のずれ、視野の回転などを検
出し、その検出結果に応じてカメラ１による撮像領域を
調整することにり、カメラ１を動かすことなく、カメラ
１の光軸や画角のずれ、視野の回転などが自動的に補正
されるようにしたもの。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の走行環境を
認識するための撮像装置に係り、特に自動車の安全走行
支援用に好適な車載撮像装置に関する。

【０００２】

【従来の技術】近年、自動車など車両の走行環境を画像
データにより認識し、車両の安全走行を支援する装置が
注目を集めている。そして、このような装置の一例に、
特開平３−２０３０００号公報に開示されている環境認
識装置がある。

【０００３】ところで、このような走行環境認識装置で
は、例えばＣＣＤ(電荷結合素子)などの撮像デバイスを
用いたビデオカメラから画像データを取込むようになっ
ているが、この場合、画像データの取込みに使用するビ
デオカメラ(撮像手段)の取付位置、取付角度、画角(撮
像範囲)などが変化してしまうと、画像データも変化し
てしまう。

【０００４】そこで、このような装置では、カメラ(ビ
デオカメラ)の位置調整と画角調整が重要な要素にな
り、これらが常に正しい取付状態に調整され、その状態
が保持されている必要があるが、このとき、従来技術で
は、雲台などカメラの取付機構を手作業により調整する
方法が主として採用されていた。

【０００５】従って、従来技術の場合、カメラの取付調
整に煩雑な作業が必要で、多くの作業時間か費やされて
しまう上、取付調整を終了して一旦固定した後でも、振
動などによりカメラの調整が外れてしまう虞れがあるの
で、必ずしも精度が保持されているという保証がなかっ
た。

【０００６】そこで、この作業時間を短縮するため、例
えば特開平１１−２５９６３２号公報では、ステレオカ
メラを用い、その調整のために、各カメラの画像から一
般的な風景の中で３箇所に特徴点を決め、この特徴点を
検出してカメラの光軸を調整する方法について開示して
おり、特開平８−１６９９９号公報では、単眼のカメラ
を対象として、その取付位置のずれの確認と、取付位置
の調整のため、１箇所のマークを使用する方法について
開示している。

【０００７】

【発明が解決しようとする課題】上記従来技術は、カメ
ラの調整に必要な要件の全てについて配慮がされている
とは言えず、性能の向上を図り、高性能を保持する点に
問題があった。

【０００８】例えば、一般的な風景の中の２箇所の特徴
点を抽出するようにした従来技術では、特徴点抽出など
の処理工数が多く、多大な処理時間を要する上、微少な
光軸のずれにしか対応できず、光軸が大きくずれた場合
には、左右のカメラの対応点が検索できなくなり、更
に、ステレオカメラに特化されているので、単眼のカメ
ラを用いた装置には簡単に転用できないなどの問題があ
った。

【０００９】また、１箇所の特徴点を抽出するようにし
た従来技術では、微少な光軸のずれにしか対応できない
ことの他に、回転のずれを検出できないという問題点が
あった。本発明は、上記の問題点に鑑みてなされたもの
で、その目的は、撮像光軸や画角などが設計値に対して
ずれた場合にも自動的に対応できるようにした車載撮像
装置を提供することにある。

【００１０】

【課題を解決するための手段】上記目的は、撮像手段か
ら取込んだ画像データにより、車両の走行環境を認識す
る方式の車載撮像装置において、前記画像データの取込
みに必要な撮像視野よりも広い撮像視野を有する撮像手
段を用い、前記車両の一部に、前記撮像手段の視野内に
含まれ、該視野内で水平方向の左右に存在して特徴的な
画像を与える２個の被写体を設け、これら２個の被写体
による画像から、前記撮像手段の光軸と画角及び画像の
回転の何れかの変化を検出し、前記撮像手段の光軸と画
角及び画像の回転の何れかを調整するようにして達成さ
れる。

【００１１】同じく上記目的は、撮像手段から取込んだ
画像データにより、車両の走行環境を認識する方式の車
載撮像装置において、前記画像データの取込みに必要な
撮像視野よりも広い撮像視野を有する撮像手段を用い、
前記撮像手段の視野内で水平方向の左右に特徴的な画像
を与えるようにして、前記車両の一部に取付けられてい
る２個の被写体と、これら２個の被写体による画像か
ら、前記撮像手段の光軸と画角及び画像の回転の何れか
の変化を検出する手段と、この変化の検出結果に応じて
補正量を算出する手段と、この補正量に応じて前記撮像
手段による画像データの取得可能領域の中で、画像デー
タの取込みに使用する領域を変更する手段とを設け、前
記撮像手段の光軸と画角及び画像の回転の何れかが調整
されるようにしても達成される。

【００１２】更に上記目的は、撮像手段から取込んだ画
像データにより、車両の走行環境を認識する方式の車載
撮像装置において、前記画像データの取込みに必要な撮
像視野よりも広い撮像視野を有する撮像手段を用い、前
記撮像手段による画像データの取得可能領域の中で、画
像データの取込みに使用する領域を変更することによ
り、当該撮像手段の撮像視野角が変化できるようにして
も達成される。

【００１３】このとき、前記撮像手段の撮像視野角の変
化に応じて、前記画像データの画素を間引くことによ
り、当該撮像手段の撮像視野角の変化による前記画像デ
ータの情報量の変化が抑えられるようにしてもよい。

【００１４】なお、ここでは車両の走行環境認識装置を
一例にして説明しているが、本発明は、カメラなどの撮
像手段を用いた一般の環境認識装置にも適用可能なこと
はいうまでもない。

【００１５】

【発明の実施の形態】以下、本発明による車載撮像装置
について、図示の実施の形態により詳細に説明する。は
じめに、本発明によるカメラの光軸と画角及び画像の回
転の何れかを検出し調整するための基本的な考え方につ
いて説明する。まず、本発明では、カメラの光電変換面
の全てを使用して画像データを取込むのではなくて、図
１に示すように、撮像用のレンズ１０と撮像デバイス１
１とを備えたカメラにおいて、必要とする画像データが
矢印Ａで示す領域(以下、これを使用画像領域Ａ１とい
う)であったとしたとき、図に破線で示してあるよう
に、このカメラでは、領域Ａ１よりも広い撮像領域(以
下、これを取得可能画像領域Ａ０という)が得られるよ
うに、予めレンズ１０の焦点距離と撮像デバイス１１の
光電変換面の大きさを選らんでおいた上で、光電変換面
で画像データを取込む領域を動かすようにしてある。

【００１６】ここで、取得可能画像領域Ａ０とは、この
とき使用されているカメラから画像データの取得が可能
な光電変換面の全ての領域のことで、これは、このカメ
ラが備えているレンズの写角と光電変換面の広さで決ま
り、使用画像領域Ａ１とは、この取得可能画像領域Ａ０
の中で、実際に画像データの取込みに使用する領域のこ
とであり、従って、これらについては、「Ａ０＞Ａ１」
の関係が成立するように、レンズ１０には広角のレンズ
が用いられ、撮像デバイス１１を構成するＣＣＤセンサ
にも大きな光電変換面のものが用いられている。

【００１７】このとき、本発明の実施形態では、ＣＣＤ
などの一般的な撮像デバイスの光電変換面が画素と呼ば
れる複数の光電変換素子で構成されていることを利用
し、これらの画素の中で画像データを取込む画素を部分
的に選択してやれば、撮像デバイス１１の光電変換面を
実際に動かすことなく、画像データを取込む領域、つま
り使用画像領域Ａ１が任意に変えられることになり、そ
の選択すべき画素の選び方に応じてカメラの光軸と画角
が変更でき、且つ、画像の回転が得られることになる。

【００１８】図２は、本発明の第１の実施形態で、本発
明による車載撮像装置を走行環境認識装置として用い、
自動車のＡＣＣ(オートクルージングコントロール)制御
に適用した場合の実施形態で、この図において、Ｍが自
動車で、カメラ１は、この自動車Ｍの室内の天井部に、
前方に向けて取付けてある。

【００１９】ＡＥはカメラ１による撮像視野(エリア)を
表わし、これによる撮像領域が上記した使用画像領域Ａ
１であるが、このとき、自動車ＭのボンネットＭＢに
は、この撮像視野ＡＥに入るようにして、左右２箇所に
マーク３が設けられている。

【００２０】自動車Ｍ内には、ＡＣＣコントロールユニ
ット４とディスプレイ装置５、ブレーキ駆動装置６、ス
テアリング駆動装置７、それにスロットル駆動装置８が
設けてある。

【００２１】そして、カメラ１はカメラ信号線４０によ
りＡＣＣ制御装置４に接続され、更にＡＣＣ制御装置４
は、ディスプレイ信号線５０によりディスプレイ装置５
に、ブレーキ駆動信号線６０によりブレーキ駆動装置６
に、ステアリング駆動信号線７０によりステアリング駆
動装置７に、そしてスロットル駆動信号線８０によりス
ロットル駆動装置８に、それぞれ接続されている。

【００２２】図３はカメラ１の詳細で、図示のように、
画像入力部１Ａと、画像演算部１Ｂに大別されている。
そして、まず、画像入力部１Ａは、レンズ１０と撮像デ
バイス１１、それにＣＣＤ出力信号変換処理部１２とを
備え、自動車Ｍの走行方向の主として前方を撮像し、撮
像した画像をディジタル出力する働きをする。

【００２３】ここで、撮像デバイス１１には、１００万
画素のＣＣＤセンサが用いられているが、ＣＭＯＳセン
サを用いてもよい。このとき、図１で説明したように、
使用撮像領域Ａ１よりも広い取得可能画像領域Ａ０に対
応した撮像視野ＡＥが得られるように、レンズ１０の焦
点距離と撮像デバイス１１の大きさが選ばれている。

【００２４】次に、画像演算部１Ｂは、画素単位で画像
データを取込んで記憶する画像メモリ１３と画像データ
を変換する画像データ補正部１４、外部環境に対する自
車両の相対位置を認識して演算する画像処理部１５、画
像入力部１Ａの初期設定位置からの位置ずれを検出し判
定するカメラ位置変化判定部１６、警報発令とブレー
キ、ステアリング、スロットルの駆動を判断する危険回
避判断部１７、それに判断結果を出力し車速などのデー
タを入力するデータ入出力部１８で構成されている。

【００２５】そして、まず、画像処理部１５は、先行車
認識部１５１と車間距離演算部１５２、自車レーン演算
部１５３、それに自車レーンとの位置関係演算部１５４
で構成されており、次に、カメラ位置変化判定部１６
は、初期マーク位置記憶部１６１とマーク抽出部１６
２、マーク位置検出部１６３、それに比較部１６４で構
成されている。また、危険回避判断部１７は、危険度
判定部１７１と警報発令判断部１７２、アクチュエータ
駆動判断部１７３で構成されている。

【００２６】次に、この実施形態の動作について説明す
る。まず、自動車のＡＣＣ制御における走行環境認識装
置としての動作について説明すると、例えば１００万画
素のＣＣＤを用いて取得可能画像領域Ａ０が得られるよ
うにしてある撮像デバイス１１を用いて撮像した自車両
前方の画像データは、ＣＣＤ出力信号変換処理部１２に
よりディジタルデータに変換され、画像メモリ１３に格
納される。

【００２７】そして、この画像メモリ１３に記憶したデ
ータを画像処理部１５に入力し、このデータに基づい
て、まず先行車認識部１５１で先行車の認識を行ない、
次いで車間距離演算部１５２では車間距離が演算され
る。また、これと並行して、自車レーン認識部１５３と
自車とレーンの位置関係演算部１５４では、自車レーン
の認識と自車とレーンの位置関係が演算される。そし
て、画像処理部１５によるこれらの演算結果は危険回避
判断部１７に入力される。

【００２８】危険回避判断部１７では、上記した演算結
果に加え、ＡＣＣコントロールユニット４からデータ入
出力部１８を介して、自動車Ｍの車速やステアリング角
度などのデータを入力し、危険度判定部１７１により、
これら演算結果とデータに基づいて、先行車への接近状
態、自車とレーンの位置状態を判断する。

【００２９】そして、自車が先行車に異常接近したり、
自車レーンを逸脱しそうになったときには、警報発令判
断部１７２により危険状態であると判断し、データ入出
力部１８を介してディスプレイ装置５に所定の表示デー
タを送り、運転者に危険状態であることを知らせる内容
の表示を行なわせる。

【００３０】一方、先行車との車間距離が変わったとき
は、アクチュエータ駆動判断部１７３により、先行車と
の車間距離を維持するようなスロットル制御又はブレー
キ制御量を計算し、制御データをデータ入出力部１８か
らＡＣＣコントロールユニット４に送信する。

【００３１】更に、自車が自車レーンの中央付近を外れ
て走行しているときは、アクチュエータ駆動判断部１７
３で自車レーン中央付近を走行するのに必要なステアリ
ング制御量を計算し、同じく制御データをデータ入出力
部１８を介してＡＣＣコントロールユニット４に送信す
る。

【００３２】以上は、この実施形態によるＡＣＣとして
の一般的な動作であるが、次に、この実施形態の特徴で
あるカメラ位置変化判定部１６の動作について、図４と
図５を用いて説明する。図４において、このフローチャ
ートによる処理が開始されたら、まず、ステップＳ１で
カメラ１の位置について初期設定を行う。

【００３３】この初期設定では、カメラ１の取付状態を
調整して、撮像視野ＡＥが正しく得られているように固
定する作業などが行なわれる。図５(a)は、このときの
初期設定の結果で、図示のように、取得可能画像領域Ａ
０の真中に使用画像領域Ａ１が来るように、カメラ１の
撮像視野ＡＥを設定するのである。

【００３４】次に、ステップＳ２では、マーク３の位置
を初期マーク位置記憶部１６１に記憶し、初期マーク位
置Ｘとする。この初期マーク位置Ｘの記憶は、カメラ１
を撮像動作状態にし、画像データを取込んで処理し、図
５(a)に示す使用画像領域Ａ１内でのマーク３を検出
し、これを初期マーク３Ａとして、その位置Ｘを初期マ
ーク位置記憶部１６１に格納してやればよい。

【００３５】ここで、この初期マーク位置Ｘは、以後、
再設定されるまで、そのまま繰返し使用される。従っ
て、初期マーク位置記憶部１６１は、この装置全体に対
する電源供給が停止したときでも記憶が保持できるよう
に、書換可能なＲＯＭ、又はバックアップ電源を持った
ＲＡＭが使用されている。

【００３６】ここで、このステップＳ２までは、カメラ
１を自動車Ｍに設置したとき実行される作業処理である
が、これ以降の処理は、上記した通常の走行環境認識装
置としての動作と並行して、例えば所定のマイコンによ
り、所定のプログラムにより実行されるものであり、従
って、ステップＳ３以降の処理は、自動車Ｍのアクセサ
リ電源が投入されたとき開始され、以後、電源が落とさ
れるまで、画像メモリ１３に１フレーム分の画像データ
が書き込まれる毎に実行される。

【００３７】まず、ステップＳ３では、マーク抽出部１
６２とマーク位置検出部１６３により、画像メモリ１３
に取込まれた画像データからマーク３の位置を検出し、
これを現マーク３Ｂとし、その位置を現マーク位置Ｙと
する処理を実行する。次に、ステップＳ４では、比較部
１６４により、現マーク位置Ｙを、初期マーク位置記憶
部１６１に格納されているデータ、すなわち初期マーク
位置Ｘと比較する。

【００３８】そして、まず、検出したマーク３の位置が
初期マーク位置と等しい場合、つまり「Ｘ＝Ｙ」のとき
はステップＳ５により、カメラ１の位置変化はないもの
と判断してステップＳ６に進み、以後、ステップＳ６か
らステップＳ８までの処理を実行した後、ステップＳ３
に戻り、次のフレームの処理に移る。ここで、これらの
ステップＳ６からステップＳ８までの処理が、上記した
通常の走行環境認識装置としての動作のための処理であ
る。

【００３９】一方、ステップＳ５での結果がＮｏ(否定)
になったとき、つまり「Ｘ≒Ｙ」のときは、図５(b)、
(c)に示すように、初期マーク３Ａと現マーク３Ｂがず
れていることになる。そこで、このときは、ステップＳ
９以降の処理に進み、まず、このステップＳ９では、初
期マーク３Ａと現マーク３Ｂのずれ量が補正可能な範囲
内にあるか否かを判断する。このときの判断、つまり、
ずれ量が補正可能な範囲内にあるか否かの判断は、この
実施形態では、現マーク３Ｂの位置Ｙが取得可能画像領
域Ａ０内にあるか否かにより判定するようになってい
る。

【００４０】そして、このステップＳ９での判定結果が
Ｙｅｓ(肯定)になったときは、まずステップＳ１０で、
ずれの補正に必要な補正量を算出する処理を実行する。
このとき、ずれの状態が図５(b)に示すように、平行な
ずれの場合は、並進補正量の算出処理になり、図５(c)
に示すように、回転ずれの場合は、回転補正量の算出処
理となる。

【００４１】次にステップＳ１１では、画像データ補正
部１４により、この算出された補正量に基づいて画像デ
ータを補正する。そして、ステップＳ１１の処理を終え
たらステップＳ６からステップＳ８の処理に合流し、こ
のときは、補正された画像データにより、通常の走行環
境認識装置としての処理を実行するのである。一方、ス
テップＳ９の判定結果がＮｏになったとき、すなわち、
ずれ量が大きすぎて、必要とする補正量が取得可能画像
領域Ａ０を越えてしまったときは、ステップＳ１２に進
む。

【００４２】この結果、まずステップＳ１２で補正が不
可能であるとし、続くステップＳ１３で、データ入出力
処理部１８から補正不可能であることを表わす信号を出
力させる。そこで、このときは、ＡＣＣコントロールユ
ニット４からディスプレイ装置５に所定の表示信号が供
給され、この結果、ずれ補正が得られなくなっているこ
とが運転者に報知されることになる。

【００４３】従って、この第１の実施形態によれば、逐
次、取込まれてくる画像データの中から、自動車Ｍのボ
ンネットＭＢに設けてあるマーク３の位置を検出し、こ
れを初期位置と比較してカメラ１の位置変化を検出して
いるので、走行環境の変化の影響を受けることなく、常
に確実にカメラ１の位置変化を検出することができ、画
像データを的確に補正することができる。

【００４４】つまり、こ実施形態の場合、一般的な風景
の中からマークとなりうる特徴点を検索するのではな
く、車両に設けてあるマークを検索しているため、走行
環境によらず安定してカメラの軸調整ができるのであ
る。

【００４５】また、この第１の実施形態によれば、カメ
ラ１を動かすことなく、逐次、自動的にカメラ１の光軸
修正と画像の回転補正が与えられてゆくことになり、こ
の結果、カメラの製造時や取付時、更には光軸や画角な
どが設計値から経時的にずれた場合にも自動的に対応で
き、常に走行環境を正確に把握することができる。

【００４６】そして、この結果、カメラ１を回転させる
ための機構部を必要としないため、重量、コスト、サイ
ズが低減できる。更に、２個のマークを使用しているの
で、並進ずれ(縦横に平行なずれ)だけではなく、回転方
向のずれにも対応できる。しかも、使用範囲よりも大き
な撮像デバイスと広角なレンズを使用することにより、
大きなずれ量にも対応することできる。

【００４７】ところで、この第１の実施形態では、自動
車のボンネットの左右２箇所に設けてあるマークを利用
しているが、これ代えて、ボンネットに取り付けられた
マスコットや、フロントガラスに貼られたシールなど、
自車両に取付けられていて、２箇所のマークとして使用
できるものであれば、同様の効果を得られることは言う
までもない。

【００４８】ところで、上記第１の実施形態では、図４
のステップＳ５での処理において、実際に撮像した画像
データからマーク抽出部１６２によりマーク３の位置を
算出し、これを、図３に破線で示してあるように、初期
マーク位置Ｘとして初期マーク位置記憶部１６１に記憶
する方法を採用していた。

【００４９】しかし、この方法に代え、基準モデルとな
るカメラを使用するなどして予め初期マーク位置Ｘを算
出し、このデータをＲＯＭに書込んでおき、このＲＯＭ
を初期マーク位置記憶部１６１として用い、これを本発
明の第２の実施形態としてもよい。

【００５０】そして、この第２の実施形態の場合、図４
におけるステップＳ２の処理が不要になる外は、上記し
た第１の実施形態の場合と同じ構成と処理でよく、この
第２の実施形態による効果は以下の通りである。

【００５１】第１の実施形態の場合、カメラ１を車両に
取付けた後、経時的にずれた場合にしか対応できない
が、この第２の実施形態では、ＲＯＭのデータと車両上
のマーク位置を比較することにより、製造時や取付け時
に発生した光軸のずれも併せて調整することができる。

【００５２】次に、本発明の第３の実施形態について説
明する。まず、この第３の実施形態の場合、全体の構成
は、図１〜図３で説明した第１の実施形態と同じであ
り、異なっている点は、その処理が、図６に示すように
なっている点にある。但し、この図６でも、ステップＳ
１４とステップＳ１５が付加されている以外は、図４に
示した第１の実施形態の場合と同じ処理になっている。

【００５３】従って、この第３の実施形態でも、マーク
３による画像の位置が初期位置からずれた場合、このず
れ量に応じて画像データが補正される点は、第１の実施
形態と同じである。しかし、第１の実施形態では、一
旦、カメラ１の光軸がずれると、処理が実行される毎に
ステップＳ１１による画像補正処理が加わるので、処理
時間が多くかかってしまう。

【００５４】一方、この図６による第３の実施形態で
は、ステップＳ５でマーク位置が初期位置とずれ、ステ
ップＳ９で補正可能になり、ステップＳ１０で画像デー
タ補正量を算出した際、その結果が、図７(a)に示すよ
うに、並進ずれだけの場合か否かをステップＳ１４で判
定し、結果がＹｅｓの場合は、画像データの補正に代え
て、ステップＳ１５により、図７(b)に示すように、使
用画像領域Ａ１と初期マーク３Ａの位置Ｘを変更するの
である。

【００５５】このときの使用画像領域Ａ１と初期マーク
３Ａの位置Ｘの変更は、既に説明してあるように、撮像
デバイス１１の光電変換面における画素の中で、実際に
画像データを取込む画素を部分的に選択することにより
実行すればよい。この結果、次の画像データが取込まれ
たときは、現マーク３Ｂの位置Ｙは初期マーク位置Ｘに
一致し、ステップＳ５での結果はＹｅｓになるので、画
像データの補正は行われず、取り込んだ画像のままでス
テップＳ６からステップＳ８までの処理が実行されるこ
とになる。

【００５６】一方、ずれが並進ずれに限らなかったとき
は、ステップＳ１４での判定結果がＮｏになるので、図
４の第１の実施形態の場合と同じく、ステップＳ１１に
よる画像データの補正処理が実行されることになる。従
って、この第３の実施形態の場合、第１の実施形態と同
じ効果に加えて、並進成分のみのずれのときは、画像デ
ータの補正は行なわず、使用領域を変更するたけなの
で、計算量を少なくすることができる。

【００５７】次に、本発明の第４の実施形態について説
明する。例えば製造や取付に際して、カメラ１の画角が
変わってしまうことがあるが、この第４の実施形態は、
このようなカメラの画角変化に対応し、これによる影響
が抑えられるようにしたものである。

【００５８】まず、この第４の実施形態の場合も、全体
の構成は、図１〜図３で説明した第１の実施形態と同じ
であり、異なっている点は、図４の処理における初期設
定処理、つまりステップＳ１からステップＳ３までの処
理に、図８に示すように、ステップＳ２０とステップＳ
２１の処理が付加されている点にある。従って、この第
４の実施形態でも、マーク３による画像の位置が初期位
置からずれた場合、このずれ量に応じて画像データが補
正される点は、第１の実施形態と同じである。

【００５９】次に、この第４の実施形態の動作について
説明すると、この場合、図８に示すステップＳ２０とス
テップＳ２１が付加された結果、初期設定処理の中で、
まずステップＳ２０により画角検出処理が実行される。
上記したように、カメラ１の画角が変わって、例えば画
角が広がってしまったとすると、図９(a)に示すよう
に、左右にある現マーク３Ｂの間隔が狭まって、初期マ
ーク３Ａの内側にずれてしまう。

【００６０】従って、この内側へのずれにより画角が広
がってしまったことが検出でき、ずれの大きさにより、
拡がりの度合いが算出できる。そこで、次のステップＳ
２１で画像データの取り込み範囲を調整し、このとき
は、図９(b)に示すように、使用画像領域Ａ１を狭くす
るのである。

【００６１】一方、カメラ１の画角が狭まってしまった
とすると、今度は図９(a)とは反対に、左右にある現マ
ーク３Ｂの間隔が広がって、初期マーク３Ａの外側にず
れてしまう。そこで、このときは、外側へのずれにより
画角が狭まってしまったことが検出でき、同じくずれの
大きさにより、狭まりの度合いが算出できるので、ステ
ップＳ２１では、図９(b)とは反対に、使用画像領域Ａ
１を広くするのである。

【００６２】このときのステップＳ２１による調整処
理、つまり使用画像領域Ａ１を拡げる処理と狭める処理
については、これも既に説明してあるように、撮像デバ
イス１１の光電変換面における画素の中で、実際に画像
データを取込む画素を部分的に選択することにより実行
すればよい。

【００６３】そして、この後、ステップＳ３に進むの
で、以後は図４の場合と同じ動作になる。従って、この
第４の実施形態によれば、上記した第１の実施形態によ
る効果に加えて、カメラ１の画角の変化にも自動的に対
応することができる。

【００６４】次に、本発明の第５の実施形態について説
明する。ここで、この第５の実施形態は、カメラ１の画
角を切換え、広い視野と狭い視野の２種の画像データを
取込み、車両の走行環境を認識するようにした装置に、
本発明を適用したものである。

【００６５】従って、この第５の実施形態の場合、図３
のブロック構成において、画像処理部１５が、図１０に
示す画像処理部１５Ａに置き換えてある点を除けば、全
体の構成は、図１〜図３で説明した第１の実施形態と同
じであり、そして、この画像処理部１５Ａが、画像処理
部１５と異なっている点は、隣接レーン認識部１５５と
隣接車動作演算部１５６が付加されている点だけであ
る。

【００６６】従って、この第５の実施形態でも、マーク
３による画像の位置が初期位置からずれた場合、このず
れ量に応じて画像データが補正される点は、第１の実施
形態と同じであるが、この後、図４のステップＳ６にお
いて、画像処理部１５による処理の実行と共に、隣接レ
ーン認識部１５５と隣接車動作演算部１５６による処理
が、図１１に示すようにして実行されることになる。

【００６７】そこで、以下、この図１１による処理につ
いて、図１２を併用しながら説明する。まず、ステップ
Ｓ６１では、隣接レーン認識部１５５により広角画像取
得処理を実行し、隣接車が認識されるか否かを調べる。
このため、まず、図１２(a)に示すように、取得可能画
像領域Ａ０の中に、かなり広い使用画像領域Ａ１(Ｗ)を
選択する。

【００６８】そして、画像データ補正部１４から与えら
れる１フレーム分の画像データの中から、この広角使用
画像領域Ａ１(Ｗ)内にある画像データを取込む。そうす
ると、図１２(a)から明らかなように、広角の画像にな
った結果、隣接車線も視野に入り、そこからの情報も取
得できるようになるので、ここで隣接車線の車両、すな
わち隣接車を認識するのである。

【００６９】次に、ステップＳ６２では、隣接車動作演
算部１５６により画像処理を実行させ、隣接車有りの場
合、認識した隣接車の動きを画像処理により解析し、こ
の隣接車が自車両レーンに割込んでくるか否かを判断す
る。次に、ステップＳ６３では、先行車認識部１５１に
より、今度は狭角画像取得処理を実行し、先行車が認識
されるか否かを調べる。すなわち、今度は、まず、図１
２(b)に示すように、取得可能画像領域Ａ０の中に、比
較的狭い使用画像領域Ａ１(Ｔ)を選択する。

【００７０】そして、画像データ補正部１４から与えら
れる１フレーム分の画像データの中から、この狭角使用
画像領域Ａ１(Ｔ)内にある画像データを取込む。そうす
ると、図１２(b)から明らかなように、今度は、狭角の
画像になった結果、遠方が拡大され、遠方の画像からで
も詳細な情報が容易に取得できるようになるので、ここ
で自車に先行する車両、すなわち先行車を認識するので
ある。

【００７１】次に、ステップＳ６４では、車間距離演算
部１５２による画像処理を実行し、先行車ありの場合、
この先行車までの距離、つまり車間距離を演算する。な
お、ここでの車間距離の演算には、例えば画像内での先
行車の大きさを、予め想定されている実際の車両の大き
さと比較する方法を用いてやればよい。こうして、ステ
ップＳ６１からステップＳ６４までの処理を終えたら、
ステップＳ７に進み、処理を終了する。

【００７２】そして、この後は、ステップＳ７で、危険
回避判断部１７により隣接車及び先行車と自車の状況が
調べられ、その結果に応じて警報を発令するか、アクチ
ュエータを動作させるかが判断され、次いでステップＳ
８で、判断結果がデータ入出力処理部１８から出力され
ることになる。

【００７３】従って、この第５の実施形態によれば、カ
メラ１のレンズに交換機構を用いたり、ズームレンズを
用いたりすることなく、広い視野と狭い視野の２種の画
像データの使い分けができることになり、この結果、カ
メラ１の重量とコストの低減が充分に図れることにな
る。

【００７４】なお、この第５の実施形態では、例えば１
００万画素の撮像デバイス１１を使用しているため、狭
角画像の場合でも、標準画素撮像デバイス(例えば２５
万画素)を使用しているカメラに比べ、情報量の欠落が
ほとんど無くてすむ。ところで、上記の説明では、広角
画像と狭角画像の２種類の画像を使用した場合の実施形
態について述べたが、本発明は、２種類の画像だけでは
なく、複数の画像にも対応できることは言うまでもな
い。

【００７５】ところで、以上の第５の実施形態におい
て、広角画像の場合と狭角画像の場合で、撮像デバイス
１１の光電変換面から画像データを取込むための画素の
個数が同じになるようにしてもよく、この場合を第６の
実施形態とし、以下、この第６の実施形態について説明
する。

【００７６】まず、ここで、いま撮像デバイス１１の光
電変換面にある画素が、全体では、つまり取得可能画像
領域Ａ０では、図１３(a)に模式的に示すようになって
いたとする。そして、この場合、広角使用画像領域Ａ１
(Ｗ)のときは、画像データを取込むとき、図１３(b)に
示すように、１画素おきに間引いて取込むようにし、狭
角使用画像領域Ａ１(Ｔ)のときは、同図(c)に示すよう
に、この領域Ａ１(Ｔ)内にある全ての画素から画像デー
タを取込むようにするのである。

【００７７】ここで、この第６の実施形態の狙いは、広
角画像の場合と狭角画像の場合とで処理すべき画素数が
なるべく同じになるようにする点にあり、その理由は、
何れの場合でも情報量が同等で、処理時間も同等になる
ようにするためである。

【００７８】本発明の実施形態では、例えば１００万画
素など、画素数の多い撮像デバイスを使用するのが望ま
しいが、このため、上記のように、１画素おきに間引い
ても狭角画像と同等の情報量を取得することができ、画
素を間引くことにより広角画像にかかる処理時間を狭角
画像と同等のレベルにすることができる。

【００７９】ここで、上記の場合、広角使用画像領域Ａ
１(Ｗ)のときは１画素おきに間引いた画像を用いたが、
本発明では、使用画像サイズに応じて間引き数を変更し
てもよく、狭角画像と広角画像の中間の画像でも同等の
効果を得ることができることは言うまでもない。

【００８０】

【発明の効果】本発明によれば、車載撮像装置で使用す
るカメラに広角のレンズと画素数の多い撮像デバイスを
使用するだけで、製造、取付時に発生した光軸や画角の
ずれ、画像の回転の補正は勿論、取付後、経時的に発生
した光軸や画角のずれ、画像の回転の補正についても、
自動的に修正することができる。

【００８１】また、本発明によれば、使用画面領域を変
えることもできるので、情報量を変えずに狭角画像から
広角画像まで取得でき、多種多様な画像処理を容易に行
うことができる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための概略図である。

【図２】本発明による車載撮像装置を自動車のオートク
ルージング装置に適用した場合の一実施形態を示す全体
構成図である。

【図３】本発明による車載撮像装置を自動車のオートク
ルージング装置に適用した場合の一実施形態を示すブロ
ック図である。

【図４】本発明の第１の実施形態の動作を説明するため
のフローチャートである。

【図５】本発明の第１の実施形態の動作を説明するため
の画像ウィンドウ図である。

【図６】本発明の第３の実施形態の動作を説明するため
のフローチャートである。

【図７】本発明の第３の実施形態の動作を説明するため
画像ウィンドウ図である。

【図８】本発明の第４の実施形態の動作を説明するため
のフローチャートである。

【図９】本発明の第４の実施形態の動作を説明するため
の画像ウィンドウ図である。

【図１０】本発明の第５の実施形態における構成の一部
を示すブロック図である。

【図１１】本発明の第５の実施形態の動作を説明するた
めのフローチャートである。

【図１２】本発明の第５の実施形態の動作を説明するた
めの画像ウィンドウ図である。

【図１３】本発明の第６の実施形態の動作を説明するた
めの撮像デバイスの画素を表わす模式図である。

【符号の説明】

１カメラ３マーク３Ａ現マーク(現マークの画像) ３Ｂ初期マーク(初期マークの画像) １０レンズ１１撮像デバイスＡ０取得可能画像領域Ａ１使用画面領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者竹崎次郎茨城県ひたちなか市高場2520番地株式会社日立製作所自動車機器グループ内Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 CB12 CB16 CC01 CD03 CH01 5C054 AA02 CA04 CC02 CD03 CE11 CF05 CG02 CH02 EA01 EA05 FC11 FC12 FF02 HA30 5H180 AA01 CC04 CC24 LL01 LL02 LL04 LL08 LL09

Claims

【特許請求の範囲】

【請求項１】撮像手段から取込んだ画像データによ
り、車両の走行環境を認識する方式の車載撮像装置にお
いて、前記画像データの取込みに必要な撮像視野よりも広い撮
像視野を有する撮像手段を用い、前記車両の一部に、前記撮像手段の視野内に含まれ、該
視野内で水平方向の左右に存在して特徴的な画像を与え
る２個の被写体を設け、これら２個の被写体による画像から、前記撮像手段の光
軸と画角及び画像の回転の何れかの変化を検出し、前記撮像手段の光軸と画角及び画像の回転の何れかを調
整するように構成したことを特徴とする車載撮像装置。
【請求項２】撮像手段から取込んだ画像データによ
り、車両の走行環境を認識する方式の車載撮像装置にお
いて、前記画像データの取込みに必要な撮像視野よりも広い撮
像視野を有する撮像手段を用い、前記撮像手段の視野内で水平方向の左右に特徴的な画像
を与えるようにして、前記車両の一部に取付けられてい
る２個の被写体と、これら２個の被写体による画像から、前記撮像手段の光
軸と画角及び画像の回転の何れかの変化を検出する手段
と、この変化の検出結果に応じて補正量を算出する手段と、この補正量に応じて前記撮像手段による画像データの取
得可能領域の中で、画像データの取込みに使用する領域
を変更する手段とを設け、前記撮像手段の光軸と画角及び画像の回転の何れかが調
整されるように構成したことを特徴とする車載用撮像装
置。
【請求項３】撮像手段から取込んだ画像データによ
り、車両の走行環境を認識する方式の車載撮像装置にお
いて、前記画像データの取込みに必要な撮像視野よりも広い撮
像視野を有する撮像手段を用い、前記撮像手段による画像データの取得可能領域の中で、
画像データの取込みに使用する領域を変更することによ
り、当該撮像手段の撮像視野角が変化できるように構成した
ことを特徴とする車載要撮像装置。
【請求項４】請求項３の発明において、前記撮像手段の撮像視野角の変化に応じて、前記画像デ
ータの画素を間引くことにより、当該撮像手段の撮像視
野角の変化による前記画像データの情報量の変化が抑え
られるように構成したことを特徴とする車載要撮像装
置。