JP2544898B2

JP2544898B2 - 車載カメラの姿勢パラメ―タ算出装置

Info

Publication number: JP2544898B2
Application number: JP5295631A
Authority: JP
Inventors: 弘下浦; 健二天目
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 1993-11-25
Filing date: 1993-11-25
Publication date: 1996-10-16
Anticipated expiration: 2011-10-16
Also published as: JPH07147000A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車載カメラの道路に対
する姿勢を表すパラメータを算出するための装置に関す
るものである。

【０００２】

【従来の技術】車載カメラによって車両の前方や後方を
撮像し、撮像された画像中の物体を認識するための技術
が種々提案されている。例えば、車両の前方を車載カメ
ラで撮像し、撮像された画像を画像処理して前方の他車
両を認識することができれば、他車両が異常接近したと
きには、ステアリングやブレーキを自動的に動作させる
ことによって、自動的に事故を回避できる。また、道路
標識を認識することができれば、この認識された道路標
識に対応する情報を、ナビゲーション装置におけるいわ
ゆる経路誘導機能のために用いることができる。

【０００３】車載カメラによって撮像される物体を画像
認識する場合、画面中における物体の位置が刻々と変化
する。このように画面中で移動していく物体を画像認識
する場合に、その認識効率を高めるためには、道路（静
止座標系）に対する車載カメラの姿勢を表す車載カメラ
の姿勢パラメータを正確に決める必要がある。前記姿勢
パラメータには、道路（静止座標系）に対する車載カメ
ラのヨー角、ロール角及びピッチ角、並びに特定の道路
平行線に対する車載カメラの横方向の相対位置が含まれ
る。車載カメラの姿勢パラメータを正確に定めることに
よって、画面中における物体の挙動が推定でき、この推
定結果を利用すれば、撮像された画面から物体を含む画
像部分を切り出し、この切り出された画像に関して画像
認識処理を行うことができる。

【０００４】

【発明が解決しようとする課題】ところで、車載カメラ
の姿勢パラメータについての発明者の現在の研究では、
姿勢パラメータの算出に当たり、道路の中央分離線や路
側帯の境界線等の道路平行線を２本求め、前記車載カメ
ラによって撮像される画面内において道路平行線が交わ
って消失する点である道路消失点を求めることができれ
ば、前記２本の道路平行線及び道路消失点に基づいて車
載カメラの姿勢パラメータを算出できることが分かって
いる（特願平５−２２３３５７号で特許出願済）。

【０００５】この算出方法は後に実施例で説明するが、
現在のところ、次のような問題がある。すなわち、現実
に道路消失点や道路平行線が得られない場合がある。例
えば、渋滞していて直ぐ前に車両が存在する場合や、道
路平行線が鎖線である場合である。

【０００６】このような場合には、車載カメラの姿勢パ
ラメータがその期間求められず、撮像された画像中の物
体の正確な認識ができなくなるという不都合を生じる。
そこで、本発明の目的は、上述の技術的課題を解決し、
道路消失点や道路平行線が得られない場合でも、時間的
処理手法を用いることによって、姿勢パラメータの正確
な算出を可能にする車載カメラの姿勢パラメータ算出装
置を提供することである。

【０００７】

【課題を解決するための手段及び作用】

(1) 前記の目的を達成するための請求項１記載のカメラ
の姿勢パラメータ算出装置は、車載カメラによって車両
の前方又は後方を撮像して、ディジタル画像信号に変換
する画像処理手段と、前記車載カメラによって撮像され
た画像から、道路の延びる方向と平行な道路平行線を抽
出する道路平行線抽出手段と、２本の道路平行線の先端
が交わり消失する点である道路消失点を抽出する道路消
失点抽出手段と、道路消失点の座標に基づいて道路に対
する車載カメラのヨー角を観測するヨー角観測手段と、
各種センサからの信号に基づいて車両の位置を検出する
位置検出処理装置の出力データに含まれる車両の進行方
位の変化量を取得し、前に算出された道路に対する車載
カメラのヨー角と車両の進行方位の前記変化量とを所定
の漸化式に当てはめて、道路に対する車載カメラのヨー
角の推定値を算出するヨー角推定値算出手段と、前記ヨ
ー角観測手段によって観測される道路に対する車載カメ
ラのヨー角の観測値及び前記ヨー角推定値算出手段によ
って算出される道路に対する車載カメラのヨー角の推定
値のいずれか一方又は双方を用いて道路に対する車載カ
メラのヨー角を決定するヨー角演算手段とを備えるもの
である。

【０００８】このカメラの姿勢パラメータ算出装置によ
れば、前記車載カメラによって撮像された画像から当該
画面内において道路の延びる方向と平行な道路平行線を
抽出し、２本の道路平行線の先端が交わり消失する点で
ある道路消失点を求めることができる。そして、この道
路消失点の座標（水平方向をｘ、垂直方向をｙとした場
合には、ｘ座標）に基づいて道路に対する車載カメラの
ヨー角を観測することができる。

【０００９】一方、車載カメラによって撮像された画像
情報とは無関係に、位置検出処理装置の出力データに含
まれる車両の進行方位に関する情報を取得し、前に算出
された道路に対する車載カメラのヨー角と車両の進行方
位の変化量とを漸化式に当てはめて、現時点の道路に対
する車載カメラのヨー角の推定値を算出することができ
る。

【００１０】したがって、ヨー角観測手段によって道路
に対する車載カメラのヨー角の観測値が得られなかった
場合には、ヨー角の推定値をヨー角とすることができ、
道路消失点が得られ、ヨー角観測手段によって道路に対
する車載カメラのヨー角の観測値が得られた場合には、
ヨー角の観測値をヨー角とすることができる。すなわ
ち、ヨー角の観測値と推定値とによって相互に相手を補
うことができる。

【００１１】具体的には、ヨー角観測手段からヨー角の
観測値が得られない場合は、前記推定値を、道路に対す
る車載カメラのヨー角とすればよい（請求項２）。ま
た、ヨー角の観測値と推定値が得られた場合には、この
差が一定の範囲内にあれば観測値と推定値との重み付き
平均をとってそれをヨー角としてもよい（請求項３）。

【００１２】また、ヨー角の観測値と推定値が得られた
場合には、この差が一定の範囲を超えていれば、前記推
定値を、道路に対する車載カメラのヨー角としてもよい
（請求項４）。このような処理は車両の振動等でヨー角
の観測値が急変した場合に有効である。さらに、前記推
定値を採用する処理が一定走行距離以上、一定時間以上
又は一定回数以上続けば、推定値よりもヨー角の観測値
を信頼して、道路に対する車載カメラのヨー角としても
よい（請求項５）。

【００１３】なお、前記ヨー角演算手段は、車両が旋回
中であることを示すものである場合に、旋回が終了する
までは道路に対する車載カメラのヨー角を算出しないこ
とが望ましい（請求項６）。この理由は、交差点等を旋
回中に、道路に対するヨー角を求めることは難しく、ま
た求めても意味がないことがあるからである。 (2) 前記の目的を達成するための請求項７記載のカメラ
の姿勢パラメータ算出装置は、前記道路消失点抽出手段
から得られる道路消失点の座標に基づいて道路に対する
車載カメラのピッチ角を観測するピッチ角観測手段と、
道路消失点抽出手段から道路消失点が得られず、かつ道
路平行線抽出手段から道路平行線が１本のみ得られてい
る場合には、前記ヨー角演算手段によって算出された道
路に対する車載カメラのヨー角と、１本の道路平行線と
から道路消失点の座標を推定し、この推定された座標に
基づいて道路に対する車載カメラのピッチ角を得るピッ
チ角演算手段とをさらに備えるものである。

【００１４】このカメラの姿勢パラメータ算出装置によ
れば、前記車載カメラによって各周期ごとに撮像された
画像から当該画面内において道路の延びる方向と平行な
道路平行線を抽出し、２本の道路平行線の先端が交わり
消失する点である道路消失点を求め、そして、この道路
消失点の座標（水平方向をｘ、垂直方向をｙとした場合
には、ｙ座標）に基づいて道路に対する車載カメラのピ
ッチ角を観測することができる。

【００１５】一方、車載カメラによって撮像された画像
情報とは無関係に、前記ヨー角演算手段によって算出さ
れた道路に対する車載カメラのヨー角を用いれば道路消
失点の存在する方向（ｘ座標）が分かるので、これと前
記１本の道路平行線との交点から道路消失点の座標（ｙ
座標）を推定し、この推定された座標に基づいて道路に
対する車載カメラのピッチ角を得ることができる。

【００１６】なお、前記ピッチ演算手段は、車両が旋回
中の場合には、旋回の終了するまでは道路に対する車載
カメラのピッチ角を算出しないことが望ましい（請求項
８）。 (3) 前記の目的を達成するための請求項９記載のカメラ
の姿勢パラメータ算出装置は、前記道路平行線抽出手段
によって抽出された道路平行線の傾きを検出する傾き検
出手段と、前記傾き検出手段によって検出された道路平
行線の傾きと、車載カメラの道路面に対する高さとの情
報を使って、道路に平行な所定の基準線からの車載カメ
ラの横ずれ距離を観測する横ずれ距離観測手段と、前記
位置検出処理装置の出力データに含まれる車両の走行距
離を取得し、前に算出された道路に対する車載カメラの
横ずれ距離と車両の前記走行距離とを所定の漸化式に当
てはめて、道路に対する車載カメラの横ずれ距離の推定
値を算出する横ずれ距離推定値算出手段と、前記横ずれ
距離観測手段によって観測される道路に対する車載カメ
ラの横ずれ距離の観測値及び前記横ずれ距離推定値算出
手段によって算出される道路に対する車載カメラの横ず
れ距離の推定値のいずれか一方又は双方を用いて道路に
対する車載カメラの横ずれ距離を決定する横ずれ距離演
算手段とを備えるものである。

【００１７】このカメラの姿勢パラメータ算出装置によ
れば、前記車載カメラによって撮像された画像から当該
画面内において道路の延びる方向と平行な道路平行線を
抽出し、傾き検出手段によって道路平行線の傾きを検出
することができる。そして、この道路平行線の傾きと、
車載カメラの道路面に対する高さとの情報を使って、道
路に平行な所定の基準線からの車載カメラの横ずれ距離
を観測することができる。

【００１８】一方、車載カメラによって撮像された画像
情報とは無関係に、位置検出処理装置の出力データに含
まれる車両の走行距離を取得し、前に算出された道路に
対する車載カメラの横ずれ距離と車両の前記走行距離と
を所定の漸化式に当てはめて、道路に対する車載カメラ
の横ずれ距離の推定値を算出することができる。したが
って、横ずれ距離観測手段によって道路に対する車載カ
メラの横ずれ距離の観測値が得られなかった場合、車載
カメラの横ずれ距離の推定値を横ずれ距離とすることが
でき、道路消失点が得られ、横ずれ距離観測手段によっ
て道路に対する車載カメラの横ずれ距離の観測値が得ら
れた場合には、横ずれ距離の観測値を横ずれ距離とする
ことができる。すなわち、横ずれ距離の観測値と推定値
とが相互に相手を補うようにすることができる。

【００１９】具体的には、横ずれ距離観測手段から横ず
れ距離の観測値が得られない場合は、前記推定値を、道
路に対する車載カメラの横ずれ距離とすればよい（請求
項１０）。また横ずれ距離演算手段は、横ずれ距離の観
測値が得られた場合は、前記道路に対する車載カメラの
横ずれ距離の推定値と、横ずれ距離の観測値とを比較
し、この差が一定値より大きければ、前記推定値を、道
路に対する車載カメラの横ずれ距離としてもよい（請求
項１１）。

【００２０】なお、前記横ずれ距離演算手段は、車両が
旋回中である場合に、旋回が終了するまでは道路に対す
る車載カメラの横ずれ距離を算出しないことが望ましい
（請求項１２）。

【００２１】

【実施例】以下では、本発明の一実施例が適用された車
両用画像認識システムについて詳細に説明する。 (1) 車両用画像認識処理システムの概要以下で説明する車両用画像認識処理システムは、車両に
搭載されたカラー車載カメラで車両の周囲を撮像し、撮
像された画像に基づいて道路の周辺の物体を認識するた
めの装置である。認識される物体は、例えば、信号機、
道路標識、道路の表面に描かれた道路表示及び走行中の
道路と立体交差している高架道路等の道路施設並びに他
車両等である。

【００２２】車両用画像認識処理システムは、次の〜
の４つの処理を実行することによって、車載カラーカ
メラで撮像された画像から、道路に関連した施設等の物
体を認識する。なお、、及びの各処理に関して
は、必ずしもカラー車載カメラが用いられる必要はな
い。直線候補点抽出処理道路消失点算出処理車載カメラの姿勢パラメータ算出処理物体認識処理直線候補点抽出処理とは、車載カラーカメラによって撮
像された画像中の車両の進行方向に沿った直線部分
（「道路平行線」という）を構成する点を抽出する処理
である。直線部分には、道路の両側部、道路上の白線や
黄線、中央分離帯、路側帯、前方の車両の輪郭線、道路
標識の輪郭線等がある。

【００２３】道路消失点算出処理とは、自車両が走行し
ている道路の左右のエッジが交わり画面上で消失する点
を演算する処理である。具体的には、直線候補点抽出処
理によって抽出された直線候補点に基づいて算出され
る。車載カメラの姿勢パラメータ算出処理とは、道路に
対する車載カメラの姿勢等を求めるための処理である。
この処理には、道路消失点算出処理によって得られた道
路消失点及び道路平行線が利用される。

【００２４】物体認識処理とは、車載カメラで撮像され
た画像中の物体を画像認識するための処理である。物体
認識処理では、特定の物体を認識する際に、その物体が
含まれている画像領域を画面から切り出す処理が行われ
る。この場合、画面中における物体の位置は車両の走行
に伴って変化していく。そこで、物体の画面上における
変位が、前記の車載カメラの姿勢パラメータ等に基づい
て推定され、これに基づいて画像の切り出しが行われ
る。

【００２５】このような車載用画像認識処理システムに
よれば、自車両の周囲の物体を認識することができる。
そのため、認識結果を車両のステアリングやブレーキの
自動制御に利用することにより、車両の自動運転への途
がひらかれ、車両の安全な運行に寄与できる。以下で
は、まず、車載用画像認識処理システムの構成について
説明する。そして、前記〜の直線候補点抽出処理、
道路消失点算出処理、車載カメラの姿勢パラメータ算出
処理及び物体認識処理について順に説明する。 (2) 車両用画像認識処理システムの構成図１は、車両用画像認識処理システムの電気的構成を示
すブロック図である。この車両用画像認識処理システム
は、車両の周辺の物体を画像認識するための画像認識処
理装置１を備えている。この画像認識処理装置１には、
車両の現在位置及び車両の進行方位を検出して道路地図
とともに表示装置に表示するための位置検出処理装置２
が接続されている。

【００２６】画像認識処理装置１は、車両の例えば前方
部や車室内に取り付けられた車載カラーカメラ１１を備
えている。この車載カラーカメラ１１は、車両の前方を
撮像することができるものである。車載カラーカメラ１
１のほかに、又は車載カラーカメラ１１に代えて、車両
の後方や車両の側方を撮像できる別の車載カメラが備え
られていてもよい。

【００２７】車載カラーカメラ１１は、撮像した画面の
各点をカラー表現したアナログ電気信号を出力する。こ
のアナログ信号は、画像処理回路１３において、アナロ
グ／ディジタル変換等の処理を受けて、画像データに変
換される。この画像データは、マイクロコンピュータ等
を含む画像認識処理部１５に入力される。画像認識処理
部１５には、ＲＡＭ（ランダム・アクセス・メモリ）等
を含む記憶部１７が接続されている。また、画像認識処
理部１５には、位置検出処理装置２から支援情報が与え
らる。

【００２８】位置検出処理装置２は、車両の走行距離を
検出するための距離センサ（例えば車輪速センサ）２１
及び車両の進行方位を検出するための方位センサ（例え
ばジャイロ）２２を備えている。これらのセンサ２１及
び２２の出力は、センサ処理回路２３において処理され
ることにより、走行距離データ及び現在方位データに変
換される。これらのデータが、マイクロコンピュータ等
を内部に含む位置検出処理部２５に入力される。位置検
出処理部２５は、センサ処理回路２３から入力されるデ
ータに基づいて、車両の現在位置データを算出する。

【００２９】位置検出処理部２５には、道路地図を記憶
した道路地図メモリ２７と、ＲＡＭ等を含む記憶部２８
と、ＣＲＴ（陰極線管）や液晶表示パネルからなる表示
器２９とが接続されている。道路地図メモリ２７は、例
えば、ＣＤ−ＲＯＭで構成されている。位置検出部２５
は、算出された現在位置データに基づいて道路地図メモ
リ２７を検索し、現在位置の周辺の道路地図を読み出
す。この道路地図は、表示器２９に表示される。このと
き、車両の現在位置を表すマークが道路地図上に重ねて
表示される。

【００３０】位置検出処理部２５は、画像認識処理装置
１の画像認識処理部１５に、道路地図データ、現在方位
データ、現在位置データ及び走行距離データを、支援情
報とし与える。これらのデータの他に、単位時間当たり
又は単位走行距離当たりの進行方位の変化量を表す方位
変化データを画像認識処理部１５に与えることもある。 (3) 直線候補点抽出処理次に、直線候補点抽出処理について説明する。

【００３１】図２は、車載カラーカメラ１１によって撮
像された画像例を示す図である。ただし手前の車両の運
転席は、想像しやすいように別に書き入れたものであ
る。車両の前方に向けられた車載カラーカメラ１１によ
って撮像される画像中の道路の路側付近には、路側白線
４３が設けられている。また、道路の側部には、路側帯
４４が設けられている。画面中において、走行中の道路
が消失する箇所が、道路消失点ＮＰである。なお、４
６，４７，４８は、前方又は側方を走行中の他車両であ
る。

【００３２】直線候補点抽出処理では、車載カラーカメ
ラ１１で撮像された画像を、水平走査方向ＤＨに沿って
画面の上端から下端まで走査する。この走査は、車載カ
ラーカメラ１１から画像認識処理部１５を通って記憶部
１７に記憶された画像データを順に読み出すようにして
実行される。そして、水平走査方向ＤＨに沿って画面を
構成する各画素を走査したときに、色度若しくは輝度又
はその両方が安定している安定状態と、色度若しくは輝
度又はその両方が大きく変化する不安定状態との間で遷
移したことに基づいて直線候補点を検出する。安定状態
及び不安定状態は、それぞれ、次のようにして検出され
る。

【００３３】例えば、車載カラーカメラが、赤（Ｒ）、
緑（Ｇ）及び青（Ｂ）に対応した３原色信号を出力する
ものであるとする。この３原色信号は色調を表す信号で
ある。色調とは、色度と輝度とを合わせて表現した量で
ある。この場合、記憶部１７には、ＲＧＢの３原色画像
データが記憶されることになる。水平走査方向ＤＨに沿
った走査線上の任意の点におけるＲ、Ｇ、Ｂの各画像デ
ータをそれぞれｒ(t)，ｇ(t) ，ｂ(t) とする。ｔは、
処理周期を表し、水平走査方向ＤＨに沿った走査線上の
１つの点に対応する。

【００３４】この場合に、不安定状態は、例えば下記
(1) 式で定義される判定値Ｐ(t) に対して、下記(2) 式
が成立することに基づいて検出される。ｍ１は定数であ
る。また、ｊ₁，ｊ₂及びｊ₃は重み付けのための定数
である。例えば、Ｒデータは明るさの変化に対する変動
が大きいので定数ｊ₁は比較的大きな値とされ、Ｂデー
タは明るさの変化に対する変動が小さいので定数ｊ₃は
比較的小さな値とされる。

【００３５】Ｐ(t) ＝ｊ₁｜ｒ(t) −ｒ(t-1) ｜＋ｊ₂｜ｇ(t) −ｇ(t-1) ｜＋ｊ₃｜ｂ(t) −ｂ(t-1) ｜ (1) Ｐ(t) ＞ｍ１ (2) すなわち、水平走査方向ＤＨに沿って隣接する２つの処
理対象点の色調の変化の絶対値の線形和が、所定の定数
ｍ１よりも大きい場合に、色調が大きな変化を示してい
ることが検出される。隣接する処理対象点は、必ずしも
隣接する２つの画素とは限らず、ある所定数の画素間隔
で処理対象点を設定してもよい。

【００３６】一方、色調の安定状態は、前記(1) 式の判
定値Ｐ(t) に対して、下記(3) 式が、一定個数（例えば
１０個）以上の連続する処理対象点に関して成立するこ
とに基づいて検出される。ｎ１は定数である（ただし、
ｎ１＜ｍ１）。Ｐ(t) ＜ｎ１ (3) すなわち、水平走査方向ＤＨに隣接する２つの処理対象
点の色調の変化の絶対値の線形和が、所定の定数ｎ１よ
りも小さい状態が、一定個数の処理対象点に関して続い
ている場合に、色調が安定していることが検出される。

【００３７】図３は直線候補点の検出処理を説明するた
めの図である。図３(a) は車載カラーカメラ１１によっ
て撮像された画像例を示し、図３(b) はある走査線ＳＨ
Ｌ上におけるＲ、Ｇ、Ｂディジタルデータの変化を示
す。Ｒ、Ｇ、Ｂの各データの変化は、それぞれ曲線Ｌ
Ｒ、ＬＧ、ＬＢで示されている。この図３から、道路５
１に形成された白線５２，５３，５４及び中央分離帯５
５の付近では、色調が激しく変化することが理解され
る。また、白線等が形成されていない道路表面に対応し
た画像部分に対しては、色調が安定していることが理解
される。

【００３８】図４は、直線候補点を検出するために画像
認識処理部１５によって実行される処理を説明するため
のフローチャートである。フローチャートに沿って説明
すると、ステップＳ１では、車載カラーカメラ１１で撮
像される１枚のカラー画像のデータが記憶部１７に格納
される。そして、画像の上端から水平方向に画素を走査
しながら、処理対象の画素に対する処理が行われる（ス
テップＳ２）。ある１本の走査線上の全ての処理対象の
画素に対する処理が終了したときには（ステップＳ
３）、走査する対象を垂直方向に移動して処理が実行さ
れる（ステップＳ４）。垂直方向への処理も終了すれば
（ステップＳ５）、１枚のカラー画像に対する直線候補
点の検出処理を終了する。

【００３９】水平走査方向に沿った走査線上の全ての処
理対象の画素に対する処理が終了する以前には、ステッ
プＳ３からステップＳ６に処理が移る。ステップＳ６で
は、ある１つの処理対象の画素に対して安定状態か不安
定状態かを検出するために必要なデータが記憶部１７か
ら読み出される。そして、ステップＳ７では、不安定状
態であるかどうかが判定される。すなわち、前記(2) 式
が満たされているかどうかが判定される。不安定状態で
あると判定されたときには、ステップＳ８において、そ
れ以前には、安定状態であるとの判定がなされていたか
どうかが判断される。もしそうであれは、その時点の処
理対象の画素は、安定状態から不安定状態への変化点の
画素である。したがって、ステップＳ１１において、そ
の処理対象の画素の座標（画面上における座標）が、直
線候補点の座標として記憶部１７に格納される。ステッ
プＳ７において不安定状態と判定される以前にも不安定
状態と判定されていた場合には、不安定状態が継続して
いるだけであるから、直線候補点が検出されていないも
のとして、ステップＳ２に戻る。

【００４０】ステップＳ７において不安定状態でないと
判定されたときには、ステップＳ９に進む。ステップＳ
９では、それ以前に処理された一定個数（Ｎ）の処理対
象画素に関して、色調の変化が小さいかどうかが調べら
れる。すなわち、前記(3) 式を満たす処理対象点が一定
個数（Ｎ）以上連続しているかどうかが判断される。前
記(3) 式を満たす処理対象点が一定個数（Ｎ）以上連続
していれば、ステップＳ１０において、さらに、（Ｎ＋
１）個前の処理対象点において不安定状態が検出された
かどうかが判断される。不安定状態が検出されていれ
ば、その不安定状態が検出された処理対象点が、直線候
補点として検出され、その座標が記憶部１７に格納され
る（ステップＳ１１）。

【００４１】一方、ステップＳ９において一定個数
（Ｎ）分の処理対象点に関して色調の変化が小さい状態
が継続しているわけではないと判断されたときは、ステ
ップＳ２に戻る。また、ステップＳ１０において、（Ｎ
＋１）個前の処理対象点において不安定状態が検出され
ていないときにも、ステップＳ２に戻る。このようにし
て、車載カラーカメラ１１で撮像された画像が水平走査
方向に沿って走査され、走査線上における色調の変化の
程度が調べられる。そして、色調が安定している安定状
態と、色調が不安定な不安定状態とが切り換わる処理対
象点が、直線候補点として検出される。

【００４２】図５は、上のようにして得られた直線候補
点Ｐ₁₁，Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，・・・・を結ぶことによ
って得られる直線部分を図示した図である。すなわち、
道路の両側部、路側白線４３、及び他車両４６，４７，
４８の輪郭が、直線部分Ｌ１，Ｌ２，・・・・として図示さ
れている。なお、この図はあくまでも道路消失点の説明
のための仮想的な図であって、実際に直線部分の表示さ
れた画像を求めるわけではない。 (4) 道路消失点算出処理道路消失点算出処理は、直線候補点抽出処理によって得
られた直線候補点を用いて、図５に示される道路消失点
ＮＰを求める処理である。図５から明らかなように、道
路消失点を求める処理は、直線候補点Ｐ₁₁，Ｐ₁₂，・・・
・；Ｐ₂₁，Ｐ₂₂，・・・・を連結する直線の交点を求める処
理にほかならない。

【００４３】この道路消失点算出処理では、直線候補点
の座標列に対して、Ｈough変換処理を２回繰り返して施
すことによって道路消失点の初期値を求める。そして、
それ以後は、時間のかかるＨough変換処理をすることな
く、簡単な方法で道路消失点を定期的に更新していく。
まず、Ｈough変換について概説する。図６(a) 及び図６
(b) はＨough変換を説明するための図である。図６(a)
に示すように、複数の点（ｘ_i，ｙ_i）（ただし、ｉ＝
１，２，３，・・・・）が直線ｘ＝ａｙ＋ｂの上に存在して
いれば、任意のｉに対して、ｘ_i＝ａｙ_i＋ｂが成立す
る。この式を（ａ，ｂ）を変数とみなしてａｂ座標平面
で考えると、この座標平面での直線の式は、ｂ＝−ｙ_i
ａ＋ｘ_iとなる。全てのｉについてのａｂ平面上におけ
るグラフ化は、図６(b) に示されている。すなわち、複
数のｉに対応した複数の直線群は、ある一点（ａ₀，ｂ
₀）を通る。これは、複数の点（ｘ_i，ｙ_i）がいずれ
も１つの直線上に存在していることの当然の帰結であ
る。

【００４４】そこで、ａｂ座標平面を充分に細かな格子
升目に区画し、（ｘ_i，ｙ_i）に対応する直線がある格
子升目を通過するものであるときに、その格子升目の計
数を１だけ増やす。この操作を全ての（ｘ_i，ｙ_i）関
して行う操作がＨough変換である。前記の場合、
（ａ₀，ｂ₀）の点の格子升目の計数値が最大となるは
ずである。そこで、ａｂ座標平面上で計数値が最大の格
子升目を求めれば、（ａ₀，ｂ₀）が求まる。したがっ
て、複数の点（ｘ_i，ｙ_i）を通る直線の方程式は、ｘ
＝ａ₀ｙ＋ｂ₀と定めることができる。このように、Ｈ
ough変換は、画像処理の分野において、複数の点
（ｘ_i，ｙ_i）を通る直線を求める際に用いられる。

【００４５】図７はＨough変換を２回繰り返して道路消
失点を求めるための処理を説明するための図である。図
７(a) には車載カメラ１１によって撮像された画面に対
応した座標平面であるｘｙ座標平面が示されており、図
７(b) には１回目のＨough変換における変換座標（第１
の変換座標）平面であるａｂ座標平面が示されており、
図７(c) には２回目のＨough変換における変換座標（第
２の変換座標）平面であるｍｎ座標平面が示されてい
る。

【００４６】図７(a) に示すように、直線候補点Ｐ₁₁，
Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，；Ｐ₃₁，Ｐ₃₂，・・・・がそれぞ
れ属する直線Ｌ１，Ｌ２，Ｌ３は、道路消失点（ｘ₀，
ｙ₀）で交わると考えられる。座標（ｘ₀，ｙ₀）を通
る直線の方程式は、下記(4)式のとおりである。なお、
Ｃは定数である。ｘ＝Ｃ（ｙ−ｙ₀）＋ｘ₀＝Ｃｙ＋（ｘ₀−Ｃｙ₀） (4) そこで、ａ＝Ｃ、ｂ＝ｘ₀−Ｃｙ₀とおくと、変換式ｘ
＝ａｙ＋ｂが得られ、ａ，ｂの関係は下記(5) 式で表さ
れる。

【００４７】ｂ＝−ａｙ₀＋ｘ₀ (5) 直線候補点Ｐ₁₁，Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，；Ｐ₃₁，Ｐ
₃₂，・・・・の座標に対してＨough変換を施した場合、ａｂ
座標平面では、複数の直線Ｌ１，Ｌ２，Ｌ３に対応し
て、計数値が極大値をとる格子升目が複数個得られるは
ずである。しかし、直線Ｌ１，Ｌ２，Ｌ３は一点
（ｘ₀，ｙ₀）で交わるのであるから、極大値をとる格
子升目Ｄ₁，Ｄ₂，Ｄ₃は、前記(5) 式の直線上になけ
ればならない（図７(b) 参照）。

【００４８】そこで、極大値をとる格子升目Ｄ₁，
Ｄ₂，Ｄ₃の座標に対して、下記(6) 式の変換式を用い
て、２回目のＨough変換をｍｎ座標平面上に行う。ｂ＝ｍａ＋ｎ (6) ａｂ座標平面において計数値が極大となる格子升目
Ｄ₁，Ｄ₂，Ｄ₃は(5) 式の直線上にあるから、ｍｎ座
標平面では、ｍ＝−ｙ₀、ｎ＝ｘ₀に対応した格子升目
の計数値が最大となる。これにより、ｘｙ座標平面にお
ける道路消失点ｎＰの座標（ｘ₀，ｙ₀）を求めること
ができる。

【００４９】このようにして求められた道路消失点と道
路平行線とは、Ｈough変換処理を２回行って求めたもの
であるが、Ｈough変換処理をするには処理時間が多くか
かるので、車両走行中、毎回Ｈough変換処理をして求め
る訳にはいかない。そこで、２回目以後では、多少精度
が低下しても、簡単に素早く道路消失点と道路平行線と
を求める方法を採用する。

【００５０】図８(a),(b) は、この簡易な道路消失点算
出方法を説明する原理図であり、車載カラーカメラ１１
によって撮像された画像に基づいて直線候補点を抽出
し、この画面に、前回の周期で求められた道路平行線を
仮想的に当てはめ（図８(a) 参照）、それらの道路平行
線の近傍にある直線候補点をそれぞれ数点特定する。そ
れから、これらの特定された数点を通る新しい道路平行
線Ｌ₁，Ｌ₂を算出して（図８(b) 参照）、今回の周期
での道路平行線とし、それらの交点を求めて道路消失点
とするのである。

【００５１】図９−図１２は、画像認識処理部１５（図
１参照）において実行される簡易な道路消失点算出方法
を説明するためのフローチャートである。まず、車載カ
ラーカメラ１１で撮像される最初のカラー画像のデータ
を取り込み（ステップＳ２１）、図４において説明した
ように直線候補点を抽出する（ステップＳ２２）。次
に、これらの直線候補点に基づいて前述したＨough変換
処理を２回行い（ステップＳ２３）、道路平行線を特定
し、その係数（傾き及び切片）と、道路消失点の座標を
求め、記憶する（ステップＳ２４）。

【００５２】なお、道路平行線の係数が正の場合には、
その道路平行線が車両の左側の道路平行線とされ、係数
が負のときにはその道路平行線が車両の右側の道路平行
線とされる。さらに次の画像を取り込む（ステップＳ２
５）。ここで取り込む画面は、処理時間の短縮のため、
車載カメラの全視野の画面でなく、例えば視野の下半分
の画面でもよい。視野の上半分の画面には、直線候補点
が存在しない可能性が高いからである。そしてこの画像
に基づいて直線候補点を抽出する（ステップＳ２６）。
そして、ステップＳ２４で、すなわち最初の周期で記憶
された道路平行線の中から符号の異なる道路平行線を取
り出しそれぞれＬ₁，Ｌ₂とする（ステップＳ２７）。
道路平行線が１本や０本でなく、符号の異なるものが２
本抽出できたとする理由は、Ｈough変換処理を行ってい
るので、道路平行線が多数本抽出できている可能性が高
いからである。

【００５３】次に、簡易な道路消失点算出方法を実行す
る。まず、ステップＳ２６で抽出された直線候補点を１
点取り出す（ステップＳ３１）。そしてこの１点と道路
平行線Ｌ₁との垂直距離を求め、この距離が基準値以内
であるかどうかを判定する（ステップＳ３２）。基準値
から出ていれば、ステップＳ３１に戻り、他の直線候補
点を取り出し、同様のチェックをする。もし基準値に入
っていれば、その点を採用する（ステップＳ３４）。採
用された点が３点になれば（ステップＳ３５）、それら
の３点をａ₁，ｂ₁，ｃ₁とおき登録する（ステップＳ
３６）。

【００５４】もし基準値に入っている点が３点なけれ
ば、前の周期と今の周期で画面が激変し、道路平行線Ｌ
₁が飛んでしまったという判断をすることができるの
で、道路平行線Ｌ₁については簡易な道路消失点算出方
法はとらない。そして、他の道路平行線Ｌ₂について簡
易な道路消失点算出方法を実行する（ステップＳ４１以
下）。

【００５５】３点が見つかればステップＳ３７に進み、
登録された３点ａ₁，ｂ₁，ｃ₁のうち、点ａ₁，ｂ₁
を結ぶ直線の傾きと、点ｂ₁，ｃ₁を結ぶ直線の傾きを
求め、これらの傾きの差が一定範囲内に入っているかど
うかを調べる。入っていれば、ステップＳ３８に進み、
三角形ａ₁，ｂ₁，ｃ₁の重心を求め、Ｍ₁とする。そ
して、重心Ｍ₁を通り、点ａ₁，ｂ₁を結ぶ直線の傾き
と点ｂ₁，ｃ₁を結ぶ直線の傾きの平均値を傾きとする
直線を新しい道路平行線Ｌ₁として記憶する（ステップ
Ｓ３９）。

【００５６】次に、道路平行線Ｌ₂について同じ処理を
繰り返す（ステップＳ４１以下）。すなわち、道路平行
線Ｌ₂近傍の直線候補点３点を探し出し、３点見つかれ
ば（ステップＳ４５）、それらの３点ａ₂，ｂ₂，ｃ₂
を登録する（ステップＳ４６）。そしてこれらの３点を
通る直線を新しい道路平行線Ｌ₂として記憶する（ステ
ップＳ４９）。

【００５７】次に、ステップＳ５１で、新しい道路平行
線Ｌ₁又はＬ₂が求まったかどうかを判断する。この場
合、道路平行線Ｌ₁及びＬ₂が両方求まった。道路平行線Ｌ₁のみ求まった。道路平行線Ｌ₂のみ求まった。

【００５８】道路平行線Ｌ₁，Ｌ₂のいずれも求まら
なかった。の４つのケースが考えられる。道路平行線Ｌ₁及びＬ₂
が両方求まっているの場合は、道路平行線Ｌ₁と道路
平行線Ｌ₂との交点を求め、この交点を新しい道路消失
点として記憶する（ステップＳ５２）。以上のようにし
て求められた道路平行線、道路消失点は次に説明する車
載カメラの姿勢パラメータ算出処理において用いられ
る。

【００５９】そして次の周期で画像を取り込み（ステッ
プＳ５３）、この画像に基づいて直線候補点を抽出する
（ステップＳ５４）。この後、道路平行線Ｌ₁及びＬ₂
が両方求まっているので、求められた道路平行線Ｌ₁，
Ｌ₂に基づいて、ステップＳ３１以下の処理を繰り返す
ことになる。の場合は、道路消失点は求めること
ができないので、ステップＳ５３，５４を経てステップ
Ｓ２３に戻り、Ｈough変換処理をもう一度行って道路平
行線Ｌ₁と道路平行線Ｌ₂とを求める作業からやり直す
ことになる。ただし、の場合は、少なくとも一方の
道路平行線が求まっているので、この求まっている１本
の道路平行線の情報と、前処理周期において求められた
情報に基づいて、次に説明するように、車載カメラの姿
勢パラメータの算出処理を行う。

【００６０】以上の処理を要約すると、前の周期で求め
られた左右２本の道路平行線の近傍の直線候補点をそれ
ぞれ数個（上の処理では各３個）特定し、それらの直線
候補点を通る道路平行線を求めて、本周期での道路平行
線とし、それらの道路平行線の幾何学的交点を求めて本
周期での道路消失点とする。以下同様の手順を繰り返し
行い、道路平行線及び道路消失点を更新していく。

【００６１】このように、前述したようなＨough変換処
理を繰り返すのではなく、前回で処理結果を参照しなか
ら簡単な計算をして、道路消失点を求めることができる
ので、処理周期ごとに迅速確実に、道路消失点を求め更
新していくことができる。なお、この簡易な道路消失点
算出処理における、ステップＳ３７−３９及びＳ４７−
４９の道路平行線の算出方法は、この方法に限定される
ものではない。道路平行線は、例えばルーチン化された
最小二乗法を利用しても簡単に求めることができる。

【００６２】また、ステップＳ３６，４６では道路平行
線の近傍から３点ずつ採用しているが、３点に限られる
ものではなく、２点でも４点以上でもよい。しかし、あ
まり少ないと道路平行線の精度が低下し、あまり多いと
道路平行線を求められないケースが多くなる。 (5) 車載カメラの姿勢パラメータ算出処理この処理では、道路に対する車載カメラ１１の姿勢を表
す姿勢パラメータを求める。姿勢パラメータには、鉛直
軸まわりの回転角であるヨー角、車両の進行方向まわり
の回転角であるロール角、水平面に沿うとともに進行方
向と直交している方向のまわりの回転角であるピッチ
角、及び道路に平行な所定の基準線からの車載カメラの
横ずれ距離（道路に対する横方向の相対位置）が含まれ
る。

【００６３】車載カメラ１１は、所定の姿勢で正確に車
両に取り付けるが、取付け誤差の発生は回避できない。
そこで、車載カメラの姿勢パラメータ算出処理では、車
載カメラ１１の車両に対する取付け姿勢も併せて算出さ
れる。まず、座標系について説明する。道路座標系ＸＹ
Ｚと、車載カメラ座標系Ｘ′Ｙ′Ｚ′とを定義する。車
両の移動によらずに道路座標系の原点に車両があるもの
とし、車両の進行方向に沿った方向にＹ軸をとり（車両
の進行方向を＋Ｙとする）、Ｙ軸方向に対して右方向に
Ｘ軸をとる。また、道路に対する鉛直方向にＺ軸をと
る。車載カメラ座標系と道路座標系とは原点を共有して
いる。車載カメラ１１の撮像面は、ＸＺ平面にほぼ平行
で原点から距離Ｆ（Ｆは車載カメラ１１のレンズの焦点
距離）のところにあるものとする。

【００６４】Ｘ，Ｙ，Ｚ軸のまわりの回転角をそれぞれ
ピッチ角θ、ロール角φ、ヨー角ψとし、いずれも右ね
じの方向を正方向とする。このとき、車載カメラの取付
け誤差又は車両の旋回に伴う車載カメラの座標系の変換
式は、下記(7) 式で与えられる。ただし、車載カメラ１
１のレンズの主軸方向にＹ′軸をとり、撮像面と平行に
Ｘ′軸及びＺ′軸をとるものとする。

【００６５】

【数１】

【００６６】各回転角が微小であれば、前記(7) 式は、
下記(8) 式の近似式に変形できる。

【００６７】

【数２】

【００６８】点Ｐ（Ｘ，Ｙ，Ｚ）が撮像面上の点ｐ′
（ｘ′，ｙ′）に投影されるとき、次式が成立する。た
だし、座標（ｘ′，ｙ′）は撮像面上における２次元座
標である。ｘ′軸は車載カメラ座標系のＸ′軸方向にと
られ、ｙ′軸は車載カメラ座標系のＺ′軸方向にとられ
ている。ｘ′＝Ｆ・Ｘ′／Ｙ′ (9) ｙ′＝Ｆ・Ｚ′／Ｙ′ (10) したがって、前記(7) 式並びに前記(9) 式及び(10)式よ
り、下記(11)式及び(12)式が得られる。

【００６９】ｘ′＝Ｆ（Ｒ₁₁Ｘ＋Ｒ₁₂Ｙ＋Ｒ₁₃Ｚ）／（Ｒ₂₁Ｘ＋Ｒ₂₂Ｙ＋Ｒ₂₃Ｚ） (11) ｙ′＝Ｆ（Ｒ₃₁Ｘ＋Ｒ₃₂Ｙ＋Ｒ₃₃Ｚ）／（Ｒ₂₁Ｘ＋Ｒ₂₂Ｙ＋Ｒ₂₃Ｚ） (12) 特に前記(8) 式の近似が成り立つときは、下記(13)式及
び(14)式が得られる。

【００７０】ｘ′＝Ｆ（Ｘ＋ψＹ−φＺ）／（−ψＸ＋Ｙ＋θＺ） (13) ｙ′＝Ｆ（φＸ−θＹ＋Ｚ）／（−ψＸ＋Ｙ＋θＺ） (14) 一方、車載カメラの姿勢パラメータは、ピッチ角θ、ロ
ール角φ及びヨー角ψに関して、それぞれ次のように分
割される。ピッチ角θ：（道路に対する車両のピッチ角θ₀）＋
（車両に対する車載カメラ１１の取付けピッチ角θ₁）ロール角φ：（道路に対する車両のロール角φ₀）＋
（車両に対する車載カメラ１１の取付けロール角φ₁）ヨー角 ψ：車両に対する車載カメラ１１の取付けヨー
角ψ₁ なお、ヨー角ψに道路に対する車両のヨー角ψ₀が含ま
れていないのは、前述のように道路座標系のＹ軸を車両
の進行方向に沿った方向にとったからである。

【００７１】いま、車両が道路に対してψ₀の角度をな
す方向に走行しているものとし、道路は充分遠くまで直
線であるものとする。また、道路バンクの傾きは無視で
きるとする。そして、道路消失点の撮像面への写像点の
座標が（ｘ₀，ｙ₀）であるとする。この写像点の座標
は、前記の道路消失点算出処理によって求められた道路
消失点（図９、ステップＳ２４）に他ならない。

【００７２】この写像点の座標ｘ₀，ｙ₀と、車載カメ
ラの姿勢パラメータであるピッチ角θ、ロール角φ及び
ヨー角ψとの関係を求めるには、前記(11)式、(12)式
に、Ｙ ₀＝∞を代入すればよい。ｘ₀＝Ｒ₁₂Ｆ／Ｒ₂₂ ｙ₀＝Ｒ₃₂Ｆ／Ｒ₂₂ ここで、車両が道路に対してψ₀の角度をなす方向に走
行しているので、ψ→ψ₀＋ψ₁とおく。道路に対する
車両のロール角φ₀、ピッチ角θ₀、車載カメラ１１の
取付け角φ₁，θ₁が微小であるとすれば、Ｒ₁₂≒ sin（ψ₀＋ψ₁）Ｒ₂₂≒１Ｒ₃₂≒（φ₀＋φ₁） sin（ψ₀＋ψ₁）−（θ₀＋θ
₁）cos （ψ₀＋ψ₁）という近似が成り立つ。したがって、下記(15)式及び(1
6)式が得られる。

【００７３】ｘ₀≒ sin（ψ₀＋ψ₁）Ｆ (15) ｙ₀≒｛( φ₀＋φ₁)sin (ψ₀＋ψ₁) −( θ₀＋θ₁) cos(ψ₀＋ψ₁) ｝Ｆ (16) さらに、ψ₀，ψ₁が微小であるとすれば、下記の(17)
(18)式を得る。ｘ₀＝（ψ₀＋ψ₁）Ｆ＝ψＦ (17) ｙ₀＝−（θ₀＋θ₁）Ｆ＝−θＦ (18) これらの(17)(18)式は、道路消失点の撮像面上の座標
（ｘ₀，ｙ₀）を求めれば、道路に対する車載カメラの
姿勢パラメータであるピッチ角θ（＝θ₀＋θ₁）及び
ヨー角ψ（＝ψ₀＋ψ₁）を求めることができることを
示している。

【００７４】一方、姿勢パラメータには、ピッチ角θ、
ヨー角ψ以外に、ロール角φと道路に平行な所定の基準
線からの車載カメラの横ずれ距離Ａとがあるので、これ
らのロール角φと横ずれ距離Ａとを求めなければならな
い。これには、撮像面上の道路平行線の位置、形状を利
用する。道路平行線の高さＺは、道路から車載カメラ１
１までの高さがｈである場合、−ｈとなる。また、道路
に平行な基準線に対する車載カメラ１１の道路の法線方
向へのずれをＡとすると、車両が道路とψ₀ずれた方向
に走行していれば、下記(19)式が成り立つ。ここで、Ｙ
軸を車両の進行方向に沿った方向にとり、Ｙ軸方向に対
して直角方向にＸ軸をとっていることは、前に述べたと
おりである。

【００７５】Ｘ＝Ａ/cosψ₀＋Ｙ tanψ₀≒Ａ＋Ｙψ₀ (19) したがって、前記(11)式及び(12)式は、下記(20)式及び
(21)式にそれぞれ書き換えられる。

【００７６】

【数３】

【００７７】ただし、前記(11)式及び(12)式のψは、ψ
₁とおいた。これより、Ｙを消去すると、撮像面上の道
路平行線を表わす式である下記(22)式を得る。

【００７８】

【数４】

【００７９】もし、道路平行線が２本得られ、これらの
間隔Ｂが既知であれば、前記(22)式と同様な下記(23)及
び(24)式並びに(25)式が得られる。ただし、係数ａ，ｂ
及びＡに付した添字「１」，「２」は、それが付与され
た係数が２本の道路平行線のそれぞれに対応するもので
あることを表す。

【００８０】

【数５】

【００８１】前記(23)式及び(24)式のうち、ａ₁, ａ₂
に関する式を利用して解くと、下記(26)式、(27)式及び
(28)式が得られ、それぞれＡ₁, Ａ₂及びφが求まる。

【００８２】

【数６】

【００８３】なお、前記(23)(24)式において、θ，φ，
ψ₀，ψ₁は微小であるとしたので、これらの２次の成
分（θ²，θφ等）を無視すれば、ａ₁＝（Ａ₁＋φｈ）／（φＡ₁−ｈ）ａ₂＝（Ａ₂＋φｈ）／（φＡ₂−ｈ）が得られる。これらの式を解いて、Ａ₁，Ａ₂を求める
ことができる。

【００８４】Ａ₁＝−（ａ₁＋φ）ｈ／（１−φａ₁）Ａ₂＝−（ａ₂＋φ）ｈ／（１−φａ₂）これらの式は、ロール角φが分かっていれば、横ずれ距
離Ａ₁，Ａ₂を近似的に求めることができることを示し
ている。特に、車両が真っ直ぐに走行していてロール角
φ₀を無視すると、下記の(29)(30)式が得られる。

【００８５】Ａ₁＝−（ａ₁＋φ₁）ｈ／（１−φ₁ａ₁） (29) Ａ₂＝−（ａ₂＋φ₁）ｈ／（１−φ₁ａ₂） (30) さてここで、実際の直線道路で車両を走らせてみて、道
路消失点（ｘ₀，ｙ₀）のデータを求めてみる。そして
これらのデータを前記(17)，(18)式に代入すれば、車両
に対する車載カメラのヨー角ψやピッチ角θを求めるこ
とができる。

【００８６】ここで、道路に対する車両のロール角φ₀
やピッチ角θ₀は、それ自体は検出することができない
が、平均値「０」でばらつくノイズとして把握できる。
つまり、十分に長い時間にわたるロール角φ及びピッチ
角θの各平均値をとれば、この平均値のなかには道路に
対する車両のロール角φ₀やピッチ角θ₀は０になると
考えてもよい。さらに、道路に対する車両のヨー角ψ₀
については、車両が道路と平行に走行するならば、これ
も平均値「０」でばらつくノイズとしてもよいが、正確
に求めようとすれば、位置検出処理装置２から与えられ
る道路地図データ及び車両の現在方位データから求めて
もよい。すなわち、車両が走行中の道路の方向が道路地
図データから判り、車両の実際の進行方向が現在方位デ
ータから判る。そのため、道路の方位に対する実際の進
行方向の差を、道路に対する車両のヨー角ψ₀とすれば
よい。

【００８７】したがって、道路消失点（ｘ₀，ｙ₀）の
データを多数とって平均化すると、θ₀は前記のように
零、ψ₀は前記のように零又は一定値であると考えられ
るので、車両に対する車載カメラ１１の取付けヨー角ψ
₁や、取付けピッチ角θ₁を求めることができる。ま
た、ヨー角ψ₀やピッチ角θ₀の平均値からのずれであ
る標準偏差も求めることができる。

【００８８】さらに、走行中の撮像面上の道路平行線の
係数ａ又はｂを求める。もし、道路平行線の間隔Ｂが分
かっていれば、Ａ₁に関する２次方程式である前記(26)
式を解いてＡ₁を求めることができる。また(27)式から
Ａ₂を求めることができ、(28)式からロール角φを求め
ることができる。なお、間隔Ｂには、例えば道路の幅や
道路の白線の間隔を用いることができる。これらの間隔
は、道路地図データに記入しておけば道路地図データか
ら取得できる。

【００８９】前述したように、データを多数とって平均
化するので、φ₀の平均値も前記のように零であると考
えられる。したがって、車両走行する車載カメラ１１の
取付けロール角φ₁を求めることができる。また、ロー
ル角φ₀の平均値からのずれである標準偏差も求めるこ
とができる。以上のようにして、取付けヨー角ψ₁、ピ
ッチ角θ₁及びロール角φ₁と、ヨー角ψ₀、ピッチ角
θ₀及びロール角φ₀の信頼性を示す指標である標準偏
差とを求めることができ、一度求めた取付け角の値は、
以後の走行においても使用することができる。このよう
に、車両を走らせて取付けヨー角ψ₁、ピッチ角θ₁及
びロール角φ₁並びにヨー角ψ₀、ピッチ角θ₀及びロ
ール角φ₀の標準偏差を求める処理を「初期処理」とい
う。

【００９０】図１３−１７は、上述の車載カメラの姿勢
パラメータ算出処理のために画像認識処理部１５におい
て実行される処理を説明するためのフローチャートであ
る。この処理は、初期処理が終わった車両の走行中に例
えば一定距離ずつ走行するごとに行われるものであっ
て、処理実行回数を表わすパラメータを以下、処理周期
ｔ（ｔ＝１，２，３，…）と表現する。

【００９１】図１３は、車載カメラのヨー角の算出処理
を説明するためのフローチャートである。システムを立
ち上げた後ステップＳ６１では、車載カメラ１１で撮像
された１枚の画像の画像データを記憶部１７に格納す
る。ステップＳ６２では位置検出処理装置２からの支援
データを取り込む。そして、ステップＳ６３では、車両
が交差点等でカーブ走行しているかどうか判定する。カ
ーブ走行の判定は、位置検出処理装置２から取り込まれ
る車両の進行方位の変化率が一定値（例えば０．１°／
処理周期）を越えたかどうかで判断する。車両がカーブ
を走行しているときは、遠心力のために道路に対する車
両のロール角φ₀が異常に大きくなるおそれがあるの
で、姿勢パラメータの算出は不可能であるものとして、
ステップＳ８２に進む。

【００９２】なお、車両の速度が一定範囲内（例えば、
１００km/h以内）であるかどうか、車両の加減速度が一
定値（例えば０．１ｇ）未満であるかどうかを、姿勢パ
ラメータの算出の条件として用いてもよい。車両の速度
が一定範囲内にない場合には、車体に振動が生じたりし
て、道路に対する車両の姿勢パラメータが大きく振れる
る可能性があり、車両の減速度が一定値以上の場合に
は、道路に対する車両のピッチ角θ₀が異常に大きくな
る可能性があるからである。

【００９３】カーブ走行していないと判定された場合
は、既に述べた道路消失点の簡易算出方法を適用して、
左右２本の道路平行線が求まるかどうかを判断し（ステ
ップＳ６４−６６）、左右２本の道路平行線が求まれ
ば、それらの直線の交点から、道路消失点（ｘ₀，
ｙ₀）を求める（ステップＳ６９）。そして、前記(17)
(18)式を用いて、車載カメラの道路に対するヨー角ψを
求める（ステップＳ７０）。このとき車載カメラの車体
に対するヨー角ψ₁は、前述したように初期処理で求め
られているので、ヨー角ψを求めれば車両の道路に対す
るヨー角ψ₀を知ることができる。このヨー角ψ₀は、
処理周期ｔにおいて撮像画面から観測されたヨー角であ
るという意味で、以後観測値ψ_0t′ということにする。

【００９４】ステップＳ７１では、１つ前の処理周期に
おけるヨー角の採用値ψ_0t-1が求められているかどうか
判定する。ここで、「採用値」の意味について説明する
と、車載カメラの姿勢パラメータとして採用するヨー角
ψ₀は、できるだけ誤差が少ないほうがよいという当然
の要求がある。しかし、観測値をそのまま採用すると、
観測値は基本的に画面から得られる情報なので、渋滞し
ていて直ぐ前に車両が存在する場合や、道路平行線が鎖
線である場合には、道路平行線も道路消失点も得られな
い場合がある。そこで、ヨー角ψ₀の過去の履歴を考慮
した値を漸化式（例えば下記(31)式）によって求めてこ
れを「推定値」とし、これらの観測値と推定値とのいず
れか信頼できるほう、又はいずれもそれなりに信頼でき
れば両者の重み付き平均を採用するようにする。この採
用された値がここでいう「採用値」なのである。

【００９５】ステップＳ７１で、１つ前の処理周期にお
けるヨー角の採用値ψ_0t-1が求められていなければ、こ
のときは、観測値ψ_0t′を採用値ψ_0tとする（ステップ
Ｓ７２）。ステップＳ７１で１つ前の処理周期における
ヨー角の採用値ψ_0t-1が求められていれば、現処理周期
のヨー角の採用値ψ_0tを求める（ステップＳ７３）。こ
の方法を詳しく説明すると、次のようになる。

【００９６】まず、走行している道路が真っ直ぐで道路
方位が変化しない場合（この判断は例えば道路地図デー
タに基づいてすることができる）は、処理周期ｔ−１か
らｔまでの間の道路に対する車両のヨー角の変化量は、
位置検出処理装置２から得られる処理周期ｔ−１からｔ
までの間の車両の方位の変化量Δψ_0tと一致する。すな
わち１つ前の処理周期の採用値ψ_0t-1を使えば、次の漸
化式により、現処理周期の推定値ψ_0t″を得ることがで
きる。

【００９７】 ψ_0t″＝ψ_0t-1＋Δψ_0t (31) もし、１処理周期前の採用値ψ_0t-1が求まっていなけれ
ば、採用値が求まっている処理周期（ｔ−ａとする）の
採用値ψ_0t-aと処理周期ｔ−ａからｔまでの間の車両の
方位の変化量Δψ_0tとを用いて、式 ψ_0t″＝ψ_0t-a＋Δψ_0t （ａ＝２，３，４，…） (32) によって現処理周期の推定値ψ_0t″を得る。

【００９８】もし道路の方位が変われば、上の式は成り
立たないので、その代わりに前処理周期で得られた採用
値と観測値との差を用いて修正した次のいずれかの漸化
式を用いることとする。 ψ_0t″＝ψ_0t-1＋Δψ_0t−（ψ_0t-1′−ψ_0t-1） (33) ψ_0t″＝ψ_0t-a＋Δψ_0t−（ψ_0t-a′−ψ_0t-a） (34) この式の意味は、過去における採用値と観測値との差を
加味することによって、前回外れた推測分を今回補正す
るものである。前回推測が外れたのは、道路の方位が変
化したのが原因と考えられるからである。

【００９９】なお、上式を用いず、道路地図メモリ２７
に記憶されている道路地図データから得られる道路方位
の変化分Δψ_Mtを考慮して、 ψ_0t″＝ψ_0t-1＋Δψ_0t−Δψ_Mt (35) ψ_0t″＝ψ_0t-a＋Δψ_0t−Δψ_Mt (36) を用いることもできる。ここで、Δψ_MtのＭは道路地図
データの意味である。

【０１００】ステップＳ７４では、以上のようにして求
められた推定値ψ_0t″と観測値ψ_0t′とを比較する。そ
してステップＳ７５で、この差が一定の範囲内にあるか
どうかをチェックする。この「一定範囲」の選び方は、
例えば処理周期当たり０．３°である。一定の範囲内に
あれば、推定値ψ_0t″、観測値ψ_0t′のいずれもそれな
りの信頼性があると見て、両者の重み付き平均をとっ
て、処理周期ｔにおける採用値ψ _0tとする（ステップＳ
７６）。

【０１０１】 αψ_0t′＋（１−α）ψ_0t″→ψ_0t (37) ここで重みαは、例えば経験的に決められた定数であ
る。一定の範囲内になければ、過去の時点でのステップ
Ｓ７５での判断を調べ、一定の範囲内にないという判断
が一定数回Ｐ、すなわち一定距離以上続いていれば、ス
テップＳ７８からＳ７９に行き、観測値ψ_0t′を、処理
周期ｔにおける採用値ψ_0tとする。この理由は、範囲内
にないという判断が一定回数以上続けば、採用値が累積
誤差のため真の値から大きく外れ、信頼できなくなって
いると判断できるからである。

【０１０２】一定の範囲にないという判断がまだＰ回続
いていなければ、まだ前に得られた採用値ψ_0tに信頼性
があるとして推定値ψ_0t″を、処理周期ｔにおける採用
値ψ _0tとする（ステップＳ８０）。以上を要約すると、
システムを起動してから、最初の処理周期ｔ＝１では、
観測値ψ_0t′をこの処理周期のヨー角ψ_0tとする。以後
の処理周期では、観測値ψ _0t′と漸化式により求められ
た推定値ψ_0t″との差が一定の範囲内にあるかどうかチ
ェックし、一定の範囲内にあれば観測値ψ_0t′と推定値
ψ_0t″との重み付き平均をとってそれをヨー角ψ_0tと
し、一定の範囲内になければ、一定の範囲内にない状態
が一定回数の処理周期以上連続していれば、観測値
ψ_0t′をヨー角ψ_0tとし、一定の範囲内にない状態がま
だ一定回数の処理周期連続していなければ、推定値
ψ_0t″をヨー角ψ_0tとする。

【０１０３】そして、以上のようにして得られたヨー角
ψ_0tを用いて道路消失点のｘ座標を下記(38)式により修
正する（ステップＳ８１）。ｘ₀＝（ψ_0t＋ψ₁）Ｆ (38) なお、前述の消失点の簡易算出処理において、左右２本
の道路平行線が求まらなければ、ヨー角の観測値ψ_0t′
を求めることができない。そこで、左右２本の道路平行
線が求まっていない場合は、前処理周期のヨー角の採用
値ψ_0t-1が求まっているかどうか判定し（ステップＳ６
７）、求まっていれば、下記(39)式の漸化式により、現
処理周期の採用値ψ_0tを得る（ステップＳ６８）。

【０１０４】 ψ_0t＝ψ_0t-1＋Δψ_0t (39) もし道路の方位が変われば、上の式は成り立たないの
で、その代わりに前処理周期で得られた採用値と観測値
との差を用いて修正した次のいずれかの漸化式(40)(41)
を用いることは、前述のとおりである。 ψ_0t＝ψ_0t-1＋Δψ_0t−（ψ_0t-1′−ψ_0t-1） (40) ψ_0t＝ψ_0t-a＋Δψ_0t−（ψ_0t-a′−ψ_0t-a） (41) ステップＳ６７で、前処理周期のヨー角の採用値ψ_0t-1
が求まっていなければ、ステップＳ８２に進む。ステッ
プＳ８２では、ヨー角ψ_0tの算出はせずに処理を終了す
る。

【０１０５】次に、車載カメラのピッチ角の算出処理を
フローチャート（図１５）を用いて説明する。この処理
では、システムを立ち上げた後、カーブ走行していない
と判定された場合に、車載カメラ１１で撮像された画像
の画像データに基づいて、消失点の簡易算出処理を行っ
て、左右の道路平行線の候補点を探し出し、それぞれの
傾きをチェックして左右２本の道路平行線が求まるかど
うかを判断する（ステップＳ９２）。左右２本の道路平
行線が求まれば、それらの直線の様子から、道路消失点
（ｘ₀，ｙ₀）を求め、下記(42)式ｙ₀＝−（θ₀＋θ₁）Ｆ＝−θＦ (42) を用いて、車載カメラの道路に対するピッチ角θを求め
る（ステップＳ９３）。このとき車載カメラの車体に対
するピッチ角θ₁は、前述したように初期処理で求めら
れているので、ピッチ角θを求めれば車両の道路に対す
るピッチ角θ₀を知ることができる。このピッチ角θ₀
は、処理周期ｔにおいて撮像画面から観測されたピッチ
角であるという意味で、以後θ_0tと書く。

【０１０６】もし、左右いずれか１本の道路平行線しか
求まらなければ（ステップＳ９４）、道路消失点
（ｘ₀，ｙ₀）を求めることはできないので、図１３−
１４の処理で求めた車両のヨー角の採用値ψ_0tを用い
て、道路消失点のｘ座標を逆に算出する（ステップＳ９
５）。そして、このｘ座標値ｘ₀と１本の道路平行線と
から、道路消失点のｙ座標を推定し、ピッチ角θ_0tを求
める（ステップＳ９６）。

【０１０７】この算出方法を詳述すると、図１３−１４
の処理で求めた車両のヨー角の採用値ψ_0tを用いて、次
式ｘ_0t＝（ψ_0t＋ψ₁）Ｆ (43) からｘ_0tを求め、このｘ_0tをｘ座標とするｙ軸に平行な
直線と、前記１本の道路平行線との交点を道路消失点
（ｘ_0t，ｙ_0t）とする。そして、このｙ座標値ｙ_0tを式ｙ_0t＝−（θ_0t＋θ₁）Ｆ (44) に当てはめてピッチ角θ_0tを求めるのである。

【０１０８】そして、ステップＳ９３又はステップＳ９
６で求められたピッチ角θ_0tが、初期処理で求められた
ピッチ角θ₀の平均値（＝０）からの標準偏差以内に収
まっているかどうかを調べる（ステップＳ９７）。収ま
っていれば、求めたピッチ角θ_0tをピッチ角の採用値と
する（ステップＳ９８）。収まっていなければ、求めた
ピッチ角θ_0tの信頼性なしと判断して、ピッチ角の採用
値を０とする（ステップＳ９９）。０とする理由を説明
すると、前述したとおり車両がピッチするときは加減速
するときであるが、加減速時でも、加速のみ減速のみと
いうことは考えられず、ピッチ角の平均値はいつも０で
あると見ることができるからである。

【０１０９】なお、左右いずれの道路平行線も求まらな
い場合、すなわちステップＳ９４で“ＮＯ”と判断され
た場合には、ピッチ角の採用値を０とする。次に、車載
カメラの横ずれ距離の算出処理を説明する。図１６は、
車載カメラの横ずれ距離の算出処理を説明するためのフ
ローチャートである。この処理では、システムを立ち上
げた後、カーブ走行していないと判定された場合に、車
載カメラ１１で撮像された画像の画像データに基づい
て、簡易な道路消失点算出処理を行って、左右の道路平
行線の候補点を探し出し、それぞれの傾きをチェックし
て左右２本の道路平行線が求まるかどうかを判断する
（ステップＳ１０２）。もし、２本の道路平行線が求ま
れば、道路平行線の傾きａ_1t, ａ_2tと車載カメラの取付
けロール角φ₁を使って、前記(29)(30)式に相当する式Ａ_1t＝−（ａ_1t＋φ₁）ｈ／（１−φ₁ａ_1t） (45) Ａ_2t＝−（ａ_2t＋φ₁）ｈ／（１−φ₁ａ_2t） (46) によって、道路に平行な所定の基準線からの車載カメラ
の横ずれ距離Ａを得ることができる（ステップＳ１０
３）。ただし、車両が真っ直ぐに走行しているのでロー
ル角φ₀は無視した。

【０１１０】さらに前の処理周期で２本の道路平行線の
横ずれ距離Ａ_t-1が求まっているかどうかを判断する
（ステップＳ１０４）。求まっていれば、前の処理周期
の横ずれ距離Ａ_t-1を使って次の漸化式Ａ_1t＝Ａ_1,t-1＋Ｌψ_0t (47) Ａ_2t＝Ａ_2,t-1＋Ｌψ_0t (48) により今処理周期の横ずれ距離Ａ_tを求める（ステップ
Ｓ１０５）。ここでＬは１処理周期に車両が走行した距
離であり、位置検出処理装置２からの支援データに基づ
いて決められる。ψ_0tは、道路に対する車両のヨー角の
採用値である。

【０１１１】そしてステップＳ１０３で道路平行線から
求められた横ずれ距離Ａ_1t，Ａ_2tと比較し（ステップＳ
１０６）、一定範囲内にあるかどうかを判断する（ステ
ップＳ１０７）。一定範囲内にあればステップＳ１０３
で道路平行線から求められた横ずれ距離Ａ_1t，Ａ_2tを採
用し（ステップＳ１０９）、一定範囲内になければステ
ップＳ１０５で漸化式から求められた横ずれ距離Ａ_1t，
Ａ_2tを採用する（ステップＳ１０８）。

【０１１２】もし、ステップＳ１１０で１本のみ道路平
行線の算出が可能であれば、その１本の道路平行線につ
いて、道路平行線の傾きａ_1tと車載カメラの取付けロー
ル角φ₁を使って、Ａ_1t＝−（ａ_1t＋φ₁）ｈ／（１−φ₁ａ_1t） (49) により、横ずれ距離Ａを求める（ステップＳ１１１）。
そして前の処理周期で１本の道路平行線の横ずれ距離Ａ
_t-1が求まっているかどうかを判断する（ステップＳ１
１２）。求まっていれば、前の処理周期の横ずれ距離Ａ
_t-1を使って次の漸化式Ａ_1t＝Ａ_1,t-1＋Ｌψ_0t (50) により今処理周期の横ずれ距離Ａ_tを求める（ステップ
Ｓ１１３）。

【０１１３】そしてステップＳ１１１で道路平行線から
求められた横ずれ距離Ａ_1t，Ａ_2tと比較し（ステップＳ
１１４）、一定範囲内にあるかどうかを判断する（ステ
ップＳ１１５）。一定範囲内にあればステップＳ１０３
で道路平行線から求められた横ずれ距離Ａ_1tを採用し
（ステップＳ１１７）、一定範囲内になければステップ
Ｓ１１３で漸化式から求められた横ずれ距離Ａ_1tを採用
する（ステップＳ１１６）。

【０１１４】なお、フローチャートに示していないが、
他の１本の道路平行線については、横ずれ距離Ａは直接
求めることができないので、前の処理周期で横ずれ距離
Ａが求まっているかどうかを判断し、求まっていれば、
前の処理周期の横ずれ距離Ａ _t-1を使って次の漸化式Ａ_t＝Ａ_t-1＋Ｌψ_0t (51) により今処理周期の横ずれ距離Ａ_tを求める。前の処理
周期で横ずれ距離Ａが求まっていなければ、その「他の
１本の道路平行線」については、横ずれ距離Ａを求める
ことをあきらめて、処理を終了する。

【０１１５】もし、ステップＳ１１０で、道路平行線が
全く得られなかったら、図１７のステップＳ１２１に進
み、前の処理周期で１本の道路平行線の横ずれ距離Ａ
_1,t-1が求まっているかどうか判定し、道路平行線が求
まっていれば前記漸化式を用いて横ずれ距離Ａを算出
し、求まっていない場合は横ずれ距離Ａを算出しない
（ステップＳ１２１−１２３）。

【０１１６】また、他の１本の道路平行線についても、
横ずれ距離Ａ_2,t-1が求まっているかどうか判定し、道
路平行線が求まっていれば前記漸化式を用いて横ずれ距
離Ａを算出し、求まっていない場合は、横ずれ距離Ａを
算出しない（ステップＳ１２４−１２６）。以上のよう
な処理をすることによって、車載カメラ１１の姿勢パラ
メータθ，φ及びψ、並びに横ずれ距離Ａが求まる。こ
れらの姿勢パラメータは、次に説明する物体認識処理に
おいて活用される。 (6) 物体認識処理物体認識処理は、車載カメラ１１によって撮像された画
像中道路標識、道路上の表示、他車両等の一定種類の物
体を認識するための処理である。この画像認識に当たっ
ては、車載カメラの姿勢パラメータや位置検出処理装置
２から与えられる支援情報が用いられる。

【０１１７】画面上のデータから物体を認識する方法は
従来から種々考案されている。例えば、白黒車載カメラ
によるデータ（輝度データのみ）の場合、濃度が大きく
変化するエッジ点を検出し、複数のエッジ点を接続する
ことによって物体の輪郭が抽出される。この輪郭の形状
をチェックしたり、予め登録されている対象物体の標準
的なパターンとのパターンマッチングを行ったりするこ
とによって、画面上の物体が認識される。カラーのデー
タを用いる場合には、濃度だけでなく、色度のデータも
利用できるので、認識確率を高めることができる。

【０１１８】画像データから抽出される認識対象ごとの
特徴例を列挙すると、道路標識では、円、円の半径、円
周の色度、円内のデータとなり、信号機では、長方形、
縦、横の大きさ、３個の円、円の半径、灯色となり、自
動車では、前部、後部の形状、横部の形状、車高、車
幅、車長となる。画像認識処理装置１の記憶部１７に
は、これらの特徴についての標準的な値が記憶されてい
る。画像認識処理部１５は、画像データから前記の特徴
を抽出し、抽出された特徴と記憶部１７に記憶されてい
る標準的な特徴とを照合することによって、物体の認識
を行う。

【０１１９】

【発明の効果】以上のように請求項１記載の発明によれ
ば、道路消失点の座標に基づいてヨー角の観測値を求め
るようにするとともに、位置検出処理装置の出力データ
に含まれる車両の進行方位に関する情報を使って前回の
処理で求められたヨー角の変化を予測して新しいヨー角
の推定値を求めることとしたので、これらの観測値と推
定値とを利用してさらに高い精度で姿勢パラメータを算
出することができ、また、いずれか一方が求められなか
った場合でも、他方の値を用いて姿勢パラメータを算出
することができるので、車載カメラによって撮像された
画像中の物体の認識を効率的に行うことができる。

【０１２０】請求項７記載の発明によれば、道路消失点
の座標に基づいて道路に対する車載カメラのピッチ角を
求めるようにするが、道路平行線が１本しか得られず車
載カメラのピッチ角を求めることができない場合は、請
求項１記載のようにして算出された現時点の道路に対す
る車載カメラのヨー角と、１本の道路平行線の形状とか
ら道路消失点の座標を推定し、この推定された座標に基
づいて道路に対する車載カメラのピッチ角を求めること
としたので、常に車載カメラの姿勢パラメータを算出す
ることができる。

【０１２１】請求項９記載の発明によれば、道路平行線
の傾きと、車載カメラの道路面に対する高さとの情報を
使って、道路に平行な所定の基準線からの車載カメラの
横ずれ距離の観測値を得るようにするとともに、位置検
出処理装置の出力データに含まれる車両の走行距離デー
タと、前記のようにして算出された道路に対する車載カ
メラのヨー角とを使って前回の処理で求められた横ずれ
距離の変化を予測して横ずれ距離の推定値を求めること
としたので、これらの観測値と推定値とを利用してさら
に高い精度で姿勢パラメータを算出することができ、ま
た、いずれか一方が求められなかった場合でも、他方の
値を用いて姿勢パラメータを算出することができるの
で、車載カメラによって撮像された画像中の物体の認識
を効率的に行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例が適用された画像認識処理シ
ステムの構成を示すブロック図である。

【図２】車載カメラによって撮像された画像例を示す図
である。

【図３】直線候補点抽出処理を説明するための図であ
り、(a) は車載カメラによって撮像された画像例を示
し、(b) はある走査線上における３原色画像データの変
動を示す。

【図４】直線候補点抽出処理を実行するためのフローチ
ャートである。

【図５】図２の画像から直線候補点を結ぶことによって
得られる直線部分を抽出した図である。

【図６】Ｈough変換を説明するための図である。

【図７】Ｈough変換処理を２回繰り返して道路消失点を
求めるための処理を説明するための図である。

【図８】道路消失点の簡易算出方法を説明するための図
である。

【図９】道路消失点の簡易算出処理を説明するためのフ
ローチャートである。

【図１０】道路消失点の簡易算出処理を説明するための
フローチャート（図９の続き）である。

【図１１】道路消失点の簡易算出処理を説明するための
フローチャート（図１０の続き）である。

【図１２】道路消失点の簡易算出処理を説明するための
フローチャート（図１１の続き）である。

【図１３】車載カメラのヨー角算出処理を説明するため
のフローチャートである。

【図１４】車載カメラのヨー角算出処理を説明するため
のフローチャート（図１３の続き）である。

【図１５】車載カメラのピッチ角算出処理を説明するた
めのフローチャートである。

【図１６】車載カメラの横ずれ距離算出処理を説明する
ためのフローチャートである。

【図１７】車載カメラの横ずれ距離算出処理を説明する
ためのフローチャート（図１６の続き）である。

【符号の説明】

１画像認識処理装置２位置検出処理装置１１車載カラーカメラ１３画像処理回路１５認識処理部１７記憶部２１距離センサ２２方位センサ２５位置検出処理部２７道路地図メモリ２８記憶部２９表示部

Claims

(57)【特許請求の範囲】

【請求項１】車両が走行している道路に対する車載カメ
ラの姿勢パラメータを算出する装置であって、車載カメラによって車両の前方又は後方を撮像して、デ
ィジタル画像信号に変換する画像処理手段と、前記車載カメラによって撮像された画像から、道路の延
びる方向と平行な道路平行線を抽出する道路平行線抽出
手段と、２本の道路平行線の先端が交わり消失する点である道路
消失点を抽出する道路消失点抽出手段と、道路消失点の座標に基づいて道路に対する車載カメラの
ヨー角を観測するヨー角観測手段と、各種センサからの信号に基づいて車両の位置を検出する
位置検出処理装置の出力データに含まれる車両の進行方
位の変化量を取得し、前に算出された道路に対する車載
カメラのヨー角と車両の進行方位の前記変化量とを所定
の漸化式に当てはめて、道路に対する車載カメラのヨー
角の推定値を算出するヨー角推定値算出手段と、前記ヨー角観測手段によって観測される道路に対する車
載カメラのヨー角の観測値及び前記ヨー角推定値算出手
段によって算出される道路に対する車載カメラのヨー角
の推定値のいずれか一方又は双方を用いて道路に対する
車載カメラのヨー角を決定するヨー角演算手段とを備え
ることを特徴とするカメラの姿勢パラメータ算出装置。
【請求項２】前記ヨー角演算手段は、ヨー角観測手段か
らヨー角の観測値が得られない場合は、前記推定値を道
路に対する車載カメラのヨー角とするものである請求項
１記載のカメラの姿勢パラメータ算出装置。
【請求項３】前記ヨー角演算手段は、道路に対する車載
カメラのヨー角の推定値と、ヨー角の観測値とを比較
し、この差が一定の範囲内にあれば観測値と推定値との
重み付き平均をとってそれをヨー角とするものである請
求項１記載のカメラの姿勢パラメータ算出装置。
【請求項４】前記ヨー角演算手段は、道路に対する車載
カメラのヨー角の推定値と、ヨー角の観測値とを比較
し、この差が一定値より大きければ、前記推定値を道路
に対する車載カメラのヨー角とするものである請求項１
記載のカメラの姿勢パラメータ算出装置。
【請求項５】前記ヨー角演算手段は、前記推定値を道路
に対する車載カメラのヨー角とする処理が一定走行距離
以上、一定時間以上又は一定回数以上続けば、ヨー角観
測手段から得られるヨー角の観測値を、道路に対する車
載カメラのヨー角とするものである請求項４記載のカメ
ラの姿勢パラメータ算出装置。
【請求項６】前記ヨー角演算手段は、位置検出処理装置
の出力データ等に基づいて、車両が旋回中であることが
検出された場合に、旋回が終了するまでは道路に対する
車載カメラのヨー角を決定しないことを特徴とする請求
項１から５のいずれかに記載のカメラの姿勢パラメータ
算出装置。
【請求項７】前記道路消失点抽出手段から得られる道路
消失点の座標に基づいて道路に対する車載カメラのピッ
チ角を観測するピッチ角観測手段と、道路消失点抽出手段から道路消失点が得られず、かつ道
路平行線抽出手段から道路平行線が１本のみ得られてい
る場合には、前記ヨー角演算手段によって算出された道
路に対する車載カメラのヨー角と、１本の道路平行線と
から道路消失点の座標を推定し、この推定された座標に
基づいて道路に対する車載カメラのピッチ角を得るピッ
チ角演算手段とをさらに備えることを特徴とする請求項
１記載のカメラの姿勢パラメータ算出装置。
【請求項８】ピッチ角演算手段は、位置検出処理装置の
出力データ等に基づいて、車両が旋回中であることが検
出された場合に、旋回が終了するまでは道路に対する車
載カメラのピッチ角を算出しないことを特徴とする請求
項７記載のカメラの姿勢パラメータ算出装置。
【請求項９】前記道路平行線抽出手段によって抽出され
た道路平行線の傾きを検出する傾き検出手段と、前記傾き検出手段によって検出された道路平行線の傾き
と、車載カメラの道路面に対する高さとの情報を使っ
て、道路に平行な所定の基準線からの車載カメラの横ず
れ距離を観測する横ずれ距離観測手段と、前記位置検出処理装置の出力データに含まれる車両の走
行距離を取得し、前に算出された道路に対する車載カメ
ラの横ずれ距離と車両の前記走行距離とを所定の漸化式
に当てはめて、道路に対する車載カメラの横ずれ距離の
推定値を算出する横ずれ距離推定値算出手段と、前記横ずれ距離観測手段によって観測される道路に対す
る車載カメラの横ずれ距離の観測値及び前記横ずれ距離
推定値算出手段によって算出される道路に対する車載カ
メラの横ずれ距離の推定値のいずれか一方又は双方を用
いて道路に対する車載カメラの横ずれ距離を決定する横
ずれ距離演算手段とを備えることを特徴とする請求項１
記載のカメラの姿勢パラメータ算出装置。
【請求項１０】前記横ずれ距離演算手段は、横ずれ距離
観測手段から横ずれ距離の観測値が得られない場合は、
前記推定値を、道路に対する車載カメラの横ずれ距離と
するものである請求項９記載のカメラの姿勢パラメータ
算出装置。
【請求項１１】前記横ずれ距離演算手段は、前記道路に
対する車載カメラの横ずれ距離の推定値と、横ずれ距離
の観測値とを比較し、この差が一定値より大きければ、
前記推定値を、道路に対する車載カメラの横ずれ距離と
するものである請求項９記載のカメラの姿勢パラメータ
算出装置。
【請求項１２】前記横ずれ距離演算手段は、位置検出処
理装置の出力データ等に基づいて、車両が旋回中である
ことが検出された場合に、旋回が終了するまでは道路に
対する車両の横ずれ距離を算出しないことを特徴とする
請求項９から１１のいずれかに記載のカメラの姿勢パラ
メータ算出装置。