JP2002216113A - 物体認識装置 - Google Patents
物体認識装置Info
- Publication number
- JP2002216113A JP2002216113A JP2001008125A JP2001008125A JP2002216113A JP 2002216113 A JP2002216113 A JP 2002216113A JP 2001008125 A JP2001008125 A JP 2001008125A JP 2001008125 A JP2001008125 A JP 2001008125A JP 2002216113 A JP2002216113 A JP 2002216113A
- Authority
- JP
- Japan
- Prior art keywords
- image
- horizontal direction
- object recognition
- section
- search area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 丸い形状の車両などが対象となりエッジが出
にくい状況にあっても、垂直成分を強調することにより
物体の認識率を向上させる。 【解決手段】 この物体認識装置は、車両に搭載され、
左カメラ及び右カメラから撮像されるときの視差に基づ
いて物体の距離を測定するものであり、入力される左画
像及び右画像の各々について、画像を横方向にのみ縮小
する画像縮小手段と、その画像縮小手段によって縮小さ
れた画像における各画素の階調に基づいて物体の両端を
検出する物体検出手段と、を具備する。好ましくは、画
像縮小手段によって縮小された画像に対して物体の検索
エリアを設定する検索エリア設定手段をさらに具備す
る。
にくい状況にあっても、垂直成分を強調することにより
物体の認識率を向上させる。 【解決手段】 この物体認識装置は、車両に搭載され、
左カメラ及び右カメラから撮像されるときの視差に基づ
いて物体の距離を測定するものであり、入力される左画
像及び右画像の各々について、画像を横方向にのみ縮小
する画像縮小手段と、その画像縮小手段によって縮小さ
れた画像における各画素の階調に基づいて物体の両端を
検出する物体検出手段と、を具備する。好ましくは、画
像縮小手段によって縮小された画像に対して物体の検索
エリアを設定する検索エリア設定手段をさらに具備す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、車両に搭載され、
左カメラ及び右カメラから撮像されるときの視差に基づ
いて物体の距離を測定する物体認識装置に関する。
左カメラ及び右カメラから撮像されるときの視差に基づ
いて物体の距離を測定する物体認識装置に関する。
【０００２】
【従来の技術】一般に、かかる物体認識装置において
は、図１（Ａ）及び（Ｂ）に示されるような入力左画像
及び入力右画像に対してエッジ抽出処理を施して、図１
（Ｃ）及び（Ｄ）に示されるようなエッジ画像を生成
し、対応するエッジ位置の視差から物体までの距離が測
定される。
は、図１（Ａ）及び（Ｂ）に示されるような入力左画像
及び入力右画像に対してエッジ抽出処理を施して、図１
（Ｃ）及び（Ｄ）に示されるようなエッジ画像を生成
し、対応するエッジ位置の視差から物体までの距離が測
定される。
【０００３】
【発明が解決しようとする課題】かかるエッジ抽出処理
を行うエッジ抽出フィルタとしては、垂直成分のみを通
過させるフィルタが一般的に使用される。そのため、比
較的丸い車両の場合、エッジが出にくい状況にある。ま
た、広角なカメラを使用した場合には、元々は垂直成分
を多く持つはずの角張った車両でも、画像上では丸く見
えるようになるため、エッジが出にくくなる。このよう
に、物体の端に必ずエッジが出るとは限らないため、物
体の両端すなわち物体の幅を特定することは容易でな
い。
を行うエッジ抽出フィルタとしては、垂直成分のみを通
過させるフィルタが一般的に使用される。そのため、比
較的丸い車両の場合、エッジが出にくい状況にある。ま
た、広角なカメラを使用した場合には、元々は垂直成分
を多く持つはずの角張った車両でも、画像上では丸く見
えるようになるため、エッジが出にくくなる。このよう
に、物体の端に必ずエッジが出るとは限らないため、物
体の両端すなわち物体の幅を特定することは容易でな
い。
【０００４】本発明は、上述した問題点に鑑みてなされ
たものであり、その目的は、丸い形状の車両などが対象
となりエッジが出にくい状況にあっても、垂直成分を強
調することにより物体の認識率を向上させることができ
る物体認識装置を提供することにある。
たものであり、その目的は、丸い形状の車両などが対象
となりエッジが出にくい状況にあっても、垂直成分を強
調することにより物体の認識率を向上させることができ
る物体認識装置を提供することにある。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、本発明によれば、車両に搭載され、左カメラ及び右
カメラから撮像されるときの視差に基づいて物体の距離
を測定する物体認識装置であって、入力される左画像及
び右画像の各々について、画像を横方向に縮小する画像
縮小手段と、前記画像縮小手段によって縮小された画像
における各画素の階調に基づいて物体の両端を検出する
物体検出手段と、を具備する物体認識装置が提供され
る。
に、本発明によれば、車両に搭載され、左カメラ及び右
カメラから撮像されるときの視差に基づいて物体の距離
を測定する物体認識装置であって、入力される左画像及
び右画像の各々について、画像を横方向に縮小する画像
縮小手段と、前記画像縮小手段によって縮小された画像
における各画素の階調に基づいて物体の両端を検出する
物体検出手段と、を具備する物体認識装置が提供され
る。
【０００６】ここで、本発明によれば、前記画像縮小手
段は、画像を横方向にのみ縮小するものであってよい。
段は、画像を横方向にのみ縮小するものであってよい。
【０００７】あるいは、また、本発明によれば、前記画
像縮小手段は、画像を横方向に縮小するときの縮小率よ
りも小さな縮小率で縦方向にも画像を縮小するものであ
ってもよい。
像縮小手段は、画像を横方向に縮小するときの縮小率よ
りも小さな縮小率で縦方向にも画像を縮小するものであ
ってもよい。
【０００８】また、本発明によれば、前記画像縮小手段
は、横方向に所定の複数個おきの画素の階調を抽出する
ことにより、横方向に画像を縮小する。
は、横方向に所定の複数個おきの画素の階調を抽出する
ことにより、横方向に画像を縮小する。
【０００９】また、本発明によれば、前記画像縮小手段
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の最大値を抽出することに
より、横方向に画像を縮小する。
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の最大値を抽出することに
より、横方向に画像を縮小する。
【００１０】また、本発明によれば、前記画像縮小手段
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の最小値を抽出することに
より、横方向に画像を縮小する。
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の最小値を抽出することに
より、横方向に画像を縮小する。
【００１１】また、本発明によれば、前記画像縮小手段
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の平均値を算出することに
より、横方向に画像を縮小する。
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の平均値を算出することに
より、横方向に画像を縮小する。
【００１２】また、本発明によれば、前記画像縮小手段
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の総和を算出することによ
り、横方向に画像を縮小する。
は、横方向に連続する所定の複数個の画素を１区間とし
てまとめ、各々の区間で階調の総和を算出することによ
り、横方向に画像を縮小する。
【００１３】また、本発明によれば、前記画像縮小手段
は、横方向に連続する所定の偶数個の画素を１区間とし
てまとめ、各々の区間で階調の最大値及び最小値を出現
順に抽出することにより、横方向に画像を縮小する。
は、横方向に連続する所定の偶数個の画素を１区間とし
てまとめ、各々の区間で階調の最大値及び最小値を出現
順に抽出することにより、横方向に画像を縮小する。
【００１４】また、本発明によれば、前記画像縮小手段
は、横方向に連続する所定の偶数個の画素を１区間とし
てまとめ、各々の区間で階調が最も大きく変化する２個
の階調を抽出することにより、横方向に画像を縮小す
る。
は、横方向に連続する所定の偶数個の画素を１区間とし
てまとめ、各々の区間で階調が最も大きく変化する２個
の階調を抽出することにより、横方向に画像を縮小す
る。
【００１５】また、本発明によれば、この物体認識装置
は、前記画像縮小手段によって縮小された画像に対して
物体の検索エリアを設定する検索エリア設定手段をさら
に具備する。
は、前記画像縮小手段によって縮小された画像に対して
物体の検索エリアを設定する検索エリア設定手段をさら
に具備する。
【００１６】また、本発明によれば、前記検索エリア設
定手段は、画像の全面を物体の検索エリアとして設定す
る。
定手段は、画像の全面を物体の検索エリアとして設定す
る。
【００１７】また、本発明によれば、前記検索エリア設
定手段は、自車線によって囲まれるエリアに基づき物体
の検索エリアを設定する。
定手段は、自車線によって囲まれるエリアに基づき物体
の検索エリアを設定する。
【００１８】また、本発明によれば、前記検索エリア設
定手段は、車両の進行方向のエリアを物体の検索エリア
として設定する。
定手段は、車両の進行方向のエリアを物体の検索エリア
として設定する。
【００１９】また、本発明によれば、前記検索エリア設
定手段は、前記物体検出手段によって、前回、物体の両
端が検出されたエリアに基づき物体の検索エリアを設定
する。
定手段は、前記物体検出手段によって、前回、物体の両
端が検出されたエリアに基づき物体の検索エリアを設定
する。
【００２０】また、本発明によれば、前記検索エリア設
定手段は、他の判定手段によって物体が存在している可
能性があると判定されたエリアを検索エリアとして設定
する。
定手段は、他の判定手段によって物体が存在している可
能性があると判定されたエリアを検索エリアとして設定
する。
【００２１】また、本発明によれば、前記物体検出手段
は、エッジ抽出を行うことにより物体の両端を検出す
る。
は、エッジ抽出を行うことにより物体の両端を検出す
る。
【００２２】また、本発明によれば、前記物体検出手段
は、縦方向に階調を加算した値のばらつきが一定量以下
となる横方向の範囲を物体の存在位置として検出する。
は、縦方向に階調を加算した値のばらつきが一定量以下
となる横方向の範囲を物体の存在位置として検出する。
【００２３】また、本発明によれば、前記物体検出手段
は、縦方向に階調を加算した値が一定値を超える横方向
の位置及び該一定値未満に低下する横方向の位置を物体
の両端として検出する。
は、縦方向に階調を加算した値が一定値を超える横方向
の位置及び該一定値未満に低下する横方向の位置を物体
の両端として検出する。
【００２４】また、本発明によれば、前記物体検出手段
は、縦方向の階調の平均値のばらつきが一定量以下とな
る横方向の範囲を物体の存在位置として検出する。
は、縦方向の階調の平均値のばらつきが一定量以下とな
る横方向の範囲を物体の存在位置として検出する。
【００２５】また、本発明によれば、前記物体検出手段
は、縦方向の階調の平均値が一定値を超える横方向の位
置及び該一定値未満に低下する横方向の位置を物体の両
端として検出する。
は、縦方向の階調の平均値が一定値を超える横方向の位
置及び該一定値未満に低下する横方向の位置を物体の両
端として検出する。
【００２６】
【発明の実施の形態】以下、添付図面を参照して本発明
の実施形態について説明する。
の実施形態について説明する。
【００２７】図２は、本発明の一実施形態に係る物体認
識装置３０のハードウェア構成例を示すブロック図であ
る。左カメラ２２及び右カメラ２４からの入力画像信号
は、それぞれ対応する映像信号受信回路３２及び３４を
介してディジタル信号処理器（ＤＳＰ）(Digital Signa
l Processor)３６に供給され、スタティックＲＡＭ３８
に格納される。
識装置３０のハードウェア構成例を示すブロック図であ
る。左カメラ２２及び右カメラ２４からの入力画像信号
は、それぞれ対応する映像信号受信回路３２及び３４を
介してディジタル信号処理器（ＤＳＰ）(Digital Signa
l Processor)３６に供給され、スタティックＲＡＭ３８
に格納される。
【００２８】ＤＳＰ３６は、スタティックＲＡＭ３８に
格納された左画像及び右画像に対して後述する横方向縮
小処理を施し、それらの縮小画像に対してエッジ抽出処
理を施して左右エッジ画像を生成し、その左右エッジ画
像における対応するエッジの視差に関する情報をマイク
ロコンピュータ４０に送る。
格納された左画像及び右画像に対して後述する横方向縮
小処理を施し、それらの縮小画像に対してエッジ抽出処
理を施して左右エッジ画像を生成し、その左右エッジ画
像における対応するエッジの視差に関する情報をマイク
ロコンピュータ４０に送る。
【００２９】マイクロコンピュータ４０は、その視差情
報から物体までの距離を測定する。次いで、マイクロコ
ンピュータ４０は、運転支援、危険回避等を行う車両制
御装置５２、及び、ドライバへの報知を行う警報装置５
４に対し、得られた物体認識情報を送信する。
報から物体までの距離を測定する。次いで、マイクロコ
ンピュータ４０は、運転支援、危険回避等を行う車両制
御装置５２、及び、ドライバへの報知を行う警報装置５
４に対し、得られた物体認識情報を送信する。
【００３０】図３は、エッジ画像について説明するため
の図である。図３（Ａ）の入力画像に対して横方向に各
画素の階調を微分する処理を行うと、図３（Ｂ）に示さ
れるエッジ画像が得られる。入力画像として左画像及び
右画像が存在する場合には、その両画像に対してエッジ
抽出処理が行われる。
の図である。図３（Ａ）の入力画像に対して横方向に各
画素の階調を微分する処理を行うと、図３（Ｂ）に示さ
れるエッジ画像が得られる。入力画像として左画像及び
右画像が存在する場合には、その両画像に対してエッジ
抽出処理が行われる。
【００３１】図４は、左右の入力画像からそれぞれ抽出
された左右のエッジ画像に基づく視差の算出について説
明するための図である。まず、入力された左画像（図４
（Ａ））及び右画像（図４（Ｂ））から対応するエッジ
画像（図４（Ｃ）及び（Ｄ））が抽出される。次いで、
各エッジ画像から特徴的なポイントのピーク位置とピー
クパワーとが抽出される。最後に、各ピークごとに視差
が算出される。
された左右のエッジ画像に基づく視差の算出について説
明するための図である。まず、入力された左画像（図４
（Ａ））及び右画像（図４（Ｂ））から対応するエッジ
画像（図４（Ｃ）及び（Ｄ））が抽出される。次いで、
各エッジ画像から特徴的なポイントのピーク位置とピー
クパワーとが抽出される。最後に、各ピークごとに視差
が算出される。
【００３２】ところで、前述したように、物体の端に必
ずエッジが出るとは限らないため、物体の両端すなわち
物体の幅を特定することは容易でない。そこで、本発明
では、横方向に縮小された画像を用いることによって、
エッジが出にくい状況にあっても、垂直成分を強調する
ことにより物体の認識率を向上させるようにしている。
なお、画像を横方向にのみ縮小する実施形態について説
明するが、本発明はこれに限られず、横方向に加えて縦
方向にも縮小するが縮小率としては横方向の縮小率を縦
方向の縮小率よりも大きくするようにしてもよい。換言
すれば、画像を横方向に縮小するときの縮小率よりも小
さな縮小率で縦方向にも画像を縮小するようにしてもよ
い。
ずエッジが出るとは限らないため、物体の両端すなわち
物体の幅を特定することは容易でない。そこで、本発明
では、横方向に縮小された画像を用いることによって、
エッジが出にくい状況にあっても、垂直成分を強調する
ことにより物体の認識率を向上させるようにしている。
なお、画像を横方向にのみ縮小する実施形態について説
明するが、本発明はこれに限られず、横方向に加えて縦
方向にも縮小するが縮小率としては横方向の縮小率を縦
方向の縮小率よりも大きくするようにしてもよい。換言
すれば、画像を横方向に縮小するときの縮小率よりも小
さな縮小率で縦方向にも画像を縮小するようにしてもよ
い。
【００３３】図５は、画像の横方向縮小処理について説
明するための図である。本発明の実施形態においては、
図５（Ａ）に例示される入力画像は、エッジ抽出処理を
する前に、図５（Ｂ）に示される横方向縮小画像に変換
される。この例では、縦方向４８０画素×横方向６４０
画素であったものが、横方向に１／４に縮小され、縦方
向４８０画素×横方向１６０画素となっている。
明するための図である。本発明の実施形態においては、
図５（Ａ）に例示される入力画像は、エッジ抽出処理を
する前に、図５（Ｂ）に示される横方向縮小画像に変換
される。この例では、縦方向４８０画素×横方向６４０
画素であったものが、横方向に１／４に縮小され、縦方
向４８０画素×横方向１６０画素となっている。
【００３４】図５（Ａ）の通常画像の場合、Ｐ１の部分
に示されるように車の両端が丸くなっているのに対し、
図５（Ｂ）の縮小画像の場合には、Ｐ２の部分に示され
るように垂直になっている。したがって、車両の形状
（特に、丸みを帯びたもの）によって左右されることな
く、安定した物体認識が可能となる。このような横方向
縮小処理については、いくつかの方法が考えられる。図
５（Ａ）の画像において四角で囲ったＰ０の部分が、模
式的に図５（Ｃ）に示される画素によって構成されてい
ると仮定し、その部分を例にして縮小方法を説明する。
なお、本実施形態においては、画素の階調は、０から２
５５までの範囲の値をとる。
に示されるように車の両端が丸くなっているのに対し、
図５（Ｂ）の縮小画像の場合には、Ｐ２の部分に示され
るように垂直になっている。したがって、車両の形状
（特に、丸みを帯びたもの）によって左右されることな
く、安定した物体認識が可能となる。このような横方向
縮小処理については、いくつかの方法が考えられる。図
５（Ａ）の画像において四角で囲ったＰ０の部分が、模
式的に図５（Ｃ）に示される画素によって構成されてい
ると仮定し、その部分を例にして縮小方法を説明する。
なお、本実施形態においては、画素の階調は、０から２
５５までの範囲の値をとる。
【００３５】図６は、画像を横方向に縮小する第１の方
法について説明するための図である。この方法では、横
方向に所定の複数個おきの画素の階調を抽出する。図６
の例では、４画素おきのデータが取得されている。
法について説明するための図である。この方法では、横
方向に所定の複数個おきの画素の階調を抽出する。図６
の例では、４画素おきのデータが取得されている。
【００３６】図７は、画像を横方向に縮小する第２の方
法について説明するための図である。この方法では、横
方向に連続する所定の複数個の画素を１区間としてまと
め、各々の区間で階調の最大値を抽出する。図７の例で
は、４画素を１区間として最大値データが取得されてい
る。夜、トンネルの中などでは、画像が全体的に暗くな
るが、この方法のように最大値データを採用すると、物
体を特定しやすくなる。
法について説明するための図である。この方法では、横
方向に連続する所定の複数個の画素を１区間としてまと
め、各々の区間で階調の最大値を抽出する。図７の例で
は、４画素を１区間として最大値データが取得されてい
る。夜、トンネルの中などでは、画像が全体的に暗くな
るが、この方法のように最大値データを採用すると、物
体を特定しやすくなる。
【００３７】図８は、画像を横方向に縮小する第３の方
法について説明するための図である。この方法では、横
方向に連続する所定の複数個の画素を１区間としてまと
め、各々の区間で階調の最小値を抽出する。図８の例で
は、４画素を１区間として最小値データが取得されてい
る。昼間など、画像が全体的に明るくなった場合には、
最小値データを採用することによって、物体を特定しや
すくなる。
法について説明するための図である。この方法では、横
方向に連続する所定の複数個の画素を１区間としてまと
め、各々の区間で階調の最小値を抽出する。図８の例で
は、４画素を１区間として最小値データが取得されてい
る。昼間など、画像が全体的に明るくなった場合には、
最小値データを採用することによって、物体を特定しや
すくなる。
【００３８】図９は、画像を横方向に縮小する第４の方
法について説明するための図である。この方法では、横
方向に連続する所定の複数個の画素を１区間としてまと
め、各々の区間で階調の平均値を算出する。図９の例で
は、４画素を１区間として平均値データが取得されてい
る。平均値データを採用した場合には、画像のばらつき
を吸収することができる。
法について説明するための図である。この方法では、横
方向に連続する所定の複数個の画素を１区間としてまと
め、各々の区間で階調の平均値を算出する。図９の例で
は、４画素を１区間として平均値データが取得されてい
る。平均値データを採用した場合には、画像のばらつき
を吸収することができる。
【００３９】図１０は、画像を横方向に縮小する第５の
方法について説明するための図である。この方法では、
横方向に連続する所定の複数個の画素を１区間としてま
とめ、各々の区間で階調の総和を算出する。図１０の例
では、４画素を１区間として総和が取得されている。前
述した平均値データによると、後段での処理で物体特定
のための閾値の設定範囲が狭くなるという不都合がある
のに対し、総和で判断すると閾値設定が容易となる。
方法について説明するための図である。この方法では、
横方向に連続する所定の複数個の画素を１区間としてま
とめ、各々の区間で階調の総和を算出する。図１０の例
では、４画素を１区間として総和が取得されている。前
述した平均値データによると、後段での処理で物体特定
のための閾値の設定範囲が狭くなるという不都合がある
のに対し、総和で判断すると閾値設定が容易となる。
【００４０】図１１は、画像を横方向に縮小する第６の
方法について説明するための図である。この方法では、
横方向に連続する所定の偶数個の画素を１区間としてま
とめ、各々の区間で階調の最大値及び最小値を出現順に
抽出する。図１１の例では、８画素を１区間として最大
値及び最小値が取得されている。この方法によれば、一
度に最大値と最小値のデータを使用して判断することに
よって、画像の明暗に影響されることなく物体の特定が
可能となる。
方法について説明するための図である。この方法では、
横方向に連続する所定の偶数個の画素を１区間としてま
とめ、各々の区間で階調の最大値及び最小値を出現順に
抽出する。図１１の例では、８画素を１区間として最大
値及び最小値が取得されている。この方法によれば、一
度に最大値と最小値のデータを使用して判断することに
よって、画像の明暗に影響されることなく物体の特定が
可能となる。
【００４１】図１２は、画像を横方向に縮小する第７の
方法について説明するための図である。この方法では、
横方向に連続する所定の偶数個の画素を１区間としてま
とめ、各々の区間で階調が最も大きく変化する２個の階
調を抽出する。図１２の例では、８画素を１区間として
最大差分を取る位置の値が取得されている。このように
階調の変化量を縮小時に把握しておくことによって、最
終段での物体認識が容易となる。
方法について説明するための図である。この方法では、
横方向に連続する所定の偶数個の画素を１区間としてま
とめ、各々の区間で階調が最も大きく変化する２個の階
調を抽出する。図１２の例では、８画素を１区間として
最大差分を取る位置の値が取得されている。このように
階調の変化量を縮小時に把握しておくことによって、最
終段での物体認識が容易となる。
【００４２】上述した画像の横方向縮小処理を予め実施
することによって、後段での物体認識処理に要する時間
が短縮化されることとなるが、更にその時間を短縮化す
るためには、縮小された画像に対して物体の検索エリア
を設定することが好ましい。かかる検索エリアの設定方
法が図１３〜図１７に例示されている。
することによって、後段での物体認識処理に要する時間
が短縮化されることとなるが、更にその時間を短縮化す
るためには、縮小された画像に対して物体の検索エリア
を設定することが好ましい。かかる検索エリアの設定方
法が図１３〜図１７に例示されている。
【００４３】まず、図１３に示されるように、画像の全
面を物体の検索エリアとして設定することができる。ま
た、図１４に示されるように、自車線によって囲まれる
エリアを物体の検索エリアとして設定することができ
る。また、図１５に示されるように、車両の進行方向の
三角形状エリアを物体の検索エリアとして設定すること
ができる。
面を物体の検索エリアとして設定することができる。ま
た、図１４に示されるように、自車線によって囲まれる
エリアを物体の検索エリアとして設定することができ
る。また、図１５に示されるように、車両の進行方向の
三角形状エリアを物体の検索エリアとして設定すること
ができる。
【００４４】さらには、図１６に示されるように、後述
する物体検出処理によって、前回、物体の両端が検出さ
れたエリアを物体の検索エリアとして設定してもよい。
その際、その検出されたエリアよりも少し大きめの範囲
を対象にすると良い。また、図１７に示されるように、
エッジ抽出などの判定手段によって物体が存在している
可能性があると判定されたエリアを検索エリアとして設
定することも可能である。
する物体検出処理によって、前回、物体の両端が検出さ
れたエリアを物体の検索エリアとして設定してもよい。
その際、その検出されたエリアよりも少し大きめの範囲
を対象にすると良い。また、図１７に示されるように、
エッジ抽出などの判定手段によって物体が存在している
可能性があると判定されたエリアを検索エリアとして設
定することも可能である。
【００４５】そして、本発明では、横方向に縮小された
画像又はその画像に対して設定された検索エリアにおい
て、各画素の階調に基づき物体の両端を検出する物体検
出処理がＤＳＰ３６によって行われる。その物体検出処
理としては、まず、図１８に示されるように、前述した
ようなエッジ抽出を行うことにより物体の両端を検出す
るものが挙げられる。
画像又はその画像に対して設定された検索エリアにおい
て、各画素の階調に基づき物体の両端を検出する物体検
出処理がＤＳＰ３６によって行われる。その物体検出処
理としては、まず、図１８に示されるように、前述した
ようなエッジ抽出を行うことにより物体の両端を検出す
るものが挙げられる。
【００４６】また、図１９に示されるように、縦方向に
階調を加算した値のばらつきが一定量以下となる横方向
の範囲を物体の存在位置として検出することができる。
ただし、予め路面についての値をバックグラウンド処理
により求めておき、路面を除外する必要がある。あるい
は、やはり図１９に示されるように、縦方向に階調を加
算した値が一定値（同図では１００００）を超える横方
向の位置及びその一定値未満に低下する横方向の位置を
物体の両端として検出することができる。
階調を加算した値のばらつきが一定量以下となる横方向
の範囲を物体の存在位置として検出することができる。
ただし、予め路面についての値をバックグラウンド処理
により求めておき、路面を除外する必要がある。あるい
は、やはり図１９に示されるように、縦方向に階調を加
算した値が一定値（同図では１００００）を超える横方
向の位置及びその一定値未満に低下する横方向の位置を
物体の両端として検出することができる。
【００４７】さらには、図２０に示されるように、縦方
向の階調の平均値のばらつきが一定量以下となる横方向
の範囲を物体の存在位置として検出することができる。
ただし、予め路面についての値をバックグラウンド処理
により求めておき、路面を除外する必要がある。あるい
は、やはり図２０に示されるように、縦方向の階調の平
均値が一定値（同図では１００）を超える横方向の位置
及びその一定値未満に低下する横方向の位置を物体の両
端として検出することができる。なお、図１９又は図２
０で説明した処理により物体の存在位置や両端を検出す
る際には、一定のマージンを持たせて物体を大きめに検
出することにより、安全性をより高めるようにしてもよ
い。
向の階調の平均値のばらつきが一定量以下となる横方向
の範囲を物体の存在位置として検出することができる。
ただし、予め路面についての値をバックグラウンド処理
により求めておき、路面を除外する必要がある。あるい
は、やはり図２０に示されるように、縦方向の階調の平
均値が一定値（同図では１００）を超える横方向の位置
及びその一定値未満に低下する横方向の位置を物体の両
端として検出することができる。なお、図１９又は図２
０で説明した処理により物体の存在位置や両端を検出す
る際には、一定のマージンを持たせて物体を大きめに検
出することにより、安全性をより高めるようにしてもよ
い。
【００４８】
【発明の効果】以上説明したように、本発明によれば、
横方向に画像を縮小することによって、Ｓ／Ｎ比を改善
し、垂直成分を強調して、物体の認識率を向上させるこ
とで、車両の形状などによって左右されていた距離測定
の性能を安定化させるとともにその処理時間を短縮化す
ることができる。また、検索エリアを限定することによ
って、更なる処理時間の短縮を図ることができる。
横方向に画像を縮小することによって、Ｓ／Ｎ比を改善
し、垂直成分を強調して、物体の認識率を向上させるこ
とで、車両の形状などによって左右されていた距離測定
の性能を安定化させるとともにその処理時間を短縮化す
ることができる。また、検索エリアを限定することによ
って、更なる処理時間の短縮を図ることができる。
【図１】左右の入力画像及びそれらに対応するエッジ画
像を示す図である。
像を示す図である。
【図２】本発明の一実施形態に係る物体認識装置のハー
ドウェア構成を示すブロック図である。
ドウェア構成を示すブロック図である。
【図３】エッジ画像について説明するための図である。
【図４】左右の入力画像からそれぞれ抽出された左右の
エッジ画像に基づく視差の算出について説明するための
図である。
エッジ画像に基づく視差の算出について説明するための
図である。
【図５】画像の横方向縮小処理について説明するための
図である。
図である。
【図６】画像を横方向に縮小する第１の方法について説
明するための図である。
明するための図である。
【図７】画像を横方向に縮小する第２の方法について説
明するための図である。
明するための図である。
【図８】画像を横方向に縮小する第３の方法について説
明するための図である。
明するための図である。
【図９】画像を横方向に縮小する第４の方法について説
明するための図である。
明するための図である。
【図１０】画像を横方向に縮小する第５の方法について
説明するための図である。
説明するための図である。
【図１１】画像を横方向に縮小する第６の方法について
説明するための図である。
説明するための図である。
【図１２】画像を横方向に縮小する第７の方法について
説明するための図である。
説明するための図である。
【図１３】検索エリアを設定する第１の方法について説
明するための図である。
明するための図である。
【図１４】検索エリアを設定する第２の方法について説
明するための図である。
明するための図である。
【図１５】検索エリアを設定する第３の方法について説
明するための図である。
明するための図である。
【図１６】検索エリアを設定する第４の方法について説
明するための図である。
明するための図である。
【図１７】検索エリアを設定する第５の方法について説
明するための図である。
明するための図である。
【図１８】エッジ抽出を行うことにより物体の両端を検
出する方法について説明するための図である。
出する方法について説明するための図である。
【図１９】縦方向に階調を加算した値に基づいて物体の
両端を検出する方法について説明するための図である。
両端を検出する方法について説明するための図である。
【図２０】縦方向の階調の平均値に基づいて物体の両端
を検出する方法について説明するための図である。
を検出する方法について説明するための図である。
２２…左カメラ ２４…右カメラ ３２，３４…映像信号受信回路 ３６…ディジタル信号処理器（ＤＳＰ） ３８…スタティックＲＡＭ ４０…マイクロコンピュータ ５２…車両制御装置 ５４…警報装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ２００ Ｇ０１Ｂ 11/24 Ｋ Ｇ０８Ｇ 1/16 Ｎ Ｆターム(参考） 2F065 AA01 AA06 AA12 AA51 BB05 BB15 CC11 FF05 JJ03 JJ05 JJ19 JJ26 PP01 QQ03 QQ08 QQ13 QQ24 QQ27 QQ29 QQ32 QQ42 SS09 5B057 AA16 BA13 BA24 CA08 CA13 CA16 CD05 CE06 CE11 DA08 DB03 DB09 DC03 DC07 DC16 5H180 AA01 CC04 LL06 LL09 5L096 BA04 CA05 EA03 EA45 FA32 FA66 GA04 GA41 GA55
Claims (21)
- 【請求項１】 車両に搭載され、左カメラ及び右カメラ
から撮像されるときの視差に基づいて物体の距離を測定
する物体認識装置であって、入力される左画像及び右画
像の各々について、 画像を横方向に縮小する画像縮小手段と、 前記画像縮小手段によって縮小された画像における各画
素の階調に基づいて物体の両端を検出する物体検出手段
と、 を具備する物体認識装置。 - 【請求項２】 前記画像縮小手段は、画像を横方向にの
み縮小する、請求項１に記載の物体認識装置。 - 【請求項３】 前記画像縮小手段は、画像を横方向に縮
小するときの縮小率よりも小さな縮小率で縦方向にも画
像を縮小する、請求項１に記載の物体認識装置。 - 【請求項４】 前記画像縮小手段は、横方向に所定の複
数個おきの画素の階調を抽出することにより、横方向に
画像を縮小する、請求項１に記載の物体認識装置。 - 【請求項５】 前記画像縮小手段は、横方向に連続する
所定の複数個の画素を１区間としてまとめ、各々の区間
で階調の最大値を抽出することにより、横方向に画像を
縮小する、請求項１に記載の物体認識装置。 - 【請求項６】 前記画像縮小手段は、横方向に連続する
所定の複数個の画素を１区間としてまとめ、各々の区間
で階調の最小値を抽出することにより、横方向に画像を
縮小する、請求項１に記載の物体認識装置。 - 【請求項７】 前記画像縮小手段は、横方向に連続する
所定の複数個の画素を１区間としてまとめ、各々の区間
で階調の平均値を算出することにより、横方向に画像を
縮小する、請求項１に記載の物体認識装置。 - 【請求項８】 前記画像縮小手段は、横方向に連続する
所定の複数個の画素を１区間としてまとめ、各々の区間
で階調の総和を算出することにより、横方向に画像を縮
小する、請求項１に記載の物体認識装置。 - 【請求項９】 前記画像縮小手段は、横方向に連続する
所定の偶数個の画素を１区間としてまとめ、各々の区間
で階調の最大値及び最小値を出現順に抽出することによ
り、横方向に画像を縮小する、請求項１に記載の物体認
識装置。 - 【請求項１０】 前記画像縮小手段は、横方向に連続す
る所定の偶数個の画素を１区間としてまとめ、各々の区
間で階調が最も大きく変化する２個の階調を抽出するこ
とにより、横方向に画像を縮小する、請求項１に記載の
物体認識装置。 - 【請求項１１】 前記画像縮小手段によって縮小された
画像に対して物体の検索エリアを設定する検索エリア設
定手段、をさらに具備する、請求項１に記載の物体認識
装置。 - 【請求項１２】 前記検索エリア設定手段は、画像の全
面を物体の検索エリアとして設定する、請求項１１に記
載の物体認識装置。 - 【請求項１３】 前記検索エリア設定手段は、自車線に
よって囲まれるエリアに基づき物体の検索エリアを設定
する、請求項１１に記載の物体認識装置。 - 【請求項１４】 前記検索エリア設定手段は、車両の進
行方向のエリアを物体の検索エリアとして設定する、請
求項１１に記載の物体認識装置。 - 【請求項１５】 前記検索エリア設定手段は、前記物体
検出手段によって、前回、物体の両端が検出されたエリ
アに基づき物体の検索エリアを設定する、請求項１１に
記載の物体認識装置。 - 【請求項１６】 前記検索エリア設定手段は、他の判定
手段によって物体が存在している可能性があると判定さ
れたエリアを検索エリアとして設定する、請求項１１に
記載の物体認識装置。 - 【請求項１７】 前記物体検出手段は、エッジ抽出を行
うことにより物体の両端を検出する、請求項１に記載の
物体認識装置。 - 【請求項１８】 前記物体検出手段は、縦方向に階調を
加算した値のばらつきが一定量以下となる横方向の範囲
を物体の存在位置として検出する、請求項１に記載の物
体認識装置。 - 【請求項１９】 前記物体検出手段は、縦方向に階調を
加算した値が一定値を超える横方向の位置及び該一定値
未満に低下する横方向の位置を物体の両端として検出す
る、請求項１に記載の物体認識装置。 - 【請求項２０】 前記物体検出手段は、縦方向の階調の
平均値のばらつきが一定量以下となる横方向の範囲を物
体の存在位置として検出する、請求項１に記載の物体認
識装置。 - 【請求項２１】 前記物体検出手段は、縦方向の階調の
平均値が一定値を超える横方向の位置及び該一定値未満
に低下する横方向の位置を物体の両端として検出する、
請求項１に記載の物体認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001008125A JP2002216113A (ja) | 2001-01-16 | 2001-01-16 | 物体認識装置 |
| US10/052,029 US7003137B2 (en) | 2001-01-16 | 2002-01-15 | Target recognition apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001008125A JP2002216113A (ja) | 2001-01-16 | 2001-01-16 | 物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002216113A true JP2002216113A (ja) | 2002-08-02 |
| JP2002216113A5 JP2002216113A5 (ja) | 2008-02-28 |
Family
ID=18875777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001008125A Pending JP2002216113A (ja) | 2001-01-16 | 2001-01-16 | 物体認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7003137B2 (ja) |
| JP (1) | JP2002216113A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010021633A (ja) * | 2008-07-08 | 2010-01-28 | Nissan Motor Co Ltd | 移動体検出装置及び移動体検出方法 |
| JP2012150587A (ja) * | 2011-01-18 | 2012-08-09 | Yazaki Corp | 車両検出装置及び車両検出方法 |
| CN102892655A (zh) * | 2010-05-13 | 2013-01-23 | 丰田自动车株式会社 | 车辆控制装置和车辆控制系统 |
| JP2013068417A (ja) * | 2011-09-20 | 2013-04-18 | Dainippon Screen Mfg Co Ltd | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
| CN110260839A (zh) * | 2019-04-27 | 2019-09-20 | 绿桥(泰州)生态修复有限公司 | 目标间距测量系统 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003098424A (ja) * | 2001-09-25 | 2003-04-03 | Fujitsu Ten Ltd | 画像処理測距装置 |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7231288B2 (en) * | 2005-03-15 | 2007-06-12 | Visteon Global Technologies, Inc. | System to determine distance to a lead vehicle |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US8150101B2 (en) | 2006-11-13 | 2012-04-03 | Cybernet Systems Corporation | Orientation invariant object identification using model-based image processing |
| WO2011145190A1 (ja) | 2010-05-19 | 2011-11-24 | トヨタ自動車株式会社 | 車両制御システム |
| JP4996720B2 (ja) * | 2010-06-30 | 2012-08-08 | 株式会社東芝 | 画像処理装置、画像処理プログラム、及び画像処理方法 |
| US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0689339A (ja) * | 1992-09-07 | 1994-03-29 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出方法 |
| JPH06215181A (ja) * | 1993-01-20 | 1994-08-05 | Hitachi Eng Co Ltd | 文字・文字列切り出し方法および文字認識装置 |
| JPH06331351A (ja) * | 1993-05-25 | 1994-12-02 | Matsushita Electric Ind Co Ltd | 車間距離計測装置とステレオ画像取り込み装置 |
| JP2000209432A (ja) * | 1999-01-18 | 2000-07-28 | Dainippon Screen Mfg Co Ltd | 画像処理方法 |
| JP2000341501A (ja) * | 1999-03-23 | 2000-12-08 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4497065A (en) * | 1982-07-12 | 1985-01-29 | Westinghouse Electric Corp. | Target recognition system enhanced by active signature measurements |
| US5400244A (en) * | 1991-06-25 | 1995-03-21 | Kabushiki Kaisha Toshiba | Running control system for mobile robot provided with multiple sensor information integration system |
| JP3167752B2 (ja) * | 1991-10-22 | 2001-05-21 | 富士重工業株式会社 | 車輌用距離検出装置 |
| US6097315A (en) * | 1996-02-15 | 2000-08-01 | Minter; Jerry B. | Multi-indicator aviation pilot collision alert |
| JP3982177B2 (ja) * | 1998-05-11 | 2007-09-26 | 株式会社日立製作所 | 車両の制御装置 |
| JPH11339017A (ja) | 1998-05-29 | 1999-12-10 | Mitsubishi Heavy Ind Ltd | ナンバープレート認識装置 |
| JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
| US6184781B1 (en) * | 1999-02-02 | 2001-02-06 | Intel Corporation | Rear looking vision system |
| EP1056064B1 (en) * | 1999-05-28 | 2007-12-12 | Nippon Telegraph and Telephone Corporation | Apparatus and method for speed measurement of vehicles with an image processing system |
-
2001
- 2001-01-16 JP JP2001008125A patent/JP2002216113A/ja active Pending
-
2002
- 2002-01-15 US US10/052,029 patent/US7003137B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0689339A (ja) * | 1992-09-07 | 1994-03-29 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出方法 |
| JPH06215181A (ja) * | 1993-01-20 | 1994-08-05 | Hitachi Eng Co Ltd | 文字・文字列切り出し方法および文字認識装置 |
| JPH06331351A (ja) * | 1993-05-25 | 1994-12-02 | Matsushita Electric Ind Co Ltd | 車間距離計測装置とステレオ画像取り込み装置 |
| JP2000209432A (ja) * | 1999-01-18 | 2000-07-28 | Dainippon Screen Mfg Co Ltd | 画像処理方法 |
| JP2000341501A (ja) * | 1999-03-23 | 2000-12-08 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010021633A (ja) * | 2008-07-08 | 2010-01-28 | Nissan Motor Co Ltd | 移動体検出装置及び移動体検出方法 |
| CN102892655A (zh) * | 2010-05-13 | 2013-01-23 | 丰田自动车株式会社 | 车辆控制装置和车辆控制系统 |
| JP2012150587A (ja) * | 2011-01-18 | 2012-08-09 | Yazaki Corp | 車両検出装置及び車両検出方法 |
| JP2013068417A (ja) * | 2011-09-20 | 2013-04-18 | Dainippon Screen Mfg Co Ltd | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
| CN110260839A (zh) * | 2019-04-27 | 2019-09-20 | 绿桥(泰州)生态修复有限公司 | 目标间距测量系统 |
| CN110260839B (zh) * | 2019-04-27 | 2020-02-07 | 绿桥(泰州)生态修复有限公司 | 目标间距测量系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020131621A1 (en) | 2002-09-19 |
| US7003137B2 (en) | 2006-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4173901B2 (ja) | 車両周辺監視装置 | |
| JP4937029B2 (ja) | 物体検出装置及びプログラム | |
| US6658150B2 (en) | Image recognition system | |
| JP4456086B2 (ja) | 車両周辺監視装置 | |
| JP2002216113A (ja) | 物体認識装置 | |
| JP4962581B2 (ja) | 区画線検出装置 | |
| JP4631096B2 (ja) | 車両周辺監視装置 | |
| JP4173902B2 (ja) | 車両周辺監視装置 | |
| JP2004145852A (ja) | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 | |
| JP2008045974A (ja) | 物体検出装置 | |
| CA2519908A1 (en) | Target detection improvements using temporal integrations and spatial fusion | |
| JP5991647B2 (ja) | 車両用周辺監視制御装置 | |
| JP4528283B2 (ja) | 車両周辺監視装置 | |
| JP4644273B2 (ja) | 車両周辺監視装置 | |
| JP2001043495A (ja) | ステレオ式車外監視装置 | |
| JP6432296B2 (ja) | 画像中のゼブラクロッシングの検出装置及び方法 | |
| JP5264457B2 (ja) | 物体検出装置 | |
| JP2003028635A (ja) | 画像測距装置 | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| JP5253195B2 (ja) | 物体検出装置 | |
| JP5172887B2 (ja) | 車両の周辺監視装置 | |
| JP2016110373A (ja) | カーブミラー検出装置 | |
| JP6126849B2 (ja) | 車線識別装置および車線識別方法 | |
| JP2007066003A (ja) | 停止線検出装置 | |
| JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110118 |