JP2006268366A - 障害物検知装置 - Google Patents

Abstract

【課題】夜間走行時において確実に障害物を検知することができる障害物検知装置を提供すること。
【解決手段】画像処理回路４２は画像データから画像センサ１の撮像面１１を複数に区画して形成された１９２の局所領域Ａｍ毎に平均画素値を算出する（ステップＳ１２０）。続いて、各局所領域Ａｍにおける平均画素値に基づいて局所領域Ａｍでの閾値ＳＨｍを設定し（ステップＳ１３０）、これをメモリ４６に記憶する（ステップＳ１４０）。次に、第１画像メモリ４５に記憶されている画像データを読み出し、この画像データを２値化データに変換する（ステップＳ１４０）。最後に第２画像メモリ４７に記憶されている２値化データに対して収縮処理を施し、当該収縮処理後の２値化データをビットマップデータとして第３画像メモリ４８に格納する（ステップＳ１８０）。ＣＰＵ４３は、第３画像メモリ４８に記憶されている２値化データに基づいて障害物の有無を判定する。
【選択図】図３

Description

本発明は、車両前方の障害物を検知する障害物検知装置に関し、特に、夜間走行時における障害物検知を正確に行うようにしたものに関する。

夜間走行時に運転者の視覚をサポートする、いわゆるナイトビュー機能を備えた障害物検知装置として、例えば特許文献１に記載されたものが知られている。これは、車両に搭載した画像センサにより、車両前方の画像を取得してこれをヘッドアップディスプレイにてウィンドシールド上に表示するとともに、画像センサから出力される画像データに基づいて人等の障害物を検出するようになっている。

以下、障害物の検出手順について説明する。まず、投光器により車両前方に近赤外光を投光し、車両前方に存在する各物体で反射した近赤外光を画像センサにて受光する。画像センサからは各画素の受光量（明るさ）に応じた画素値からなる画像データが制御手段に出力される。制御手段は画像データを構成する各画素の画素値が所定の閾値よりも高いかあるいは低いかを判定し、画素値が閾値よりも高い場合はその画素値を「１」、低い場合はその画素値を「０」に変換する２値化処理を行い、これによって、画像データを２値化データに変換する。これにより、画素値が「１」とされた画素の集合からなる障害物候補と、画素値が「０」とされた画素の集合からなる背景とが分離され、障害物候補が抽出される。そして、障害物候補の輪郭形状と予め記憶されている障害物データベースと照合することで障害物候補が障害物であるか否かを判定する。障害物と判定した場合には、運転者に対してその旨をウィンドシールド上に表示するのである。
特開２００４−３４８４５８号公報

ところで、障害物の明るさが背景のそれに近い場合や、障害物付近に街灯等の光源が存在する場合等、車両前方の状況によっては、障害物と背景との明るさの差が小さい場合、すなわちコントラスト比が低い場合があり、このような場合には、障害物候補と背景とを分離できず、障害物を検出することができないことがある。

また、仮に障害物と背景とのコントラスト比が高い場合であっても、白線等の明るい物体が障害物の近傍に存在する場合には、画像上で障害物と白線とが結合してしまい障害物を障害物候補として抽出することができないという問題があった。

尚、昼間走行時の場合には、明るさの情報以外に色彩の情報が得られるから、上記のような場合であっても、色彩の情報から障害物を検知することが可能である。しかし、夜間走行時に得られる情報は明るさの情報のみであるからこの情報に基づいて障害物を確実に検知できる障害物検知装置が求められていた。

本発明は、上記事情に鑑みてなされたものであり、その目的は、夜間走行時において確実に障害物を検知することができる障害物検知装置を提供することにある。

請求項１の発明では、車両前方の画像を取得するものであって、撮像面を構成する複数の画素にて夫々車両前方からの光を受光し、受光量に応じて出力される各画素からの画素値を画像データとして出力する撮像手段と、画像データから、撮像面を複数に区画して形成された各局所領域に対応する画素の画素値を抽出し、それら画素値に基づいてそれぞれの局所領域内の閾値を設定する閾値設定手段と、各局所領域内の画素値を当該局所領域にそれぞれ設定された閾値に基づいて２値化することで画像データを２値化データに変換するデータ変換手段と、２値化データに対して収縮処理を行う収縮処理手段と、収縮処理手段にて処理された２値化データからいずれか一方の値が集合する画素集合を障害物候補として抽出し、この画素集合の形状を障害物データベースと照合することで障害物の有無を判定する判定手段とを備えることを特徴としている。

本構成では、障害物候補を撮像した画素群の画素値と背景を撮像した画素群の画素値とから閾値を設定し、この閾値よりも高い画素値を有する画素には一方の値を設定し、低い画素値を有する画素には他方の値を設定する。従って、障害物候補とされる画素群の値は一方の値とされるとともに、背景とされる画素群の値はこれとは異なる値とされる。従って、障害物候補と背景とのコントラスト比が低い場合であっても、正確に障害物候補を抽出し、障害物を検出することができる。

また、２値化データに収縮処理を施すことにより、背景となるべき明るい物体と障害物候補とを分離するようにしている。従って、車両前方の状況によって背景となるべき明るい物体と障害物とが連結した場合であっても、障害物候補を確実に抽出し、障害物を検出することができる。

請求項２の発明では、撮像面は、複数の画素をマトリクス状に配して構成されており、局所領域は撮像面における画素の並び方向に沿って区画して形成されることを特徴としている。

このようにすれば、画像データの中から所定の局所領域に対応する画素の画素値を抽出する際に、その処理を簡易化することができる。

請求項３の発明では、閾値設定手段は、局所領域内の閾値を当該局所領域内の平均画素値に基づいて設定することを特徴としている。

局所領域の平均画素値が比較的低い場合には、障害物候補と背景とのコントラスト比が低くなっていることが多い。従って、このようなコントラスト比が低い場合には、障害物候補の画素値が背景の画素値に対して比較的近い値となる。上記の場合において、障害物候補となるべき画素群と背景となるべき画素群とを確実に分離するには、平均画素値に基づいて閾値を設定することが望ましい。これに対して、本構成では、平均画素値に応じて各局所領域内の閾値を設定するようにしているから、確実に両者を分離することができる。

＜第１の実施形態＞
本発明の一実施形態について、図１ないし図１０を参照して説明する。本実施形態の障害物検知装置は自動車に搭載されており、車両前方の画像を取得して表示するとともに、取得した画像から障害物の有無の判定を行うものである。

図１は本実施形態の障害物検知装置の全体構成を示した図である。図１に示すように、本装置は、画像センサ１、投光器２、表示器３及び制御部４から構成されている。

画像センサ１は、図２に示すように、自動車の所定位置、例えばルームミラーの裏側に設置されており、車両前方の約１５０ｍ先の領域を撮像するようにその設置姿勢が設定されている。この画像センサ１は、近赤外領域に感度を有しており、車両前方からの近赤外光を受光し、受光状態に応じた受光信号を出力する。

この画像センサ１の撮像面１１は複数の画素をマトリクス状に配置することにより形成されており、垂直方向に４８０、水平方向に６４０の画素が配置されている。上述した受光信号は近赤外光の受光量に応じて各画素から出力された光強度電圧の信号であり、水平／垂直同期信号とともに、水平ラインごとに制御部４に出力する。また、画像センサ１の撮像周期は１／３０（秒）であるから、毎秒３０フレームの画像を取得するとともに、受光信号を制御部４に出力する。

投光器２は、図２に示すように、上述した車両前方に向けて近赤外光を投光するものである。この投光器２は、例えば、車両の前照灯のハイビームに可動式の可視光遮断フィルタによってハイビームの照射光の上方を遮ることにより、車両前方の約１５０ｍ先の領域に近赤外光のみが投光される。また、前照灯とは別に、専用の投光器を設けてもよい。

表示器３は、例えばヘッドアップディスプレイにより構成されており、画像センサ１にて取得された画像をウィンドシールド上に表示するようになっている。また、この表示器３は、液晶ディスプレイによって構成してもよい。

制御部４は、図１に示すように、ＡＤ変換器４１、画像処理回路４２、ＣＰＵ４３、ＲＯＭ４４、第１画像メモリ４５、ＲＡＭ４６、第２画像メモリ４７及び第３画像メモリ４８から構成されている。

ＡＤ変換器４１は画像センサ１から出力された受光信号をディジタルデータ（画像データ）に変換するものであり、受光信号をなす光強度電圧をその電圧値に応じて、例えば０〜２５５のディジタル値である画素値に変換し、この画素値を画像データとして画像処理回路４２に出力する。

画像処理回路４２は、ＡＤ変換器４１から出力された画像データを受けて所定の処理を行うことにより当該画像データを加工するとともに、加工形式に応じて画像データを各メモリ４５〜４８に選択的に格納する。

ＣＰＵ４３は、画像センサ１、投光器２、画像処理回路４２及び表示器３の動作を制御するものであり、画像センサ１及び投光器２を動作させるとともに、画像センサ１により取得された画像データに基づいて表示器３に画像を表示させる。また、ＣＰＵ４３は後述する障害物検知の処理を行うようになっている。

ＲＯＭ４４には、ＣＰＵ４３に所定の制御を行わせるためのプログラムと、ＣＰＵ４３により実行される障害物検知の処理に伴って使用される障害物データベースとが記憶されている。この障害物データベースは、例えば人５（図２参照）という障害物のデータの形態をパターン化したものであり、例えば歩いているパターン、立ち止まっているパターン、走っているパターンなどのように、人５が様々な形態をとると予想されるため、それぞれのパターンをデータとして記録している。

第１画像メモリ４５には、画像処理回路４２から出力された画像データを記憶するための領域が設けられており、これには、ＡＤ変換器４１から出力された画像データがそのまま記憶されるようになっている。ＲＡＭ４６には、画像センサ１の撮像面１１における各局所領域Ａｍ（ｍ＝１〜１９２）に設定された閾値ＳＨｍを記憶するための領域が設けられている。第２画像メモリ４７には、画像処理回路４２の処理により２値化された画像データ（２値化データ）を記憶するための領域が設けられている。第３画像メモリ４８には、画像処理回路４２により、後述する収縮処理が施された２値化データを記憶するための領域が設けられている。これらのメモリ４５〜４８は、夫々所定時間分の画像データを記憶するための容量が確保されており、記録の限界に達すると、以前に取り込まれた画像データの中から順に古い画像データが消去され、新しい画像データに更新されていく。

尚、ＢＵＳ４９は、各デバイスを電気的に接続するためのものであり、各デバイス間の電気信号の送受信を可能にしている。

本発明の構成は以上であり、続いて障害物検知の処理について図３乃至図１０を参照して説明する。本装置を作動させると、ＣＰＵ４３は画像センサ１、投光器２及び表示器４の動作を制御する。また、ＣＰＵ４３は画像処理回路４２が図３に示すフローチャートに従って動作するようにこれを制御するとともに、図５に示すフローチャートに従って動作する。

図３に示すように、画像処理回路４２は、ＡＤ変換器４１から出力された画像データを取得し、これをビットマップデータとして第１画像メモリ４５に格納する（ステップＳ１１０）。図６は第１画像メモリ４５に格納された画像データに基づいて画像を表示器３に表示させたときの例である。

次に、画像センサ１の撮像面１１を複数に区画して形成された１９２の局所領域Ａｍ（ｍ＝１〜１９２）において、夫々の領域内の平均画素値を算出する（ステップＳ１２０）。具体的には、画像センサ１の撮像面１１において垂直方向４０画素、水平方向４０画素の正方形の局所領域Ａｍ毎に当該局所領域Ａｍ内の画素に対応する画素値を画像データから抽出し（図４（Ａ），（Ｂ）参照）、これら画素値から平均画素値を算出する。

続いて、各局所領域Ａｍにおける平均画素値に基づいて局所領域Ａｍでの閾値ＳＨｍ（ｍ＝１〜１９２）を設定する（ステップＳ１３０、図４（Ｃ）参照）。原則として、局所領域Ａｍでの平均画素値をその局所領域Ａｍの閾値ＳＨｍとして設定する。一方、平均画素値が比較的低い場合（概ね、平均画素値が１２０以下の場合）には、平均画素値からこの平均画素値に応じた減算値を差し引いた値を局所領域Ａｍの閾値ＳＨｍに設定する。仮に、平均画素値が５０とされているときには、減算値を２０として、閾値ＳＨｍを３０に設定し、平均画素値が１００とされているときには、減算値を１０として、閾値ＳＨｍを９０に設定する。すなわち、平均画素値が低い値ほど閾値ＳＨｍを下げるように設定している。このようにして設定された閾値ＳＨｍをＲＡＭ４６に記憶する（ステップＳ１４０）。そして、上記ステップＳ１２０〜Ｓ１４０の処理を局所領域Ａ１〜Ａ１９２について行う（ステップＳ１００、Ｓ１５０、Ｓ１６０）。

上記ステップＳ１２０〜Ｓ１４０の処理が終了すると、画像処理回路４２は、第１画像メモリ４５に記憶されている画像データを読み出し、この画像データを２値化データに変換する（ステップＳ１７０）。この処理は、各局所領域Ａｍに対応する画素の画素値を当該局所領域Ａｍに設定された閾値ＳＨｍと比較し、この閾値ＳＨｍよりも高い画素値は「１」、低い画素値は「０」に変換し、これをビットマップデータとして第２画像メモリ４７に格納する。図７は第２画像メモリ４７に格納された２値化データに基づいて画像を表示器３に表示させたときの例である。

最後に、第２画像メモリ４７に記憶されている２値化データに対して収縮処理を施し、当該収縮処理後の２値化データをビットマップデータとして第３画像メモリ４８に格納する（ステップＳ１８０）。この処理は、一の画素において、その周囲８画素のうち画素値が「１」とされている画素が半数以上（４画素以上）であるときには、当該一の画素の画素値を「１」に変換し、半数以下（３画素以下）であるときには、当該一の画素の画素値を「０」に変換する。この処理を全画素の画素値について行う。図８は第３画像メモリ４８に格納された２値化データに基づいて画像を表示器３に表示させたときの例である。

画像処理回路４２が上記の処理を行うことにより、「１」の画素値を持つ画素の集合からなる障害物候補が、「０」の画素値を持つ画素の集合からなる背景から分離される。

次に、ＣＰＵ４３が実行する障害物検知処理について説明する。

図５に示すように、ＣＰＵ４３は、第３画像メモリ４８に格納されている２値化データから画素値が「１」とされている画素の集合（画素集合）を障害物候補として抽出し（ステップＳ２００）、この障害物候補の輪郭部分の形状を特定する（ステップＳ２１０）。次に、障害物候補の輪郭形状をＲＯＭ４４に記憶されている障害物データベースのデータと照合する（ステップＳ２２０）。ここで、障害物データベースに保存されている様々な形状パターンを比較することによって、それが障害物になるのかどうかを判定する。

障害物候補が障害物データベースのデータと一致しない場合には（ステップＳ２３０でＮＯ）、上記画像データからの障害物の検索を終了し、次の画像データから障害物の検索を行う。

一方、障害物候補が障害物データベースのデータと一致した場合には（ステップＳ２３０でＹＥＳ）、ヘッドアップディスプレイ等の表示器３に障害物が前方に存在する旨を表示する。このとき、ヘッドアップディスプレイによりウィンドシールド上に車両前方の画像を表示するとともに、障害物が存在する部位の色を例えば赤色とすることで運転者に対して障害物の存在を視認させる（ステップＳ２４０）。

尚、上記画像センサ１及びＡＤ変換器４１により請求項に記載の撮像手段を構成している。また、画像処理回路４２により閾値設定手段、データ変換手段および収縮処理手段が構成されており、ＣＰＵ４３により判定手段が構成されている。

ここで、例えば暗い色の上着を着た人を撮像した場合、つまり人と背景とのコントラスト比が低い場合について考察する（図９（Ａ）参照）。本実施形態のように局所領域Ａｍ毎に閾値ＳＨｍを設定し、それら閾値ＳＨｍに基づいて２値化データに変換すれば人に対応する画素の画素値は「１」とされ、画素値が「１」とされた画素集合の輪郭は元画像の人の輪郭と略一致する（図９（Ｂ）参照）。従って、この画素集合を障害物候補として抽出すれば、障害物データベースのデータと一致し障害物を検知することができる。一方、従来のように一定の閾値に基づいて２値化データに変換すると、上着部分に相当する画素の画素値が「０」となり、画素値が「１」とされた画素集合の輪郭は元画像の人の輪郭とは一致しない（図９（Ｃ）参照）。従って、この画素集合を障害物候補として抽出したとしても、障害物が存在しないと誤判定される。

また、例えば人が道路の白線を踏んだ状況を撮像した場合について考察する（図１０（Ａ）参照）。このような場合には、画像センサ１にて撮像された画像は人と白線とが結合した形状となる。本実施形態のように、２値化データに対して収縮処理を行った場合には、人と白線とが分離され、画素値が「１」とされた画素集合の輪郭は元画像の人の輪郭と略一致する（図１０（Ｂ）参照）。従って、この画素集合を障害物候補として抽出すれば、障害物データベースのデータと一致し障害物を検知することができる。一方、２値化データに対する収縮処理が未処理の場合には、画像上で人と白線とが結合したままであるから、この画素集合を障害物候補として抽出したとしても、障害物データベースと一致しないから障害物が存在しないと誤判定される（図１０（Ｃ）参照）。

本構成では、各局所領域Ａｍにおいて障害物候補に対応する画素の画素値と背景に対応する画素の画素値とから閾値ＳＨｍを設定し、この閾値ＳＨｍよりも高い画素値はその値を「１」に設定し、低い画素値はその値を「０」に設定するようにした。これにより、障害物候補に対応する画素の画素値は「１」とされるとともに、背景に対応する画素の画素値は「０」とされるから障害物候補と背景とを確実に分離することができる。従って、障害物候補と背景とのコントラスト比が低い場合であっても、障害物を正確に検知することができる。

また、２値化データに対して収縮処理を施すことにより、背景となるべき明るい物体と障害物候補とを分離するようにしている。従って、車両前方の状況によって撮影された画像内で背景となるべき明るい物体と障害物とが結合した場合であっても、障害物候補を確実に抽出し、障害物を検出することができる。

また、本実施形態では、局所領域Ａｍを撮像面の垂直方向及び水平方向に対して平行に区画することで形成しているから、画像データの中から所定の局所領域Ａｍに対応する画素の画素値を抽出する際に、その処理を簡易化することができる。

局所領域Ａｍ内の画素の平均画素値が相対的に低い場合には、障害物候補と背景とのコントラスト比が低くなっていることが多い。従って、このようなコントラスト比が低い場合には、障害物候補となるべき画素集合の画素値が、背景となるべき画素集合の画素値に対して比較的近い値となる。このような場合において、障害物候補となるべき画素群と背景となるべき画素群とを確実に分離するには、平均画素値に基づいて閾値ＳＨｍを設定することが望ましい。これに対して、本構成では、平均画素値に応じて各局所領域Ａｍ内の閾値ＳＨｍを設定するようにしているから、確実に両者を分離することができる。

＜他の実施形態＞
上記実施形態では、撮像面をその垂直方向及び水平方向に対して平行に区画するようにしていたが、垂直方向・水平方向に対して交差するようにして複数の局所領域Ａｍに区画するようにしてもよい。

また、上記実施形態では、閾値ＳＨｍは局所領域Ａｍ内の画素群の平均画素値にその平均画素値に対応した減算値を減じて局所領域Ａｍ内の閾値ＳＨｍとして設定したが、例えば、平均画素値を閾値ＳＨｍとして設定してもよい。

また、上記実施形態では、画像センサ１の撮像面において垂直方向・水平方向共に４０画素の領域を局所領域Ａｍに設定していたが、これに限られず、垂直方向・水平方向共に種々の値に設定することができる。

また、上記実施形態では、ステップＳ１８０の収縮処理において、一の画素についてその周囲８画素のうち画素値が「１」とされている画素が半数以上で当該一の画素の画素値を「１」に変換し、３画素以下で当該一の画素の画素値を「０」に変換するようにしたが、これに限られず、例えば周囲８画素のうち画素値が「０」とされている画素が１つでもあれば、当該一の画素の画素値を「０」としてもよい。すなわち、２値化の変換条件とされる「１」又は「０」の画素値を有する画素の数を任意の数に設定することができる。

本発明の第１実施形態における障害物検知装置のシステム構成図である。 図１に示す障害物検知装置を備えた車両の概略図である。 画像処理回路４２の処理内容を示すフローチャートである 局所領域Ａｍにおける閾値の設定方法を示した概念図である。 ＣＰＵ４３の処理内容を示すフローチャートである。 第１画像メモリ４５に格納された画像データに基づいて表示器４に表示させた画像を示す図である。 第３画像メモリ４５に格納された２値化データに基づいて表示器４に表示させ画像を示す図である。 第３画像メモリ４５に格納された２値化データに基づいて表示器４に表示させた画像を示す図である。 （Ａ）は画像センサ１にて撮像された画像を示す図である。（Ｂ）は可変閾値による２値化データに基づいて表示される画像を示す図である。（Ｃ）は固定閾値による２値化データの基づいて表示される画像を示す図である。 （Ａ）は画像センサ１にて撮像された画像を示す図である。（Ｂ）は収縮処理後の２値化データに基づいて表示される画像を示す図である。（Ｃ）は収縮処理未処理の２値化データに基づいて表示される画像を示す図である。

符号の説明

１…画像センサ
２…投光器
３…表示器
４…制御部
４１…ＡＤ変換器
４２…画像処理回路（閾値設定手段、データ変換手段、収縮処理手段）
４３…ＣＰＵ（判定手段）
４４…ＲＯＭ
４５…第１画像メモリ
４６…ＲＡＭ
４７…第２画像メモリ
４８…第３画像メモリ
４９…ＢＵＳ

Claims (3)

1. 車両前方の画像を取得するものであって、撮像面を構成する複数の画素にて夫々車両前方からの光を受光し、受光量に応じて出力される各画素からの画素値を画像データとして出力する撮像手段と、
   前記画像データから、前記撮像面を複数に区画して形成された各局所領域に対応する画素の画素値を抽出し、それら画素値に基づいてそれぞれの局所領域内の閾値を設定する閾値設定手段と、
   各局所領域内の画素値を当該局所領域にそれぞれ設定された閾値に基づいて２値化することで前記画像データを２値化データに変換するデータ変換手段と、
   前記２値化データに対して収縮処理を行う収縮処理手段と、
   前記収縮処理手段にて処理された２値化データからいずれか一方の値が集合する画素集合を障害物候補として抽出し、この画素集合の形状を障害物データベースと照合することで障害物の有無を判定する判定手段とを備えることを特徴とする障害物検知装置。
2. 前記撮像面は、複数の画素をマトリクス状に配して構成されており、
   前記局所領域は前記撮像面における画素の並び方向に沿って区画して形成されることを特徴とする請求項１に記載の障害物検知装置。
3. 前記閾値設定手段は、前記局所領域内の閾値を当該局所領域内の平均画素値に基づいて設定することを特徴とする請求項１又は請求項２に記載の障害物検知装置。
   
   
   
   
   
   

Images