JP4995555B2 - 画像処理装置 - Google Patents

Description

本発明は、車載カメラが撮影した車両周囲の撮影画像を２値化し、２値化された撮影画像内のエッジを検出する画像処理装置に関する。

ＣＭＯＳイメージセンサを備えたカメラと、その撮影画像からエッジ（輪郭）を検出してエッジの形状から被写体を認識する画像処理装置により構成される画像センサが知られている。近年ではこのような画像センサにより車両前方の物体を認識する車両の安全制御システムが普及しつつあり、その一例が特許文献１に記載されている。

かかる画像センサの画像処理装置は、まず撮影画像を車載カメラの解像度に対応した画素ごとに、例えば黒に対応する「１」または白に対応する「０」のいずれかに２値化し、２値化画像データをメモリに格納する。次に、画像処理装置は、２値化画像データを画像の縦方向、横方向それぞれ個別に累計（ヒストグラム化）し、その累計値により黒色が割当てられた画素の分布を求めて画像内のエッジを検出する。そして、画像処理装置は、検出されたエッジの形状を予め記憶された先行車両その他の障害物のエッジの形状と照合して、画像認識を行う。

このような画像処理においては、処理される画像データを格納するために多くのメモリが必要とされる。例えば、画素ごとに２値化された２値化画像データを格納するには少なくとも画素数と同じビット数の容量のメモリが必要となる。そして、エッジ検出では縦方向、横方向それぞれ個別にヒストグラム化が行われるため、１画像のエッジ検出のためには２画像分の２値化画像データを格納できる容量のメモリが必要となる。このように２値化画像データはメモリ資源を圧迫する一因となる。

また、２値化画像データのデータ量が大きくなると、エッジ検出の処理量が増大する。よって、２値化画像データは画像処理装置の処理負荷を増大させる一因ともなる。

よって、メモリ量やエッジ検出処理の負荷の低減を目的として、２値化画像データのデータ量を削減するための方法が種々提案されている。一例としては、撮影画像の画素を例えば縦横２画素からなる画素ブロックに分割し、画素ブロック単位で２値化する方法が提案されている。この方法によれば、画像の解像度を低下させながらも２値化画像データのデータ量を４分の１に抑えることができる。

さらに別の例として、車載カメラにより例えば毎秒３０画像の頻度で撮影される画像の連続性に着目して、前回の撮影画像で検出されたエッジ付近の範囲の画像は１画素単位で２値化し、それ以外の範囲の画像は画素ブロック単位で２値化する方法も提案されている。この方法によれば、解像度を低下させずにエッジ検出が行え、且つ２値化画像データのデータ量も有る程度抑えることができる。
特開２００５−３３２１２０号公報

しかしながら上記のような従来技術では、主要な撮像対象である先行車両が高速で移動すると同時に自車両も高速で移動するので、次のような問題が生じる。すなわち、１つの撮影画像から次の撮影画像までの間に画像内の物体の移動量は大きくなるので、移動したエッジの検出を精度よく行うためには１画素単位で２値化する範囲を前回の撮影画像のエッジ付近で広く設定しなくてはならない。すると、２値化画像データのデータ量はさほど小さくならず、メモリ量やエッジ検出処理の負荷の低減効果が十分得られない。

そこで、本発明の目的は、撮影対象物の移動量が大きい場合であっても、精度よいエッジ検出を行いつつメモリ量やエッジ検出処理の負荷の低減が可能な画像処理装置を提供することにある。

上記の目的を達成するための本発明の第１の側面は、車載カメラが順次撮影する車両周囲の撮影画像を２値化し、前記２値化された撮影画像内のエッジを検出する画像処理装置であって、第１の撮影画像で検出されるエッジの第１の位置と当該エッジの移動情報とに基づき前記第１の撮影画像の後の第２の撮影画像における当該エッジの第２の位置を予測し、前記第２の撮影画像では前記第２の位置周辺の範囲を第１の画素数単位で２値化し、それ以外の範囲を前記第１の画素数より大きい第２の画素数単位で２値化することを特徴とする。

上記側面によれば、第１の撮影画像で検出されるエッジの第１の位置と当該エッジの移動情報とに基づき第２の撮影画像における当該エッジの第２の位置を予測することにより、先行車両などの物体と自車両が高速で移動する場合であっても、予測されたエッジ位置周辺の最小限の範囲を第１の画素数単位で２値化し、それ以外の範囲を前記第１の画素数より大きい第２の画素数単位で２値化することができる。すなわち、第１の画素数単位で２値化を行う範囲は、解像度は高いがメモリ消費量の大きいので、その範囲を最小限とすることにより、エッジ検出の精度を低下させることなく２値化画像データのデータ量を削減できる。よって、２値化画像データを格納するメモリ量やエッジ検出処理の負荷を低減することができる。

以下、図面にしたがって本発明の実施の形態について説明する。但し、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

図１は本実施形態における画像処理装置が車両に搭載される例を説明する図である。車両１には、車両前方を撮影し撮影画像の認識を行う画像センサ２が搭載され、画像センサ２は車載カメラ２ａと画像処理装置２ｂが一体化されて構成される。車載カメラ２ａは、固定式のカメラであって、例えば６４０×４８０画素のＣＭＯＳイメージセンサを備え、車両前方の一定範囲２ｃの画像を毎秒３０画像撮影し、画像処理装置２ｂへその撮影画像データを入力する。そして画像処理装置２ｂは撮影画像データを処理して撮影画像の２値化、エッジ検出、及びエッジ形状の認識を行い、認識結果データを出力する。

また、車両１には車両前方の一定角度の検知範囲３ａにおいて先行車両などの物標の相対的な位置、距離、速度などの物標状態を検知するスキャン式の車載レーダ３や、車両１の速度を検知する車速センサ４、車両１の加速度を検知するＧセンサ５、車両１のドライバによる操舵角を検知するステアリングセンサ６などの各種センサが搭載される。そして画像センサ２による画像認識結果データ、車載レーダ３により検知される物標状態データ、及び各種センサ４〜６による検知される車速、加速度、操舵方向等の車両状態データは、制御ＥＣＵ（Electronic Control Unit）８へ入力される。そして、制御ＥＣＵ８はこれらの入力データに基づいてブレーキ７などのアクチュエータを制御して車両１の走行を制御したり、不図示の警報器にドライバへの警告を行わせたりする。このように、制御ＥＣＵ８とこれに接続される各種機器により車両の安全制御システムが構成される。

図２は、本実施形態における画像処理装置２ｂの構成を説明する図である。まず２値化処理部２１は、車載カメラ２ａから毎秒３０画像の撮影画像データ２ｄを入力され、各撮影画像を構成する画素の濃度階調値に応じて画像を２値化（「０」または「１」）し、２値化された撮影画像の２値化画像データ２１ａを第１メモリ２２に格納する。次に、ヒストグラム処理部２３は、第１メモリから読み出した２値化画像データ２１aに基づき画像の縦方向、横方向ごとの値を累計してヒストグラム化し、ヒストグラムデータ２３ａを第２メモリ２４に格納する。

エッジ検出部２５は、第２メモリからヒストグラムデータ２３ａを読出し、画像内の「１」が割当てられた画素の分布を求めてエッジ検出を行い、検出したエッジの座標からなるエッジ位置データ２５ａを第３メモリ２６に格納する。ここで、「エッジ」とは撮影画像の明暗の変化点によって、画像内の物体の輪郭を構成する線、または輪郭と輪郭内部の領域の形状や模様を構成する線をいう。なお、以下では物体の輪郭を構成する線を例として説明する。

ＣＰＵ２７は第３メモリ２６に格納されるエッジ位置データ２５ａを読出して検出されたエッジの形状を第５メモリ３０に予め格納された各種物体のエッジの形状と照合させて被写体の画像認識を行い、その画像認識結果データ２７ａを制御ＥＣＵ８へ出力する。

ここで図３を用いて、２値化処理部２１による撮影画像の２値化処理について説明する。まず、図３（Ａ）において、車載カメラ２ａから入力される撮影画像データ２ｄを処理して撮影画像を車載カメラ２ａの解像度、つまり６４０×４８０画素の１画素単位で２値化する場合を示す。２値化処理部２１は、例えば１画素２５６階調（８ビット）の撮影画像データについて、中間値（１２８）以上の階調値の画素に「１」、それ未満の階調値の画素に「０」を割付けて撮影画像を２値化し、２値化画像データを２１ａ生成する。この結果、６４０×４８０ビットの２値化画像データ２１ａが生成される。さらにヒストグラム処理部２３で縦横２方向で個別の累計計算を行うので、この２値化画像データ２１ａを２画像分格納するために第１メモリ２２には６４０×４８０×２ビットの容量が必要とされる。

次に、図３（Ｂ）において、撮影画像を縦横２画素の４画素からなる画素ブロックごとに分割し、画素ブロック単位で２値化する場合を示す。この場合、画素ブロックに含まれる４画素分の階調値の合計値は０から１０２０までの値となる。よって２値化処理部２１は、中間値（５１０）を基準にそれ以上の合計値の画素ブロックに「１」、それ未満の合計値の画素ブロックに「０」を割付けて画素ブロックごとの２値化画像データ２１ａを生成する。この結果生成される２値化画像データ２１ａのデータ量は画素数の４分の１のビット数となる。よって、第１メモリ２２にはヒストグラム処理のために２画像分の２値化画像データ２１ａが格納されるとしても、必要なメモリ量は、６４０×４８０×２／４ビットとなる。

上述の図３（Ａ）、（Ｂ）の２値化処理を比較すると、図３（Ａ）の方法は２値化された撮影画像の解像度は高いがデータ量が大きくなり、図３（Ｂ）の方法は反対に解像度は低くなるがデータ量は小さく抑えられる。本実施形態においては、図３（Ａ）、図３（Ｂ）の方法を組み合わせた２値化処理が次のように行われる。

図２に戻り、エッジ位置予測部２８は、車載カメラ２ａから連続して入力される撮影画像について、撮影画像ごとに検出されたエッジ位置データ２５ａを第３メモリ２６から読み出して格納する第４メモリ２９を備える。この第４メモリ２９は、数画像分のエッジ位置データを格納する容量を有し、最新のエッジ位置データ２５ａが入力されると、古いデータは上書きされる。そしてエッジ位置予測部２８は、第４メモリ２９から読み出した前回の撮影画像のエッジ位置と後述するエッジ移動情報とから今回の撮影画像のエッジ位置を予測して予測結果データ２８ａをＣＰＵ２７へ入力する。

すると、ＣＰＵ２７は、予測された今回の撮影画像のエッジ位置付近の一定の範囲を図３（Ａ）で示したように１画素単位で２値化を行うエッジ検出範囲として算出し、２値化処理部２１にそのエッジ検出範囲データ２７ｂを入力する。すると、２値化処理部２１は入力により設定されたエッジ検出範囲の撮影画像を１画素単位で２値化し、それ以外の範囲を４画素で構成される画素ブロック単位で２値化して、２値化画像データ２１ａを第１メモリ２２に格納する。

このようにして、エッジ位置を予測することによりエッジ付近のエッジ検出範囲を限定して設定することができる。よって、２値化された撮影画像のエッジ付近の解像度を低下させることなく、且つ２値化画像データ２１ａ全体のデータ量を低減することが可能となる。次に、エッジ位置の移動情報の種別ごとに、本実施形態におけるエッジ位置予測の例を説明する。

図４は、本実施形態におけるエッジ位置予測の第１の例を説明する図である。図４（Ａ）〜（Ｄ）はいずれも車載カメラ２ａの撮影画像を模式的に示している。上述したように、２値化処理部２１へは毎秒３０画像分の撮影画像データが車載カメラ２ａから順次入力される。よって、図４（Ａ）に、前々回の撮影画像において検出されたエッジＥ１（一点鎖線で表示）と、前回の撮影画像で検出されたエッジＥ２（実線で表示）とを示すと、矢印Ｄで示されるエッジＥ１からＥ２への移動方向と移動量とを求めることができる。よって、第１の例では、エッジＥ１からＥ２への移動方向と移動量とをエッジの「移動情報」として用いて、今回の撮影画像でのエッジ位置を予測する。

具体的には、エッジ位置予測部２８は前々回のエッジＥ１の位置データと前回のエッジＥ２の位置データとを第４メモリ２９に格納しておき、これらのデータからエッジの移動方向、移動量からなるエッジの移動情報を求める。そして、エッジ位置予測部２８は、図４（Ｂ）に示すように今回の撮影画像のエッジＥ３（点線で表示）の位置を前回のエッジＥ２の位置と矢印Ｄで示されるエッジの移動情報とに基づき予測する。

そして、ＣＰＵ２７は、今回の撮影画像においては図４（Ｃ）に示すように予測されたエッジ位置Ｅ３付近のエッジ検出範囲Ａ１（斜線で表示された範囲）を２値化処理部２１に設定する。そして、２値化処理部２１はエッジ検出範囲Ａ１を１画素単位で２値化し、それ以外の範囲Ａ２は４画素からなる画素ブロック単位で２値化して、撮影画像全体の２値化画像データを第１メモリ２２に格納する。

ここで従来技術と本実施形態における２値化処理とを比較する。図４（Ｄ）に示すように、従来技術では前回のエッジＥ２付近のエッジ検出範囲Ａ３を１画素単位で２値化し、それ以外の範囲を画素ブロック単位で２値化する。しかし、従来技術ではエッジ位置の予測を行わないため、エッジＥ２がいずれの方向へ移動してもエッジが存在する画像範囲を１画素単位で２値化して精度よくエッジ検出できるように、エッジ検出範囲Ａ３を広く設定する必要がある。すると、エッジ検出範囲Ａ３については、２値化画像データは画素数と同じビット数のデータ量となるため、画像全体としてのデータ量はさほど小さくはならない。一方、本実施形態では図４（Ｃ）に示したようにエッジＥ３の位置を予測することによりエッジ検出範囲Ａ１をより限定して設定できるので、２値化画像データ２１ａのデータ量をより小さく抑えることができる。また、エッジＥ３が確度高くに存在する範囲をエッジ検出範囲とするので、その範囲の画像を解像度の高い１画素単位で２値化でき、エッジ検出を精度良く行うことができる。

図５は本実施形態におけるエッジ位置予測の第２、第３の例を説明する図である。図５（Ａ）、（Ｂ）はいずれも車載カメラ２ａによる撮影画像を模式的に示している。まず第２の例について説明する。図５（Ａ）に示すように、エッジ位置予測部２８は、前回の撮影画像のエッジＥ２１（実線で表示）の位置と、車速センサ４、Ｇセンサ５、ステアリングセンサ６から入力される車両状態データを含むエッジの移動情報に基づき、今回の撮影画像のエッジＥ２２（点線で表示）の位置を予測する。

具体的には、図５（Ｃ）に示すように、例えば自車両１の車載カメラ２ａによる撮影可能範囲２ｃに先行車両１００が存在し、先行車両１００が撮影画像内のエッジＥ２１として検出されたとする。今仮に自車両１はドライバの運転操作により矢印Ｌで示すように左側へ移動し始めたとすると、車速センサ５は移動速度、ステアリングセンサ６はハンドルの操舵方向、Ｇセンサは横方向の加速度をそれぞれ検知し、それぞれの検知結果からなる車両状態データがエッジ位置予測部２８へ入力される。すると、エッジ位置予測部２８は、車両状態データに基づきエッジＥ２１で表される先行車両１００が自車両１の車載カメラ２ａとは相対的に右側へ移動すると判断し、車両１の移動速度に応じて矢印Ｄ１で表される移動量でエッジＥ２１が右側へ移動した位置をエッジＥ２２の位置として予測する。

そして、ＣＰＵ２７は今回の撮影画像においては図５（Ｂ）に示すように予測されたエッジＥ２２付近のエッジ検出範囲Ａ１１（斜線で表示された範囲）を設定する。すると２値化処理部２１は、エッジ検出範囲Ａ１１を１画素単位で２値化し、それ以外の範囲Ａ２１を４画素からなる画素ブロック単位で２値化して、撮影画像全体の２値化画像データを第１メモリ２２に格納する。このように、前回のエッジ位置と車両１の車両状態とに基づき今回の撮影画像のエッジ位置を予測することによっても、画像処理装置２ｂは上述した第１の例と同様の作用効果を奏する。

また、第３の例としては、図５（Ｃ）に示すように車載レーダ３の検知範囲３ａ内に存在する先行車両１００の位置、距離、速度等の物標状態データに基づいて今回の撮影画像でのエッジ位置Ｅ３１を予測することができる。すなわち、先行車両１００の角度方向が車載レーダ３によって矢印Ｒに示されるように右側へ移動していることが検知された場合に、かかる物標状態データが画像処理装置２ｂのエッジ位置予測部２８へ入力される。すると、エッジ位置予測部２８は、図５（Ａ）に示すようにエッジＥ２１で表される先行車両１００が自車両１の車載カメラ２ａとは相対的に右側へ移動すると判断し、移動速度に応じた量（矢印Ｄ１）でエッジＥ２１が右側へ移動した位置をエッジＥ２２の位置として予測する。そして、ＣＰＵ２７、２値化処理部２１は、上述の第２の例と同様の処理を行う。よってこの場合も、第２の例と同様の作用効果を奏する。

また、第２、第３の例を組み合わせたエッジ位置の予測を行うことも可能である。すなわち、車両１の車両状態データと他車両による物標状態データとにもとづきエッジ位置を予測することで、より精度のよい予測が可能となる。よって、１画素単位で２値化するエッジ検出範囲Ａ１１をさらに狭く設定することが可能となり、２値化画像データ２１ａのデータ量をより削減することが可能となる。

さらに、上述した第１の例と、第２、第３の例のいずれか１つまたは両方とを組み合わせてエッジ位置の予測を行うことができる。すなわち、前々回、前回の撮影画像でのエッジ位置からエッジの移動情報を求め、そのエッジ移動情報と車両１の車両状態データまたは他車両による物標状態データとに基づいてエッジ位置を予測することで、より精度のよい予測が可能となる。よってこの場合も、１画素単位で２値化するエッジ検出範囲を第１〜３の例を単独で用いた場合より狭く設定することができ、２値化画像データ２１ａのデータ量をより削減することが可能となる。

図６は、本実施形態における画像処理装置２ｂの動作手順について説明するフローチャート図である。まず画像処理装置２ｂは、電源が投下された直後に車載カメラ２ａが撮影する第１撮影画像の処理を行う（手順Ｓ１００）。すなわち、１画素単位で２値化するエッジ検出範囲を設定せずに撮影画像の全体を４画素の画素ブロック単位で２値化し（Ｓ１）、エッジ検出を行う（Ｓ２）。車両が走行を開始する前であれば精度のよいエッジ検出は必要ないため、４画素単位で画像を２値化することで２値化画像データのデータ量を削減できる。そして、検出されたエッジに基づき画像認識を行い、第１撮影画像の認識結果データを制御ＥＣＵ８へ送信する（Ｓ３）。

次に画像処理装置２ｂは、第２撮影画像の画像処理を行う（Ｓ２００）。すなわち、車両１の車両状態を含むエッジの移動情報を取得し（Ｓ４）、手順Ｓ２で検出された第１撮影画像でのエッジ位置と取得したエッジの移動情報とに基づき、第２撮影画像でのエッジ位置を予測する（Ｓ５）。そして、予測されたエッジ位置周辺の１画素単位で２値化するエッジ検出範囲を設定し（Ｓ６）、撮影画像を２値化してエッジを検出する（Ｓ７）。そして、検出されたエッジに基づき画像認識を行い、第２撮影画像の認識結果データを制御ＥＣＵ８へ送信する（Ｓ８）。

そして画像処理装置２ｂは、第３撮影画像以降の画像処理を行う（Ｓ３００）。すなわち、前回の撮影画像で検出されたエッジの位置と、そのエッジ位置と前々回の撮影画像で検出されたエッジ位置の差とに基づき新たなエッジ位置を予測し（Ｓ９）、車両１の車両状態あるいは他車による物標状態を含むエッジの移動情報を取得して（Ｓ１０）、手順Ｓ９で予測した予測結果とエッジ位置移動情報とからエッジ位置を再度予測する（Ｓ１１）。そして予測されたエッジ位置周辺のエッジ検出範囲を設定し（Ｓ１２）、撮影画像を２値化してエッジを検出する（Ｓ１３）。そして、検出されたエッジに基づき画像認識を行い、認識結果データを制御ＥＣＵ８へ送信する（Ｓ１４）。そして、車両１の走行中は手順Ｓ９〜Ｓ１４からなる手順Ｓ３００が繰り返し実行される。

なお、上記において示した手順２００は上述した第２の例に対応しており、また手順３００は上述した第１の例と第２または第３の例の組合せに対応する。しかし、手順３００のうち手順Ｓ１０、Ｓ１１を省略することにより第１の例に対応した手順としてもよく、手順Ｓ９を省略して第２または第３の例に対応した手順とすることももちろん可能である。

図７は、従来技術と本実施形態における画像処理について説明するシーケンス図である。図７（１）には従来の車載カメラ２ａ、画像処理装置２ｂによる動作、図７（２）には本実施形態の車載カメラ２ａ、画像処理装置２ｂ、各種センサ４〜６、車載レーダ３等の動作による画像処理シーケンスが示される。なお、画像処理装置２ｂの動作には図７のフローチャート図で示した手順と同じ符号が付してあり、反復される手順Ｓ３００には反復回数に応じた添え字「−ｎ」（ｎは自然数）が付してある。

図７（１）に示すように、従来は順次車載カメラ２ａが毎秒３０画像、つまり１００ミリ秒ごとに３画像の速度で撮影を行う（Ｐ１、Ｐ２、…、Ｐｎ）。しかし２値化画像データ２１ａのデータ量が大きいため画像処理装置２ｂによるエッジ検出の処理負荷が大きく、２値化処理とエッジ検出、及びエッジ検出結果に基づく画像認識結果データの出力は第１撮影画像の処理（Ｓ１００）の後、３画像に１回の割合でしか行われていなかった（Ｓ２００、Ｓ３００−１、…、Ｓ３００−ｎ）。これに対し、図７（２）に示すように本実施形態では、２値化画像データ２１ａのデータ量が削減できるためエッジ検出処理の処理負荷が軽減され、毎撮影画像ごとに２値化処理とエッジ検出が可能となり、さらには検出されたエッジに基づく画像認識と認識結果を制御ＥＣＵ８へ通信することが可能となる（Ｓ２００、Ｓ３００−１、…、Ｓ３００−ｎ）。よって、画像認識における時間精度を向上させることが可能となる。

また図７（３）に示すように、１撮影画像分の画像処理Ｓ３００−ｎでは、エッジ位置の予測（Ｓ９、Ｓ１１）、エッジ検出範囲の設定（Ｓ１２）、２値化処理及びエッジ検出（Ｓ１３）、そして画像認識と制御ＥＣＵ８への認識結果データの送信（Ｓ１４）が順次行われ、エッジ位置の予測に際して各種センサ４〜６からの車両１の車両状態データや車載レーダ３からの他車両による物標状態データが入力される（Ｓ１０）。ここで、これらのデータが入力されるタイミングはエッジ位置予測が終了する以前の任意のタイミングとすることが可能である。また、制御ＥＣＵ８への認識結果データの送信（Ｓ１４）と次の撮影画像の画像処理シーケンスにおけるエッジ位置の予測とは並行して処理させることも可能である。そうすることにより、さらに時間精度を向上させることが可能となる。

図８は、本実施形態における２値化処理の第４の例を説明する図である。第４の例では、車載レーダ３から入力される、車載カメラ２ａの撮影範囲外で検知される物標の相対的な位置、距離、速度を表す物標状態データに基づいて、エッジ位置予測部２８が２値化処理する撮影画像でのエッジ位置を予測する。例えば、図８（Ａ）に示すように車載レーダ３の検知範囲３ａ内に存在する隣接車線の先行車両１００が矢印Ｌ１に示されるように車載カメラ２の撮影可能範囲２ｃの方向へ移動していることが検知され、車載レーダ３からかかる物標状態データがエッジ位置予測部２８に入力される。すると、エッジ位置予測部２８は先行車両１００が車載カメラ２の撮影可能範囲２ｃへ入ることを予測して、図８（Ｂ）に示すように先行車両１００が撮影されることによりエッジＥ３２が表れると予測する。そしてＣＰＵ２７は、エッジＥ３２が位置する画像の右端の領域に対し１画素単位で２値化するエッジ検出範囲Ａ３１を設定する。そして、２値化処理部２１が２値化処理を行う。

このようにして、前回の撮影画像でエッジが検出されていない場合であっても、今回の撮影画像でのエッジ位置を予測でき、エッジ検出精度を低下させることなく２値化画像データ２１ａのデータ量を削減できる。そして、一旦エッジＥ３２が検出された後は、上述した第２、第３の例、さらに２画像以上処理した後は第１の例によって画像処理を行うことができる。

なお本実施形態では、予測されたエッジ位置付近を１画素単位で２値化し、それ以外の範囲は４画素の画素ブロック単位で２値化する。しかし、２値化する単位の画素数はこれに限られず、予測されたエッジ付近のエッジ検出範囲を２値化する画素数の単位が、その他の範囲を２値化する画素数の単位より小さければ、エッジ付近の解像度をそれ以外の範囲の解像度より落とすことなく、撮影画像全体としての２値化画像データのデータ量を削減することができる。

以上説明したとおり、本発明によれば、撮影対象物の移動量が大きい場合であっても、精度よいエッジ検出を行いつつメモリ量、エッジ検出処理の負荷の低減が可能となる。

本実施形態における画像処理装置が車両に搭載される例を説明する図である。 本実施形態における画像処理装置２ｂの構成を説明する図である。 ２値化処理部２１による撮影画像の２値化処理について説明する図である。 本実施形態におけるエッジ位置予測の第１の例を説明する図である。 本実施形態におけるエッジ位置予測の第２、第３の例を説明する図である。 本実施形態における画像処理装置２ｂの動作手順について説明するフローチャート図である。 従来技術と本実施形態における画像処理について説明するシーケンス図である。 本実施形態における２値化処理の第４の例を説明する図である。

符号の説明

２ｂ：画像処理装置、３：車載レーダ、４：車速センサ、５：Ｇセンサ、
６：ステアリングセンサ、２１：２値化処理部、２２：第１メモリ、
２３：ヒストグラム処理部、２５：エッジ検出部、２７：ＣＰＵ、２８：エッジ位置予測部

Claims (5)

1. 車載カメラが順次撮影する車両周囲の撮影画像を２値化する二値化処理部と、
   前記２値化された撮影画像内のエッジを検出するエッジ検出部と、
   第１の撮影画像で検出されるエッジの第１の位置と当該エッジの移動情報とに基づき前記第１の撮影画像の後の第２の撮影画像における当該エッジの第２の位置を予測するエッジ位置予測部とを有し、
   前記二値化処理部は、前記第２の撮影画像では前記第２の位置周辺の範囲を第１の画素数単位で２値化し、それ以外の範囲を前記第１の画素数より大きい第２の画素数単位で２値化することを特徴とする、画像処理装置。
2. 請求項１において、
   前記エッジの移動情報は、前記エッジ位置予測部により求められる、前記第１の撮影画像の前の第３の撮影画像における前記エッジの第３の位置と前記第１の位置との差を有することを特徴とする画像処理装置。
3. 請求項１または２において、
   前記エッジの移動情報は、前記エッジ位置予測部に入力される、前記車両の車速、加速度、操舵方向等の車両状態を含むことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記エッジの移動情報は、前記エッジ位置予測部に入力される、前記車両の車載レーダ装置から前記車載カメラの撮影範囲で検知される物標の相対的な位置、距離、速度等の物標状態を含むことを特徴とする画像処理装置。
5. 車載カメラが順次撮影する車両周囲の撮影画像を２値化する二値化処理部と、
   前記２値化された撮影画像内のエッジを検出するエッジ検出部と、
   前記車両の車載レーダ装置から前記車載カメラの撮影範囲外の範囲を含む検知範囲で検知される物標の相対的な位置、距離、速度等の物標状態を表す物標状態データが入力され、前記撮影画像における前記エッジの位置を前記物標状態に基づき予測するエッジ位置予測部とを有し、
   前記二値化処理部は、当該撮影画像では前記予測される位置周辺の範囲を第１の画素数単位で２値化し、それ以外の範囲を前記第１の画素数より大きい第２の画素数単位で２値化することを特徴とする、画像処理装置。

Images