JP3570198B2 - 画像処理方法およびその装置 - Google Patents
画像処理方法およびその装置 Download PDFInfo
- Publication number
- JP3570198B2 JP3570198B2 JP01329598A JP1329598A JP3570198B2 JP 3570198 B2 JP3570198 B2 JP 3570198B2 JP 01329598 A JP01329598 A JP 01329598A JP 1329598 A JP1329598 A JP 1329598A JP 3570198 B2 JP3570198 B2 JP 3570198B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- images
- image processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、単独または複数個の撮像手段により所定の観測領域を撮像して得られた画像を処理して、前記観測領域内における車輌を認識する画像処理方法および装置に関連する。また、この発明は、複数個の撮像手段により得られた画像を用いた３次元計測処理により、所定の観測領域内の対象物について、その対象物の有無，大きさ，位置，形状など、各種の認識処理を実施するための画像処理方法および装置に関連する。
【０００２】
【従来の技術】
近年、駐車場における車輌の駐車状況や、道路上の車輌の走行状態など、所定の観測領域における対象物を観測するために、画像処理の手法を用いた観測装置が開発されている。この種の観測装置は、観測対象の領域の上方位置にＣＣＤカメラ（以下単に「カメラ」という）を配備するとともに、このカメラからの画像を制御装置に連続的に取り込んで、各入力画像上の対象物の特徴を抽出するもので、対象物が車輌などの移動体である場合には、さらに特徴抽出結果の時系列データにより、対象物の移動方向や速度の計測が行われる。
【０００３】
また観測領域に対し、複数台のカメラを所定の位置関係をもって配置し、各カメラからの画像を制御装置に取り込んで、対象物の３次元計測処理を行うようにした装置も、提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながらこの種の観測処理では、照明条件などの影響で観測領域内の明るさに大きなばらつきが生じたり、観測領域内に反射率が大きく異なる対象物が存在したりして、各対象物間の明るさが大きく異なる場合がある。このような状況下では、観測領域内のすべての対象物の明るさをカメラのダイナミックレンジの範囲内に収められなくなり、一部対象物を認識できなくなるという問題が発生する。
【０００５】
この発明は上記問題に着目してなされたもので、観測領域内に車体色の違いにより明るさが異なる複数の車輌が存在する場合にも、各車輌を精度良く認識し、認識精度を大幅に向上することを技術課題とする。
また、この発明は、３次元計測による認識処理において、観測領域内に明るさの異なる複数の対象物が存在する場合にも、各対象物を精度良く認識し、認識精度を大幅に向上することを技術課題とする。
【０００６】
【課題を解決するための手段】
請求項１，２にかかる発明は、車輌を認識するための画像処理方法に関する。請求項１の発明の画像処理方法は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像し、前記撮像により生成された複数枚の画像毎に、それぞれ車輌の輪郭を表すエッジを抽出し、前記画像毎のエッジ抽出結果を統合し、その統合結果を用いて前記観測領域内の車輌を認識することを特徴とする。
【０００８】
請求項２の発明の画像処理方法は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像し、前記撮像により生成された複数枚の画像毎に、それぞれ車輌の輪郭を表すエッジを抽出する処理と、前記抽出結果を用いて前記観測領域内の車輌をその位置に対応づけて認識する処理とを実行し、前記画像毎の認識結果のうち前記車輌の認識位置が画像間で異なるものを、それぞれ個別の車輌に対する認識結果とみなして各認識結果を統合し、観測領域内の車輌を最終的に認識することを特徴とする。
【０００９】
請求項３の発明の画像処理方法は、所定の観測領域に向けて配備された複数個の撮像手段により、それぞれ異なる露光量による複数枚の画像を生成し、各撮像手段により同じ露光量で生成された画像の組毎に、各画像上の特徴点を画像間で対応づけした後、各組毎の対応づけ結果を統合し、前記統合された対応づけ結果を用いた３次元計測処理を実施して、その計測結果に基づき前記観測領域内の対象物を認識することを特徴とする。
【００１１】
請求項４の発明の画像処理装置は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像して得られた複数枚の画像を、個別に入力する画像入力手段と、入力した各画像からそれぞれ車輌の輪郭を表すエッジを抽出するエッジ抽出手段と、前記入力画像毎のエッジ抽出結果を統合する統合手段と、前記統合手段により統合されたエッジ抽出結果を用いて前記観測領域内の車輌を認識する認識手段とを具備する。
【００１２】
請求項５の発明の画像処理装置は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像して得られた複数枚の画像を、個別に入力する画像入力手段と、入力した各画像からそれぞれ車輌の輪郭を表すエッジを抽出するエッジ抽出手段と、前記入力画像毎に、前記エッジ抽出結果を用いて観測領域内の車輌をその位置に対応づけて認識する認識手段と、前記入力画像毎の認識結果のうち前記車輌の認識位置が画像間で異なるものを、それぞれ個別の車輌に対する認識結果とみなして各認識結果を統合し、前記観測領域内の車輌の最終的な認識結果を示すデータを生成する認識結果統合手段とを具備する。
【００１３】
請求項６の発明の画像処理装置は、前記請求項４または５の構成に、前記観測領域内の明るさを検出する明るさ検出手段と、各入力画像を供給する撮像手段に対し、各画像に対応する露光量を前記明るさの検出結果を用いて調整する露光量調整手段とが付加される。
【００１４】
請求項７の発明の画像処理装置は、前記請求項４または５の構成に、画像入力手段により入力された各画像の明るさを検出する画像明るさ検出手段と、各入力画像を供給する撮像手段に対し、各画像に対応する露光量を前記明るさの検出結果を用いて調整する露光量調整手段とが付加される。
【００１５】
請求項８の発明の画像処理装置は、前記請求項４または５の構成に、時刻を計時するタイマを加え、このタイマの計時時刻に基づき、１日のうちの所定期間は、特定の露光量による１枚の画像のみを入力して、前記観測領域内の車輌を認識するように構成する。
【００１６】
請求項９の発明の画像処理装置は、所定の観測領域に向けて配備された複数個の撮像手段より、それぞれ異なる露光量による複数枚の画像を入力する画像入力手段と、各撮像手段により同じ露光量で生成された入力画像の組毎に、各画像上の特徴点を画像間で対応づけする対応づけ手段と、前記各組毎の対応づけ結果を統合する統合手段と、統合された対応づけ結果を用いた３次元計測処理を実施する３次元計測手段と、前記３次元計測結果を用いて前記観測領域内の対象物を認識する認識手段とを具備する。
【００１７】
請求項１０の発明の画像処理装置は、前記請求項９の構成に、さらに時刻を計時するタイマを加え、このタイマの計時時刻に基づき、１日のうちの所定期間は、各撮像手段よりそれぞれ特定の露光量による１枚の画像のみを入力し、各入力画像間で対応する特徴を用いた３次元計測処理により、前記観測領域内の対象物を認識するように構成される。
【００１８】
【作用】
同一の観測領域をそれぞれ異なる露光量により撮像することにより、観測領域に明るさの異なる対象物が存在する場合も、各対象物を、それぞれいずれかの露光量による画像上に出現させることが可能となる。
【００２０】
請求項１および４の発明では、車輌の車体色の種類に応じた複数とおりの露光量による複数の画像に対し、それぞれ車輌の輪郭を表すエッジを抽出し、各エッジ抽出結果を統合する。したがって、観測領域内に車体色の異なる複数の車輌が存在しても、それぞれその車体色に対応する画像上でそのエッジを得ることが可能となり、エッジ抽出処理の統合結果を用いて、各車輌を精度良く認識することができる。
【００２１】
請求項２および５の発明では、車輌の車体色の種類に応じた複数とおりの露光量による複数の画像について、それぞれ車輌の輪郭を表すエッジを抽出した後、そのエッジ抽出結果を用いて、観測領域内の車輌をその位置に対応づけて認識する処理を実行する。したがって、観測領域内に車体色の異なる複数の車輌が存在しても、それぞれその車体色に対応する画像上でその車輌を精度良く認識することができる。さらに、画像毎の認識結果を統合する際には、車輌の認識位置が画像間で異なる認識結果をそれぞれ個別の車輌に対する認識結果とみなすので、観測領域内のすべての車輌を精度良く認識することができる。
【００２２】
請求項６，７の発明では、各画像を供給する撮像手段に対し、観測領域内もしくは入力画像の明るさを用いて露光量を調整するので、周囲環境の変化により観測領域内の明るさが変動しても、車輌の特徴を鮮明にとらえた画像を生成できる。
【００２３】
請求項３および９の発明では、観測領域を複数個の撮像手段により撮像して、３次元計測処理を行う際に、各撮像手段により同じ露光量で生成された画像の組毎に画像上の特徴点の対応づけを行って、各組毎の対応づけ結果を統合するので、観測領域内のすべての対象物の物点にかかる特徴点を対応づけすることができる。よってこの統合された対応づけ結果を用いて３次元計測処理を実施することにより、各対象物の３次元形状や空間位置を、精度良く認識することができる。
【００２４】
請求項８および１０の発明では、タイマの計時時刻により、１日のうちの所定の期間内は、特定の露光量による画像のみを用いた認識処理を行うので、夜間など明度の高い対象物が検出されることのない時間帯の無用な処理を回避できる。
【００２５】
【実施例】
図１は、この発明が適用された駐車場用の観測装置の設置例を示す。この観測装置は、複数の駐車枠に区分けされた駐車エリア４に対し、各駐車枠内に車輌が駐車しているか否かを認識するためのもので、駐車エリア４の近傍位置に設置された支柱３上に、カメラ１と制御装置２とが固定支持される。
【００２６】
前記カメラ１は、支柱３の上部位置に支持棒３Ａを介して取り付けられ、駐車エリア４を斜め上方位置から撮像して、エリア全体を含む画像を生成する。この画像は制御装置２に取り込まれて、後記するいずれかの認識処理が実施され、各駐車枠内に車輌が存在するか否かが認識される。この認識結果は、装置内部の伝送部（図示せず）により管理センターなどの外部装置に伝送される。
【００２７】
図中、ＣＢ ，ＣＷ は駐車中の車輌であって、車輌ＣＢ の車体は黒など反射率の低い色彩のものである。これに対し、車輌ＣＷ の車体は、白など反射率の高い色彩のもので、晴天時など撮像領域全体が明るく照明された条件下では、各車輌ＣＢ ，ＣＷ 上の明るさに、顕著な差異が現れる。
【００２８】
この観測装置では、上記の車輌ＣＢ ，ＣＷ のように、車体上の明るさが大きく異なる車輌がともに駐車している場合にも、各車輌を精度良く認識できるように、前記カメラ１を、２とおりのシャッタ速度により連続的に撮像動作を行うように設定するとともに、制御装置２側で、各シャッタ速度毎の画像を統合的に処理して、認識処理を行うようにしている。
以下、上記図１の観測装置の具体的な構成例と、各構成例における認識処理方法について、順を追って説明する。
【００２９】
（１）第１実施例
図２は、この第１の観測処理装置の構成を示すもので、前記したカメラ１，制御装置２のほか、シャッタ速度制御装置５を構成として含んでいる。
シャッタ速度制御装置５は、カメラ１のハウジング内もしくは制御装置２内に組み込まれるもので、カメラ１の撮像タイミングに応じて、ＣＣＤ撮像素子の電荷蓄積時間を調整することにより、カメラ１に２とおりのシャッタ速度ＳＳ ，ＳＦ （ＳＳ ＞ＳＦ ）を交互に設定する。
【００３０】
制御装置２は、カメラ１からの画像を取り込む画像入力部６と、取り込んだ画像を処理するための認識処理部７とにより構成される（以下の実施例も同様である）。
【００３１】
画像入力部６は、カメラ１からのアナログ量の画像データをディジタル変換するためのＡ／Ｄ変換回路８，各シャッタ速度毎の画像データを記憶するための２個の画像メモリ１０Ｓ，１０Ｆ，切換部９などを具備する。切換部９は、カメラ１の撮像動作に応じて、Ａ／Ｄ変換回路８の接続先を切り換えるためのもので、遅い方のシャッタ速度ＳＳ により得られた画像ＩＳ は、第１の画像メモリ１０Ｓへ、速い方のシャッタ速度ＳＦ により得られた画像ＩＦ は、第２の画像メモリ１０Ｆへ、それぞれ格納される。
【００３２】
図３（１）（２）は、前記図１に示した状態を各シャッタ速度ＳＳ ，ＳＦ により撮像して得られた入力画像ＩＳ ，ＩＦ を示す。
シャッタ速度ＳＳ は、前記車輌ＣＢ の車体色のような暗い色を捉えるのに適したシャッタ速度（例えば１／３０秒）であって、このシャッタ速度により生成された画像ＩＳ では、図３（１）に示すように、車輌ＣＢ の画像が鮮明に出現する。しかしながら車体色の白いＣＷ については、画像上における対応位置の輝度が飽和状態となっており、画像上で車輌ＣＷ の特徴を認識するのは困難となる。
【００３３】
他方のシャッタ速度ＳＦ は、強い反射光を捉えるのに適した短いシャッタ速度（例えば１／１２０秒）であって、このシャッタ速度ＳＦ による画像ＩＦ 上では、図３（２）に示すように、車体色の明るい車輌ＣＷ の鮮明な画像が現れる。しかしながらこの画像ＩＦ 上の車輌ＣＢ に対する部分は黒くにじんだものとなり、車輌ＣＢ の特徴を認識するのは困難となる。
【００３４】
図２に戻って、この実施例の認識処理部７は、画像統合部１１，特徴抽出部１２，物体検出部１３などから構成される。なおこの認識処理部７の各構成は、具体的には、以下に述べる各処理を実施するためのアルゴリズムをコンピュータのＣＰＵに与えることにより実現するものである（以下の実施例も同様）。
【００３５】
この実施例は、前記した２種類のシャッタ速度ＳＳ ，ＳＦ による各入力画像ＩＳ ，ＩＦ を、１枚の画像に合成した後、この合成画像の特徴を用いて各車輌枠毎に車輌の有無を認識するものである。
画像統合部１１は、各入力画像の合成処理を実施するためのもので、各入力画像ＩＳ ，ＩＦ について、それぞれｉ行目ｊ列目に位置する画素の輝度値ｇＳ （ｉ，ｊ），ｇＦ （ｉ，ｊ）を、つぎの（１）−１〜（１）−３に示す原則にあてはめることにより、合成画像の対応する画素の輝度値Ｇ（ｉ，ｊ）を決定する。
【００３６】
【数１】
【００３７】
なお（１）式において、ｔｈＳ ，ｔｈＦ はあらかじめ定められたしきい値であって、ｔｈＳ には十分に大きな輝度値が、ｔｈＦ には十分に小さな輝度値が、それぞれ設定される。
例えば、入力画像の各画素の輝度値が８ビット構成のデータをとる場合、ｔｈＳ は２４０付近に、ｔｈＦ は１０付近に設定される。
【００３８】
前記図３（１）（２）に示した各入力画像ＩＳ ，ＩＦ の場合、黒い車輌ＣＢ に対応する画素位置については（１）−１式が適用され、合成画像の輝度値Ｇ（ｉ，ｊ）として、遅いシャッタ速度ＳＳ による入力画像ＩＳ 側の輝度値ｇＳ （ｉ，ｊ）が採用される。また白い車輌ＣＷ に対応する画素位置については（１）−２式が適用され、合成画像の輝度値Ｇ（ｉ，ｊ）として、速いシャッタ速度ＳＦ による入力画像ＩＦ 側の輝度値ｇＦ （ｉ，ｊ）が採用される。その他の車輌の存在しない画素位置においては（１）−３式が適用され、各輝度値ｇＳ （ｉ，ｊ），ｇＦ （ｉ，ｊ）の平均値をもって合成画像の輝度値Ｇ（ｉ，ｊ）が求められることになる。
なお画像の合成方法は、上記に限らず、合成画像のすべての画素の輝度値Ｇ（ｉ，ｊ）とも、画素ｇＳ （ｉ，ｊ）とｇＦ （ｉ，ｊ）との平均値により表してもよい。
【００３９】
図４は、各入力画像ＩＳ ，ＩＦ を上記（１）−１〜（１）−３を適用して合成処理した結果を示すもので、各車輌ＣＢ ，ＣＷ の部分に、その車輌を精度よく捉えた画像側のデータを採用することにより、各車輌ＣＢ ，ＣＷ を鮮明に捉えた画像が出現している。
【００４０】
特徴抽出部１２は、この合成画像上にエッジ抽出用フィルタを走査するなどして、車輌の輪郭を表すエッジを抽出する。物体検出部１３は、内部メモリに記憶された画像上の各駐車枠の位置に基づき、各駐車枠内のエッジ部分の面積を算出するなどして、車輌が存在するか否かを判別する。この判別結果は、各駐車枠の識別データ（ラベルや位置データなど）に対応づけられ、外部に出力される。
【００４１】
（２）第２実施例
図５は、観測装置の第２の構成を示す。
この実施例の制御装置２も、第１の実施例と同様の構成の画像入力部６により、各シャッタ速度ＳＳ ，ＳＦ により得られた画像ＩＳ ，ＩＦ を個別に入力する。また認識処理部７として、２組の特徴抽出部１２Ｓ， １２Ｆ，特徴統合部１４，物体検出部１３の各構成を具備しており、各特徴抽出部１２Ｓ，１２Ｆにより、各入力画像ＩＳ ，ＩＦ の画像上のエッジが個別に抽出される。
【００４２】
図６（１）（２）は、前記図３（１）（２）の入力画像Ｉ Ｓ ，Ｉ Ｆ に対するエッジ抽出処理により生成されたエッジ画像ＥＳ，ＥＦを示す。なおここでは、各エッジの抽出位置を明確にするために、入力画像上の駐車枠のエッジがすべて抽出されたように図示している。
【００４３】
エッジ画像ＥＳ 上では、２個の車輌ＣＢ ，ＣＷ の駐車位置Ａ，Ｂのうち、画像上に鮮明に現れた車輌ＣＢ の駐車位置Ａのみでエッジが抽出される（図中の駐車位置Ｂに細線の点線で示されたエッジは、仮想のものである）。反対にエッジ画像ＥＦ 上では、車輌ＣＷ の駐車位置Ｂでのみエッジが抽出される。
【００４４】
図５に戻って、特徴統合部１４は、各入力画像ＩＳ ，ＩＦ についてのエッジ抽出結果を統合して、１枚のエッジ画像を生成する。この統合処理は、つぎの（２）式に示すように、各エッジ画像ＥＳ ，ＥＦ の対応する画素毎に各画素値ｂＳ （ｉ，ｊ），ｂＦ （ｉ，ｊ）の論理和（（２）式中「｜」で示す）を求めて、統合後のエッジ画像の画素Ｂ（ｉ，ｊ）の画素値とするものである。すなわち各画素値Ｂ（ｉ，ｊ）により形成されるエッジ画像は、両方のエッジ画像ＥＳ ，ＥＦ を重ね合わせたもので、統合処理により、すべてのエッジ抽出結果が採用されることになる。
【００４５】
【数２】
【００４６】
図７は、前記図６（１）（２）の各エッジ抽出結果を上記（２）式を用いて統合した結果を示すもので、上記した論理和演算により、いずれの車輌ＣＢ ，ＣＷ の駐車位置Ａ，Ｂにも、エッジが精度よく出現している。
【００４７】
物体検出部１３は、この統合されたエッジ画像上で、前記第１の実施例と同様、各駐車枠毎に車輌の有無を判定し、その判定結果を出力するもので、両方の車輌ＣＢ ，ＣＷ をともに精度よく検出することができる。
【００４８】
（３）第３実施例
図８は、観測装置の第３の構成を示す。この実施例の制御装置２は、前記第１，２の実施例と同様の画像入力部６により、２種類のシャッタ速度ＳＳ ，ＳＦ により撮像された画像ＩＳ ，ＩＦ を個別に入力した後、各入力画像ＩＳ ，ＩＦ を個別に処理して各画像上の車輌を検出し、さらに各検出結果を統合して最終的な判定を行うものである。
【００４９】
認識処理部７は、各入力画像毎に特徴抽出部１２Ｓ，１２Ｆおよび物体検出部１３Ｓ，１３Ｆを具備するほか、検出結果統合部１５を具備する。各特徴抽出部１２Ｓ，１２Ｆは、第２の実施例と同様に、それぞれ入力画像ＩＳ ，ＩＦ に対するエッジ抽出処理を実施して、その結果を示すエッジ画像ＥＳ ，ＥＦ を生成する。各物体検出部１３Ｓ，１３Ｆは、対応するエッジ画像ＥＳ ，ＥＦ 上で、各駐車枠内に車輌が存在するか否かを判定するもので、各判定結果は、車輌枠を示すラベルに対応づけられた形で検出結果統合部１５へと出力される。検出結果統合部１５は、駐車枠毎の判定結果の論理和をとることにより、各エッジ画像上の車輌検出結果を統合し、この統合結果を最終的な車輌検出結果として出力する。
【００５０】
図９は、前記図６（１）（２）のエッジ画像ＥＳ ，ＥＦ を用いて、各駐車枠毎に車輌の有無を判定した結果であって、図中の左端欄に、各駐車枠に付与されたラベル番号を表すとともに、各ラベル番号に対応づけて、各エッジ画像ＥＳ ，ＥＦ 毎の車輌の有無の判定結果と最終的な統合結果とが示してある。なお図中のデータ「１」は「車輌あり」の判定結果を、データ「０」は「車輌なし」の判定結果を、それぞれ表すものとする。
【００５１】
図示例は、前記画像上の各駐車枠に対し、左から右方向に順にラベル番号を付してあり、ラベル番号「１」の駐車枠（前記駐車位置Ａに相当する）にある車輌ＣＢ はエッジ画像ＥＳ 上で検出され、またラベル番号「８」の駐車枠（前記駐車位置Ｂに相当する）にある車輌ＣＷ はエッジ画像ＥＦ 上で検出されている。
よって両検出結果を統合した結果、「１」「８」いずれの駐車枠にも、車輌が存在するものと判定される。
【００５２】
（４）実施例１〜３の変形例 ＜１＞
上記した３つの実施例は、いずれも２とおりのシャッタ速度ＳＳ ，ＳＦ による画像を用いて車輌の検出処理を行うようにしているが、これに限らず、３とおり以上のシャッタ速度による画像を生成して車輌検出処理を行うようにしてもよい。
【００５３】
図１０〜１２は、それぞれ第１〜第３の各実施例を発展させた構成を示すもので、画像入力部６には、Ｎとおり（Ｎ≧３）のシャッタ速度により得られた各画像を記憶するためのＮ個の画像メモリ１０Ｍ１ 〜１０ＭＮ が配備される。
【００５４】
図１０の実施例では、認識処理部７の画像統合部１１により、各入力画像間の対応する画素毎に輝度平均値が算出されて各画像が統合された後、特徴抽出部１２により、この統合画像上のエッジ抽出処理が実施される。さらに物体検出部１３により、前記エッジ抽出結果を用いた各車輌の検出処理が行われ、その結果が出力される。
【００５５】
図１１の実施例の認識処理部７は、各入力画像毎に特徴抽出部１２Ａ１ 〜１２ＡＮ を具備しており、入力画像毎にエッジ抽出処理が行われる。特徴統合部１４は、前記エッジ抽出処理により得られたエッジ画像について、前記第２の実施例と同様、対応する画素間の論理和演算を行って、各エッジ画像を統合する。この後、前記図１０の実施例と同様、物体検出部１３による車輌の検出処理が行われる。
【００５６】
図１２の実施例の認識処理部７は、各入力画像毎に特徴抽出部１２Ａ１ 〜１２ＡＮ および物体検出部１３Ａ１ 〜１３ＡＮ を具備しており、これら構成により各入力画像毎に個別に車輌検出処理が行われる。この後、前記第３の実施例と同様、検出結果統合部１５により各検出結果が統合されて、最終的な検出結果を示すデータが生成され、外部に出力される。
【００５７】
このように複数とおりのシャッタ速度による画像を用いて認識処理を行うようにすれば、カメラ１のダイナミックレンジをより広く設定でき、さまざまな色彩の車輌が駐車している場合にも、各車輌を精度良く検出することが可能となる。
【００５８】
（５）実施例４
前記第１〜３の各実施例では、１台のカメラ１をシャッタ速度を変更して連続的に撮像を行うようにしている。これに対し、第４の実施例では、図１３に示すように、異なるシャッタ速度が設定された２台のカメラ１Ｓ，１Ｆを配備し、各カメラ１Ｓ，１Ｆを同時に動作させる。
【００５９】
図１４は、上記図１３の観測装置の構成を示すもので、制御装置２の画像入力部６には、各カメラ１Ｓ，１Ｆ毎のＡ／Ｄ変換回路８Ｓ，８Ｆおよび画像メモリ１０Ｓ，１０Ｆが配備される。
なおこの実施例の認識処理部７には、前記第１〜３のいずれの実施例の構成を導入してもよいので、認識処理部７に関する詳細な構成の図示および説明は省略する。
【００６０】
ただし認識処理部７に第１または第２の実施例の構成を導入する場合、各カメラ１Ｓ，１Ｆは、画像の統合処理に支障が生じないように、光軸を平行にした状態で出来るだけ接近させて配備する必要がある。さらに画像の統合処理時には、カメラ１Ｓ，１Ｆ間の視差によるずれを補正するために、いずれかの画像を、各カメラの光軸間の距離に対応する画素数分だけ、視差の生じる方向（図示例の場合は縦方向）にシフトさせる必要がある。
【００６１】
（６）第５実施例
この実施例は、図１の設置例と同様、１台のカメラによる画像を取り込んで車輌検出処理を実施するものであるが、この実施例のカメラには、図１５に示すように、２枚のＣＣＤ撮像素子１７Ｓ，１７Ｆを具備するカメラ１Ｘが用いられる。各ＣＣＤ撮像素子１７Ｓ，１７Ｆには、それぞれ前記シャッタ速度ＳＳ ，ＳＦ に相当する電荷蓄積時間が設定されており、カメラレンズ１６を通過した光が各ＣＣＤ素子１７Ｓ，１７Ｆに同時に与えられて、この光像を異なるシャッタ速度でとらえた２枚の画像ＩＳ ，ＩＦ が生成される。
【００６２】
制御装置２側の画像入力部６は、各ＣＣＤ撮像素子１７Ｓ，１７Ｆからの画像データを同時に受けることができるように、入力画像毎のＡ／Ｄ変換回路８Ｓ，８Ｆおよび画像メモリ１０Ｓ，１０Ｆとを具備する。
なお認識処理部７には、前記第４の実施例と同様、第１〜３のいずれの構成を導入しても良いので、ここでは図示および詳細な説明は省略する。
【００６３】
この実施例の構成によれば、同一の観測領域について、各シャッタ速度ＳＳ ，ＳＦ による画像を同時に取り込んで処理することができるので、各入力画像間の時間のずれをなくせる上、前記第４の実施例のように画像の統合処理時にいずれか一方の画像をシフト処理する必要もない。よって車輌の検出精度を向上させると同時に、処理時間を短縮させることができる。
【００６４】
（７）第６実施例
この実施例も、上記第５の実施例と同様の２個のＣＣＤ撮像素子１７Ｓ，１７Ｆを具備するカメラ１Ｘにより、各シャッタ速度ＳＳ ，ＳＦ による画像を同時に生成するものである。
図１６は、この第６の実施例の構成を示すもので、制御装置２は、先の実施例と同様の構成の画像入力部６を具備するほか、画像統合部１１，モニタ１８を含んでいる。
【００６５】
カメラ１Ｘにより生成された各画像は、画像入力部６を介して画像統合部１１に与えられ、前記第１の実施例と同様の方法で統合される。モニタ１８は、この統合処理により生成される画像を表示するためのもので、これにより駐車エリア４内に明るさの異なる車輌が存在する場合にも、各車輌を１つのモニタ画面上で観測することが可能となる。
【００６６】
なお前記モニタ１８を、駐車エリア４から離れた場所に設置し、制御装置２の本体からモニタ１８に、統合処理された画像データを通信回線を介して送信することも可能である。このようにすれば、直接駐車エリア４を監視できない地域でも、駐車エリア４の状況を正確に把握することができる。
【００６７】
またこの実施例の構成に、前記した第１〜３のいずれかの認識処理部７の構成を加え、前記モニタ１８に、統合処理された画像とともに、各駐車枠毎の車輌の有無判定の結果を表示することも可能である。
【００６８】
（８）第７実施例
図１７は、観測装置の第７の構成を示す。この実施例は、前記第１〜３のいずれかの構成に光強度計１９を付加してカメラ１の観測領域内の明るさを検出し、その明るさの度合いにより、カメラ１の各シャッタ速度ＳＳ ，ＳＦ を可変設定するようにしている。
【００６９】
図１８は、シャッタ速度の設定例を示す。
前記光強度計１９は、観測領域からの光を受光してその光強度を検出するもので、ここではあらかじめ各シャッタ速度ＳＳ ，ＳＦ に３段階の設定値（ｓ１〜ｓ３，ｆ１〜ｆ３）を設けて、シャッタ速度制御装置５のメモリに記憶させておき、前記光強度の検出値λを所定のしきい値ｔｈ１，ｔｈ２（ｔｈ１＞ｔｈ２）と比較することにより、各シャッタ速度ＳＳ ，ＳＦ にいずれかの設定値を採用するようにしている。
【００７０】
このように観測領域内の明るさの度合いによりカメラ１のシャッタ速度を制御するので、カメラ１により大きなダイナミックレンジを設定することができ、観測領域内の明るさが変動しても、安定した車輌検出を行うことができる。
【００７１】
（９）第８実施例
図１９は、観測装置の第８の構成を示す。この実施例も、前記第７の実施例と同様、前記第１〜３のいずれかの構成に、カメラの各シャッタ速度ＳＳ ，ＳＦ を可変設定する構成を付加したものであるが、ここでは観測領域内の明るさに代えて、各入力画像の明るさにより、シャッタ速度ＳＳ ，ＳＦ の設定値を変動するようにしている。
【００７２】
制御装置２には、第１〜３の各構成と同様の画像入力部６，これら３つの構成のいずれかと同構成の認識処理部７のほか、２個の輝度平均算出部２０Ｓ，２０Ｆが配備される。これら輝度平均算出部２０Ｓ，２０Ｆは、画像メモリ１０Ｓ，１０Ｆに記憶された入力画像ＩＳ ，ＩＦ について、各構成画素の輝度値の平均を算出し、シャッタ速度制御装置５に出力する。シャッタ速度制御装置５は、各算出値を個々に取り込んで、各シャッタ速度Ｓｓ ，ＳＦ の設定値を決定し、つぎの撮像時には、この決定値に基づき、カメラ１のシャッタ速度を制御する。
【００７３】
なお処理開始時点では、各シャッタ速度ＳＳ ，ＳＦ には所定の初期値が設定され、以後の数サイクルの撮像動作により最適値に調整される。
【００７４】
図２０は、シャッタ速度を決定するための手順を示す。なおここでは、遅い方のシャッタ速度ＳＳ を決定する手順を示すが、速い方のシャッタ速度ＳＦ も同様の手順で決定される。
【００７５】
最初のステップ１（図中「ＳＴ１」で示す）で、輝度平均算出部２０Ｓは、画像メモリ１０Ｓより入力画像ＩＳ の画像データを読み込んで、平均輝度値ＡＶＳ を算出する。つぎのステップ２，３で、シャッタ速度制御装置５は、この算出値ＡＶＳ を平均輝度値の最適値ＭＳ と比較し、その比較結果を用いて、シャッタ速度ＳＳ の現在値を維持するか、変更するかを決定する。
【００７６】
前記平均輝度値の最適値ＭＳ は、あらかじめ内部のメモリに登録されているもので、前記平均輝度値の算出値ＡＶＳ と最適値ＭＳ との差が、所定のしきい値Δｓ２からΔｓ１の間にある場合（Δｓ２＜ΔＳ１）は、ステップ２，３がいずれも「ＮＯ」となり、シャッタ速度ＳＳ の現在値が維持される（ステップ６）。
【００７７】
入力画像ＩＳ が明るすぎる場合には、前記平均輝度値の算出値ＡＶＳ と最適値ＭＳ との間にしきい値ΔＳ１を上回る差が生じる。この場合はステップ２が「ＹＥＳ」となってステップ４へと移行し、シャッタ速度ＳＳ の設定値が１／２に更新される。
【００７８】
逆に、入力画像ＩＳ の明るさが落ちた場合には、前記平均輝度値の算出値ＡＶＳ と最適値ＭＳ との差がしきい値Δｓ２を下回る。この場合には、ステップ３が「ＹＥＳ」となってステップ５へと移行し、、シャッタ速度ＳＳ の設定値は２倍に更新される。
【００７９】
なお上記ステップ４，５におけるシャッタ速度ＳＳ の更新は、図示例に限らず、例えば現在の設定値に所定の度数分の値を加算（または減算）するようにしてもよい。
【００８０】
このように、画像入力毎に、つぎの段階でのシャッタ速度ＳＳ ，ＳＦ を、それぞれ対応する入力画像ＩＳ ，ＩＦ を用いて決定することにより、実際に得られた画像上の明るさに基づき、各シャッタ速度ＳＳ ，ＳＦ を適切に調整することができる。
なお図１５，１６に示した第５，６の実施例にも、上記第７，８の実施例のシャッタ速度の調整にかかる構成を導入することが可能である。
【００８１】
（１０）第９実施例
上記した各実施例の構成は、いずれも所定の明るさの下での観測が可能な昼間に処理を実施することを前提とするもので、夜間など、観測領域全体が暗くなる条件下では、速いシャッタ速度により得られた画像上には、いずれの車輌の画像も表れない虞がある。
【００８２】
図２１に示す第９の構成は、複数とおりのシャッタ速度による画像を合成して認識処理を行うものであるが、夜間時にはこの処理を休止して、１枚の画像を用いた通常の認識処理を実施するように、構成される。
【００８３】
この夜間時における処理の切換えは、制御装置２内部のタイマ２１の計時時刻に基づき行われるもので、タイマ２１の計時時刻が所定の期間内にあるときは、カメラ１には、最も遅いシャッタ速度のみがセットされる。また図中、２２は、第２以下の画像メモリ１０Ｍ２ 〜１０ＭＮ と認識処理部７との接続をオンオフするための切換部であって、前記カメラ１に単一のシャッタ速度がセットされると同時に、この切換部２２はオフにセットされる。また同時に、認識処理部７の画像統合部１１の機能が休止し、特徴抽出部１２および物体検出部１３により、画像メモリ１０Ｍ１ からの画像データのみを用いた認識処理が行われる。
【００８４】
なお図示例の制御装置２は、認識処理部７に前記図１０の構成を採用しているが、他の構成をとる場合も、同様に、昼間と夜間とで処理の切換えを行うように設定することができる。
【００８５】
このように夜間時に処理を切り換えることにより、夜間時の無用な演算処理を削減することができる。またこの無用な演算処理により検出結果に誤差が生じる虞もなくなり、車輌検出の精度を安定させることができる。
【００８６】
（１１）第１０実施例
図２２は、第１０番目の構成を用いる場合の観測装置の設置例を示す。この観測装置は、２台のカメラ１Ａ，１Ｂからの画像を用いた３次元計測処理により、各駐車枠毎の車輌の有無を判定するもので、各カメラ１Ａ，１Ｂは、駐車エリア４に向けて、光軸を平行かつ撮像面を同一面上に位置させた状態で、縦並びに配備される。
【００８７】
この実施例も、前記した第１〜８の各実施例と同様、明るさの異なる車輌ＣＢ ，ＣＷ をともに精度良く検出できるように、各カメラ１Ａ，１Ｂに複数とおりのシャッタ速度を設定して連続的に撮像させている。また制御装置２においては、各カメラ１Ａ，１Ｂより同じシャッタ速度で得られた画像の組毎に、車輌を示す特徴点の抽出から特徴点の対応づけまでの処理を行った後、各対応づけ結果を統合して３次元計測処理を実施するようにしている。
【００８８】
図２３は、前記観測装置の構成を示す。
シャッタ速度制御装置５は、前記第１〜３の各実施例と同様、固定された２とおりのシャッタ速度ＳＳ ，ＳＦ を交互に設定するもので、各カメラ１Ａ，１Ｂは、このシャッタ速度制御装置５による制御を受けて、各シャッタ速度ＳＳ ，ＳＦ による画像を、それぞれ同時に生成する。
【００８９】
制御装置２は、前記した各実施例と同様、画像入力部６と認識処理部７とを備えて成る。画像入力部６は、各カメラ毎に、Ａ／Ｄ変換回路８Ａ，８Ｂおよび２組の画像メモリ（１０ＡＳ ，１０ＡＦ ）（１０ＢＳ ，１０ＢＦ ）を具備する。各組の一方の画像メモリ１０ＡＳ ，１０ＢＳ には、それぞれ各カメラ１Ａ，１Ｂからの遅い方のシャッタ速度ＳＳ による画像ＵＳ ，ＬＳ が格納される。また他方の画像メモリ１０ＡＦ ，１０ＢＦ には、それぞれ各カメラからの速い方のシャッタ速度ＳＦ による画像ＵＦ ，ＬＦ が格納される。
【００９０】
認識処理部７は、２組の特徴抽出部１２ＢＳ ，１２ＢＦ ，２組の対応づけ処理部２３Ｓ，２３Ｆを含むとともに、特徴統合部２４，３次元計測部２５，物体検出部２６などの各構成を具備する。特徴抽出部１２ＢＳ ，１２ＢＦ は、それぞれ下側のカメラ１Ｂにより得られた各画像ＬＳ ，ＬＦ について、画像上のエッジを抽出するためのもので、特徴抽出部１２ＢＳ による画像ＬＳ に対するエッジ抽出結果は第１の対応づけ処理部２３Ｓに、特徴抽出部１２ＢＦ による画像ＬＦ に対するエッジ抽出結果は第２の対応づけ処理部２３Ｆに、それぞれ個別に与えられる。
【００９１】
第１の対応づけ処理部２３Ｓは、各カメラ１Ａ，１Ｂより遅い方のシャッタ速度ＳＳ で得られた入力画像Ｕｓ ，Ｌｓ について、それぞれ空間内の同じ物点を表す特徴点を特定して両者を対応づけるためのものである。
【００９２】
この対応づけ処理は、具体的には、前記特徴抽出部１２ＢＳ により画像ＬＳ 上で抽出された各エッジ構成点Ｐについて、それぞれ画像ＵＳ 上での対応点Ｑを抽出することにより行われる。
【００９３】
図２４は、前記点Ｐへの対応点Ｑを抽出する具体的な方法を示す。
まず対応づけ処理部２３Ｓは、前記エッジ抽出処理により生成されたエッジ画像ＥＬＳ 上の所定の特徴点Ｐ（ｘ，ｙＬ ）について、原画像ＬＳ 上の点Ｐの位置に、この点Ｐを中心点とする所定大きさのウィンドウＷＬ を設定する。ついで対応づけ処理部は、画像ＵＳ 上の前記点ＰのエピポーララインＥＰ上に前記ウィンドウＷＬ と同じ大きさのウィンドウＷＵ を設定して走査し、各走査位置毎に、つぎの（３）式を実行して、各ウィンドウＷＬ ，ＷＵ 内の画像データの相違度ＤＦを算出する。
【００９４】
なお（３）式において、ｇＬ（ｘ，ｙ）はウィンドウＷＬ内の所定の画素の輝度値を、またｇＵ（ｘ，ｙ）はウィンドウＷＵ内の所定の画素の輝度値を、それぞれ示す。またSZは各ウィンドウＷＬ，ＷＵのサイズを示す。さらにｍ，ｎは各ウィンドウ内の画素を特定するための変数であって、０から前記サイズ SZの範囲内で変動する。
【００９５】
【数３】
【００９６】
対応づけ処理部２３Ｓは、各走査位置において求められた相違度ＤＦを比較し、この相違度ＤＦが最も小さくなる時点でのウィンドウＷＵ の中心点（ｘ，ｙＵ ）を、前記点Ｐの対応点Ｑとして特定する。
【００９７】
なお前記したように、各カメラ１Ａ，１Ｂは縦並び、かつ光軸を平行にして配備されているので、エピポーララインＥＰはｘ軸に垂直になり、ウィンドウＷU を容易に設定でき、また相違度ＤＦの演算も簡単になる。またエピポーララインＥＰ上の各走査位置で相違度ＤＦを算出する方法に代えて、画像ＵS 上でもエッジを抽出し、このうち前記エピポーララインＥＰ上に位置するエッジ構成点を、特徴点Ｐの対応候補点として設定し、これら対応候補点についてのみ相違度ＤＦを演算するようにしてもよい。
【００９８】
図２３に戻って、第２の対応づけ処理部２３Ｆは、各カメラ１Ａ，１Ｂより速い方のシャッタ速度ＳＦ により得られた各入力画像ＵＦ ，ＬＦ について、それぞれ上記と同様の対応づけ処理を行うもので、各対応づけ処理部２３Ｓ，２３Ｆによる対応づけ結果は、特徴統合部２４において統合処理される。
【００９９】
この統合処理は、各対応づけ処理部２３Ｓ，２３Ｆにより対応づけられた特徴点の組をすべて採用するもので、対応する各特徴点の組毎の座標データは、３次元計測部２５に与えられる。３次元計測部２５は、与えられた特徴点の組毎に、各特徴点の座標（ｘ，ｙｕ ）（ｘ，ｙＬ ）を三角測量の原理にあてはめることにより、各特徴点に対応する３次元座標を算出する。
【０１００】
こうして各特徴点の組毎に対応する３次元座標が算出され、物体検出部２６へと与えられる。物体検出部２６は、各駐車枠位置における特徴点の数およびその高さデータから、各駐車枠内に車輌が存在するか否かを判別する。
【０１０１】
なおこの第１０の実施例では、説明を簡単にするために、各カメラのシャッタ速度ＳＳ ，ＳＦ を固定値にしたが、前記第７，８の実施例のように、観測領域の明るさや入力画像の明るさに応じて各シャッタ速度ＳＳ ，ＳＦ を可変設定してもよい。またシャッタ速度ＳＳ ，ＳＦ は１種類に限らず、図１０〜１２に示したように、複数とおりのシャッタ速度を設定し、各シャッタ速度毎に画像間での特徴点の対応づけを行った後、各対応づけ結果を統合するようにしてもよい。さらに前記第９の実施例に示したように、夜間時には各カメラを遅いシャッタ速度のみで撮像させ、１組の画像のみで３次元計測処理を行うように構成してもよい。
【０１０２】
（１２）その他の実施例
上記した各実施例は、いずれも、カメラにより、シャッタ速度の異なる複数枚の画像を生成するようにしたが、シャッタ速度のみならず、カメラの絞りや、カメラからの出力電圧のゲインを調整することによっても、明るさの異なる対象物の画像を個別に生成することが可能である。
【０１０３】
またここでは、駐車場用の観測装置における各構成例を説明したが、観測対象は車輌に限らず、他の物体であってもよく、また観測領域は室内であってもよい。さらにこの実施例の観測装置は、各駐車枠毎の車輌の有無を認識するだけのものであるが、これに限らず、車輌の大きさ、形状などを認識するようにしてもよく、カラー画像生成用のカメラを用いて、各車輌の車体色を認識するようにしてもよい。
【０１０４】
さらに個々に示した駐車場用の観測装置は、静止した車輌を認識対象とするが、道路上を走行する車輌などの移動体を認識対象とする場合にも、この発明を適用することができる。ただしこの場合、各シャッタ速度毎の画像を連続的に生成すると、画像間に対象物の移動分のずれが生じるので、前記第４または第５の実施例の構成を導入するのが望ましい。
【０１０５】
【発明の効果】
請求項１，２および請求項４，５の発明によれば、観測領域内に車体色の異なる複数の車輌が存在しても、各車輌をそれぞれその車体色に対応する露光量による画像上に出現させることができ、各種色彩の車輌を精度良く認識することができる。
【０１０８】
請求項６，７の発明では、各画像を供給する撮像手段に対し、観測領域内もしくは入力画像の明るさを用いて露光量を調整するので、周囲環境の変化により観測領域内の明るさが変動しても、各画像により車輌を鮮明にとらえることができ、安定した認識処理を行うことができる。
【０１０９】
請求項３および９の発明では、観測領域を複数個の撮像手段により撮像して、３次元計測処理を行う際に、各撮像手段により同じ露光量で生成された画像の組毎に画像上の特徴点の対応づけを行った後に、各組毎の対応づけ結果を統合して３次元計測処理を実施するので、観測領域内に明るさの異なる対象物がある場合にも、各対象物の３次元形状や空間位置を、精度良く認識することができる。
【０１１０】
請求項８および１０の発明では、タイマの計時時刻により、１日のうちの所定の期間内は、特定の露光量による画像のみを用いた認識処理を行うので、夜間など明度の高い対象物が検出されることのない時間帯の無用な処理を回避して、装置コストを削減できる。また必要外の処理による誤計測を防止することも可能となる。
【図面の簡単な説明】
【図１】この発明が適用された観測装置の設置例を示す斜視図である。
【図２】観測装置の第１の構成を示すブロック図である。
【図３】入力画像の一例を示す説明図である。
【図４】図３の入力画像の合成画像を示す説明図である。
【図５】観測装置の第２の構成を示すブロック図である。
【図６】入力画像のエッジ抽出処理により得られたエッジ画像を示す説明図である。
【図７】図６のエッジ画像を統合した結果を示す説明図である。
【図８】観測装置の第３の構成を示すブロック図である。
【図９】駐車枠ごとの車輌の有無の判別結果を示す説明図である。
【図１０】観測装置の第１の構成を変形した例を示すブロック図である。
【図１１】観測装置の第２の構成を変形した例を示すブロック図である。
【図１２】観測装置の第３の構成を変形した例を示すブロック図である。
【図１３】第４の構成の観測装置の設置例を示す斜視図である。
【図１４】観測装置の第４の構成を示すブロック図である。
【図１５】観測装置の第５の構成を示すブロック図である。
【図１６】観測装置の第６の構成を示すブロック図である。
【図１７】観測装置の第７の構成を示すブロック図である。
【図１８】図１７の観測装置におけるシャッタ速度の設定例を示す説明図である。
【図１９】観測装置の第８の構成を示すブロック図である。
【図２０】図１９の観測装置におけるシャッタ速度の設定手順を示すフローチャートである。
【図２１】観測装置の第９の構成を示すブロック図である。
【図２２】第１０の構成の観測装置の設置例を示す斜視図である。
【図２３】観測装置の第１０の構成を示すブロック図である。
【図２４】特徴点の対応づけ処理の具体例を示す説明図である。
【符号の説明】
１，１Ｓ，１Ｆ，１Ｘ，１Ａ，１Ｂ カメラ
２ 制御装置
５ シャッタ速度制御装置
６ 画像入力部
７ 認識処理部
１１ 画像統合部
１２，１２Ｓ，１２Ｆ，１２ＢＳ ，１２ＢＦ 特徴抽出部
１３，１３Ｓ，１３Ｆ，２６ 物体検出部
１５ 検出結果統合部
１９ 光強度計
２３Ｓ，２３Ｆ 対応づけ処理部
２４ 特徴統合部
２５ ３次元計測部
【産業上の利用分野】
この発明は、単独または複数個の撮像手段により所定の観測領域を撮像して得られた画像を処理して、前記観測領域内における車輌を認識する画像処理方法および装置に関連する。また、この発明は、複数個の撮像手段により得られた画像を用いた３次元計測処理により、所定の観測領域内の対象物について、その対象物の有無，大きさ，位置，形状など、各種の認識処理を実施するための画像処理方法および装置に関連する。
【０００２】
【従来の技術】
近年、駐車場における車輌の駐車状況や、道路上の車輌の走行状態など、所定の観測領域における対象物を観測するために、画像処理の手法を用いた観測装置が開発されている。この種の観測装置は、観測対象の領域の上方位置にＣＣＤカメラ（以下単に「カメラ」という）を配備するとともに、このカメラからの画像を制御装置に連続的に取り込んで、各入力画像上の対象物の特徴を抽出するもので、対象物が車輌などの移動体である場合には、さらに特徴抽出結果の時系列データにより、対象物の移動方向や速度の計測が行われる。
【０００３】
また観測領域に対し、複数台のカメラを所定の位置関係をもって配置し、各カメラからの画像を制御装置に取り込んで、対象物の３次元計測処理を行うようにした装置も、提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながらこの種の観測処理では、照明条件などの影響で観測領域内の明るさに大きなばらつきが生じたり、観測領域内に反射率が大きく異なる対象物が存在したりして、各対象物間の明るさが大きく異なる場合がある。このような状況下では、観測領域内のすべての対象物の明るさをカメラのダイナミックレンジの範囲内に収められなくなり、一部対象物を認識できなくなるという問題が発生する。
【０００５】
この発明は上記問題に着目してなされたもので、観測領域内に車体色の違いにより明るさが異なる複数の車輌が存在する場合にも、各車輌を精度良く認識し、認識精度を大幅に向上することを技術課題とする。
また、この発明は、３次元計測による認識処理において、観測領域内に明るさの異なる複数の対象物が存在する場合にも、各対象物を精度良く認識し、認識精度を大幅に向上することを技術課題とする。
【０００６】
【課題を解決するための手段】
請求項１，２にかかる発明は、車輌を認識するための画像処理方法に関する。請求項１の発明の画像処理方法は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像し、前記撮像により生成された複数枚の画像毎に、それぞれ車輌の輪郭を表すエッジを抽出し、前記画像毎のエッジ抽出結果を統合し、その統合結果を用いて前記観測領域内の車輌を認識することを特徴とする。
【０００８】
請求項２の発明の画像処理方法は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像し、前記撮像により生成された複数枚の画像毎に、それぞれ車輌の輪郭を表すエッジを抽出する処理と、前記抽出結果を用いて前記観測領域内の車輌をその位置に対応づけて認識する処理とを実行し、前記画像毎の認識結果のうち前記車輌の認識位置が画像間で異なるものを、それぞれ個別の車輌に対する認識結果とみなして各認識結果を統合し、観測領域内の車輌を最終的に認識することを特徴とする。
【０００９】
請求項３の発明の画像処理方法は、所定の観測領域に向けて配備された複数個の撮像手段により、それぞれ異なる露光量による複数枚の画像を生成し、各撮像手段により同じ露光量で生成された画像の組毎に、各画像上の特徴点を画像間で対応づけした後、各組毎の対応づけ結果を統合し、前記統合された対応づけ結果を用いた３次元計測処理を実施して、その計測結果に基づき前記観測領域内の対象物を認識することを特徴とする。
【００１１】
請求項４の発明の画像処理装置は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像して得られた複数枚の画像を、個別に入力する画像入力手段と、入力した各画像からそれぞれ車輌の輪郭を表すエッジを抽出するエッジ抽出手段と、前記入力画像毎のエッジ抽出結果を統合する統合手段と、前記統合手段により統合されたエッジ抽出結果を用いて前記観測領域内の車輌を認識する認識手段とを具備する。
【００１２】
請求項５の発明の画像処理装置は、車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像して得られた複数枚の画像を、個別に入力する画像入力手段と、入力した各画像からそれぞれ車輌の輪郭を表すエッジを抽出するエッジ抽出手段と、前記入力画像毎に、前記エッジ抽出結果を用いて観測領域内の車輌をその位置に対応づけて認識する認識手段と、前記入力画像毎の認識結果のうち前記車輌の認識位置が画像間で異なるものを、それぞれ個別の車輌に対する認識結果とみなして各認識結果を統合し、前記観測領域内の車輌の最終的な認識結果を示すデータを生成する認識結果統合手段とを具備する。
【００１３】
請求項６の発明の画像処理装置は、前記請求項４または５の構成に、前記観測領域内の明るさを検出する明るさ検出手段と、各入力画像を供給する撮像手段に対し、各画像に対応する露光量を前記明るさの検出結果を用いて調整する露光量調整手段とが付加される。
【００１４】
請求項７の発明の画像処理装置は、前記請求項４または５の構成に、画像入力手段により入力された各画像の明るさを検出する画像明るさ検出手段と、各入力画像を供給する撮像手段に対し、各画像に対応する露光量を前記明るさの検出結果を用いて調整する露光量調整手段とが付加される。
【００１５】
請求項８の発明の画像処理装置は、前記請求項４または５の構成に、時刻を計時するタイマを加え、このタイマの計時時刻に基づき、１日のうちの所定期間は、特定の露光量による１枚の画像のみを入力して、前記観測領域内の車輌を認識するように構成する。
【００１６】
請求項９の発明の画像処理装置は、所定の観測領域に向けて配備された複数個の撮像手段より、それぞれ異なる露光量による複数枚の画像を入力する画像入力手段と、各撮像手段により同じ露光量で生成された入力画像の組毎に、各画像上の特徴点を画像間で対応づけする対応づけ手段と、前記各組毎の対応づけ結果を統合する統合手段と、統合された対応づけ結果を用いた３次元計測処理を実施する３次元計測手段と、前記３次元計測結果を用いて前記観測領域内の対象物を認識する認識手段とを具備する。
【００１７】
請求項１０の発明の画像処理装置は、前記請求項９の構成に、さらに時刻を計時するタイマを加え、このタイマの計時時刻に基づき、１日のうちの所定期間は、各撮像手段よりそれぞれ特定の露光量による１枚の画像のみを入力し、各入力画像間で対応する特徴を用いた３次元計測処理により、前記観測領域内の対象物を認識するように構成される。
【００１８】
【作用】
同一の観測領域をそれぞれ異なる露光量により撮像することにより、観測領域に明るさの異なる対象物が存在する場合も、各対象物を、それぞれいずれかの露光量による画像上に出現させることが可能となる。
【００２０】
請求項１および４の発明では、車輌の車体色の種類に応じた複数とおりの露光量による複数の画像に対し、それぞれ車輌の輪郭を表すエッジを抽出し、各エッジ抽出結果を統合する。したがって、観測領域内に車体色の異なる複数の車輌が存在しても、それぞれその車体色に対応する画像上でそのエッジを得ることが可能となり、エッジ抽出処理の統合結果を用いて、各車輌を精度良く認識することができる。
【００２１】
請求項２および５の発明では、車輌の車体色の種類に応じた複数とおりの露光量による複数の画像について、それぞれ車輌の輪郭を表すエッジを抽出した後、そのエッジ抽出結果を用いて、観測領域内の車輌をその位置に対応づけて認識する処理を実行する。したがって、観測領域内に車体色の異なる複数の車輌が存在しても、それぞれその車体色に対応する画像上でその車輌を精度良く認識することができる。さらに、画像毎の認識結果を統合する際には、車輌の認識位置が画像間で異なる認識結果をそれぞれ個別の車輌に対する認識結果とみなすので、観測領域内のすべての車輌を精度良く認識することができる。
【００２２】
請求項６，７の発明では、各画像を供給する撮像手段に対し、観測領域内もしくは入力画像の明るさを用いて露光量を調整するので、周囲環境の変化により観測領域内の明るさが変動しても、車輌の特徴を鮮明にとらえた画像を生成できる。
【００２３】
請求項３および９の発明では、観測領域を複数個の撮像手段により撮像して、３次元計測処理を行う際に、各撮像手段により同じ露光量で生成された画像の組毎に画像上の特徴点の対応づけを行って、各組毎の対応づけ結果を統合するので、観測領域内のすべての対象物の物点にかかる特徴点を対応づけすることができる。よってこの統合された対応づけ結果を用いて３次元計測処理を実施することにより、各対象物の３次元形状や空間位置を、精度良く認識することができる。
【００２４】
請求項８および１０の発明では、タイマの計時時刻により、１日のうちの所定の期間内は、特定の露光量による画像のみを用いた認識処理を行うので、夜間など明度の高い対象物が検出されることのない時間帯の無用な処理を回避できる。
【００２５】
【実施例】
図１は、この発明が適用された駐車場用の観測装置の設置例を示す。この観測装置は、複数の駐車枠に区分けされた駐車エリア４に対し、各駐車枠内に車輌が駐車しているか否かを認識するためのもので、駐車エリア４の近傍位置に設置された支柱３上に、カメラ１と制御装置２とが固定支持される。
【００２６】
前記カメラ１は、支柱３の上部位置に支持棒３Ａを介して取り付けられ、駐車エリア４を斜め上方位置から撮像して、エリア全体を含む画像を生成する。この画像は制御装置２に取り込まれて、後記するいずれかの認識処理が実施され、各駐車枠内に車輌が存在するか否かが認識される。この認識結果は、装置内部の伝送部（図示せず）により管理センターなどの外部装置に伝送される。
【００２７】
図中、ＣＢ ，ＣＷ は駐車中の車輌であって、車輌ＣＢ の車体は黒など反射率の低い色彩のものである。これに対し、車輌ＣＷ の車体は、白など反射率の高い色彩のもので、晴天時など撮像領域全体が明るく照明された条件下では、各車輌ＣＢ ，ＣＷ 上の明るさに、顕著な差異が現れる。
【００２８】
この観測装置では、上記の車輌ＣＢ ，ＣＷ のように、車体上の明るさが大きく異なる車輌がともに駐車している場合にも、各車輌を精度良く認識できるように、前記カメラ１を、２とおりのシャッタ速度により連続的に撮像動作を行うように設定するとともに、制御装置２側で、各シャッタ速度毎の画像を統合的に処理して、認識処理を行うようにしている。
以下、上記図１の観測装置の具体的な構成例と、各構成例における認識処理方法について、順を追って説明する。
【００２９】
（１）第１実施例
図２は、この第１の観測処理装置の構成を示すもので、前記したカメラ１，制御装置２のほか、シャッタ速度制御装置５を構成として含んでいる。
シャッタ速度制御装置５は、カメラ１のハウジング内もしくは制御装置２内に組み込まれるもので、カメラ１の撮像タイミングに応じて、ＣＣＤ撮像素子の電荷蓄積時間を調整することにより、カメラ１に２とおりのシャッタ速度ＳＳ ，ＳＦ （ＳＳ ＞ＳＦ ）を交互に設定する。
【００３０】
制御装置２は、カメラ１からの画像を取り込む画像入力部６と、取り込んだ画像を処理するための認識処理部７とにより構成される（以下の実施例も同様である）。
【００３１】
画像入力部６は、カメラ１からのアナログ量の画像データをディジタル変換するためのＡ／Ｄ変換回路８，各シャッタ速度毎の画像データを記憶するための２個の画像メモリ１０Ｓ，１０Ｆ，切換部９などを具備する。切換部９は、カメラ１の撮像動作に応じて、Ａ／Ｄ変換回路８の接続先を切り換えるためのもので、遅い方のシャッタ速度ＳＳ により得られた画像ＩＳ は、第１の画像メモリ１０Ｓへ、速い方のシャッタ速度ＳＦ により得られた画像ＩＦ は、第２の画像メモリ１０Ｆへ、それぞれ格納される。
【００３２】
図３（１）（２）は、前記図１に示した状態を各シャッタ速度ＳＳ ，ＳＦ により撮像して得られた入力画像ＩＳ ，ＩＦ を示す。
シャッタ速度ＳＳ は、前記車輌ＣＢ の車体色のような暗い色を捉えるのに適したシャッタ速度（例えば１／３０秒）であって、このシャッタ速度により生成された画像ＩＳ では、図３（１）に示すように、車輌ＣＢ の画像が鮮明に出現する。しかしながら車体色の白いＣＷ については、画像上における対応位置の輝度が飽和状態となっており、画像上で車輌ＣＷ の特徴を認識するのは困難となる。
【００３３】
他方のシャッタ速度ＳＦ は、強い反射光を捉えるのに適した短いシャッタ速度（例えば１／１２０秒）であって、このシャッタ速度ＳＦ による画像ＩＦ 上では、図３（２）に示すように、車体色の明るい車輌ＣＷ の鮮明な画像が現れる。しかしながらこの画像ＩＦ 上の車輌ＣＢ に対する部分は黒くにじんだものとなり、車輌ＣＢ の特徴を認識するのは困難となる。
【００３４】
図２に戻って、この実施例の認識処理部７は、画像統合部１１，特徴抽出部１２，物体検出部１３などから構成される。なおこの認識処理部７の各構成は、具体的には、以下に述べる各処理を実施するためのアルゴリズムをコンピュータのＣＰＵに与えることにより実現するものである（以下の実施例も同様）。
【００３５】
この実施例は、前記した２種類のシャッタ速度ＳＳ ，ＳＦ による各入力画像ＩＳ ，ＩＦ を、１枚の画像に合成した後、この合成画像の特徴を用いて各車輌枠毎に車輌の有無を認識するものである。
画像統合部１１は、各入力画像の合成処理を実施するためのもので、各入力画像ＩＳ ，ＩＦ について、それぞれｉ行目ｊ列目に位置する画素の輝度値ｇＳ （ｉ，ｊ），ｇＦ （ｉ，ｊ）を、つぎの（１）−１〜（１）−３に示す原則にあてはめることにより、合成画像の対応する画素の輝度値Ｇ（ｉ，ｊ）を決定する。
【００３６】
【数１】
なお（１）式において、ｔｈＳ ，ｔｈＦ はあらかじめ定められたしきい値であって、ｔｈＳ には十分に大きな輝度値が、ｔｈＦ には十分に小さな輝度値が、それぞれ設定される。
例えば、入力画像の各画素の輝度値が８ビット構成のデータをとる場合、ｔｈＳ は２４０付近に、ｔｈＦ は１０付近に設定される。
【００３８】
前記図３（１）（２）に示した各入力画像ＩＳ ，ＩＦ の場合、黒い車輌ＣＢ に対応する画素位置については（１）−１式が適用され、合成画像の輝度値Ｇ（ｉ，ｊ）として、遅いシャッタ速度ＳＳ による入力画像ＩＳ 側の輝度値ｇＳ （ｉ，ｊ）が採用される。また白い車輌ＣＷ に対応する画素位置については（１）−２式が適用され、合成画像の輝度値Ｇ（ｉ，ｊ）として、速いシャッタ速度ＳＦ による入力画像ＩＦ 側の輝度値ｇＦ （ｉ，ｊ）が採用される。その他の車輌の存在しない画素位置においては（１）−３式が適用され、各輝度値ｇＳ （ｉ，ｊ），ｇＦ （ｉ，ｊ）の平均値をもって合成画像の輝度値Ｇ（ｉ，ｊ）が求められることになる。
なお画像の合成方法は、上記に限らず、合成画像のすべての画素の輝度値Ｇ（ｉ，ｊ）とも、画素ｇＳ （ｉ，ｊ）とｇＦ （ｉ，ｊ）との平均値により表してもよい。
【００３９】
図４は、各入力画像ＩＳ ，ＩＦ を上記（１）−１〜（１）−３を適用して合成処理した結果を示すもので、各車輌ＣＢ ，ＣＷ の部分に、その車輌を精度よく捉えた画像側のデータを採用することにより、各車輌ＣＢ ，ＣＷ を鮮明に捉えた画像が出現している。
【００４０】
特徴抽出部１２は、この合成画像上にエッジ抽出用フィルタを走査するなどして、車輌の輪郭を表すエッジを抽出する。物体検出部１３は、内部メモリに記憶された画像上の各駐車枠の位置に基づき、各駐車枠内のエッジ部分の面積を算出するなどして、車輌が存在するか否かを判別する。この判別結果は、各駐車枠の識別データ（ラベルや位置データなど）に対応づけられ、外部に出力される。
【００４１】
（２）第２実施例
図５は、観測装置の第２の構成を示す。
この実施例の制御装置２も、第１の実施例と同様の構成の画像入力部６により、各シャッタ速度ＳＳ ，ＳＦ により得られた画像ＩＳ ，ＩＦ を個別に入力する。また認識処理部７として、２組の特徴抽出部１２Ｓ， １２Ｆ，特徴統合部１４，物体検出部１３の各構成を具備しており、各特徴抽出部１２Ｓ，１２Ｆにより、各入力画像ＩＳ ，ＩＦ の画像上のエッジが個別に抽出される。
【００４２】
図６（１）（２）は、前記図３（１）（２）の入力画像Ｉ Ｓ ，Ｉ Ｆ に対するエッジ抽出処理により生成されたエッジ画像ＥＳ，ＥＦを示す。なおここでは、各エッジの抽出位置を明確にするために、入力画像上の駐車枠のエッジがすべて抽出されたように図示している。
【００４３】
エッジ画像ＥＳ 上では、２個の車輌ＣＢ ，ＣＷ の駐車位置Ａ，Ｂのうち、画像上に鮮明に現れた車輌ＣＢ の駐車位置Ａのみでエッジが抽出される（図中の駐車位置Ｂに細線の点線で示されたエッジは、仮想のものである）。反対にエッジ画像ＥＦ 上では、車輌ＣＷ の駐車位置Ｂでのみエッジが抽出される。
【００４４】
図５に戻って、特徴統合部１４は、各入力画像ＩＳ ，ＩＦ についてのエッジ抽出結果を統合して、１枚のエッジ画像を生成する。この統合処理は、つぎの（２）式に示すように、各エッジ画像ＥＳ ，ＥＦ の対応する画素毎に各画素値ｂＳ （ｉ，ｊ），ｂＦ （ｉ，ｊ）の論理和（（２）式中「｜」で示す）を求めて、統合後のエッジ画像の画素Ｂ（ｉ，ｊ）の画素値とするものである。すなわち各画素値Ｂ（ｉ，ｊ）により形成されるエッジ画像は、両方のエッジ画像ＥＳ ，ＥＦ を重ね合わせたもので、統合処理により、すべてのエッジ抽出結果が採用されることになる。
【００４５】
【数２】
図７は、前記図６（１）（２）の各エッジ抽出結果を上記（２）式を用いて統合した結果を示すもので、上記した論理和演算により、いずれの車輌ＣＢ ，ＣＷ の駐車位置Ａ，Ｂにも、エッジが精度よく出現している。
【００４７】
物体検出部１３は、この統合されたエッジ画像上で、前記第１の実施例と同様、各駐車枠毎に車輌の有無を判定し、その判定結果を出力するもので、両方の車輌ＣＢ ，ＣＷ をともに精度よく検出することができる。
【００４８】
（３）第３実施例
図８は、観測装置の第３の構成を示す。この実施例の制御装置２は、前記第１，２の実施例と同様の画像入力部６により、２種類のシャッタ速度ＳＳ ，ＳＦ により撮像された画像ＩＳ ，ＩＦ を個別に入力した後、各入力画像ＩＳ ，ＩＦ を個別に処理して各画像上の車輌を検出し、さらに各検出結果を統合して最終的な判定を行うものである。
【００４９】
認識処理部７は、各入力画像毎に特徴抽出部１２Ｓ，１２Ｆおよび物体検出部１３Ｓ，１３Ｆを具備するほか、検出結果統合部１５を具備する。各特徴抽出部１２Ｓ，１２Ｆは、第２の実施例と同様に、それぞれ入力画像ＩＳ ，ＩＦ に対するエッジ抽出処理を実施して、その結果を示すエッジ画像ＥＳ ，ＥＦ を生成する。各物体検出部１３Ｓ，１３Ｆは、対応するエッジ画像ＥＳ ，ＥＦ 上で、各駐車枠内に車輌が存在するか否かを判定するもので、各判定結果は、車輌枠を示すラベルに対応づけられた形で検出結果統合部１５へと出力される。検出結果統合部１５は、駐車枠毎の判定結果の論理和をとることにより、各エッジ画像上の車輌検出結果を統合し、この統合結果を最終的な車輌検出結果として出力する。
【００５０】
図９は、前記図６（１）（２）のエッジ画像ＥＳ ，ＥＦ を用いて、各駐車枠毎に車輌の有無を判定した結果であって、図中の左端欄に、各駐車枠に付与されたラベル番号を表すとともに、各ラベル番号に対応づけて、各エッジ画像ＥＳ ，ＥＦ 毎の車輌の有無の判定結果と最終的な統合結果とが示してある。なお図中のデータ「１」は「車輌あり」の判定結果を、データ「０」は「車輌なし」の判定結果を、それぞれ表すものとする。
【００５１】
図示例は、前記画像上の各駐車枠に対し、左から右方向に順にラベル番号を付してあり、ラベル番号「１」の駐車枠（前記駐車位置Ａに相当する）にある車輌ＣＢ はエッジ画像ＥＳ 上で検出され、またラベル番号「８」の駐車枠（前記駐車位置Ｂに相当する）にある車輌ＣＷ はエッジ画像ＥＦ 上で検出されている。
よって両検出結果を統合した結果、「１」「８」いずれの駐車枠にも、車輌が存在するものと判定される。
【００５２】
（４）実施例１〜３の変形例 ＜１＞
上記した３つの実施例は、いずれも２とおりのシャッタ速度ＳＳ ，ＳＦ による画像を用いて車輌の検出処理を行うようにしているが、これに限らず、３とおり以上のシャッタ速度による画像を生成して車輌検出処理を行うようにしてもよい。
【００５３】
図１０〜１２は、それぞれ第１〜第３の各実施例を発展させた構成を示すもので、画像入力部６には、Ｎとおり（Ｎ≧３）のシャッタ速度により得られた各画像を記憶するためのＮ個の画像メモリ１０Ｍ１ 〜１０ＭＮ が配備される。
【００５４】
図１０の実施例では、認識処理部７の画像統合部１１により、各入力画像間の対応する画素毎に輝度平均値が算出されて各画像が統合された後、特徴抽出部１２により、この統合画像上のエッジ抽出処理が実施される。さらに物体検出部１３により、前記エッジ抽出結果を用いた各車輌の検出処理が行われ、その結果が出力される。
【００５５】
図１１の実施例の認識処理部７は、各入力画像毎に特徴抽出部１２Ａ１ 〜１２ＡＮ を具備しており、入力画像毎にエッジ抽出処理が行われる。特徴統合部１４は、前記エッジ抽出処理により得られたエッジ画像について、前記第２の実施例と同様、対応する画素間の論理和演算を行って、各エッジ画像を統合する。この後、前記図１０の実施例と同様、物体検出部１３による車輌の検出処理が行われる。
【００５６】
図１２の実施例の認識処理部７は、各入力画像毎に特徴抽出部１２Ａ１ 〜１２ＡＮ および物体検出部１３Ａ１ 〜１３ＡＮ を具備しており、これら構成により各入力画像毎に個別に車輌検出処理が行われる。この後、前記第３の実施例と同様、検出結果統合部１５により各検出結果が統合されて、最終的な検出結果を示すデータが生成され、外部に出力される。
【００５７】
このように複数とおりのシャッタ速度による画像を用いて認識処理を行うようにすれば、カメラ１のダイナミックレンジをより広く設定でき、さまざまな色彩の車輌が駐車している場合にも、各車輌を精度良く検出することが可能となる。
【００５８】
（５）実施例４
前記第１〜３の各実施例では、１台のカメラ１をシャッタ速度を変更して連続的に撮像を行うようにしている。これに対し、第４の実施例では、図１３に示すように、異なるシャッタ速度が設定された２台のカメラ１Ｓ，１Ｆを配備し、各カメラ１Ｓ，１Ｆを同時に動作させる。
【００５９】
図１４は、上記図１３の観測装置の構成を示すもので、制御装置２の画像入力部６には、各カメラ１Ｓ，１Ｆ毎のＡ／Ｄ変換回路８Ｓ，８Ｆおよび画像メモリ１０Ｓ，１０Ｆが配備される。
なおこの実施例の認識処理部７には、前記第１〜３のいずれの実施例の構成を導入してもよいので、認識処理部７に関する詳細な構成の図示および説明は省略する。
【００６０】
ただし認識処理部７に第１または第２の実施例の構成を導入する場合、各カメラ１Ｓ，１Ｆは、画像の統合処理に支障が生じないように、光軸を平行にした状態で出来るだけ接近させて配備する必要がある。さらに画像の統合処理時には、カメラ１Ｓ，１Ｆ間の視差によるずれを補正するために、いずれかの画像を、各カメラの光軸間の距離に対応する画素数分だけ、視差の生じる方向（図示例の場合は縦方向）にシフトさせる必要がある。
【００６１】
（６）第５実施例
この実施例は、図１の設置例と同様、１台のカメラによる画像を取り込んで車輌検出処理を実施するものであるが、この実施例のカメラには、図１５に示すように、２枚のＣＣＤ撮像素子１７Ｓ，１７Ｆを具備するカメラ１Ｘが用いられる。各ＣＣＤ撮像素子１７Ｓ，１７Ｆには、それぞれ前記シャッタ速度ＳＳ ，ＳＦ に相当する電荷蓄積時間が設定されており、カメラレンズ１６を通過した光が各ＣＣＤ素子１７Ｓ，１７Ｆに同時に与えられて、この光像を異なるシャッタ速度でとらえた２枚の画像ＩＳ ，ＩＦ が生成される。
【００６２】
制御装置２側の画像入力部６は、各ＣＣＤ撮像素子１７Ｓ，１７Ｆからの画像データを同時に受けることができるように、入力画像毎のＡ／Ｄ変換回路８Ｓ，８Ｆおよび画像メモリ１０Ｓ，１０Ｆとを具備する。
なお認識処理部７には、前記第４の実施例と同様、第１〜３のいずれの構成を導入しても良いので、ここでは図示および詳細な説明は省略する。
【００６３】
この実施例の構成によれば、同一の観測領域について、各シャッタ速度ＳＳ ，ＳＦ による画像を同時に取り込んで処理することができるので、各入力画像間の時間のずれをなくせる上、前記第４の実施例のように画像の統合処理時にいずれか一方の画像をシフト処理する必要もない。よって車輌の検出精度を向上させると同時に、処理時間を短縮させることができる。
【００６４】
（７）第６実施例
この実施例も、上記第５の実施例と同様の２個のＣＣＤ撮像素子１７Ｓ，１７Ｆを具備するカメラ１Ｘにより、各シャッタ速度ＳＳ ，ＳＦ による画像を同時に生成するものである。
図１６は、この第６の実施例の構成を示すもので、制御装置２は、先の実施例と同様の構成の画像入力部６を具備するほか、画像統合部１１，モニタ１８を含んでいる。
【００６５】
カメラ１Ｘにより生成された各画像は、画像入力部６を介して画像統合部１１に与えられ、前記第１の実施例と同様の方法で統合される。モニタ１８は、この統合処理により生成される画像を表示するためのもので、これにより駐車エリア４内に明るさの異なる車輌が存在する場合にも、各車輌を１つのモニタ画面上で観測することが可能となる。
【００６６】
なお前記モニタ１８を、駐車エリア４から離れた場所に設置し、制御装置２の本体からモニタ１８に、統合処理された画像データを通信回線を介して送信することも可能である。このようにすれば、直接駐車エリア４を監視できない地域でも、駐車エリア４の状況を正確に把握することができる。
【００６７】
またこの実施例の構成に、前記した第１〜３のいずれかの認識処理部７の構成を加え、前記モニタ１８に、統合処理された画像とともに、各駐車枠毎の車輌の有無判定の結果を表示することも可能である。
【００６８】
（８）第７実施例
図１７は、観測装置の第７の構成を示す。この実施例は、前記第１〜３のいずれかの構成に光強度計１９を付加してカメラ１の観測領域内の明るさを検出し、その明るさの度合いにより、カメラ１の各シャッタ速度ＳＳ ，ＳＦ を可変設定するようにしている。
【００６９】
図１８は、シャッタ速度の設定例を示す。
前記光強度計１９は、観測領域からの光を受光してその光強度を検出するもので、ここではあらかじめ各シャッタ速度ＳＳ ，ＳＦ に３段階の設定値（ｓ１〜ｓ３，ｆ１〜ｆ３）を設けて、シャッタ速度制御装置５のメモリに記憶させておき、前記光強度の検出値λを所定のしきい値ｔｈ１，ｔｈ２（ｔｈ１＞ｔｈ２）と比較することにより、各シャッタ速度ＳＳ ，ＳＦ にいずれかの設定値を採用するようにしている。
【００７０】
このように観測領域内の明るさの度合いによりカメラ１のシャッタ速度を制御するので、カメラ１により大きなダイナミックレンジを設定することができ、観測領域内の明るさが変動しても、安定した車輌検出を行うことができる。
【００７１】
（９）第８実施例
図１９は、観測装置の第８の構成を示す。この実施例も、前記第７の実施例と同様、前記第１〜３のいずれかの構成に、カメラの各シャッタ速度ＳＳ ，ＳＦ を可変設定する構成を付加したものであるが、ここでは観測領域内の明るさに代えて、各入力画像の明るさにより、シャッタ速度ＳＳ ，ＳＦ の設定値を変動するようにしている。
【００７２】
制御装置２には、第１〜３の各構成と同様の画像入力部６，これら３つの構成のいずれかと同構成の認識処理部７のほか、２個の輝度平均算出部２０Ｓ，２０Ｆが配備される。これら輝度平均算出部２０Ｓ，２０Ｆは、画像メモリ１０Ｓ，１０Ｆに記憶された入力画像ＩＳ ，ＩＦ について、各構成画素の輝度値の平均を算出し、シャッタ速度制御装置５に出力する。シャッタ速度制御装置５は、各算出値を個々に取り込んで、各シャッタ速度Ｓｓ ，ＳＦ の設定値を決定し、つぎの撮像時には、この決定値に基づき、カメラ１のシャッタ速度を制御する。
【００７３】
なお処理開始時点では、各シャッタ速度ＳＳ ，ＳＦ には所定の初期値が設定され、以後の数サイクルの撮像動作により最適値に調整される。
【００７４】
図２０は、シャッタ速度を決定するための手順を示す。なおここでは、遅い方のシャッタ速度ＳＳ を決定する手順を示すが、速い方のシャッタ速度ＳＦ も同様の手順で決定される。
【００７５】
最初のステップ１（図中「ＳＴ１」で示す）で、輝度平均算出部２０Ｓは、画像メモリ１０Ｓより入力画像ＩＳ の画像データを読み込んで、平均輝度値ＡＶＳ を算出する。つぎのステップ２，３で、シャッタ速度制御装置５は、この算出値ＡＶＳ を平均輝度値の最適値ＭＳ と比較し、その比較結果を用いて、シャッタ速度ＳＳ の現在値を維持するか、変更するかを決定する。
【００７６】
前記平均輝度値の最適値ＭＳ は、あらかじめ内部のメモリに登録されているもので、前記平均輝度値の算出値ＡＶＳ と最適値ＭＳ との差が、所定のしきい値Δｓ２からΔｓ１の間にある場合（Δｓ２＜ΔＳ１）は、ステップ２，３がいずれも「ＮＯ」となり、シャッタ速度ＳＳ の現在値が維持される（ステップ６）。
【００７７】
入力画像ＩＳ が明るすぎる場合には、前記平均輝度値の算出値ＡＶＳ と最適値ＭＳ との間にしきい値ΔＳ１を上回る差が生じる。この場合はステップ２が「ＹＥＳ」となってステップ４へと移行し、シャッタ速度ＳＳ の設定値が１／２に更新される。
【００７８】
逆に、入力画像ＩＳ の明るさが落ちた場合には、前記平均輝度値の算出値ＡＶＳ と最適値ＭＳ との差がしきい値Δｓ２を下回る。この場合には、ステップ３が「ＹＥＳ」となってステップ５へと移行し、、シャッタ速度ＳＳ の設定値は２倍に更新される。
【００７９】
なお上記ステップ４，５におけるシャッタ速度ＳＳ の更新は、図示例に限らず、例えば現在の設定値に所定の度数分の値を加算（または減算）するようにしてもよい。
【００８０】
このように、画像入力毎に、つぎの段階でのシャッタ速度ＳＳ ，ＳＦ を、それぞれ対応する入力画像ＩＳ ，ＩＦ を用いて決定することにより、実際に得られた画像上の明るさに基づき、各シャッタ速度ＳＳ ，ＳＦ を適切に調整することができる。
なお図１５，１６に示した第５，６の実施例にも、上記第７，８の実施例のシャッタ速度の調整にかかる構成を導入することが可能である。
【００８１】
（１０）第９実施例
上記した各実施例の構成は、いずれも所定の明るさの下での観測が可能な昼間に処理を実施することを前提とするもので、夜間など、観測領域全体が暗くなる条件下では、速いシャッタ速度により得られた画像上には、いずれの車輌の画像も表れない虞がある。
【００８２】
図２１に示す第９の構成は、複数とおりのシャッタ速度による画像を合成して認識処理を行うものであるが、夜間時にはこの処理を休止して、１枚の画像を用いた通常の認識処理を実施するように、構成される。
【００８３】
この夜間時における処理の切換えは、制御装置２内部のタイマ２１の計時時刻に基づき行われるもので、タイマ２１の計時時刻が所定の期間内にあるときは、カメラ１には、最も遅いシャッタ速度のみがセットされる。また図中、２２は、第２以下の画像メモリ１０Ｍ２ 〜１０ＭＮ と認識処理部７との接続をオンオフするための切換部であって、前記カメラ１に単一のシャッタ速度がセットされると同時に、この切換部２２はオフにセットされる。また同時に、認識処理部７の画像統合部１１の機能が休止し、特徴抽出部１２および物体検出部１３により、画像メモリ１０Ｍ１ からの画像データのみを用いた認識処理が行われる。
【００８４】
なお図示例の制御装置２は、認識処理部７に前記図１０の構成を採用しているが、他の構成をとる場合も、同様に、昼間と夜間とで処理の切換えを行うように設定することができる。
【００８５】
このように夜間時に処理を切り換えることにより、夜間時の無用な演算処理を削減することができる。またこの無用な演算処理により検出結果に誤差が生じる虞もなくなり、車輌検出の精度を安定させることができる。
【００８６】
（１１）第１０実施例
図２２は、第１０番目の構成を用いる場合の観測装置の設置例を示す。この観測装置は、２台のカメラ１Ａ，１Ｂからの画像を用いた３次元計測処理により、各駐車枠毎の車輌の有無を判定するもので、各カメラ１Ａ，１Ｂは、駐車エリア４に向けて、光軸を平行かつ撮像面を同一面上に位置させた状態で、縦並びに配備される。
【００８７】
この実施例も、前記した第１〜８の各実施例と同様、明るさの異なる車輌ＣＢ ，ＣＷ をともに精度良く検出できるように、各カメラ１Ａ，１Ｂに複数とおりのシャッタ速度を設定して連続的に撮像させている。また制御装置２においては、各カメラ１Ａ，１Ｂより同じシャッタ速度で得られた画像の組毎に、車輌を示す特徴点の抽出から特徴点の対応づけまでの処理を行った後、各対応づけ結果を統合して３次元計測処理を実施するようにしている。
【００８８】
図２３は、前記観測装置の構成を示す。
シャッタ速度制御装置５は、前記第１〜３の各実施例と同様、固定された２とおりのシャッタ速度ＳＳ ，ＳＦ を交互に設定するもので、各カメラ１Ａ，１Ｂは、このシャッタ速度制御装置５による制御を受けて、各シャッタ速度ＳＳ ，ＳＦ による画像を、それぞれ同時に生成する。
【００８９】
制御装置２は、前記した各実施例と同様、画像入力部６と認識処理部７とを備えて成る。画像入力部６は、各カメラ毎に、Ａ／Ｄ変換回路８Ａ，８Ｂおよび２組の画像メモリ（１０ＡＳ ，１０ＡＦ ）（１０ＢＳ ，１０ＢＦ ）を具備する。各組の一方の画像メモリ１０ＡＳ ，１０ＢＳ には、それぞれ各カメラ１Ａ，１Ｂからの遅い方のシャッタ速度ＳＳ による画像ＵＳ ，ＬＳ が格納される。また他方の画像メモリ１０ＡＦ ，１０ＢＦ には、それぞれ各カメラからの速い方のシャッタ速度ＳＦ による画像ＵＦ ，ＬＦ が格納される。
【００９０】
認識処理部７は、２組の特徴抽出部１２ＢＳ ，１２ＢＦ ，２組の対応づけ処理部２３Ｓ，２３Ｆを含むとともに、特徴統合部２４，３次元計測部２５，物体検出部２６などの各構成を具備する。特徴抽出部１２ＢＳ ，１２ＢＦ は、それぞれ下側のカメラ１Ｂにより得られた各画像ＬＳ ，ＬＦ について、画像上のエッジを抽出するためのもので、特徴抽出部１２ＢＳ による画像ＬＳ に対するエッジ抽出結果は第１の対応づけ処理部２３Ｓに、特徴抽出部１２ＢＦ による画像ＬＦ に対するエッジ抽出結果は第２の対応づけ処理部２３Ｆに、それぞれ個別に与えられる。
【００９１】
第１の対応づけ処理部２３Ｓは、各カメラ１Ａ，１Ｂより遅い方のシャッタ速度ＳＳ で得られた入力画像Ｕｓ ，Ｌｓ について、それぞれ空間内の同じ物点を表す特徴点を特定して両者を対応づけるためのものである。
【００９２】
この対応づけ処理は、具体的には、前記特徴抽出部１２ＢＳ により画像ＬＳ 上で抽出された各エッジ構成点Ｐについて、それぞれ画像ＵＳ 上での対応点Ｑを抽出することにより行われる。
【００９３】
図２４は、前記点Ｐへの対応点Ｑを抽出する具体的な方法を示す。
まず対応づけ処理部２３Ｓは、前記エッジ抽出処理により生成されたエッジ画像ＥＬＳ 上の所定の特徴点Ｐ（ｘ，ｙＬ ）について、原画像ＬＳ 上の点Ｐの位置に、この点Ｐを中心点とする所定大きさのウィンドウＷＬ を設定する。ついで対応づけ処理部は、画像ＵＳ 上の前記点ＰのエピポーララインＥＰ上に前記ウィンドウＷＬ と同じ大きさのウィンドウＷＵ を設定して走査し、各走査位置毎に、つぎの（３）式を実行して、各ウィンドウＷＬ ，ＷＵ 内の画像データの相違度ＤＦを算出する。
【００９４】
なお（３）式において、ｇＬ（ｘ，ｙ）はウィンドウＷＬ内の所定の画素の輝度値を、またｇＵ（ｘ，ｙ）はウィンドウＷＵ内の所定の画素の輝度値を、それぞれ示す。またSZは各ウィンドウＷＬ，ＷＵのサイズを示す。さらにｍ，ｎは各ウィンドウ内の画素を特定するための変数であって、０から前記サイズ SZの範囲内で変動する。
【００９５】
【数３】
対応づけ処理部２３Ｓは、各走査位置において求められた相違度ＤＦを比較し、この相違度ＤＦが最も小さくなる時点でのウィンドウＷＵ の中心点（ｘ，ｙＵ ）を、前記点Ｐの対応点Ｑとして特定する。
【００９７】
なお前記したように、各カメラ１Ａ，１Ｂは縦並び、かつ光軸を平行にして配備されているので、エピポーララインＥＰはｘ軸に垂直になり、ウィンドウＷU を容易に設定でき、また相違度ＤＦの演算も簡単になる。またエピポーララインＥＰ上の各走査位置で相違度ＤＦを算出する方法に代えて、画像ＵS 上でもエッジを抽出し、このうち前記エピポーララインＥＰ上に位置するエッジ構成点を、特徴点Ｐの対応候補点として設定し、これら対応候補点についてのみ相違度ＤＦを演算するようにしてもよい。
【００９８】
図２３に戻って、第２の対応づけ処理部２３Ｆは、各カメラ１Ａ，１Ｂより速い方のシャッタ速度ＳＦ により得られた各入力画像ＵＦ ，ＬＦ について、それぞれ上記と同様の対応づけ処理を行うもので、各対応づけ処理部２３Ｓ，２３Ｆによる対応づけ結果は、特徴統合部２４において統合処理される。
【００９９】
この統合処理は、各対応づけ処理部２３Ｓ，２３Ｆにより対応づけられた特徴点の組をすべて採用するもので、対応する各特徴点の組毎の座標データは、３次元計測部２５に与えられる。３次元計測部２５は、与えられた特徴点の組毎に、各特徴点の座標（ｘ，ｙｕ ）（ｘ，ｙＬ ）を三角測量の原理にあてはめることにより、各特徴点に対応する３次元座標を算出する。
【０１００】
こうして各特徴点の組毎に対応する３次元座標が算出され、物体検出部２６へと与えられる。物体検出部２６は、各駐車枠位置における特徴点の数およびその高さデータから、各駐車枠内に車輌が存在するか否かを判別する。
【０１０１】
なおこの第１０の実施例では、説明を簡単にするために、各カメラのシャッタ速度ＳＳ ，ＳＦ を固定値にしたが、前記第７，８の実施例のように、観測領域の明るさや入力画像の明るさに応じて各シャッタ速度ＳＳ ，ＳＦ を可変設定してもよい。またシャッタ速度ＳＳ ，ＳＦ は１種類に限らず、図１０〜１２に示したように、複数とおりのシャッタ速度を設定し、各シャッタ速度毎に画像間での特徴点の対応づけを行った後、各対応づけ結果を統合するようにしてもよい。さらに前記第９の実施例に示したように、夜間時には各カメラを遅いシャッタ速度のみで撮像させ、１組の画像のみで３次元計測処理を行うように構成してもよい。
【０１０２】
（１２）その他の実施例
上記した各実施例は、いずれも、カメラにより、シャッタ速度の異なる複数枚の画像を生成するようにしたが、シャッタ速度のみならず、カメラの絞りや、カメラからの出力電圧のゲインを調整することによっても、明るさの異なる対象物の画像を個別に生成することが可能である。
【０１０３】
またここでは、駐車場用の観測装置における各構成例を説明したが、観測対象は車輌に限らず、他の物体であってもよく、また観測領域は室内であってもよい。さらにこの実施例の観測装置は、各駐車枠毎の車輌の有無を認識するだけのものであるが、これに限らず、車輌の大きさ、形状などを認識するようにしてもよく、カラー画像生成用のカメラを用いて、各車輌の車体色を認識するようにしてもよい。
【０１０４】
さらに個々に示した駐車場用の観測装置は、静止した車輌を認識対象とするが、道路上を走行する車輌などの移動体を認識対象とする場合にも、この発明を適用することができる。ただしこの場合、各シャッタ速度毎の画像を連続的に生成すると、画像間に対象物の移動分のずれが生じるので、前記第４または第５の実施例の構成を導入するのが望ましい。
【０１０５】
【発明の効果】
請求項１，２および請求項４，５の発明によれば、観測領域内に車体色の異なる複数の車輌が存在しても、各車輌をそれぞれその車体色に対応する露光量による画像上に出現させることができ、各種色彩の車輌を精度良く認識することができる。
【０１０８】
請求項６，７の発明では、各画像を供給する撮像手段に対し、観測領域内もしくは入力画像の明るさを用いて露光量を調整するので、周囲環境の変化により観測領域内の明るさが変動しても、各画像により車輌を鮮明にとらえることができ、安定した認識処理を行うことができる。
【０１０９】
請求項３および９の発明では、観測領域を複数個の撮像手段により撮像して、３次元計測処理を行う際に、各撮像手段により同じ露光量で生成された画像の組毎に画像上の特徴点の対応づけを行った後に、各組毎の対応づけ結果を統合して３次元計測処理を実施するので、観測領域内に明るさの異なる対象物がある場合にも、各対象物の３次元形状や空間位置を、精度良く認識することができる。
【０１１０】
請求項８および１０の発明では、タイマの計時時刻により、１日のうちの所定の期間内は、特定の露光量による画像のみを用いた認識処理を行うので、夜間など明度の高い対象物が検出されることのない時間帯の無用な処理を回避して、装置コストを削減できる。また必要外の処理による誤計測を防止することも可能となる。
【図面の簡単な説明】
【図１】この発明が適用された観測装置の設置例を示す斜視図である。
【図２】観測装置の第１の構成を示すブロック図である。
【図３】入力画像の一例を示す説明図である。
【図４】図３の入力画像の合成画像を示す説明図である。
【図５】観測装置の第２の構成を示すブロック図である。
【図６】入力画像のエッジ抽出処理により得られたエッジ画像を示す説明図である。
【図７】図６のエッジ画像を統合した結果を示す説明図である。
【図８】観測装置の第３の構成を示すブロック図である。
【図９】駐車枠ごとの車輌の有無の判別結果を示す説明図である。
【図１０】観測装置の第１の構成を変形した例を示すブロック図である。
【図１１】観測装置の第２の構成を変形した例を示すブロック図である。
【図１２】観測装置の第３の構成を変形した例を示すブロック図である。
【図１３】第４の構成の観測装置の設置例を示す斜視図である。
【図１４】観測装置の第４の構成を示すブロック図である。
【図１５】観測装置の第５の構成を示すブロック図である。
【図１６】観測装置の第６の構成を示すブロック図である。
【図１７】観測装置の第７の構成を示すブロック図である。
【図１８】図１７の観測装置におけるシャッタ速度の設定例を示す説明図である。
【図１９】観測装置の第８の構成を示すブロック図である。
【図２０】図１９の観測装置におけるシャッタ速度の設定手順を示すフローチャートである。
【図２１】観測装置の第９の構成を示すブロック図である。
【図２２】第１０の構成の観測装置の設置例を示す斜視図である。
【図２３】観測装置の第１０の構成を示すブロック図である。
【図２４】特徴点の対応づけ処理の具体例を示す説明図である。
【符号の説明】
１，１Ｓ，１Ｆ，１Ｘ，１Ａ，１Ｂ カメラ
２ 制御装置
５ シャッタ速度制御装置
６ 画像入力部
７ 認識処理部
１１ 画像統合部
１２，１２Ｓ，１２Ｆ，１２ＢＳ ，１２ＢＦ 特徴抽出部
１３，１３Ｓ，１３Ｆ，２６ 物体検出部
１５ 検出結果統合部
１９ 光強度計
２３Ｓ，２３Ｆ 対応づけ処理部
２４ 特徴統合部
２５ ３次元計測部
Claims (10)
- 車輌を認識するための画像処理方法であって、
車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像し、
前記撮像により生成された複数枚の画像毎に、それぞれ車輌の輪郭を表すエッジを抽出し、
前記画像毎の特徴点の抽出結果を統合し、その統合結果を用いて前記観測領域内の車輌を認識することを特徴とする画像処理方法。 - 車輌を認識するための画像処理方法であって、
車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像し、
前記撮像により生成された複数枚の画像毎に、それぞれ車輌の輪郭を表すエッジを抽出する処理と、前記抽出結果を用いて前記観測領域内の車輌をその位置に対応づけて認識する処理とを実行し、
前記画像毎の認識結果のうち前記車輌の認識位置が画像間で異なるものを、それぞれ個別の車輌に対する認識結果とみなして各認識結果を統合し、観測領域内の車輌を最終的に認識することを特徴とする画像処理方法。 - 所定の観測領域に向けて配備された複数個の撮像手段により、それぞれ異なる露光量による複数枚の画像を生成し、各撮像手段により同じ露光量で生成された画像の組毎に、各画像上の特徴点を画像間で対応づけした後、各組毎の対応づけ結果を統合し、
前記統合された対応づけ結果を用いた３次元計測処理を実施して、その計測結果に基づき前記観測領域内の対象物を認識することを特徴とする画像処理方法。 - 車輌を認識するための画像処理装置であって、
車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像して得られた複数枚の画像を、個別に入力する画像入力手段と、
入力した各画像からそれぞれ車輌の輪郭を表すエッジを抽出するエッジ抽出手段と、
前記入力画像毎のエッジ抽出結果を統合する統合手段と、
前記統合手段により統合されたエッジ抽出結果を用いて前記観測領域内の車輌を認識する認識手段とを具備して成る画像処理装置。 - 車輌を認識するための画像処理装置であって、
車輌の車体色の種類に応じた複数とおりの露光量によりそれぞれ同一の観測領域を撮像して得られた複数枚の画像を、個別に入力する画像入力手段と、
入力した各画像からそれぞれ車輌の輪郭を表すエッジを抽出するエッジ抽出手段と、
前記入力画像毎に、前記エッジ抽出結果を用いて観測領域内の車輌をその位置に対応づけて認識する認識手段と、
前記入力画像毎の認識結果のうち前記車輌の認識位置が画像間で異なるものを、それぞれ個別の車輌に対する認識結果とみなして各認識結果を統合し、前記観測領域内の車輌の最終的な認識結果を示すデータを生成する認識結果統合手段とを具備して成る画像処理装置。 - 請求項４または５に記載された画像処理装置において、
さらに、前記観測領域内の明るさを検出する明るさ検出手段と、各入力画像を供給する撮像手段に対し、各画像に対応する露光量を前記明るさの検出結果を用いて調整する露光量調整手段とを具備して成る画像処理装置。 - 請求項４または５に記載された画像処理装置において、
さらに前記画像入力手段により入力された各画像の明るさを検出する画像明るさ検出手段と、各入力画像を供給する撮像手段に対し、各画像に対応する露光量を前記明るさの検出結果を用いて調整する露光量調整手段とを具備して成る画像処理装置。 - 請求項４または５に記載された画像処理装置において、
さらに時刻を計時するタイマを備え、このタイマの計時時刻に基づき、１日のうちの所定期間は、特定の露光量による１枚の画像のみを入力して、前記観測領域内の車輌を認識するように構成されて成る画像処理装置。 - 所定の観測領域に向けて配備された複数個の撮像手段より、それぞれ異なる露光量による複数枚の画像を入力する画像入力手段と、
各撮像手段により同じ露光量で生成された入力画像の組毎に、各画像上の特徴点を画像間で対応づけする対応づけ手段と、
前記各組毎の対応づけ結果を統合する統合手段と、
統合された対応づけ結果を用いた３次元計測処理を実施する３次元計測手段と、
前記３次元計測結果を用いて前記観測領域内の対象物を認識する認識手段とを具備して成る画像処理装置。 - 請求項９に記載された画像処理装置において、
さらに時刻を計時するタイマを備え、このタイマの計時時刻に基づき、１日のうちの所定期間は、各撮像手段よりそれぞれ特定の露光量による１枚の画像のみを入力し、各入力画像間で対応する特徴点を用いた３次元計測処理により、前記観測領域内の対象物を認識するように構成されて成る画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01329598A JP3570198B2 (ja) | 1998-01-07 | 1998-01-07 | 画像処理方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01329598A JP3570198B2 (ja) | 1998-01-07 | 1998-01-07 | 画像処理方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11201741A JPH11201741A (ja) | 1999-07-30 |
| JP3570198B2 true JP3570198B2 (ja) | 2004-09-29 |
Family
ID=11829211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01329598A Expired - Fee Related JP3570198B2 (ja) | 1998-01-07 | 1998-01-07 | 画像処理方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3570198B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3965943B2 (ja) * | 2001-07-12 | 2007-08-29 | 株式会社ノーリツ | 人体検出装置 |
| JP4084578B2 (ja) | 2002-02-20 | 2008-04-30 | 富士通株式会社 | 文字認識方法及びその装置 |
| JP2004048345A (ja) * | 2002-07-11 | 2004-02-12 | Niles Co Ltd | 撮像システム |
| JP3793487B2 (ja) * | 2002-07-12 | 2006-07-05 | ナイルス株式会社 | 撮像システム |
| JP4009163B2 (ja) * | 2002-08-30 | 2007-11-14 | 富士通株式会社 | 物体検知装置、物体検知方法および物体検知プログラム |
| JP5074067B2 (ja) * | 2007-03-27 | 2012-11-14 | セコム株式会社 | 不審物監視装置 |
| JP5076100B2 (ja) * | 2009-02-19 | 2012-11-21 | 独立行政法人 宇宙航空研究開発機構 | カラー標的用画像処理装置 |
| JP4983905B2 (ja) | 2009-12-25 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、３ｄモデリングデータ生成方法、および、プログラム |
| JP5290233B2 (ja) * | 2010-04-13 | 2013-09-18 | Ｃｋｄ株式会社 | 三次元計測装置及び基板検査装置 |
| JP2012226513A (ja) * | 2011-04-19 | 2012-11-15 | Honda Elesys Co Ltd | 検知装置、及び検知方法 |
| JP5889247B2 (ja) * | 2013-07-02 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置 |
| JP7190088B2 (ja) * | 2017-09-29 | 2022-12-15 | 智幸 伊豆 | 駐車場監視装置、駐車場管理システム及び駐車場管理プログラム |
| WO2022254795A1 (ja) * | 2021-05-31 | 2022-12-08 | 日立Astemo株式会社 | 画像処理装置、および、画像処理方法 |
-
1998
- 1998-01-07 JP JP01329598A patent/JP3570198B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11201741A (ja) | 1999-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2919197B1 (en) | Object detection device and object detection method | |
| CN107615334B (zh) | 物体识别装置以及物体识别系统 | |
| JP3570198B2 (ja) | 画像処理方法およびその装置 | |
| JP2768042B2 (ja) | 距離測定装置 | |
| JP2001091247A (ja) | 距離データの検査方法およびその検査装置 | |
| WO2019146510A1 (ja) | 画像処理装置 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JPH1144533A (ja) | 先行車両検出装置 | |
| JP2004312402A (ja) | 道路監視システム，道路監視装置 | |
| JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
| JP5004923B2 (ja) | 車両の運転支援装置 | |
| JP2006059183A (ja) | 画像処理装置 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| JPH09329671A (ja) | 霧監視システム | |
| JP2001357396A (ja) | 画像処理装置および画像認識装置 | |
| JP3994954B2 (ja) | 物体検出装置及び物体検出方法 | |
| JP4547213B2 (ja) | 物体検出装置および方法 | |
| JP2004208209A (ja) | 移動体監視装置および移動体監視方法 | |
| US20190318495A1 (en) | Image processing system | |
| JP2006155400A (ja) | 画像抽出装置 | |
| CN111536895B (zh) | 外形识别装置、外形识别系统以及外形识别方法 | |
| JPH1073419A (ja) | エンジン外付け部品の誤欠品検査装置 | |
| JPH11223516A (ja) | ３次元画像撮像装置 | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
| JP3755319B2 (ja) | 主被写体検出装置およびそれを用いた機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040614 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |