JP4009163B2

JP4009163B2 - Object detection apparatus, object detection method, and object detection program

Info

Publication number: JP4009163B2
Application number: JP2002255886A
Authority: JP
Inventors: 真理西川; 宣浩綱島; 望末延
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-08-30
Filing date: 2002-08-30
Publication date: 2007-11-14
Anticipated expiration: 2022-08-30
Also published as: JP2004096488A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置、物体検知方法および物体検知プログラムに関し、特に、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる物体検知装置、物体検知方法および物体検知プログラムに関する。
【０００２】
【従来の技術】
従来、撮影装置を用いて撮影した映像を画像処理することによって映像中の物体を検知する物体検知装置では、まず、撮影した画像に映された物体を検出し、次に、検出した物体の詳細を認識するという二段階の処理によって物体の検知をおこなっている。
【０００３】
たとえば、建物入り口付近に設置したＩＴＶカメラで侵入者を監視する物体検知装置では、まず、ＩＴＶカメラを用いて撮影した画像から監視領域に入る物体を検出し、検出した物体が人である場合には、さらに顔やネームプレート等の詳細を認識して侵入者を検知している。
【０００４】
しかし、ＩＴＶカメラを使った従来の物体検知装置では、特に雨が降った夜間などは、路面に写った車の影やヘッドライトなどを侵入者と誤検知する一方で、本来検知すべき侵入者を見逃してしまうという問題があった。
【０００５】
また、物体検知装置が監視する領域の明暗の差が大きい場合には、１台の撮影装置で様々な明るさの領域を明瞭に撮影することができないという問題があった。たとえば、侵入者の一部に影がかかると、影のある部分と影のない部分の明暗の差が大きく、侵入者の顔やネームプレートなどを明瞭に撮影することができない。これは、ＩＴＶカメラが撮影できるダイナミックレンジが狭く、明暗の差が大きい物体を撮影できないために起こるものである。
【０００６】
このような問題に対して、特開平１０−１３６２６９号公報には、撮影装置の撮像素子の偶数ラインと奇数ラインの露光時間を交互に変えることで異なる露光量の映像を生成し、それらを合成することで撮影装置のダイナミックレンジを広げる技術が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来技術では、露光時間を変えて偶数ライン、奇数ラインの２枚の映像を交互に撮影しているため、物体が動いている場合に、物体の映像に差異が生じるという問題があった。
【０００８】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる物体検知装置、物体検知方法および物体検知プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、露光量を異なるように設定した複数の撮影装置が前記所定の領域を撮影した複数の画像のうち、明るさの撮像範囲が重なる二台の前記撮影装置によって撮影された二つの画像について、一方の画像の明るさを他方の画像の明るさへ変換する輝度変換曲線を用いて画像間の輝度調整を行い、輝度調整後の画像から前記物体を特定する物体特定手段と、前記物体特定手段が特定した物体に対応する画像領域について、前記複数の画像からそれぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段とを備えたことを特徴とする。
【００１０】
また、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、露光量を異なるように設定した複数の撮影装置が前記所定の領域を撮影した複数の画像のうち、明るさの撮像範囲が重なる二台の前記撮影装置によって撮影された二つの画像について、一方の画像の明るさを他方の画像の明るさへ変換する輝度変換曲線を用いて画像間の輝度調整を行い、輝度調整後の画像から前記物体を特定する物体特定工程と、前記物体特定工程において特定された物体に対応する画像領域について、前記複数の画像からそれぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程とを含んだことを特徴とする。
【００１１】
また、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、露光量を異なるように設定した複数の撮影装置が前記所定の領域を撮影した複数の画像のうち、明るさの撮像範囲が重なる二台の前記撮影装置によって撮影された二つの画像について、一方の画像の明るさを他方の画像の明るさへ変換する輝度変換曲線を用いて画像間の輝度調整を行い、輝度調整後の画像から前記物体を特定する物体特定手順と、前記物体特定手順において特定された物体に対応する画像領域について、前記複数の画像からそれぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順とをコンピュータに実行させることを特徴とする。
【００１２】
かかる発明によれば、露光量を異なるように設定した複数の撮影装置が所定の領域を撮影した複数の画像について、変換元画像の輝度と変換先画像の輝度との関係をあらわす輝度変換曲線を用いて画像間の輝度調整を行い、輝度調整後の画像から物体を特定し、特定された物体に対応する画像領域について、複数の画像からそれぞれ露光量が適正な画像部分を取り出して合成画像を生成することとしたので、物体検出処理を精度良く行う際に必要となる課題である、物体特定および広ダイナミックレンジの合成画像の取得という課題を、露光量が異なる入力画像を用いて両立することによって、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる。
【００１３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る物体検知装置、物体検知方法および物体検知プログラムの好適な実施の形態を詳細に説明する。
【００１４】
（実施の形態１）
まず、本実施の形態１に係る物体検知装置の概念について説明する。図１は、本実施の形態１に係る物体検知装置の概念を説明するための説明図である。なお、この物体検知装置は、建物の入り口等に設置され、建物への不審者の侵入を検知するために使われる。
【００１５】
同図に示すように、この物体検知装置では、露光量が異なる２台のカメラで監視領域を撮影し、２台のカメラが撮影した二つの画像から、それぞれ露光量が適正な画像部分を取り出して一つの全体画像を合成し、あたかもダイナミックレンジの広い一つのカメラで撮影したかのような画像を得ることとしている。
【００１６】
すなわち、２台のカメラの露光量を異なる値に設定し、明るさの異なる二つ画像を撮影する。たとえば、図１において、一方のカメラは日陰の部分が明瞭に撮影できるように露光量を設定し、他方のカメラは日向の部分が明瞭に撮影できるように露光量を設定する。
【００１７】
そして、明るさの異なる二つの画像からダイナミックレンジの広い合成画像を生成し、生成した合成画像を用いて物体の詳細を認識することとしている。なお、ここでは、２台のカメラを用いた場合について説明したが、カメラの台数を増やすことによって、よりダイナミックレンジの広い合成画像を得ることができる。
【００１８】
このように、本実施の形態１では、露光量が異なる複数のカメラで監視領域を撮影し、撮影した複数の画像から、それぞれ露光量が適正な画像部分を取りだして一つのダイナミックレンジの広い画像を合成し、この合成画像を用いて物体の詳細を認識することとしたので、監視領域の明暗の差が大きい場合にも、不審者の侵入を正しく検知することができる。
【００１９】
次に、本実施の形態１に係る物体検知装置の構成について説明する。図２は、本実施の形態１に係る物体検知装置の構成を示す機能ブロック図である。同図に示すように、この物体検知装置２００は、ｎ台のカメラ２０１と、画像取込部２０２と、物体検出部２０３と、画像合成部２０４と、詳細認識部２０５と、画像データ記憶部２０６と、設置条件記憶部２０７と、表示装置２０８と、撮像素子駆動部２０９と、制御部２１０とを有する。
【００２０】
カメラ２０１は、露光量を調節することができる撮影装置であり、光学レンズ、ＣＣＤ、ＣＭＯＳセンサなどの撮像素子と、撮像素子の露光量を制御する絞り（アイリス）と、電子式シャッタを少なくとも有する。
【００２１】
また、この物体検知装置２００では、図３に示すように、ｎ台のカメラ２０１の露光量を、１番目のカメラ２０１からｎ番目のカメラ２０１にいくほど露光量が少なくなるように、絞りあるいはシャッタースピードを調整する。すなわち、１番目のカメラ２０１からｎ番目のカメラ２０１にいくほどより明るい対象物体を撮影できるように、絞りあるいはシャッタースピードを調整する。
【００２２】
画像取込部２０２は、各カメラ２０１の出力するアナログ映像信号を増幅し、増幅したアナログ映像信号をデジタル映像信号へ変換する処理部であり、デジタル映像信号から得られる画像データを画像データ記憶部２０８に格納する。
【００２３】
物体検出部２０３は、画像データ記憶部２０８に格納された画像データを用いて、監視領域に入る物体を検出する処理部である。具体的には、ステレオ画像処理を用いてカメラ２０１から物体までの距離を算出し、算出した物体までの距離と事前に求めておいたカメラ２０１から背景までの距離とを比較することによって監視領域に入る物体を検出する。なお、ステレオ画像処理の詳細については後述する。
【００２４】
画像合成部２０４は、ｎ台のカメラ２０１が撮影したｎ個の画像から、それぞれ露光量が適正な画像部分を取りだしてダイナミックレンジの広い一つの画像を生成する処理部である。具体的には、この画像合成部２０４は、ｎ個の画像の位置ずれを補正し、補正した画像を重ね合わせ、重なりが生じた画素については、重なった各画素の輝度の平均値をその画素の輝度とすることによって合成画像を生成する。
【００２５】
このように、この画像合成部２０４が、ｎ台のカメラ２０１が所定のダイナミックレンジでそれぞれ撮影した画像から、それぞれ露光量が適正な画像部分を取り出して一つの広ダイナミックレンジの画像を合成することとしたので、物体検知装置２００は、日向部分と日陰部分が混在するような明暗の差が大きい物体でも正しく認識することができる。
【００２６】
詳細認識部２０５は、画像合成部２０４が作成した広ダイナミックレンジの画像を用いて物体の詳細を認識する処理部である。この詳細認識部２０５は、明瞭に撮影された画像であれば、人の顔やネームプレートなどを正確に認識することができる。
【００２７】
画像データ記憶部２０６は、各カメラ２０１が撮影した画像を記憶する記憶部である。また、この画像データ記憶部２０６は、画像処理途中の画像および合成画像などの画像も記憶する。
【００２８】
設置条件記憶部２０７は、各カメラ２０１と背景との距離およびこれらの距離のカメラ２０１間での差など、物体検知装置２００の設置条件に関するデータを記憶した記憶部である。なお、これらのデータは物体検出部２０３や画像合成部２０４などで使用される。
【００２９】
表示装置２０８は、カメラ２０１が撮影した映像や画像合成部２０４が合成した画像などを表示する装置である。撮像素子駆動部２０９は、カメラ２０１に同期信号を与え、撮像素子の動作を制御する処理部であり、特に撮像素子の動作時間を制御する。
【００３０】
制御部２１０は、この物体検知装置２００全体の制御を行う処理部であり、各処理部および記憶部間で必要となる画像データの受け渡しや次の処理の選択などをおこなう。
【００３１】
次に、ステレオ画像処理を用いた対象物体までの距離算出手法について説明する。図４は、ステレオ画像処理を用いた対象物体までの距離算出手法を説明するための説明図である。同図に示すように、ステレオ画像処理は、２台のカメラで同一物体を撮影し、この同一物体の２台のカメラからの見え方の違い（視差）に基づいて、カメラから対象物体までの距離を算出する手法である。
【００３２】
図４において、２台のカメラ間の距離をｂ、両方のカメラの焦点距離をｆ、２台のカメラによる視差をｕ_L−ｕ_Rとすると、カメラから対象物体までの距離ｈ(ｘ，ｙ)は、
ｈ(ｘ，ｙ)＝ｆｂ／(ｕ_L−ｕ_R)
となる。したがって、視差ｕ_L−ｕ_Rを求めることによって、カメラから対象物体までの距離を計算することができる。
【００３３】
ただし、図２に示した物体検知装置２００では、カメラ２０１ごとに露光量が異なるために、２台のカメラ２０１で撮影された二つの画像では、同一物体が別の明るさとなって撮影されている。そこで、この物体検知装置２００は、ステレオ画像処理で必要となる二画像中の同一物体を得るために、明るさの撮像範囲が隣り合う２台のカメラ２０１から得られた二つの画像のうち、露光量の少ない画像の明るさを変換する処理をおこなう。
【００３４】
具体的には、この変換は、図５に一例を示すような輝度変換曲線を用いておこなう。たとえば、同図において、露光量の少ない画像のある画素の輝度が４０である場合には、その画素の輝度は５０に変換される。
【００３５】
このように、この物体検知装置２００は、図５に示した輝度変換曲線を用いて露光量の少ない画像の輝度を調整し、この輝度を調整した画像と露光量の多い画像において同一の輝度を有する物体を、ステレオ画像処理の対象物体として選定する。
【００３６】
また、この物体検知装置２００は、ｎ台のカメラ２０１について、ダイナミックレンジが隣り合う２台のカメラ２０１のすべての対に対してステレオ画像処理をおこなう。そして、すべてのカメラ２０１の対に対してステレオ画像処理をおこなうことによって得られたｎ−１個の値の平均値を、カメラ２０１と対象物体との距離とすることとしている。
【００３７】
次に、図２に示した物体検知装置２００による物体検知処理の処理手順について説明する。図６は、図２に示した物体検知装置２００による物体検知処理の処理手順を示すフローチャートである。なお、この物体検知装置２００による物体検知処理は、一定のタイミングで繰り返し起動される。
【００３８】
同図に示すように、この物体検知処理では、まず画像取込部２０２が、ｎ台のカメラ２０１から同期のとれた画像を取り込み、画像データ記憶部２０６に格納する（ステップＳ６０１）。
【００３９】
そして、物体検出部２０３が、画像データ記憶部２０６に記憶された画像データに対してステレオ画像処理をおこない、撮影した物体とカメラ２０１との距離を算出する（ステップＳ６０２）。そして、算出した距離とあらかじめ求めておいたカメラと背景との距離を比較することによって、監視領域に入った物体があるか否かを検出する（ステップＳ６０３）。
【００４０】
そして、監視領域に入った物体がない場合には（ステップＳ６０３の否定）、そのまま処理を終了する。一方、監視領域に入った物体がある場合には（ステップＳ６０３の肯定）、画像合成部２０４が画像データ記憶部２０６に記憶された画像データを合成して広ダイナミックレンジの画像を生成する(ステップＳ６０４)。
【００４１】
そして、生成された広ダイナミックレンジの画像を用いて、詳細認識部２０５が、物体の詳細な認識をおこない(ステップＳ６０５)、認識した物体が不審者であるか否かを調べる (ステップＳ６０６)。そして、認識した物体が不審者でない場合には、処理を終了する。一方、認識した物体が不審者である場合には、不審者の侵入を監視員に通知する(ステップＳ６０７)。
【００４２】
このように、この物体検知処理では、画像合成部２０４がｎ台のカメラ２０１によって撮影された画像を用いて広ダイナミックレンジの画像を合成し、詳細認識部２０５が、この広ダイナミックレンジ画像を用いて物体の詳細な認識をおこなうこととしたので、不審者の侵入を精度よく検知することができる。
【００４３】
次に、図２に示した画像合成部２０４の処理手順について説明する。図７は、図２に示した画像合成部２０４の処理手順を示すフローチャートである。なお、この画像合成部２０４の処理は、図６に示した広ダイナミックレンジ画像生成（ステップＳ６０４）に対応する。また、以下の説明では、ｉ番目のカメラ２０１から得られた画像をｉ番目の画像と呼ぶこととする。
【００４４】
図７に示すように、この画像合成部２０４は、まず、ｉを２とし（ステップＳ７０１）、ｉ番目の画像と１番目の画像との距離の差を設置条件記憶部２０７から読み出し（ステップＳ７０２）、読み出した距離の差に基づいてｉ番目の画像をずらし、１番目の画像に重ね合わせる（ステップＳ７０３）。
【００４５】
そして、二つの画像に重なる画素がある場合には、重なった画素の輝度を加算するとともに重なりの数を記憶する（ステップＳ７０４）。そして、ｉに１を加算し（ステップＳ７０５）、ｉがｎより大きいか否かを調べ（ステップＳ７０６）、ｉがｎ以下である場合には、ステップＳ７０２に戻って、次の画像を１番目の画像に重ねる処理をおこなう。
【００４６】
一方、ｎ番目までの画像を重ねる処理が終了した場合には、重なりを有する画素に対して、加算された輝度と重なりの数からその画素の輝度の平均値を求め（ステップＳ７０７）、求めた平均値を合成画像の輝度とする。
【００４７】
上述してきたように、本実施の形態１では、ｎ台のカメラ２０１を用いて監視領域を撮影し、撮影した画像をステレオ画像処理することによって監視領域に入る物体を検出し、監視領域に入る物体を検出した場合には、露光量の異なるｎ個の画像から広ダイナミックレンジの合成画像を生成して物体の詳細を認識することとしたので、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる。
【００４８】
なお、本実施の形態１では、ｎ台のカメラ２０１の全てを用いてステレオ画像処理や画像合成処理をおこなう場合について説明したが、全てのカメラ２０１に物体が写らない場合もある。そのような場合には、それぞれのカメラ２０１が、一定時間間隔で撮影した二つの画像を比較するなどの他の手法を用いて、監視領域に入る物体を検出することができる。
【００４９】
（実施の形態２）
ところで、上記実施の形態１では、カメラ２０１の露光量を最初に設定し、その後は露光量を変更しない場合について説明をおこなった。しかしながら、監視領域の明るさは時間によって変動するため、一日の時間帯によっては、最初に設定した撮像範囲が適当でない場合が生じる。そこで、本実施の形態２では、カメラの露光量を監視領域の明るさに応じて制御しながら撮影する場合について説明する。
【００５０】
具体的には、一日のある時間帯における監視領域の一番明るい部分および一番暗い部分に着目して２台のカメラ２０１の露光量を設定し、残りのカメラ２０１の露光量は、その間の露光量を等分割するように露光量の制御を行う。また、露光量はカメラ２０１の絞り（アイリス）とシャッタ速度を用いて制御する。
【００５１】
そして、監視領域が暗くなると露光量を増やし、逆に監視領域が明るくなると露光量を減らすようにカメラ２０１を制御することで、物体の検知に適正な露光量の画像が得られるようにする。この場合、日陰部分の明るさは一日を通じて変化がないので、日陰部分を撮像範囲とするカメラ２０１はほぼ同じ露光量を保っておく。
【００５２】
図８は、本実施の形態２に係る物体検知装置の構成を示す機能ブロック図である。なお、ここでは説明の便宜上、図２に示した各部と同様な役割を果たす機能部については同一符号を付すことにしてその詳細な説明を省略する。
【００５３】
同図に示すように、この物体検知装置８００は、図２に示した物体検知装置２００の制御部２１０に代えて制御部８１０を有し、また、新たな機能部としてアイリス駆動部８０１を有する。
【００５４】
アイリス駆動部８０１は、監視領域の明るさが変化した場合にもカメラ２０１から得られる画像の輝度が所定の値になるように、ｎ台のカメラ２０１の絞り（アイリス）を開閉する制御部である。制御部８１０は、図２に示した制御部２１０と同様に物体検知装置全体の制御を行う制御部である。
【００５５】
上述してきたように、本実施の形態２では、アイリス駆動部８０１が監視領域の明るさの変化に対応してカメラ２０１の露光量を制御することとしたので、各カメラ２０１の露光量をその時点での監視領域の明るさの範囲に対応した最適な値に設定することができ、撮影に必要なカメラ２０１の数を最小限にすることができる。
【００５６】
（付記１）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段と、
前記画像合成手段により生成された合成画像を用いて前記物体を認識する物体認識手段と、
を備えたことを特徴とする物体検知装置。
【００５７】
（付記２）前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする付記１に記載の物体検知装置。
【００５８】
（付記３）前記画像合成手段は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする付記１または２に記載の物体検知装置。
【００５９】
（付記４）前記所定の領域に入る物体と前記複数の撮影装置との距離を算出し、算出した距離に基づいて該物体を検出する物体検出手段をさらに備え、前記物体検出手段により物体が検出された場合に、前記画像合成手段は合成画像を生成することを特徴とする付記１、２または３に記載の物体検知装置。
【００６０】
（付記５）ある時点での前記所定の領域の明るさの範囲を網羅して撮影するように前記複数の撮影装置の絞りを制御し、該複数の撮影装置の露光量を適応的に変える絞り制御手段をさらに備えたことを特徴とする付記１〜４のいずれか一つに記載の物体検知装置。
【００６１】
（付記６）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程と、
前記画像合成工程により生成された合成画像を用いて前記物体を認識する物体認識工程と、
を含んだことを特徴とする物体検知方法。
【００６２】
（付記７）前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする付記６に記載の物体検知方法。
【００６３】
（付記８）前記画像合成工程は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする付記６または７に記載の物体検知方法。
【００６４】
（付記９）前記所定の領域に入る物体と前記複数の撮影装置との距離を算出し、算出した距離に基づいて該物体を検出する物体検出工程をさらに含み、前記物体検出工程により物体が検出された場合に、前記画像合成工程は合成画像を生成することを特徴とする付記６、７または８に記載の物体検知方法。
【００６５】
（付記１０）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順と、
前記画像合成手順により生成された合成画像を用いて前記物体を認識する物体認識手順と、
をコンピュータで実行することを特徴とする物体検知プログラム。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、露光量を異なるように設定した複数の撮影装置が所定の領域を撮影した複数の画像について、変換元画像の輝度と変換先画像の輝度との関係をあらわす輝度変換曲線を用いて画像間の輝度調整を行い、輝度調整後の画像から物体を特定し、特定された物体に対応する画像領域について、複数の画像からそれぞれ露光量が適正な画像部分を取り出して合成画像を生成するよう構成したので、物体検出処理を精度良く行う際に必要となる課題である、物体特定および広ダイナミックレンジの合成画像の取得という課題を、露光量が異なる入力画像を用いて両立することによって、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態１に係る物体検知装置の概念を説明するための説明図である。
【図２】本実施の形態１に係る物体検知装置の構成を示す機能ブロック図である。
【図３】図２に示したｎ台のカメラの撮像範囲を説明するための説明図である。
【図４】ステレオ画像処理を用いた対象物体までの距離算出手法を説明するための説明図である。
【図５】輝度変換曲線の一例を示す図である。
【図６】図２に示した物体検知装置による物体検知処理の処理手順を示すフローチャートである。
【図７】図２に示した画像合成部の処理手順を示すフローチャートである。
【図８】本実施の形態２に係る物体検知装置の構成を示す機能ブロック図である。
【符号の説明】
２００，８００物体検知装置
２０１カメラ
２０２画像取込部
２０３物体検出部
２０４画像合成部
２０５詳細認識部
２０６画像データ記憶部
２０７設置条件記憶部
２０８表示装置
２０９撮像素子駆動部
２１０，８１０制御部
８０１アイリス駆動部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an object detection apparatus, an object detection method, and an object detection program that detect an object entering a predetermined area by imaging a predetermined area using an imaging apparatus and performing image processing on the captured video. The present invention relates to an object detection apparatus, an object detection method, and an object detection program capable of reducing the detection omission of an object and accurately recognizing the details even when the difference in brightness of the object is large.
[0002]
[Prior art]
  Conventionally, in an object detection device that detects an object in a video by performing image processing on a video shot using a shooting device, first, the object reflected in the shot image is detected, and then the details of the detected object The object is detected by a two-stage process of recognizing the object.
[0003]
  For example, in an object detection device that monitors an intruder with an ITV camera installed near the entrance of a building, first, an object that enters a monitoring area is detected from an image captured using the ITV camera, and the detected object is a person. Also recognizes details such as faces and nameplates to detect intruders.
[0004]
  However, in the conventional object detection device using an ITV camera, especially in the night when it rains, the intruder to be detected should be detected while detecting the shadow of the car on the road or the headlight as an intruder. There was a problem of overlooking.
[0005]
  In addition, when there is a large difference in brightness between the areas monitored by the object detection device, there is a problem in that it is impossible to clearly capture various brightness regions with a single imaging device. For example, when a shadow is applied to a part of an intruder, the difference in brightness between a shadowed part and a part without a shadow is large, and the intruder's face and name plate cannot be clearly photographed. This occurs because the dynamic range that can be captured by the ITV camera is narrow and an object with a large difference in brightness cannot be captured.
[0006]
  In order to solve such a problem, Japanese Patent Application Laid-Open No. 10-136269 generates images with different exposure amounts by alternately changing the exposure times of the even and odd lines of the image sensor of the photographing apparatus, and synthesizes them. Thus, a technique for expanding the dynamic range of the photographing apparatus is disclosed.
[0007]
[Problems to be solved by the invention]
  However, this conventional technique has a problem that when the object is moving, there is a difference in the image of the object because the two images of the even line and the odd line are alternately photographed by changing the exposure time. It was.
[0008]
  The present invention has been made to solve the above-mentioned problems caused by the prior art, and can reduce the omission of detection of an object and accurately recognize the details even when the difference in brightness of the object is large. An object detection device, an object detection method, and an object detection program are provided.
[0009]
[Means for Solving the Problems]
  In order to solve the above-described problems and achieve the object, the present invention captures a predetermined area using an imaging apparatus, and detects an object that enters the predetermined area by performing image processing on the captured video. A plurality of images obtained by photographing the predetermined area by a plurality of photographing devices having different exposure amounts.Of the two images captured by the two imaging devices having the same brightness imaging range, the brightness of one image is converted to the brightness of the other image.Using the brightness conversion curve, brightness adjustment between images is performed, an object specifying unit that specifies the object from the image after brightness adjustment, and an image area corresponding to the object specified by the object specifying unit, from the plurality of images Image combining means for extracting an image portion with an appropriate exposure amount and generating a composite image is provided.
[0010]
  In addition, the present invention is an object detection method for detecting an object entering a predetermined area by imaging a predetermined area using an imaging device and performing image processing on the captured video so that the exposure amount is different. A plurality of images obtained by photographing the predetermined area by a plurality of set photographing devicesOf the two images captured by the two imaging devices having the same brightness imaging range, the brightness of one image is converted to the brightness of the other image.A plurality of images for adjusting the brightness between images using a brightness conversion curve, specifying the object from the image after brightness adjustment, and an image area corresponding to the object specified in the object specifying process And an image synthesizing step of generating a synthesized image by taking out image portions each having an appropriate exposure amount.
[0011]
  Further, the present invention is an object detection program for detecting an object entering a predetermined area by imaging a predetermined area using an imaging apparatus and performing image processing on the captured video so that the exposure amount is different. A plurality of images obtained by photographing the predetermined area by a plurality of set photographing devicesOf the two images captured by the two imaging devices having the same brightness imaging range, the brightness of one image is converted to the brightness of the other image.The plurality of images for an object specifying procedure for performing brightness adjustment between images using a brightness conversion curve, specifying the object from the image after brightness adjustment, and an image region corresponding to the object specified in the object specifying procedure The computer is caused to execute an image composition procedure for extracting an image part with an appropriate exposure amount and generating a composite image.
[0012]
  According to this invention,Luminance between images using a luminance conversion curve that represents the relationship between the luminance of the conversion source image and the luminance of the conversion destination image for a plurality of images obtained by photographing a predetermined area with a plurality of imaging devices set with different exposure amounts Since the adjustment is performed, the object is specified from the image after the brightness adjustment, and the image area corresponding to the specified object is extracted from each of the plurality of images with the appropriate exposure amount, and a composite image is generated. By using both input images with different exposure amounts, it is necessary to perform both object identification and acquisition of a composite image with a wide dynamic range, which are necessary when performing object detection processing with high accuracy. Even when the difference is large, the details can be accurately recognized.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
  Exemplary embodiments of an object detection device, an object detection method, and an object detection program according to the present invention will be described below in detail with reference to the accompanying drawings.
[0014]
(Embodiment 1)
  First, the concept of the object detection device according to the first embodiment will be described. FIG. 1 is an explanatory diagram for explaining the concept of the object detection device according to the first embodiment. This object detection device is installed at the entrance of a building or the like and is used to detect the intrusion of a suspicious person into the building.
[0015]
  As shown in the figure, in this object detection apparatus, a monitoring area is photographed by two cameras with different exposure amounts, and image portions with appropriate exposure amounts are extracted from two images taken by the two cameras. The whole image is synthesized to obtain an image as if it were taken with one camera with a wide dynamic range.
[0016]
  That is, the exposure amounts of the two cameras are set to different values, and two images with different brightness are taken. For example, in FIG. 1, the exposure amount is set so that one camera can clearly capture the shaded portion, and the exposure amount is set so that the other camera can clearly capture the sunny portion.
[0017]
  Then, a composite image with a wide dynamic range is generated from two images with different brightness, and the details of the object are recognized using the generated composite image. Although the case where two cameras are used has been described here, a composite image with a wider dynamic range can be obtained by increasing the number of cameras.
[0018]
  As described above, in the first embodiment, a monitoring region is captured by a plurality of cameras having different exposure amounts, and an image portion having an appropriate exposure amount is extracted from each of the captured images, and an image having a wide dynamic range is obtained. Since the details of the object are recognized using this synthesized image, the intrusion of a suspicious person can be correctly detected even when the difference in brightness of the monitoring area is large.
[0019]
  Next, the configuration of the object detection device according to the first embodiment will be described. FIG. 2 is a functional block diagram showing the configuration of the object detection apparatus according to the first embodiment. As shown in the figure, the object detection apparatus 200 includes n cameras 201, an image capture unit 202, an object detection unit 203, an image composition unit 204, a detail recognition unit 205, and an image data storage unit. 206, an installation condition storage unit 207, a display device 208, an image sensor driving unit 209, and a control unit 210.
[0020]
  The camera 201 is a photographing device capable of adjusting an exposure amount, and includes at least an image pickup device such as an optical lens, a CCD, and a CMOS sensor, an iris (iris) for controlling the exposure amount of the image pickup device, and an electronic shutter. .
[0021]
  Further, in this object detection apparatus 200, as shown in FIG. 3, the aperture or the aperture of the n cameras 201 is reduced so that the exposure amount decreases from the first camera 201 to the nth camera 201. Adjust the shutter speed. That is, the aperture or shutter speed is adjusted so that a brighter target object can be photographed as it goes from the first camera 201 to the nth camera 201.
[0022]
  The image capturing unit 202 is a processing unit that amplifies an analog video signal output from each camera 201 and converts the amplified analog video signal into a digital video signal. Image data obtained from the digital video signal is converted into an image data storage unit. 208 is stored.
[0023]
  The object detection unit 203 is a processing unit that detects an object that enters the monitoring area using the image data stored in the image data storage unit 208. Specifically, the distance from the camera 201 to the object is calculated using stereo image processing, and the distance to the calculated object is compared with the distance from the camera 201 to the background obtained in advance. Detect an object entering. Details of the stereo image processing will be described later.
[0024]
  The image composition unit 204 is a processing unit that extracts an image portion with an appropriate exposure amount from n images taken by n cameras 201 and generates one image with a wide dynamic range. Specifically, the image composition unit 204 corrects the positional deviation of the n images, superimposes the corrected images, and, for the pixels in which the overlap occurs, the average value of the luminance of each overlapped pixel is determined as that pixel. A composite image is generated by setting the brightness to.
[0025]
  In this way, the image composition unit 204 extracts an image portion with an appropriate exposure amount from images captured by the n cameras 201 within a predetermined dynamic range, and synthesizes one wide dynamic range image. Therefore, the object detection apparatus 200 can correctly recognize an object having a large difference in brightness, such as a sunlit portion and a shaded portion.
[0026]
  The detail recognition unit 205 is a processing unit that recognizes the details of an object using the wide dynamic range image created by the image composition unit 204. The detail recognizing unit 205 can accurately recognize a human face, a name plate, and the like as long as the image is clearly captured.
[0027]
  The image data storage unit 206 is a storage unit that stores an image captured by each camera 201. The image data storage unit 206 also stores images such as images being processed and composite images.
[0028]
  The installation condition storage unit 207 is a storage unit that stores data related to the installation conditions of the object detection device 200 such as the distance between each camera 201 and the background and the difference between these distances between the cameras 201. These data are used by the object detection unit 203, the image composition unit 204, and the like.
[0029]
  The display device 208 is a device that displays a video taken by the camera 201, an image synthesized by the image synthesis unit 204, and the like. The image sensor driving unit 209 is a processing unit that gives a synchronization signal to the camera 201 and controls the operation of the image sensor, and in particular controls the operation time of the image sensor.
[0030]
  The control unit 210 is a processing unit that controls the entire object detection apparatus 200, and performs transfer of image data required between the processing units and the storage unit, selection of the next processing, and the like.
[0031]
  Next, a method for calculating the distance to the target object using stereo image processing will be described. FIG. 4 is an explanatory diagram for explaining a method for calculating a distance to a target object using stereo image processing. As shown in the figure, in stereo image processing, the same object is photographed by two cameras, and based on the difference (parallax) in how the same object is seen from the two cameras, This is a method for calculating the distance.
[0032]
  In FIG. 4, the distance between two cameras is b, the focal length of both cameras is f, and the parallax between the two cameras is u._L-U_RThen, the distance h (x, y) from the camera to the target object is
    h (x, y) = fb / (u_L-U_R)
It becomes. Therefore, parallax u_L-U_RIs obtained, the distance from the camera to the target object can be calculated.
[0033]
  However, in the object detection apparatus 200 shown in FIG. 2, since the exposure amount differs for each camera 201, in the two images captured by the two cameras 201, the same object is captured with different brightness. Yes. Therefore, in order to obtain the same object in the two images necessary for the stereo image processing, the object detection device 200 includes two images obtained from two cameras 201 whose imaging ranges of brightness are adjacent to each other. A process of converting the brightness of an image with a small amount of exposure is performed.
[0034]
  Specifically, this conversion is performed using a luminance conversion curve as shown in FIG. For example, in the figure, when the luminance of a pixel of an image with a small exposure amount is 40, the luminance of the pixel is converted to 50.
[0035]
  As described above, the object detection apparatus 200 adjusts the luminance of the image with a small exposure amount using the luminance conversion curve shown in FIG. 5, and the same luminance is applied to the image with the adjusted luminance and the image with a large exposure amount. The object is selected as a target object for stereo image processing.
[0036]
  In addition, the object detection apparatus 200 performs stereo image processing on all the pairs of two cameras 201 whose dynamic ranges are adjacent to each other for the n cameras 201. Then, the average value of n−1 values obtained by performing stereo image processing on all pairs of cameras 201 is set as the distance between the camera 201 and the target object.
[0037]
  Next, a processing procedure of object detection processing by the object detection device 200 illustrated in FIG. 2 will be described. FIG. 6 is a flowchart showing a processing procedure of object detection processing by the object detection device 200 shown in FIG. Note that the object detection processing by the object detection device 200 is repeatedly started at a fixed timing.
[0038]
  As shown in the figure, in this object detection process, first, the image capturing unit 202 captures synchronized images from n cameras 201 and stores them in the image data storage unit 206 (step S601).
[0039]
  The object detection unit 203 performs stereo image processing on the image data stored in the image data storage unit 206, and calculates the distance between the photographed object and the camera 201 (step S602). Then, by comparing the calculated distance with the previously determined distance between the camera and the background, it is detected whether there is an object that has entered the monitoring area (step S603).
[0040]
  If there is no object that has entered the monitoring area (No in step S603), the process is terminated as it is. On the other hand, if there is an object that has entered the monitoring area (Yes in step S603), the image composition unit 204 synthesizes the image data stored in the image data storage unit 206 to generate a wide dynamic range image (step S603). S604).
[0041]
  Then, using the generated wide dynamic range image, the detail recognition unit 205 performs detailed object recognition (step S605), and checks whether the recognized object is a suspicious person (step S606). And when the recognized object is not a suspicious person, a process is complete | finished. On the other hand, if the recognized object is a suspicious person, the supervisor is notified of the intrusion of the suspicious person (step S607).
[0042]
  As described above, in this object detection processing, the image synthesis unit 204 synthesizes a wide dynamic range image using images captured by the n cameras 201, and the detail recognition unit 205 uses the wide dynamic range image. Therefore, it is possible to accurately detect the intrusion of a suspicious person.
[0043]
  Next, the processing procedure of the image composition unit 204 shown in FIG. 2 will be described. FIG. 7 is a flowchart showing a processing procedure of the image composition unit 204 shown in FIG. The processing of the image composition unit 204 corresponds to the wide dynamic range image generation (step S604) shown in FIG. In the following description, an image obtained from the i-th camera 201 is referred to as an i-th image.
[0044]
  As shown in FIG. 7, the image composition unit 204 first sets i to 2 (step S701), and reads the difference in distance between the i-th image and the first image from the installation condition storage unit 207 (step S702). ), The i-th image is shifted based on the read distance difference, and is superimposed on the first image (step S703).
[0045]
  If there are overlapping pixels in the two images, the luminance of the overlapping pixels is added and the number of overlaps is stored (step S704). Then, 1 is added to i (step S705), and it is checked whether i is larger than n (step S706). If i is equal to or smaller than n, the process returns to step S702 to display the next image as the first image. Process to overlay the image.
[0046]
  On the other hand, when the process of overlapping the nth image is completed, the average value of the luminance of the pixel is obtained from the added luminance and the number of overlaps for the overlapping pixels (step S707). Let the average value be the brightness of the composite image.
[0047]
  As described above, in the first embodiment, a monitoring area is photographed using n cameras 201, and an object that enters the monitoring area is detected by performing stereo image processing on the photographed image, and enters the monitoring area. When an object is detected, a composite image with a wide dynamic range is generated from n images with different exposure amounts to recognize the details of the object. Even when the difference is large, the details can be accurately recognized.
[0048]
  In the first embodiment, the case where stereo image processing and image composition processing are performed using all of the n cameras 201 has been described. However, in some cases, an object may not be captured on all the cameras 201. In such a case, each camera 201 can detect an object that enters the monitoring area by using another method such as comparing two images taken at regular time intervals.
[0049]
(Embodiment 2)
  In the first embodiment, the case where the exposure amount of the camera 201 is set first and then the exposure amount is not changed has been described. However, since the brightness of the monitoring area varies depending on the time, the imaging range initially set may not be appropriate depending on the time of the day. Therefore, in the second embodiment, a case will be described in which shooting is performed while controlling the exposure amount of the camera in accordance with the brightness of the monitoring area.
[0050]
  Specifically, the exposure amounts of the two cameras 201 are set while paying attention to the brightest and darkest portions of the monitoring area in a certain time of day, and the exposure amounts of the remaining cameras 201 The exposure amount is controlled so that the exposure amount is equally divided. The exposure amount is controlled by using the iris (iris) of the camera 201 and the shutter speed.
[0051]
  Then, the exposure amount is increased when the monitoring area becomes dark, and conversely, the camera 201 is controlled so as to reduce the exposure amount when the monitoring area becomes bright, so that an image with an exposure amount appropriate for object detection can be obtained. In this case, since the brightness of the shaded part does not change throughout the day, the camera 201 that uses the shaded part as the imaging range keeps substantially the same exposure amount.
[0052]
  FIG. 8 is a functional block diagram illustrating a configuration of the object detection device according to the second embodiment. Here, for convenience of explanation, functional units that play the same functions as the respective units shown in FIG.
[0053]
  As shown in the figure, this object detection device 800 has a control unit 810 instead of the control unit 210 of the object detection device 200 shown in FIG. 2, and also has an iris drive unit 801 as a new functional unit. .
[0054]
  The iris driving unit 801 is a control unit that opens and closes the irises (iris) of the n cameras 201 so that the brightness of the image obtained from the camera 201 becomes a predetermined value even when the brightness of the monitoring area changes. is there. The control unit 810 is a control unit that controls the entire object detection apparatus, similarly to the control unit 210 illustrated in FIG. 2.
[0055]
  As described above, in the second embodiment, the iris driving unit 801 controls the exposure amount of the camera 201 in response to the change in the brightness of the monitoring area. An optimum value corresponding to the brightness range of the monitoring area at the time can be set, and the number of cameras 201 necessary for photographing can be minimized.
[0056]
(Supplementary note 1) An object detection apparatus that detects an object entering a predetermined area by imaging a predetermined area using an imaging apparatus and performing image processing on the captured video image.
  Image synthesizing means for generating a composite image by taking out image portions each having an appropriate exposure amount from a plurality of images obtained by photographing a plurality of the predetermined areas by a plurality of photographing devices having different exposure amounts;
  Object recognition means for recognizing the object using the composite image generated by the image composition means;
  An object detection device comprising:
[0057]
(Supplementary note 2) The object detection device according to supplementary note 1, wherein an exposure amount of each photographing apparatus is determined so as to photograph at least the brightness range of the predetermined region.
[0058]
(Additional remark 3) The said image synthetic | combination means correct | amends the position shift of the said some image resulting from the difference in the installation position of these imaging | photography apparatuses, and produces | generates the said synthesized image by superimposing the corrected image. The object detection apparatus according to Supplementary Note 1 or 2.
[0059]
(Additional remark 4) It further has an object detection part which calculates the distance of the object which enters into the predetermined field, and the plurality of photographing devices, and detects the object based on the calculated distance, and an object is detected by the object detection part In such a case, the image synthesizing unit generates a synthesized image.
[0060]
(Supplementary Note 5) A diaphragm that controls apertures of the plurality of imaging devices so as to cover a range of brightness of the predetermined region at a certain time point and adaptively changes an exposure amount of the plurality of imaging devices The object detection device according to any one of appendices 1 to 4, further comprising a control unit.
[0061]
(Appendix 6) An object detection method for detecting an object entering a predetermined area by imaging a predetermined area using an imaging device and performing image processing on the captured image,
  An image synthesis step of generating a composite image by taking out image portions each having an appropriate exposure amount from a plurality of images obtained by photographing a plurality of the predetermined regions by a plurality of imaging devices having different exposure amounts;
  An object recognition step for recognizing the object using a composite image generated by the image composition step;
  The object detection method characterized by including.
[0062]
(Supplementary note 7) The object detection method according to supplementary note 6, wherein an exposure amount of each photographing apparatus is determined so as to photograph at least the brightness range of the predetermined region.
[0063]
(Additional remark 8) The said image synthetic | combination process correct | amends the position shift of the said several image resulting from the difference in the installation position of these imaging | photography apparatuses, and produces | generates the said synthesized image by superimposing the corrected image. The object detection method according to appendix 6 or 7.
[0064]
(Additional remark 9) It further includes the object detection process which calculates the distance of the object which enters the said predetermined | prescribed area | region, and these imaging devices, and detects this object based on the calculated distance, and an object is detected by the said object detection process In this case, the object detection method according to appendix 6, 7 or 8, wherein the image combining step generates a combined image.
[0065]
(Additional remark 10) An object detection program for detecting an object entering a predetermined area by imaging a predetermined area using an imaging device and performing image processing on the captured video,
  An image composition procedure for generating a composite image by taking out image portions each having an appropriate exposure amount from a plurality of images obtained by photographing a plurality of the predetermined regions with a plurality of photographing devices having different exposure amounts;
  An object recognition procedure for recognizing the object using a composite image generated by the image composition procedure;
  Is executed by a computer.
[0066]
【The invention's effect】
  As explained above, according to the present invention,Luminance between images using a luminance conversion curve that represents the relationship between the luminance of the conversion source image and the luminance of the conversion destination image for a plurality of images obtained by photographing a predetermined area with a plurality of imaging devices set with different exposure amounts Since the adjustment is performed, the object is specified from the image after the brightness adjustment, and the image area corresponding to the specified object is extracted from the plurality of images, each of which has an appropriate exposure amount, and a composite image is generated. By using both input images with different exposure amounts, it is necessary to perform both object identification and acquisition of a composite image with a wide dynamic range, which are necessary when performing object detection processing with high accuracy. Even when the difference is large, the details can be accurately recognized.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram for explaining a concept of an object detection device according to a first embodiment.
FIG. 2 is a functional block diagram illustrating a configuration of the object detection device according to the first embodiment.
3 is an explanatory diagram for describing an imaging range of n cameras shown in FIG. 2; FIG.
FIG. 4 is an explanatory diagram for explaining a method for calculating a distance to a target object using stereo image processing;
FIG. 5 is a diagram illustrating an example of a luminance conversion curve.
6 is a flowchart showing a processing procedure of object detection processing by the object detection device shown in FIG. 2;
7 is a flowchart showing a processing procedure of an image composition unit shown in FIG. 2;
FIG. 8 is a functional block diagram illustrating a configuration of an object detection device according to a second embodiment.
[Explanation of symbols]
    200,800 object detection device
    201 camera
    202 Image capture unit
    203 Object detection unit
    204 Image composition unit
    205 Detailed recognition unit
    206 Image data storage unit
    207 Installation condition storage unit
    208 display device
    209 Image sensor drive unit
    210,810 control unit
    801 Iris drive unit

Claims

An object detection device that detects an object that enters a predetermined region by photographing a predetermined region using a photographing device and performing image processing on the captured image,
Among the plurality of images obtained by photographing the predetermined area by the plurality of photographing devices set to have different exposure amounts , one of the two images photographed by the two photographing devices having overlapping imaging ranges of brightness An object specifying means for performing brightness adjustment between images using a brightness conversion curve for converting the brightness of the image to the brightness of the other image, and specifying the object from the image after brightness adjustment;
Object detection comprising: an image composition unit that extracts an image part with an appropriate exposure amount from each of the plurality of images and generates a composite image for an image region corresponding to the object identified by the object identification unit apparatus.

The object detection according to claim 1, further comprising an exposure amount setting unit configured to set an exposure amount of each of the imaging apparatuses so as to capture at least the brightness range of the predetermined region. apparatus.

The image synthesizing unit corrects a positional shift of the plurality of images caused by a difference in installation positions of the plurality of photographing apparatuses, and superimposes the corrected images to generate the synthesized image. 3. The object detection apparatus according to 1 or 2.

An object detection method for capturing an image of a predetermined area using an imaging device and detecting an object that enters the predetermined area by performing image processing on the captured image.
Among the plurality of images obtained by photographing the predetermined area by the plurality of photographing devices set to have different exposure amounts , one of the two images photographed by the two photographing devices having overlapping imaging ranges of brightness An object specifying step of performing brightness adjustment between images using a brightness conversion curve for converting the brightness of an image to the brightness of the other image, and specifying the object from the image after brightness adjustment;
An image composition step of extracting an image portion with an appropriate exposure amount from each of the plurality of images and generating a composite image for an image region corresponding to the object identified in the object identification step. Detection method.

An object detection program that detects an object that enters a predetermined area by imaging a predetermined area using an imaging device and performing image processing on the captured image.
Among the plurality of images obtained by photographing the predetermined area by the plurality of photographing devices set to have different exposure amounts , one of the two images photographed by the two photographing devices having overlapping imaging ranges of brightness An object specifying procedure for performing brightness adjustment between images using a brightness conversion curve for converting the brightness of the image to the brightness of the other image, and specifying the object from the image after brightness adjustment;
An image composition procedure for generating a composite image by extracting an image part with an appropriate exposure amount from each of the plurality of images for an image region corresponding to the object specified in the object specification procedure, Object detection program.