JP3432937B2 - 移動物体検知装置及び移動物体検知方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自律移動車、知能作業
ロボット、画像監視等の分野に用いられる移動物体検知
装置及び移動物体検知方法に関する。

【０００２】

【従来の技術】近年、集積化技術の進歩によるＴＶカメ
ラなどの画像センサの小型化、高機能化、そして、その
画像センサで得た画像を処理する処理プロセッサの小型
化、高機能化に伴い、ＴＶカメラをセンサとして利用す
る自律移動車、知能作業ロボット、高度画像監視などの
研究が実用化に向けて活発に行なわれている。

【０００３】すなわち、これら自律移動車、知能作業ロ
ボット、画像監視装置などのシステムを構築する際に
は、時々刻々変化する画像を捉え、この画像を処理し
て、画像中の移動する物体を検出することで移動物体の
情報を得る必要があり、このような移動する物体を画像
から高速かつ安定に検出する移動体検出装置が不可欠と
なる。

【０００４】ところで従来における移動体検出装置とし
ては、固定カメラなどの静止した観測系から時間経過と
ともに逐次得られる画像を用い、画像間の画像差分処
理、しきい値処理を施すことにより、侵入した物体の領
域を検出する手法が一般的であった。しかし、この手法
では自律移動車などのように観測系が移動するような対
象に設置して使用することを考えた場合、得られる画像
は観測系の移動と共に移動するものとなり、従って、背
景全体も変化することとなるため、移動物体領域を背景
から安定に分離・検出することが難しくなる。

【０００５】

【発明が解決しようとする課題】従来における移動体検
出装置としては、固定カメラなどの静止した観測系から
時間経過とともに逐次得られる画像を用い、画像間の画
像差分処理、しきい値処理を施すことにより、侵入した
物体の領域を検出する手法が一般的であったが、この手
法では自律移動車などのように観測系が移動するような
対象に設置して使用することを考えた場合、得られる画
像は観測系の移動と共に移動するものとなり、従って、
背景全体も変化することとなるため、移動物体領域を背
景から安定に分離・検出することが難しくなるという問
題がある。

【０００６】しかし、このような画像であっても動きの
情報を直接検出する技術がある。例えば、画像情報処理
技術におけるオプティカルフローである。すなわち、オ
プティカルフローとは、画像における局所領域単位の動
きであり、画像情報処理技術の分野では、画像から動き
の情報を直接検出する技術として、オプティカルフロー
抽出という課題が広く研究されている。

【０００７】このオプティカルフローは３次元空間にお
ける動きが画像平面上に投影されたものであり、画像中
の局所領域毎の動きベクトルとして求められるため、上
記の変化検出手法に対し、移動物体・背景分離が安定に
行なうことができるという利点がある。

【０００８】しかし、オプティカルフローの検出処理は
本来、画像中の局所領域に対して行なわれる処理である
ため、明るさ変化の平坦性、揺らぎ、ノイズが存在する
環境下では推定精度が低下するという問題点がある。

【０００９】このため、自律移動車等のように屋外環境
でも使用する可能性のある装置を対象とする場合には新
たにつぎのような対策を講じる必要がある。つまり、個
々のオプティカルフローの一部に誤差があっても安定に
働く処理系を備えることである。

【００１０】屋外環境で安定に動き情報を抽出するため
には、このように個々のオプティカルフローの一部に誤
差があっても安定に働く処理系を備えることが不可欠と
なる。

【００１１】また、観測系が移動する場合には、この動
きにより背景領域も動きを生ずるため、両者の動きが混
在することとなって、移動物体が出現した場合の検知が
簡単にはできないという問題点があった。

【００１２】従って、観測系が移動する場合に、この観
測系の動きにより背景領域も動きを生じても、移動物体
が出現すればその検知を容易に行なうことができ、しか
も、オプティカルフローの一部に誤差があっても安定に
働く処理系を備える必要をなくした精度の高い移動物検
知を可能にする移動物体検知装置の実現が嘱望されてい
る。

【００１３】そこでこの発明の目的とするところは、観
測系が移動する場合においても高速かつ安定に移動物体
検知を行なうことができる移動物体検知装置及び移動物
体検知方法を提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するた
め、本発明はつぎのように構成する。すなわち、第１に
は、時間的経過に伴う観測対象の画像を取得して出力す
る観測手段と、この観測手段からの画像の時間的変化を
解析することにより、前記画像中の局所領域単位の動き
であるオプティカルフロー情報を抽出するオプティカル
フロー抽出手段と、このオプティカルフロー抽出手段に
より得られたオプティカルフロー情報に基づきこのオプ
ティカルフローが生じた前記画像内の部分を中心とする
部分領域に画像を分割し、この部分領域単位で、次時点
での予測画像を作成する予測画像作成手段と、この予測
画像作成手段により作成した予測画像における前記部分
領域の移動状態を解析することにより、移動物体を検知
する移動物体検知手段とから構成する。

【００１５】また、第２には、時間的経過に伴う観測対
象の画像を取得して出力する観測手段と、この観測手段
からの画像の時間的変化を解析することにより、前記画
像中の局所領域単位の動きであるオプティカルフロー情
報を抽出するオプティカルフロー抽出手段と、画像を所
定の大きさ単位に区分することにより、予測を行なうた
めの部分領域を設定し、この設定された部分領域のう
ち、オプティカルフロー抽出手段により得られたオプテ
ィカルフロー情報に基づきこのオプティカルフローが生
じた前記画像内の部分を中心とする部分領域の次時点の
画像位置を予測し、この部分領域単位での当該次時点で
の予測位置から当該次時点での予測画像を作成する予測
画像作成手段と、この予測画像作成手段により作成した
予測画像における前記部分領域の移動状態を解析するこ
とにより、移動物体を検知する移動物体検知手段とより
構成する。

【００１６】第３には、時間経過に伴う観測対象の画像
を取得して出力する観測手段と、この観測手段からの画
像の時間的変化を解析することにより、前記画像中の局
所領域単位の動きであるオプティカルフロー情報を抽出
するオプティカルフロー抽出手段と、画像を所定の大き
さ単位に区分することにより、予測を行なうための部分
領域を設定し、この設定された部分領域のうち、オプテ
ィカルフロー抽出手段により得られたオプティカルフロ
ー情報に基づきこのオプティカルフローが生じた前記画
像内の部分を中心とする部分領域の次時点の画像位置を
予測し、この部分領域単位での当該次時点での予測位置
から当該次時点での予測画像を作成する予測画像作成手
段と、この予測画像作成手段により作成した移動状態を
解析することにより、予測画像における前記部分領域の
重なり部分の有無を検知して、これより移動物体の存在
検知を行なう移動物体検知手段とより構成する。

【００１７】第４には、時間的経過に伴う観測対象の画
像を取得して出力する観測手段と、この観測手段からの
画像の時間的変化を解析することにより、前記画像中の
局所領域単位の動きであるオプティカルフロー情報を抽
出するオプティカルフロー抽出手段と、画像を所定の大
きさ単位に区分することにより、予測を行なうための部
分領域を設定し、この設定された部分領域のうち、オプ
ティカルフロー抽出手段により得られたオプティカルフ
ロー情報に基づきこのオプティカルフローが生じた前記
画像内の部分を中心とする部分領域の次時点の画像位置
を予測し、この部分領域単位での当該次時点での予測位
置から当該次時点での予測画像を作成する予測画像作成
手段と、この予測画像作成手段により作成した予測画像
を解析し、予測画像における前記部分領域の重なり部分
を抽出し、重なり部分の大きさを測定して所定値以上の
大きさを持つとき、移動物体が存在すると判定して移動
物体検知する移動物体検知手段とを具備する。

【００１８】

【作用】第１の構成の場合、観測手段は観測対象の刻々
の画像を取得し、オプティカルフロー抽出手段は、この
取得した画像の時間的変化を解析することにより、画像
中の局所領域単位の動きであるオプティカルフロー情報
を抽出する。そして、予測画像作成手段はこのオプティ
カルフロー抽出手段により得られたオプティカルフロー
情報に基づき、このオプティカルフローが生じた画像内
の部分を中心とする部分領域に画像を分割し、予測画像
作成手段は次時点での前記部分領域単位の位置を予測し
て当該次時点での予測画像を作成する。そして、移動物
体検知手段は、この予測画像作成手段により作成した予
測画像における前記部分領域の移動状態を解析すること
により、移動物体の存在を検知する。

【００１９】第２の構成の場合は、観測手段は観測対象
の刻々の画像を取得し、オプティカルフロー抽出手段
は、この得られた画像の時間的変化を解析することによ
り、画像中の局所領域単位の動きであるオプティカルフ
ロー情報を抽出する。そして、予測画像作成手段は、画
像を所定の大きさ単位に区分することにより、予測を行
なうための部分領域を設定し、この設定された部分領域
のうち、オプティカルフロー抽出手段により得られたオ
プティカルフロー情報に基づき、このオプティカルフロ
ーが生じた画像内の部分を中心とする部分領域の次時点
での画像位置を予測し、この部分領域単位での当該次時
点での予測位置から当該次時点での予測画像を作成す
る。そして、移動物体検知手段は、この予測画像作成手
段により作成された予測画像における前記部分領域の移
動状態を解析することにより、移動物体の存在を検知す
る。

【００２０】第３の構成の場合は、観測手段は観測対象
の刻々の画像を取得し、オプティカルフロー抽出手段
は、この得られた画像の時間的変化を解析することによ
り、画像中の局所領域単位の動きであるオプティカルフ
ロー情報を抽出する。そして、予測画像作成手段は、画
像を所定の大きさ単位に区分することにより、予測を行
なうための部分領域を設定し、この設定された部分領域
のうち、オプティカルフロー抽出手段により得られたオ
プティカルフロー情報に基づき、このオプティカルフロ
ー情報が得られた画像内の部分を中心とする部分領域の
次時点での画像位置を予測し、この部分領域単位での当
該次時点での予測位置から当該次時点での予測画像を作
成する。そして、移動物体検知手段は、この予測画像作
成手段により作成した予測画像における前記部分領域の
重なり部分の有無を調べ、重なり部分の存在から移動物
体の存在を検知する。

【００２１】第４の構成の場合は、観測手段は観測対象
の刻々の画像を取得し、オプティカルフロー抽出手段
は、この得られた画像の時間的変化を解析することによ
り、局所領域単位の動きであるオプティカルフロー情報
を抽出する。そして、予測画像作成手段は、画像を所定
の大きさ単位に区分することにより、予測を行なうため
の部分領域を設定し、この設定された部分領域のうち、
オプティカルフロー抽出手段により得られたオプティカ
ルフロー情報に基づき、このオプティカルフローが生じ
た画像内の部分を中心とする部分領域の次時点での画像
位置を予測し、この部分領域単位での当該次時点での予
測位置から当該次時点での予測画像を作成する。そし
て、移動物体検知手段は、この予測画像作成手段により
作成した予測画像における前記部分領域の重なり部分の
有無を調べ、重なり部分があったときはその重なり部分
の大きさを測定して所定値以上の大きさを持つとき、移
動物体が存在すると判定して移動物体の存在を検知す
る。

【００２２】このように本発明では、観測手段から観測
対象の刻々の画像を得て、オプティカルフロー抽出手段
により、その画像の時間的変化を解析することにより、
画像中の局所領域単位の動きであるオプティカルフロー
情報を抽出する。例えば、観測手段が直線運動するとす
れば、この場合、環境に静止した背景領域のオプティカ
ルフローは１点（ＦＯＥ）から沸き出す直線上に存在す
る。そして、予測画像作成手段では、画像を部分領域に
分割し、これらのうち、前記オプティカルフローが生じ
た点を中心とする部分領域単位で次時点の位置予測を行
ない、予測画像を生成し、そして、移動物体検知手段で
は、この予測画像における複数の領域が重なる部分を抽
出することにより、背景領域が移動物体により遮蔽され
た領域が検出されれば、移動物体が存在すると判定する
ようにした。

【００２３】また、上記抽出した“複数の領域が重なる
部分”のサイズを計測し、しきい値と比較してオプティ
カルフローの検出誤りによるものを排除するようにした
ことにより、精度を維持するようにした。

【００２４】これらにより、本発明によれば、観測系が
移動する場合において、観測系がとらえた画像中に含ま
れる移動物体の検知を簡単かつ高精度に行なうことがで
きるようになって、自律移動車、知能作業ロボット、画
像監視等の分野に用いて最適な移動体検出装置が得られ
るようになる。

【００２５】

【実施例】以下、図面に基づき本発明の一実施例につい
て説明する。図１に本発明装置のシステム構成の概要を
ブロック図で示す。図において、１は観測系、１０はオ
プティカルフロー抽出部、２０は予測画像作成部、３０
は移動物体検知部である。観測系１はＴＶカメラなどに
より構成されており、観測対象の画像を撮像して時々刻
々、画像情報を出力する。

【００２６】オプティカルフロー抽出部１０では、観測
系１の持つＴＶカメラから時系列的な画像を得て、その
画像の時間的変化を解析することにより、局所領域単位
の動きであるオプティカルフローを抽出する。本実施例
では、観測系が直線運動をするとする。この場合、環境
に静止した背景領域のオプティカルフローは１点（ＦＯ
Ｅ）から沸き出す直線上に存在する。

【００２７】予測画像作成部２０では、画像を予め所定
のサイズ単位に分割して複数の部分領域にしてあり、こ
れら部分領域のうち、前記オプティカルフローが得られ
た点を中心とする部分領域単位で次時点での位置予測を
行ない、その位置予測結果からその位置予測結果を反映
した画像を予測画像として生成する。

【００２８】移動物体検知部３０では、この予測画像作
成部２０の生成した予測画像における、複数の領域が重
なる部分を抽出することにより、背景領域が移動物体に
より遮蔽された領域を検出し、移動物体の存在検知を行
なう。すなわち、移動物体検知部３０では、前記予測画
像における背景領域が移動物体により遮蔽される領域が
あることを知ることで移動物体の存在を検知するという
機能を有する。

【００２９】図２に、上記の構成要素間の情報の流れに
対応した処理の流れを示す。この図２を参照して本シス
テムの作用を説明する。すなわち、観測系１から観測対
象の画像が撮像されて時々刻々、画像情報が出力され、
オプティカルフロー抽出部１０に入力されるので、オプ
ティカルフロー抽出部１０では、この観測系１から画像
情報を時系列的に得る。そして、この時系列的に得られ
た画像の時間的変化を解析することにより、画像中の局
所領域単位の動きであるオプティカルフローを抽出する
（オプティカルフロー抽出処理（Ｓ１１））。

【００３０】本実施例では、観測系１が直線運動をする
ものとしている。この場合、環境に静止した背景領域の
オプティカルフローは１点（ＦＯＥ）から沸き出す直線
上に存在する。

【００３１】予測画像作成部２０では、このオプティカ
ルフローが得られた点を中心とする部分領域に分割し
（予測領域設定処理（Ｓ１２））、この分割した部分領
域単位で当該部分領域の次時点での位置予測を行ない、
その結果から予測画像を生成する（次時点の領域位置予
測処理（Ｓ１３））。

【００３２】移動物体検知部３０では、この予測画像に
おける複数の領域が重なる部分を抽出し（領域干渉部分
検出処理（Ｓ１４））、これより背景領域が移動物体に
より遮蔽された領域を検出する（移動物体境界候補抽出
処理（Ｓ１５））。そして、背景領域が移動物体により
遮蔽された領域があれば、このことを以て移動物体が存
在することを知する（移動物体検知処理（Ｓ１６））。

【００３３】このようにして本装置では時々刻々得られ
る観測系からの画像から、オプチカルフローにより、観
測系に移動物体が捕らえられた際における移動物体の検
知を行なうことができるようになる。

【００３４】次に、本発明の装置における各構成要素の
詳細について説明する。図３に、上記オプティカルフロ
ー抽出部１０の具体的構成例を示す。本例では、画像中
の特徴点の局所相関によるフロー検出の実現例について
説明することとする。

【００３５】ここに示すオプティカルフロー抽出部１０
は、候補点抽出部１１、局所相関計算部１２、最大相関
点位置検出部１３、オプティカルフロー計算部１４、オ
プティカルフローメモリ１５とから構成されている。

【００３６】これらのうち、候補点検出部１１は、基準
画像におけるオプティカルフローを求める候補点群を検
出する機能を有する。具体的には、画像中にＫ画素×Ｋ
画素の局所領域を設定し、この領域内の濃度分散値を計
算する処理を、移動物体が出現する可能性のある領域全
域に亙って行なう。

【００３７】領域の大きさＫは、検出する対象の種類、
大きさに応じて設定する定数である。分散値が小さい点
は、濃度的に平坦な部分領域に含まれ、オプティカルフ
ロー抽出の精度が大幅に低下するため、候補点から排除
し、分散値が予め定めたしきい値以上の点のみを候補点
として順次選択し、この候補点の位置を局所相関値検出
部１２に送信するといった処理を行なう。

【００３８】上記局所相関値検出部１２は、基準画像に
おける上記候補点（Ｘ_o ，Ｙ_o ）を中心とするＭ画素×
Ｍ画素の局所領域と、次時点の画像の上記候補点近傍領
域内部の各点の周囲のＭ画素×Ｍ画素の局所領域との間
の相関値を順次計算するといった処理を行なう。近傍領
域の大きさは、移動物体の速度に応じて設定する。ま
た、相関窓の大きさＭは、検出する対象の種類、大き
さ、及び速度に応じて設定する定数である。

【００３９】相関値は、以下の式で計算される。ここ
で、Ｉ（ｘ，ｙ），Ｊ（ｘ，ｙ）は各々基準画像、次時
点の画像の点（ｘ，ｙ）の画素濃度値、Ｉ，Ｊは各々基
準画像、次時点の画像中の候補点近傍領域内の平均濃度
である。

【００４０】

【数１】

【００４１】また、最大相関点位置検出部１３は、この
相関値が最大となる次時点画像上の点の位置（Ｘ_s ，Ｙ
_s ）を求めるという処理を行なう。オプティカルフロー
計算部１４では、両者の差（ｖｘ，ｖｙ）＝（Ｘ_s −Ｘ
_o，Ｙ_s −Ｙ_o ）を計算し、これを基準画像の点（Ｘ
_o ，Ｙ_o ）におけるオプティカルフローベクトルとし
て、オプティカルフローメモリ１５に書き込むといった
処理を行なう機能を有している。

【００４２】図４に、上記オプティカルフロー抽出部１
０の各構成要素に対応した処理の流れを示す。これは、
前記図２に示した処理の流れにおけるＳ１１での処理
（オプティカルフロー抽出処理）の具体的手法を示して
いる。

【００４３】すなわち、候補点検出部１１では、基準画
像におけるオプティカルフローを求める候補点群を検出
し、抽出する（候補点抽出処理（Ｓ１１ａ））。これは
上述したように、画像中にＫ画素×Ｋ画素の局所領域を
設定し、この領域内の濃度分散値を計算する処理を、移
動物体が出現する可能性のある領域全域に亙って行なう
ことにより実現する。

【００４４】領域の大きさＫは、検出する対象の種類、
大きさに応じて設定する定数である。分散値が小さい点
は、濃度的に平坦な部分領域に含まれ、オプティカルフ
ロー抽出の精度が大幅に低下するため、候補点から排除
し、分散値が予め定めたしきい値以上の点のみを候補点
として順次選択する。Ｓ１１ａではこのようにして、候
補点を順次選択して抽出し、この順次選択した候補点の
位置の情報を局所相関値検出部１２に送る。

【００４５】局所相関値検出部１２では、基準画像にお
ける上記候補点（Ｘ_o ，Ｙ_o ）を中心とするＭ画素×Ｍ
画素の局所領域と、次時点の画像の上記候補点近傍領域
内部の各点の周囲のＭ画素×Ｍ画素の局所領域との間の
相関値を順次計算する（局所相関計算処理（Ｓ１１
ｂ））。近傍領域の大きさは、移動物体の速度に応じて
設定する。また、相関窓の大きさＭは、検出する対象の
種類、大きさ、及び速度に応じて設定する定数である。
相関値は、上記［数１］にて示した式で計算される。

【００４６】こうしてＳ１１ｂにより、相関値を求めた
ならば最大相関点位置検出部１３により、この相関値が
最大となる次時点画像上の点の位置（Ｘ_s ，Ｙ_s ）を求
める処理を行なう（最大相関値をとる点の位置抽出処理
（Ｓ１１ｃ））。

【００４７】そして、つぎにオプティカルフロー計算部
１４で、両者の差（ｖｘ，ｖｙ）＝（Ｘ_s −Ｘ_o ，Ｙ_s
−Ｙ_o ）を計算し、これを基準画像の点（Ｘ_o ，Ｙ_o ）
におけるオプティカルフローベクトルとして、オプティ
カルフローメモリ１５に書き込む（オプティカルフロー
計算，メモリ書込み処理（Ｓ１１ｄ））。

【００４８】つぎに、上記予測画像作成部２０の具体的
構成例を図５を参照して説明する。図に示すように、予
測画像作成部２０は予測部分領域設定部２１、次時点位
置予測部２２、予測画像作成部２３にて構成されてい
る。

【００４９】これらのうち、予測部分領域設定部２１
は、予め画像をＮ画素×Ｎ画素の正方小領域のサイズに
分割しておき、前記オプティカルフロー抽出部１０の構
成要素である前記オプティカルフローメモリ１５に書き
込まれたフローベクトルの始点位置（Ｘ_s ，Ｙ_s ）を順
次読出して、前記小領域のうち、この点（Ｘ_s ，Ｙ_s ）
の位置を含む小領域を予測部分領域として選択するとい
った処理を行なう機能を有する。小領域の大きさＮは、
検出すべき物体の最小サイズに応じて決定される定数で
ある。

【００５０】また、次時点位置予測部２２は、次時点で
のこれら予測部分領域の画像中の位置を、前記オプティ
カルフローメモリ１５に書き込まれた対応するフローベ
クトルの大きさの情報を用いて推定する処理を行なう機
能を有する。

【００５１】時系列画像の時間間隔が小さい場合、正方
小領域の中心位置を（Ｘ_c ，Ｙ_c ）、対応するフローベ
クトルを（ｖｘ，ｖｙ）とすると、次時点での中心位置
は（Ｘ_c+vx，Ｙ_c+vy）なる位置に移動し、領域の大きさ
はＮ画素×Ｎ画素の正方領域で変化しないものと看做す
ことができるため、このことを利用して予測画像作成部
２３では、フローベクトルに基づく正方小領域の平行移
動により次時点での各小領域の位置を求める処理を行な
い、当該次時点での各小領域の位置を反映させた画像を
予測画像として生成して図示しない記憶手段に記憶する
といった処理を行なうようにしてある。

【００５２】図６に、このような構成の予測画像作成部
２０の各構成要素２１〜２３に対応した処理の流れを示
す。これは、前記図２に示した処理の流れにおけるＳ１
２，Ｓ１３の処理の具体的手法を示している。

【００５３】予測画像作成部２０における予測部分領域
設定部２１では、予め画像をＮ画素×Ｎ画素の正方小領
域に分割してある。そして、予測部分領域設定部２１は
前記オプティカルフローメモリ１５に書き込まれたフロ
ーベクトルの始点位置（Ｘ_s，Ｙ_s ）を順次読出し（オ
プティカルフローベクトル読出し処理（Ｓ１２ａ））、
上記小領域のうち、この読出したフローベクトルの始点
位置（Ｘ_s ，Ｙ_s ）を含む小領域（上記のＮ画素×Ｎ画
素の各正方小領域中、（Ｘ_s ，Ｙ_s ）を含んでいる正方
小領域）を予測部分領域として選択する（予測部分領域
選択処理（Ｓ１２ｂ））。上述したように小領域の大き
さＮは、検出すべき物体の最小サイズに応じて決定され
た定数である。

【００５４】Ｓ１２ｂの予測部分領域選択処理が終わる
と、次時点位置予測部２２による各部分領域の予測位置
計算処理を行なう。次時点位置予測部２２では、Ｓ１２
ｂの予測部分領域選択処理において得たこれら予測部分
領域の、次時点での画像中の位置を、前記オプティカル
フローメモリ１５に書き込まれた対応するフローベクト
ルの大きさの情報を用いて推定する処理を行なう。

【００５５】時系列画像の時間間隔が小さい場合、正方
小領域の中心位置を（Ｘ_c ，Ｙ_c ）とし、対応するフロ
ーベクトルを（ｖｘ，ｖｙ）とすると、次時点での中心
位置は（Ｘ_c+vx，Ｙ_c+vy）に移動し、領域の大きさはＮ
画素×Ｎ画素の正方領域で変化しないものと看做すこと
ができる。そのため、予測画像作成部２３では、フロー
ベクトルに基づく正方小領域の平行移動により、次時点
での各小領域の位置を求める（各部分領域の予測位置計
算処理（Ｓ１３ａ））。そして、この正方小領域の平行
移動を行なった結果、得られる画像を、予測画像として
記憶する（予測画像作成処理（Ｓ１３ａ））。

【００５６】以上により、予測画像作成が行なえる。図
７に、上記移動物体検知部３０の具体的構成例を示す。
移動物体検知部３０は、重なり部分検出部３１と移動物
体境界候補領域検出部３２と移動物体検知部３３より構
成される。

【００５７】上記予測画像Ｐにおいては、おおもとの画
像を得る上記観測系１を直線的に移動させた場合、背景
に含まれる各小領域ＢＡは、図９（ａ）に示す如く、動
き方向の画像への投影である１点Ｆ０Ｅより沸き出す方
向へ移動する。

【００５８】また、観測系１を回転運動した場合には、
背景領域（背景に含まれる各小領域ＢＡ）は回転方向と
逆の方向に平行移動する。すなわち、図９（ｂ）の如き
である。また、これら、移動物体が出現しない画像Ｐで
は、予測画像Ｐにおける小領域ＢＡは重なり無く、各々
独立した部分に移動する。

【００５９】これに対し、移動物体が出現した場合は、
この上に存在する小領域ＭＡは背景領域ＢＡを遮蔽する
所に移動する。すなわち、図９（ｃ）の如きであり、両
領域ＭＡ，ＢＡが互いに近付く方向に移動し、両者の重
なり部分ＯＬＡが生じる。

【００６０】実際には、背景の手前に移動物体がある場
合は、次時点の画像においては、この背景領域部分は遮
蔽され、移動物体のみ観測されることになる。一般的に
は、この遮蔽領域は縦に長い部分領域となる。

【００６１】このような事実関係から考えると、予測画
像Ｐにおける小領域の重なり部分ＯＬＡを検出、解析す
ることにより、移動物体が背景領域を遮蔽する境界部分
を検出すれば、移動物体の出現を簡単に検知できること
がわかる。

【００６２】本システムにおいては、このことを利用す
る。すなわち、移動物体検知部３０の構成要素である重
なり部分抽出部３１では、予測画像作成部２０の構成要
素である上記予測画像作成部２３で作成した予測画像に
おける各小領域同士が重なった部分を抽出して、これを
移動物体境界候補領域検出部３２に渡す機能を持たせて
ある。

【００６３】これを受け取る移動物体境界候補領域検出
部３２には、この重なり部分における連結した領域を移
動物体の候補領域として各々検出する機能を持たせてあ
る。ところで、検出したこの候補領域には、オプティカ
ルフローの検出誤りによるものが含まれている。しか
し、この検出誤りは局所的に出現するものであるのに対
し、移動物体による遮蔽領域は移動物体の境界部分に、
一定以上の大きさをもって出現する。

【００６４】そこで移動物体検知部３３には、移動物体
境界候補領域検出部３２が検出したこれら候補領域に対
し、大きさと幅を計測する機能を持たせてあり、また、
大きさがしきい値以上であり、且つ、幅がしきい値以下
であるかどうか判定し、この条件に合う候補領域が存在
すれば移動物体が出現したと判定する機能を持たせてあ
る。そして、移動物体検知部３３によるこの計測と判定
の結果、移動物体が出現したことを検知できるようにし
てある。

【００６５】図８に、上記移動物体検知部３０の各構成
要素に対応した処理の流れを示す。これは、前記図２に
示した処理の流れにおけるＳ１５，Ｓ１６処理の具体的
手法を示している。

【００６６】すなわち、予測画像においては、おおもと
の画像を得る上記観測系１が直線的に移動する場合、背
景に含まれる各小領域は、図９（ａ）に示す如く、動き
方向の画像への投影である１点より沸き出す方向へ移動
する。また、観測系１が回転運動を行なう場合には、背
景領域は回転方向と逆の方向に平行移動する。すなわ
ち、図９（ｂ）の如きである。また、これら、移動物体
が出現しない画像では、予測画像における小領域は重な
り無く、各々独立した部分に移動する。

【００６７】これに対し、移動物体が出現した場合は、
この上に存在する小領域は背景領域を遮蔽する所に移動
する。すなわち、図９（ｃ）の如きである。実際には、
背景の手前に移動物体がある場合は、次時点の画像にお
いては、この背景領域部分は遮蔽され、移動物体のみ観
測されることになる。一般的には、この遮蔽領域は縦に
長い部分領域となる。

【００６８】従って、予測画像における小領域の重なり
部分を検出、解析することにより、移動物体が背景領域
を遮蔽する境界部分を検出することで、移動物体の出現
を簡便に検知できる。

【００６９】重なり部分抽出部３１では、予測画像作成
部２０の構成要素である上記予測画像作成部２３で作成
した予測画像における各小領域同士が重なった部分を抽
出して、これを移動物体境界候補領域検出部３２に渡す
（予測画像中の小領域重なり部分抽出処理（Ｓ１５
ａ））。

【００７０】これを受け取った移動物体境界候補領域検
出部３２では、この重なり部分における連結した領域を
移動物体の候補領域として各々検出する。ところで、検
出したこの候補領域には、オプティカルフローの検出誤
りによるものが含まれている。しかし、この検出誤りは
局所的に出現するものであるのに対し、移動物体による
遮蔽領域は移動物体の境界部分に、一定以上の大きさを
もって出現する。そこで、これを重なり部分の連結性を
判定することによりこの候補がオプティカルフローの検
出誤りにより得られた候補であるか、否かを判定する
（重なり部分の連結性判定（Ｓ１５ｂ））。この判定処
理の結果、正しい候補のみを選別することができる。

【００７１】移動物体検知部３３は、移動物体境界候補
領域検出部３２が検出し、選別したこれら候補領域に対
し、大きさと幅を計測する（移動物体境界候補領域検出
処理（Ｓ１６ａ））。そして、大きさがしきい値以上で
あり、且つ、幅がしきい値以下であるかどうか判定し、
この条件に合う候補領域が存在すれば移動物体が出現し
たと判定する（大きさ判定による移動物体検知（Ｓ１６
ｂ））。移動物体検知部３３によるこの計測と判定の結
果、移動物体が出現したことを検知できることになる。

【００７２】このように本装置は、観測系１の持つＴＶ
カメラ画像を得て、オプティカルフロー抽出部１０で、
その画像の時間的変化を解析することにより、局所領域
単位の動きであるオプティカルフローを抽出する。例え
ば、観測系１が直線運動するとすればこの場合、環境に
静止した背景領域のオプティカルフローは１点（ＦＯ
Ｅ）から沸き出す直線上に存在する。そして、予測画像
作成部２０では、画像を部分領域に分割し、これらのう
ち、前記オプティカルフローが得られた点を中心とする
部分領域単位で次時点の位置予測を行ない、予測画像Ｐ
を生成する。そして、移動物体検知部３０では、この予
測画像Ｐにおける複数の領域が重なる部分ＯＬＡを抽出
することにより、背景領域が移動物体により遮蔽された
領域が検出されれば、移動物体が存在すると判定する。

【００７３】また、上記抽出した“複数の領域が重なる
部分ＯＬＡ”のサイズを計測し、しきい値と比較してオ
プティカルフローの検出誤りによるものを排除するよう
にしたことにより、精度を維持するようにした。

【００７４】これらにより、本発明によれば、観測系が
移動する場合において、観測系がとらえた画像中に含ま
れる移動物体の検知を簡単かつ高精度に行なうことがで
きるようになって、自律移動車、知能作業ロボット、画
像監視等の分野に用いて最適な移動体検出装置が得られ
る。以上、本発明の実施例を説明したが、本発明はその
趣旨を逸脱しない範囲で種々変形して実施することが可
能である。

【００７５】

【発明の効果】以上、詳述したように本発明は、観測系
から得られる観測対象の時系列画像を処理して得られる
オプティカルフローを用いて次時点の予測画像を生成
し、この予測画像を解析し、背景領域が移動物体により
遮蔽された部分を求めることにより、高速かつ安定的に
移動物体の出現を検知することが実現でき、また、遮蔽
された部分の大きさを測定してその大きさにより、本来
のオプティカルフローとそれ以外の誤りによるものとを
分別するようにしたので、信頼性の高い移動物体の出現
検知が可能になるなど、その実用的効果は多大である。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための図であって、
本発明の一実施例の全体構成を示すブロック図。

【図２】本発明の実施例を説明するための図であって、
図１の構成の本装置の作用を説明するためのフローチャ
ート。

【図３】本発明の実施例を説明するための図であって、
図１の構成におけるオプティカルフロー抽出部１０の具
体的構成例を示すブロック図。

【図４】本発明の実施例を説明するための図であって、
図３に示すオプティカルフロー抽出部１０の各構成要素
に対応した処理の流れを示す図。

【図５】本発明の実施例を説明するための図であって、
図１の構成における予測画像作成部２０の具体的構成例
を示すブロック図。

【図６】本発明の実施例を説明するための図であって、
図５に示す予測画像作成部２０の各構成要素に対応した
処理の流れを示す図。

【図７】本発明の実施例を説明するための図であって、
図１の構成における移動物体検知部３０の具体的構成例
を示すブロック図。

【図８】本発明の実施例を説明するための図であって、
図７に示す移動物体検知部３０の各構成要素に対応した
処理の流れを示す図。

【図９】本発明の実施例を説明するための図であって、
観測系１が動く場合での予測画像における小領域の動き
の各種例を説明する図。

【符号の説明】

１…観測系 １０…オプティカルフロー抽出部 １１…候補点抽出部 １２…局所相関計算部 １３…最大相関点位置検出部 １４…オプティカルフロー計算部 １５…オプティカルフローメモリ ２０…予測画像作成部 ２１…予測部分領域設定部 ２２…次時点位置予測部 ２３…予測画像作成部 ３０…移動物体検知部 ３１…重なり部分検出部 ３２…移動物体境界候補領域検出部 ３３…移動物体検知部 Ｐ…予測画像 ＢＡ…小領域 ＯＬＡ…複数の領域が重なる部分

フロントページの続き (56)参考文献 渡辺敏英外１名，動き検出ニューラル ネットワーク，ＮＨＫ技研Ｒ＆Ｄ，日本 放送出版協会，1993年 ８月15日，Ｎ ｏ．25，ｐｐ．42−43 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 H04N 7/18

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 時間的経過に伴う観測対象の画像を取得
   して出力する観測手段と、 この観測手段からの前記各画像の時間的変化を解析する
   ことにより、前記画像中の局所領域単位の動きであるオ
   プティカルフロー情報を抽出するオプティカルフロー抽
   出手段と、 このオプティカルフロー抽出手段により得られたオプテ
   ィカルフロー情報に基づきこのオプティカルフローが生
   じた前記画像内の部分を中心とする部分領域に画像を分
   割し、この部分領域単位で、次時点での予測画像を作成
   する予測画像作成手段と、 この予測画像作成手段により作成した予測画像における
   前記部分領域の移動状態を解析することにより、移動物
   体を検知する移動物体検知手段と、から構成することを
   特徴とする移動体検知装置。
2. 【請求項２】 時間的経過に伴う観測対象の画像を取得
   して出力する観測手段と、 この観測手段からの前記各画像の時間的変化を解析する
   ことにより、前記画像中の局所領域単位の動きであるオ
   プティカルフロー情報を抽出するオプティカルフロー抽
   出手段と、 前記画像を所定の大きさ単位に区分することにより、予
   測を行なうための部分領域を設定し、この設定された部
   分領域のうち、オプティカルフロー抽出手段により得ら
   れたオプティカルフロー情報に基づきこのオプティカル
   フローが生じた前記画像内の部分を中心とする部分領域
   の次時点の画像位置を予測し、この部分領域単位での当
   該次時点での予測位置から当該次時点での予測画像を作
   成する予測画像作成手段と、 この予測画像作成手段により作成した予測画像における
   前記部分領域の移動状態を解析することにより、移動物
   体を検知する移動物体検知手段と、を具備することを特
   徴とする移動物体検知装置。
3. 【請求項３】 時間的経過に伴う観測対象の画像を取得
   して出力する観測手段と、 この観測手段からの前記各画像の時間的変化を解析する
   ことにより、前記画像中の局所領域単位の動きであるオ
   プティカルフロー情報を抽出するオプティカルフロー抽
   出手段と、 画像を所定の大きさ単位に区分することにより、予測を
   行なうための部分領域を設定し、この設定された部分領
   域のうち、オプティカルフロー抽出手段により得られた
   オプティカルフロー情報に基づきこのオプティカルフロ
   ーが生じた前記画像内の部分を中心とする部分領域の次
   時点の画像位置を予測し、この部分領域単位での当該次
   時点での予測位置から当該次時点での予測画像を作成す
   る予測画像作成手段と、 この予測画像作成手段により作成した移動状態を解析す
   ることにより、予測画像における前記部分領域の重なり
   部分の有無を検知して、これより移動物体の存在検知を
   行なう移動物体検知手段と、を具備することを特徴とす
   る移動物体検知装置。
4. 【請求項４】 時間的経過に伴う観測対象の画像を取得
   して出力する観測手段と、 この観測手段からの前記各画像の時間的変化を解析する
   ことにより、前記画像中の局所領域単位の動きであるオ
   プティカルフロー情報を抽出するオプティカルフロー抽
   出手段と、 画像を所定の大きさ単位に区分することにより、予測を
   行なうための部分領域を設定し、この設定された部分領
   域のうち、オプティカルフロー抽出手段により得られた
   オプティカルフロー情報に基づきこのオプティカルフロ
   ーが生じた前記画像内の部分を中心とする部分領域の次
   時点の画像位置を予測し、この部分領域単位での当該次
   時点での予測位置から当該次時点での予測画像を作成す
   る予測画像作成手段と、 この予測画像作成手段により作成した予測画像を解析
   し、予測画像における前記部分領域の重なり部分を抽出
   し、重なり部分の大きさを測定して所定値以上の大きさ
   を持つとき、移動物体が存在すると判定して移動物体を
   検知する移動物体検知手段と、を具備することを特徴と
   する移動物体検知装置。
5. 【請求項５】 時間的経過に伴う観測対象の刻々の画像
   を取得する画像取得ステップと、 この取得した前記画像の時間的変化を解析することによ
   り、前記画像中の局所領域単位の動きであるオプティカ
   ルフロー情報を抽出するオプティカルフロー抽出ステッ
   プと、 このオプティカルフロー抽出ステップにより得られたオ
   プティカルフロー情報に基づきこのオプティカルフロー
   が生じた前記画像内の部分を中心とする部分領域に画像
   を分割し、この部分領域単位で、次時点での予測画像を
   作成する予測画像作成ステップと、 この予測画像作成ステップにより作成した予測画像にお
   ける前記部分領域の移動状態を解析することにより、移
   動物体を検知する移動物体検知ステップと、からなる移
   動体検知方法。
6. 【請求項６】 時間的経過に伴う観測対象の画像を取得
   する画像取得ステップと、 この画像取得ステップにより得られた画像の時間的変化
   を解析することにより、画像中の局所領域単位の動きで
   あるオプティカルフロー情報を抽出するオプティカルフ
   ロー抽出ステップと、 画像を所定の大きさ単位に区分することにより、予測を
   行なうための部分領域を設定し、この設定された部分領
   域のうち、オプティカルフロー抽出ステップにより得ら
   れたオプティカルフロー情報に基づきこのオプティカル
   フローが生じた前記画像内の部分を中心とする部分領域
   の次時点の画像位置を予測し、この部分領域単位での当
   該次時点での予測位置から当該次時点での予測画像を作
   成する予測画像作成ステップと、 この予測画像作成ステップにより作成した予測画像にお
   ける前記部分領域の移動状態を解析することにより、移
   動物体を検知する移動物体検知ステップと、から構成す
   ることを特徴とする移動物体検知方法。
7. 【請求項７】 時間的経過に伴う観測対象の画像を取得
   する画像取得ステップと、 この画像取得ステップにより得られた画像の時間的変化
   を解析することにより、画像の局所領域単位の動きであ
   るオプティカルフロー情報を抽出するオプティカルフロ
   ー抽出ステップと、 画像を所定の大きさ単位に区分することにより、予測を
   行なうための部分領域を設定し、この設定された部分領
   域のうち、オプティカルフロー抽出ステップにより得ら
   れたオプティカルフロー情報に基づきこのオプティカル
   フローが生じた前記画像内の部分を中心とする部分領域
   の次時点の画像位置を予測し、この部分領域単位での当
   該次時点での予測位置から当該次時点での予測画像を作
   成する予測画像作成ステップと、 この予測画像作成ステップにより作成した予測画像にお
   ける前記部分領域の重なり部分の有無を調べ、重なり部
   分の存在から移動物体の存在検知する移動物体検知ステ
   ップと、から構成することを特徴とする移動物体検知方
   法。
8. 【請求項８】 時間的経過に伴う観測対象の画像を取得
   する画像取得ステップと、 この画像取得ステップにより得られた画像の時間的変化
   を解析することにより、局所領域単位の動きであるオプ
   ティカルフロー情報を抽出するオプティカルフロー抽出
   ステップと、 画像を所定の大きさ単位に区分することにより、予測を
   行なうための部分領域を設定し、この設定された部分領
   域のうち、オプティカルフロー抽出ステップにより得ら
   れたオプティカルフロー情報に基づきこのオプティカル
   フローが生じた前記画像内の部分を中心とする部分領域
   の次時点の画像位置を予測し、この部分領域単位での当
   該次時点での予測位置から当該次時点での予測画像を作
   成する予測画像作成ステップと、 この予測画像作成ステップにより作成した予測画像にお
   ける前記部分領域の重なり部分の有無を調べ、重なり部
   分があったときはその重なり部分の大きさを測定して所
   定値以上の大きさを持つとき、移動物体が存在すると判
   定して移動物体の存在を検知する移動物体検知ステップ
   と、から構成することを特徴とする移動物体検知方法。