JP2002259987A - 画像処理装置及び方法、記憶媒体、コンピュータ・プログラム - Google Patents

Abstract

(57)【要約】 【課題】 各画像フレーム間でオブジェクトが変形・移
動する場合であっても、各画像フレーム内でのオブジェ
クトのエッジ情報を好適に抽出する。 【解決手段】 過去画像フレームにおけるオブジェクト
のエッジ情報から注目画素を逐次取り出して、この注目
画素上におけるエッジの法線上の画素を線状画素として
設定する。現在画像フレームにおいて、線状画素上で注
目画素と類似する画素データを持つ画素を探索して、対
応画素を検出する。すべての注目画素について線状画素
上での対応画素の検出を行うことにより、現在画像フレ
ームにおけるオブジェクトのエッジの緩衝領域を生成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、時系列的に配列さ
れた複数の画像からなる動画像を処理する画像処理装置
及び方法、記憶媒体、コンピュータ・プログラムに係
り、特に、動画像フレーム内に出現する登場人物などの
オブジェクトを処理する画像処理装置及び方法、記憶媒
体、コンピュータ・プログラムに関する。

【０００２】更に詳しくは、本発明は、動画像フレーム
内に出現する登場人物などのオブジェクトを追跡するた
めの画像処理装置及び方法、記憶媒体、コンピュータ・
プログラムに係り、特に、オブジェクト追跡のために各
画像フレーム内でのオブジェクトのエッジ情報を抽出す
る画像処理装置及び方法、記憶媒体、コンピュータ・プ
ログラムに関する。

【０００３】

【従来の技術】昨今の情報処理技術の革新に伴い、さま
ざまな分野にコンピュータ処理が採り入れられるように
なってきた。例えば、動画像や静止画、音響などの各種
メディア情報の生成や編集などの処理をパーソナル・コ
ンピュータ（ＰＣ）やワークステーション（ＷＳ）など
のコンピュータ上で処理することができる。

【０００４】例えば動画像の編集をコンピュータ処理に
委ねた場合、シーンの切り替わり検出や、画像に出現又
は登場するオブジェクトの抽出やトラッキングなどの処
理を自動化することができる。

【０００５】ところで、動画像中のオブジェクトの動き
をトラックする場合、一般には、連続する画像フレーム
間でブロック・マッチングや勾配法を適用して、オブジ
ェクトの動きベクトルを抽出することができる。

【０００６】しかしながら、ブロック・マッチングなど
の単純な画像比較に基づく手法によってオブジェクトの
動きをトラックする場合、オブジェクトが剛体であり変
形による影響がないことが前提となる。何故ならば、実
際には同じオブジェクトであっても、画像間での変形の
度合いに応じてマッチング度が低下して、同じオブジェ
クトとして認識できなくなり、動き抽出の誤りが生じる
からである。

【０００７】また、画像フレーム間でオブジェクトの動
きベクトルを抽出するためには、各画像フレームにおい
てオブジェクトの輪郭などのエッジ情報を正確に求める
必要がある。

【０００８】例えば、Ju Guo，Jongwon Kim，及びC.-C.
Jay Kuo共著の論文"An Interactive Adaptive System
for Semantic Object Extraction from Image Sequence
s"には、動画像からオブジェクトを抽出する手法につい
て提案されている。該論文によれば、画像フレーム間の
差分などブロック・マッチング法により動きベクトルを
検出して、オブジェクトのエッジ情報を一旦抽出してお
き、さらにオブジェクトのエッジを膨張させて緩衝領域
を設定してから、この緩衝領域内で改めてエッジ情報を
抽出するようになっている。エッジの膨張により緩衝領
域を設定することにより、ブロック・マッチング処理時
におけるエッジ情報の曖昧差やオブジェクトの多少の変
形などによる影響を除去することができる。

【０００９】しかしながら、この方法による場合、ブロ
ック・マッチングなどにより一旦オブジェクトのエッジ
を抽出しながら、エッジを膨張処理して再度エッジ抽出
を行うので、膨張処理に要する演算時間や、再度のエッ
ジ抽出を行う計算機負荷などが問題となる。

【００１０】

【発明が解決しようとする課題】本発明の目的は、動画
像フレーム内に出現する登場人物などのオブジェクトを
処理することができる、優れた画像処理装置及び方法、
記憶媒体、コンピュータ・プログラムを提供することに
ある。

【００１１】本発明の更なる目的は、動画像におけるオ
ブジェクト追跡などのために各画像フレーム内でのオブ
ジェクトのエッジ情報を好適に抽出することができる、
優れた画像処理装置及び方法、記憶媒体、コンピュータ
・プログラムを提供することにある。

【００１２】本発明の更なる目的は、各画像間でオブジ
ェクトが変形する場合であっても、各画像フレーム内で
のオブジェクトのエッジ情報を好適に抽出することがで
きる、優れた画像処理装置及び方法、記憶媒体、コンピ
ュータ・プログラムを提供することにある。

【００１３】本発明の更なる目的は、各画像フレーム内
でのオブジェクトのエッジ情報を抽出するための処理時
間や演算量を軽減することができる、優れた画像処理装
置及び方法、記憶媒体、コンピュータ・プログラムを提
供することにある。

【００１４】

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、画像内のオブジェクトを処理する画像処理装置又は
方法であって、第１の画像内のオブジェクトに関するエ
ッジ情報を抽出するエッジ抽出手段又はステップと、該
抽出されたエッジ情報に基づいて注目画素を取り出し、
第２の画像内で該注目画素の位置に対応する所定長の線
状画素を設定する線状画素設定手段又はステップと、前
記第１の画像内で取り出された該注目画素に対応する画
素データと、前記第２の画像内で設定された前記線状画
素の各画素データとを比較する画素データ比較手段又は
ステップと、該比較結果に基づいて、前記第１の画素内
で取り出された該注目画素に対応する前記第２の画像内
の対応画素を特定する対応画素特定手段又はステップ
と、を具備することを特徴とする画像処理装置又は方法
である。

【００１５】ここで、前記線状画素設定手段又はステッ
プは、例えば、前記第１の画像内で取り出された該注目
画素を通過する前記オブジェクトに関するエッジの法線
に平行な直線上の複数の画素を線状画素として設定す
る。

【００１６】本発明の第１の側面に係る画像処理装置又
は方法によれば、過去画像フレームにおけるオブジェク
トのエッジ情報から注目画素を逐次取り出して、この注
目画素上におけるエッジの法線上の画素を線状画素とし
て設定する。現在画像フレームにおいて、線状画素上で
注目画素と類似する画素データを持つ画素を探索して、
対応画素を検出することができる。

【００１７】対応画素が検出された線状画素を、緩衝領
域を構成する線分として用いることができる。また、線
状画素上で対応画素が検出された位置に応じて、線状画
素の長さを決定することができる。また、過去画像フレ
ームにおけるオブジェクトのエッジ上のすべての注目画
素について線状画素上での対応画素の検出を行うことに
より、現在画像フレームにおけるオブジェクトのエッジ
の緩衝領域を生成することができる。緩衝領域とは、オ
ブジェクトのエッジを膨張させることに相当し、後段の
処理では、この緩衝領域内で改めてエッジ情報を抽出す
るようになっている（前述）。エッジの膨張により緩衝
領域を設定することにより、エッジ情報の曖昧差やオブ
ジェクトの変形や移動などによる影響を効果的に除去す
ることができる。

【００１８】本発明の第１の側面に係る画像処理装置又
は方法によれば、画像フレーム間のブロック・マッチン
グなどの処理を行うことなく、過去画像フレームから得
られたエッジ情報を基に、現在画像フレームにおけるオ
ブジェクトのエッジの緩衝領域を効率的に生成するの
で、各画像フレーム内でのオブジェクトのエッジ情報を
抽出するための処理時間や演算量を軽減することができ
る。

【００１９】本発明の第１の側面に係る画像処理装置又
は方法において、前記線状画素設定手段又はステップ
は、前記対応画素特定手段又はステップにより特定され
た対応画素の位置に応じて線状画素の長さを決定するよ
うにしてもよい。例えば、注目画素に近い位置で対応画
素が発見された場合には、緩衝領域を大きく設定する必
要がないので、線状画素の線分長を短くすることで、後
段のエッジ抽出のための計算量を軽減することができ
る。

【００２０】また、前記対応画素特定手段又はステップ
は、前記線状画素上の画素のうちで前記第１の画像内で
取り出された該注目画素に対応する画素データとの差が
閾値以下となる画素データを持つものを対応画素として
特定するようにしてもよい。あるいは、前記線状画素上
の画素のうちで前記第１の画像内で取り出された該注目
画素に対応する画素データに最も近い画素データを持つ
ものを対応画素として特定するようにしてもよい。

【００２１】また、本発明の第１の側面に係る画像処理
装置又は方法は、前記第１の画像内のエッジ情報に基づ
いて取り出された隣接する複数の注目画素における前記
画素データ比較手段による画素データの比較結果に基づ
いて、前記対応画素特定手段又はステップにより特定さ
れた該複数の注目画素における対応画素を評価する対応
画素評価手段又はステップをさらに備えてもよい。

【００２２】このような場合、前記対応画素特定手段又
はステップにより対応画素が特定されなかった場合、前
記線状画素設定手段又はステップにより設定した線状画
素の長さを増して、前記画素データ比較手段又はステッ
プによる画素データの比較及び前記対応画素特定手段又
はステップによる対応画素の特定を改めて行うようにし
てもよい。

【００２３】また、前記対応画素特定手段又はステップ
により対応画素が特定されなかった場合、前記第１の画
像及び前記第２の画像間での前記オブジェクトの動き量
を推定して、該推定された動き量に基づいて前記線状画
素設定手段又はステップにより設定した線状画素にオフ
セットを与えて、前記画素データ比較手段又はステップ
による画素データの比較及び、前記対応画素特定手段又
はステップによる対応画素の特定を改めて行うようにし
てもよい。

【００２４】あるいは、前記対応画素特定手段又はステ
ップにより対応画素が特定されなかった場合、前記第１
の画像及び前記第２の画像間で前記オブジェクトが等速
で動いたと仮定して、該仮定された速度から算出される
動き量に基づいて前記線状画素設定手段又はステップに
より設定した線状画素にオフセットを与えて、前記画素
データ比較手段又はステップによる画素データの比較、
及び前記対応画素特定手段又はステップによる対応画素
の特定を改めて行うようにしてもよい。

【００２５】あるいは、前記対応画素特定手段又はステ
ップにより対応画素が特定されなかった場合、前記第１
の画像及び前記第２の画像間で前記オブジェクトが等加
速で動いたと仮定して、該仮定された加速度から算出さ
れる動き量に基づいて前記線状画素設定手段又はステッ
プにより設定した線状画素にオフセットを与えて、前記
画素データ比較手段又はステップによる画素データの比
較、及び前記対応画素特定手段又はステップによる対応
画素の特定を改めて行うようにしてもよい。

【００２６】また、本発明の第２の側面は、画像内に存
在するオブジェクトに関する処理をコンピュータ・シス
テム上で実行するように記述されたコンピュータ・ソフ
トウェアをコンピュータ可読形式で物理的に格納した記
憶媒体であって、前記コンピュータ・ソフトウェアは、
第１の画像内のオブジェクトに関するエッジ情報を抽出
するエッジ抽出ステップと、該抽出されたエッジ情報に
基づいて注目画素を取り出し、第２の画像内で該注目画
素の位置に対応する所定長の線状画素を設定する線状画
素設定ステップと、前記第１の画像内で取り出された該
注目画素に対応する画素データと、前記第２の画像内で
設定された前記線状画素の各画素データとを比較する画
素データ比較ステップと、該比較結果に基づいて、前記
第１の画素内で取り出された該注目画素に対応する前記
第２の画像内の対応画素を特定する対応画素特定ステッ
プと、を具備することを特徴とする記憶媒体である。

【００２７】本発明の第２の側面に係る記憶媒体は、例
えば、様々なプログラム・コードを実行可能な汎用コン
ピュータ・システムに対して、コンピュータ・ソフトウ
ェアをコンピュータ可読な形式で提供する媒体である。
このような媒体は、例えば、ＣＤ（Compact Disc）やＦ
Ｄ（Floppy Disk）、ＭＯ（Magneto-Optical disc）な
どの着脱自在で可搬性の記憶媒体である。あるいは、ネ
ットワーク（ネットワークは無線、有線の区別を問わな
い）などの伝送媒体などを経由してコンピュータ・ソフ
トウェアを特定のコンピュータ・システムに提供するこ
とも技術的に可能である。

【００２８】このような記憶媒体は、コンピュータ・シ
ステム上で所定のコンピュータ・ソフトウェアの機能を
実現するための、コンピュータ・ソフトウェアと記憶媒
体との構造上又は機能上の協働的関係を定義したもので
ある。換言すれば、本発明の第２の側面に係る記憶媒体
を介して所定のコンピュータ・ソフトウェアをコンピュ
ータ・システムにインストールすることによって、コン
ピュータ・システム上では協働的作用が発揮され、本発
明の第１の側面に係る画像処理装置及び方法と同様の作
用効果を得ることができる。

【００２９】また、本発明の第３の側面は、画像内に存
在するオブジェクトに関する処理をコンピュータ・シス
テム上で実行するようにコンピュータ可読形式で記述さ
れたコンピュータ・プログラムであって、第１の画像内
のオブジェクトに関するエッジ情報を抽出するエッジ抽
出ステップと、該抽出されたエッジ情報に基づいて注目
画素を取り出し、第２の画像内で該注目画素の位置に対
応する所定長の線状画素を設定する線状画素設定ステッ
プと、前記第１の画像内で取り出された該注目画素に対
応する画素データと、前記第２の画像内で設定された前
記線状画素の各画素データとを比較する画素データ比較
ステップと、該比較結果に基づいて、前記第１の画素内
で取り出された該注目画素に対応する前記第２の画像内
の対応画素を特定する対応画素特定ステップと、を具備
することを特徴とするコンピュータ・プログラムであ
る。

【００３０】本発明の第３の側面に係るコンピュータ・
プログラムは、コンピュータ・システム上で所定の処理
を実現するように記述されたコンピュータ・プログラム
を定義したものである。換言すれば、本発明の第３の側
面に係るコンピュータ・プログラムをコンピュータ・シ
ステムにインストールすることによって、コンピュータ
・システム上では協働的作用が発揮され、本発明の第１
の側面に係る画像処理装置及び方法と同様の作用効果を
得ることができる。

【００３１】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００３２】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００３３】図１には、本発明の実現に供される画像処
理装置１の機能構成を模式的に示している。同図に示す
ように、画像処理装置１は、画像をフレーム単位で入力
する入力部１０と、入力した画像フレームを一時記憶す
るフレーム・メモリ２０と、入力した画像フレームとフ
レーム・メモリ２０中の過去画像フレームと比較する緩
衝領域生成部３０と、画像マッチングの結果に基づいて
画像フレーム中のオブジェクトのエッジを抽出するエッ
ジ抽出部４０と、エッジ抽出結果を外部に出力する出力
部５０とで構成される。

【００３４】出力部５０は、エッジ抽出結果を、例え
ば、ディスプレイ（図示しない）に表示出力したり、ハ
ード・ディスク（図示しない）に格納したり、あるいは
ネットワーク経由で外部端末（図示しない）に転送した
りする。

【００３５】なお、エッジ抽出部４０は、画像マッチン
グの結果によらず、ユーザ・インターフェース部６０を
介したユーザ入力に従ってオブジェクトのエッジ情報を
生成するようにしてもよい（例えば、緩衝領域生成部３
０によって生成された緩衝領域の範囲内からは良好なエ
ッジ情報が得られない場合など）。

【００３６】緩衝領域生成部３０では、フレーム・メモ
リ２０から取り出された過去画像フレームと、入力部１
０で受信される現在画像フレームを比較して、過去画像
フレームにおけるオブジェクトのエッジ情報を現在画像
フレーム内で抽出するために、現在画像フレームにおけ
るオブジェクトのエッジ情報の緩衝領域を生成するよう
になっている。

【００３７】ここで、緩衝領域生成部３０によりオブジ
ェクトのエッジ情報の緩衝領域を生成する様子を、図２
〜図５を参照しながら概略的に説明する。

【００３８】図２には、過去画像フレームを描写してい
るが、該画像フレームの略左方にトラッキング対象とな
るオブジェクトが存在している。また、図３には、現在
画像フレームを描写しているが、トラッキング対象とな
るオブジェクトは右方に向かって少し移動している。

【００３９】図４には、現在画像フレーム上でオブジェ
クトのエッジの緩衝領域を抽出する様子を描写してい
る。同図に示すように、過去画像フレームから抽出され
たオブジェクトのエッジ情報と現在画像フレームを比較
することによって、緩衝領域を生成する。図５には、生
成された緩衝領域を描写している。緩衝領域を生成する
ための処理手順の詳細については後述に譲る。

【００４０】図６には、この画像処理装置１上の処理動
作によって動画像の画像フレームからオブジェクトのエ
ッジ情報を抽出するための処理手順の一例をフローチャ
ートの形式で概略的に示している。以下、このフローチ
ャートに従って、オブジェクトのエッジ情報抽出処理に
ついて説明する。

【００４１】まず、緩衝領域生成部３０により、現在画
像フレームにおけるオブジェクトのエッジ情報の緩衝領
域の生成を試みる（ステップＳ１）。緩衝領域の生成
は、フレーム・メモリ２０から取り出された過去画像フ
レームと、入力部１０で受信される現在画像フレームを
比較することによって行われるが、その詳細な処理手順
については後述に譲る。

【００４２】次いで、緩衝領域が成功裏に生成されたか
否かをチェックする（ステップＳ２）。緩衝領域の生成
に成功した場合には、エッジ抽出部４０により、緩衝領
域を基にオブジェクトのエッジ情報の抽出を試みる（ス
テップＳ３）。生成された緩衝領域からのエッジ情報抽
出処理の詳細については後述に譲る。

【００４３】他方、緩衝領域の生成に失敗した場合には
（ステップＳ２）、その原因として、過去画像フレーム
から現在画像フレームの間でオブジェクト（登場人物な
ど）が大きく動いたため、緩衝領域生成部３０では、過
去画像フレームのエッジ情報からは現在画像フレーム上
で緩衝領域を探索できないことが考えられる（図７を参
照のこと）。このような場合には、過去画像フレームと
現在画像フレーム間でオブジェクトの大動き補正をした
後（ステップＳ４）、再び緩衝領域生成部３０に投入し
て、緩衝領域の生成を試みる（ステップＳ５）。この大
動き補正は、フレーム間でのオブジェクトの動き量を推
定して、この推定された動き量に基づいて過去フレーム
中のオブジェクトのエッジ情報にオフセットを与えるこ
とにより行われる（図８を参照のこと）。

【００４４】そして、緩衝領域が成功裏に生成されたか
否かをチェックする（ステップＳ６）。緩衝領域の生成
に成功した場合には、エッジ抽出部４０により、緩衝領
域を基にオブジェクトのエッジ情報の抽出を試みる（ス
テップＳ３）。再投入しても緩衝領域を得ることができ
なかった場合には、ステップＳ８に進んで、ユーザ・イ
ンターフェース部６０を介した人手によるエッジ抽出処
理に委ねる。

【００４５】ステップＳ３において、エッジ抽出部４０
によるオブジェクトのエッジ情報抽出を試みた後、成功
裏にエッジ情報を得ることができたか否かをチェックす
る（ステップＳ７）。

【００４６】現在画像フレーム中でオブジェクトのエッ
ジ情報の抽出に成功した場合には、本処理ルーチン全体
を終了する。

【００４７】他方、エッジ抽出部４０によりオブジェク
トの良好なエッジ情報を得ることができなかった場合に
は、ステップＳ８に進んで、ユーザ・インターフェース
部６０を介した人手によるエッジ抽出処理に委ねる。

【００４８】なお、ステップＳ４におけるオブジェクト
の大動き補正は、画像フレーム間でのブロック・マッチ
ングを利用することができる。この場合、オブジェクト
の大動き補正は、図９に示すように、ブロック・マッチ
ングによるオブジェクトの動き量を大まかに推定し（ス
テップＳ４−１）、次いで、推定された動き量に応じて
過去画像フレーム中のオブジェクトのエッジ情報にオフ
セットを与える（ステップＳ４−２）。

【００４９】あるいは、ステップＳ４におけるオブジェ
クトの大動き補正の他の例として、これまでのオブジェ
クトの移動履歴を基にオブジェクトが等速で移動してい
ると仮定することを利用する。この場合、オブジェクト
の大動き補正は、図１０に示すように、等速仮定により
現在画像フレーム上でのオブジェクトの現在位置を推定
して（ステップＳ４−１’）、次いで、この推定された
現在位置に応じて過去画像フレーム中のオブジェクトの
エッジ情報にオフセットを与える（ステップＳ４−
２’）。

【００５０】あるいは、ステップＳ４におけるオブジェ
クトの大動き補正の他の例として、これまでのオブジェ
クトの移動履歴を基にオブジェクトが等加速で移動して
いると仮定することを利用する。この場合、オブジェク
トの大動き補正は、図１１に示すように、等加速仮定に
より現在画像フレーム上でのオブジェクトの現在位置を
推定して（ステップＳ４−１”）、次いで、この推定さ
れた現在位置に応じて過去画像フレーム中のオブジェク
トのエッジ情報にオフセットを与える（ステップＳ４−
２”）。

【００５１】次いで、緩衝領域生成部３０による、オブ
ジェクトのエッジの緩衝領域を生成する処理について説
明する。緩衝領域生成部３０は、図６に示したフローチ
ャートのうち、ステップＳ１並びにステップＳ５におけ
る緩衝領域生成処理を実行する。

【００５２】ここで言う緩衝領域とは、オブジェクトの
エッジを膨張させることに相当し、後段の処理では、こ
の緩衝領域内で改めてエッジ情報を抽出するようになっ
ている（前述）。エッジの膨張により緩衝領域を設定す
ることにより、エッジ情報の曖昧差やオブジェクトの変
形や移動などによる影響を効果的に除去することができ
る。

【００５３】本実施形態では、緩衝領域生成部３０は、
画像フレーム間のブロック・マッチングなどの処理を行
うことなく、過去画像フレームから得られたエッジ情報
を基に、現在画像フレームにおけるオブジェクトのエッ
ジの緩衝領域を生成する。より具体的には、過去画像フ
レームにおけるオブジェクトのエッジ情報から注目画素
を逐次取り出して、この注目画素上におけるエッジの法
線上の画素を線状画素として設定する。そして、現在画
像フレームにおいて、この線状画素上で注目画素と類似
する画素データを持つ画素を探索して、注目画素に対応
する対応画素を検出することができる

【００５４】対応画素が検出された線状画素を、緩衝領
域を構成する線分として用いることができる。また、線
状画素上で対応画素が検出された位置に応じて、線状画
素の長さを決定することができる。また、過去画像フレ
ームにおけるオブジェクトのエッジ上のすべての注目画
素について線状画素上での対応画素の検出を行うことに
より、現在画像フレームにおけるオブジェクトのエッジ
の緩衝領域を生成することができる。

【００５５】図１２には、緩衝領域生成部３０の一構成
例を示している。同図に示すように、この緩衝領域生成
部３０Ａは、エッジ抽出部３１と、注目点での法線設定
部３２と、線分設定部３３と、画素マッチング部３４と
で構成される。

【００５６】エッジ抽出部３１は、フレーム・メモリ２
０に格納されている過去画像フレームを基に、過去画像
フレーム中のオブジェクトのエッジ情報を抽出する機能
モジュールである。

【００５７】この過去画像フレームからオブジェクトの
エッジ情報を抽出するエッジ抽出部３１の構成は任意で
ある。例えば、エッジ抽出部４０（前述）により求めら
れた現在画像フレーム中のオブジェクトのエッジ情報出
力を、次の画像フレーム処理時における過去画像フレー
ムのエッジ情報として利用するようにしてもよい（図１
３を参照のこと）。あるいは、フレーム・メモリ２０に
格納されている過去画像フレームを用いてフレーム間差
分を行うフレーム間差分部３１−１と、フレーム間差分
結果に基づいてエッジを抽出するエッジ抽出部３１−２
とで構成することができる（図１４を参照のこと）。あ
るいは、ユーザ・インターフェース部６０を介した人手
入力に応じてエッジ情報を抽出するようにしてもよい
（図１５を参照のこと）。

【００５８】例えば、図１６に示すような過去画像フレ
ームにおいて、畳や障子などからなる和室を背景とする
該画像フレームの略中央に配置された登場人物（和服を
着た女性）を抽出対象のオブジェクトとしてエッジ抽出
部３１でエッジ抽出を行うと、図１７に示すようなエッ
ジ情報を得ることができる。

【００５９】注目点の法線設定部３２は、過去画像フレ
ーム中のオブジェクトのエッジ情報から注目画素を逐次
取り出して、その注目画素を通過するエッジの法線を設
定する。

【００６０】例えば、図１７に示すような過去画像フレ
ームにおけるエッジ情報から１つの注目画素を取り出し
た場合、図１８に示すように、注目画素を通過するエッ
ジの法線が設定される。

【００６１】線分設定部３３は、入力部１０から入力さ
れた現在画像フレーム上で、注目画素と同じ位置に、注
目点の法線設定部３２から与えられた法線方向に伸びる
所定長の線分を設定する。

【００６２】マッチング部３４は、過去画像フレームと
現在画像フレームの間で、線分設定部３３によって設定
された所定長の線分上で画素毎に注目画素との画素デー
タのマッチングを行う。そして、この線分上で注目画素
と画素データが一致する、あるいは差が閾値内に収まる
ような対応画素が発見された場合には、その線分全体を
緩衝領域の「解」として出力するようになっている。

【００６３】また、マッチング部３４の出力を線分設定
部３３にフィードバックして、線分長の決定に利用する
ことができる。例えば、対応画素が発見された位置に応
じて線分長を決定することができる。

【００６４】ここで、図１９を参照しながら、マッチン
グ部３４による注目画素の対応画素を探索する処理につ
いて説明する。

【００６５】同図において、左側は過去画像フレーム
を、右側は現在画像フレームを、それぞれ示している。
画像フレーム内の各カラムは１画素に相当し、また、各
カラム内の数値はその画素の画素データ値に相当する。

【００６６】過去画像フレームにおいて、太線で描かれ
たカラムは、エッジ抽出部３１により得られたオブジェ
クトのエッジに相当する画素であり、その内側がオブジ
ェクト、外側が背景にそれぞれ相当する。

【００６７】ここで、画素データ値１６３を持つ略中央
の画素を注目点として考えてみる。この場合、注目点の
法線設定部３２により、注目画素を通過するエッジの法
線が設定され、さらに、線分設定部３３により、注目画
素に対応する位置を通過する、エッジの法線に平行な所
定長の線状画素が現在画像フレーム上に設定される。図
１９の右側に示す画像フレーム中の太線で描かれたカラ
ムが線状画素を構成する。勿論、画像フレーム間でオブ
ジェクトが移動又は変形する場合には、推定される動き
量に応じたオフセットを与えて線状画素を現在画像フレ
ーム上に設定するようにしてもよい。

【００６８】図１９に示す例では、線状画素上の各画素
は、それぞれ、…，１１７，１１７，１１９，１６２，
１６４，１８０，１７６，…という画素データ値を持っ
ている。

【００６９】マッチング部３４は、各画素の画素データ
値を、過去画像フレーム上の注目画素の画素データ値１
６３と比較する。そして、画素データ値が一致する、又
は差が所定の閾値内となる対応画素が線状画素上で発見
された場合には、線分設定部３３により設定された線分
を、緩衝領域の「解」（すなわち注目画素の対応画素が
存在する範囲）として出力する。あるいは、線状画素上
で、注目画素との画素データ値の差が所定の閾値以下と
なる範囲を、緩衝領域の「解」（すなわち注目画素の対
応画素が存在する範囲）として出力する。

【００７０】マッチング部３４におけるマッチング処理
すなわち線状画素の評価は、各線状画素単位で行うので
はなく、連続する複数の注目画素に設定された複数本
（又は所定本数）の線状画素毎に行うようにしてもよ
い。

【００７１】例えば、図２０に示すように、連続する複
数個（又は所定個数）の注目画素に対応して現在画像フ
レーム上に設定された複数本（又は所定本数）の線状画
素の各々において、注目画素が持つ画素データ値との差
分が最小となる対応画素をそれぞれ求める。そして、各
対応画素における注目画素との画素データ値の差分の総
和が所定の閾値以下に収まるか否かで、この領域におけ
る線状画素で構成される緩衝領域の有効性を評価する。
閾値以下に収まる場合には、この領域で求められた線状
画素が有効な緩衝領域を構成するとして、マッチング結
果を出力する。他方、閾値を越える場合には、この領域
で求められた線状画素が無効であるというマッチング結
果を出力する。無効という判定に対しては、線状画素の
線分長の再設定や動き推定による線状画素のオフセット
設定、ユーザ・インターフェース部６０を介した人手入
力などによって、有効な緩衝領域を設定すればよい。

【００７２】図２１には、緩衝領域生成部３０の他の構
成例を示している。同図に示すように、この緩衝領域生
成部３０Ｂは、エッジ抽出部３１と、注目点での法線設
定部３２と、線分設定部３３と、画素マッチング部３４
と、動き推定部３５とで構成される。

【００７３】エッジ抽出部３１は、フレーム・メモリ２
０に格納されている過去画像フレームを基に、過去画像
フレーム中のオブジェクトのエッジ情報を抽出する機能
モジュールである。エッジ抽出部３１は、例えば、図１
３〜図１５に示したいずれかの例に従って構成すること
ができる（同上）。

【００７４】注目点の法線設定部３２は、過去画像フレ
ーム中のオブジェクトのエッジ情報から注目画素を逐次
取り出して、その注目画素を通過するエッジの法線を設
定する（同上）。

【００７５】動き推定部３５は、注目点の法線設定部３
２経由で受け取る過去画像フレームと、入力部１０経由
で受け取る現在画像フレームを基に、フレーム間におけ
るオブジェクトの動き量を推定する。オブジェクトの動
き量の推定には、例えば、大まかなブロック・マッチン
グ（図９を参照のこと）、オブジェクトが等速で移動し
ていると仮定することを利用した動き量の推定（図１０
を参照のこと）、あるいは、オブジェクトが等加速で移
動していると仮定することを利用した動き量の推定（図
１１を参照のこと）などを適用することができる。

【００７６】線分設定部３３は、入力部１０から入力さ
れた現在画像フレーム上で、注目画素と同じ位置に、注
目点の法線設定部３２から与えられた法線方向に伸びる
所定長の線分すなわち線状画素を設定する。

【００７７】過去画像フレームから現在画像フレームの
間でオブジェクト（人物など）が大きく動いたため、後
段のマッチング部３４において注目画素の対応画素を線
状画素上から検出できない場合がある。このような場合
には、線分設定部３３は、動き推定部３５の推定結果に
応じて注目画素にオフセットを与えた位置に線状画素を
設定するようにすればよい。

【００７８】マッチング部３４は、過去画像フレームと
現在画像フレームの間で、線分設定部３３によって設定
された所定長の線分上で画素毎に注目画素との画素デー
タのマッチングを行う。そして、この線分上で注目画素
と画素データが一致する、あるいは差が閾値内に収まる
ような対応画素が発見された場合には、その線分全体を
緩衝領域の「解」として出力するようになっている（同
上）。

【００７９】また、マッチング部３４の出力を線分設定
部３３にフィードバックして、線分長の決定に利用する
ことができる。例えば、対応画素が発見された位置に応
じて線分長を決定することができる。

【００８０】図２２には、図１２又は図２１に示した緩
衝領域生成部３０による緩衝領域生成処理の手順の一例
をフローチャートの形式で示している。このフローチャ
ートで示された処理は、例えば図６にフローチャートの
形式で示したオブジェクトのエッジ情報抽出処理のステ
ップＳ４に適用される。以下、このフローチャートに従
って、緩衝領域の生成処理について説明する。

【００８１】まず、エッジ抽出部３１によって得られた
過去画像フレームにおけるオブジェクトのエッジ情報に
基づいて、未処理の注目画素を取り出す（ステップＳ１
１）。そして、注目点の法線設定部３２により、過去画
像フレームにおいて注目画素を通過するエッジの法線を
求める（ステップＳ１２）。

【００８２】次いで、線分設定部３３において、現在画
像フレーム上の注目画素と対応する位置に、ステップＳ
１２で求められたエッジの法線方向に伸びる所定長の線
分すなわち線状画素を設定する（ステップＳ１３）。

【００８３】但し、過去画像フレームから現在画像フレ
ームの間でオブジェクト（登場人物など）が大きく動い
たため、後段のマッチング部３４において注目画素の対
応画素を線状画素上から検出できない場合には、線分設
定部３３は、動き推定部３５の推定結果に応じて注目画
素にオフセットを与えた位置に線状画素を設定するよう
にすればよい。

【００８４】次いで、マッチング部３４において、過去
画像フレームと現在画像フレームの間で、線分設定部３
３によって設定された所定長の線状画素上で画素毎に注
目画素との画素データのマッチングを行う（ステップＳ
１４）。

【００８５】そして、マッチングした結果、線状画素上
で、注目画素と画素データ値が一致する、又は差分が所
定の閾値以下となる対応画素が存在するか否かをチェッ
クする（ステップＳ１５）。

【００８６】線状画素上で対応画素を発見できた場合に
は、マッチング部３４は、線状画素上にあるすべての画
素を緩衝領域の「解」であるとして出力する（ステップ
Ｓ１６）。

【００８７】未処理の注目点が残っている場合には（ス
テップＳ１７）、ステップＳ１１に復帰して、上記と同
様の処理を繰り返して実行する。また、オブジェクトの
エッジを構成するすべての注目点について上述した処理
を終了した場合には、本処理ルーチン全体を終了する。

【００８８】他方、ステップＳ１５において、線状画素
上で対応画素を発見できなかったと判断された場合に
は、線状画素の長さを延長して（ステップＳ１８）、ス
テップＳ１４に復帰してマッチング処理を再度試行す
る。但し、線状画素が所定長（例えば、５〜１０画素）
を越えている場合には（ステップＳ１９）、緩衝領域と
して不適切なサイズになるので、本処理ルーチンを異常
終了させる。異常終了した場合、例えば、ユーザ・イン
ターフェース部６０を介した人手入力により緩衝領域を
設定することができる。

【００８９】また、図２３には、図１２又は図２１に示
した緩衝領域生成部３０による緩衝領域生成処理の手順
の他の例をフローチャートの形式で示している。以下、
このフローチャートに従って、緩衝領域の生成処理につ
いて説明する。

【００９０】まず、エッジ抽出部３１によって得られた
過去画像フレームにおけるオブジェクトのエッジ情報に
基づいて、未処理の注目画素を取り出す（ステップＳ２
１）。そして、注目点の法線設定部３２により、過去画
像フレームにおいて注目画素を通過するエッジの法線を
求める（ステップＳ２２）。

【００９１】次いで、線分設定部３３において、現在画
像フレーム上の注目画素と対応する位置に、所定長の線
分すなわち線状画素を設定する（ステップＳ２３）。過
去画像フレームから現在画像フレームの間でオブジェク
トが大きく動いたため、後段のマッチング部３４におい
て注目画素の対応画素を線状画素上から検出できない場
合には、動き推定部３５の推定結果に応じて注目画素に
オフセットを与えた位置に線状画素を設定するようにす
ればよい。

【００９２】次いで、マッチング部３４において、過去
画像フレームと現在画像フレームの間で、線分設定部３
３によって設定された所定長の線状画素上で画素毎に注
目画素との画素データのマッチングを行う（ステップＳ
２４）。

【００９３】そして、マッチングした結果、線状画素上
で、注目画素と画素データ値が一致する、又は差分が所
定の閾値以下となる対応画素が存在するか否かをチェッ
クする（ステップＳ２５）。

【００９４】線状画素上で対応画素を発見できた場合に
は、マッチング部３４は、対応がその位置に応じて線状
画素の線分長を決定して（ステップＳ２６）、この線状
画素上のすべての画素を緩衝領域の「解」であるとして
出力する（ステップＳ２７）。例えば、注目画素に近い
位置で対応画素が発見された場合には、緩衝領域を大き
く設定する必要がないので、線状画素の線分長を短くす
ることで、後段のエッジ抽出部４０による計算量を軽減
することができる。

【００９５】未処理の注目点が残っている場合には（ス
テップＳ２８）、ステップＳ２１に復帰して、上記と同
様の処理を繰り返し実行する。また、エッジ上のすべて
の注目点について処理を終了した場合には、本処理ルー
チン全体を終了する。

【００９６】他方、ステップＳ２５において、線状画素
上で対応画素を発見できなかったと判断された場合に
は、線状画素の長さを延長して（ステップＳ２９）、ス
テップＳ１４に復帰してマッチング処理を再度試行す
る。但し、線状画素が所定長（例えば、５〜１０画素）
を越えている場合には（ステップＳ３０）、緩衝領域と
して不適切なサイズになるので、本処理ルーチンを異常
終了させる。

【００９７】また、図２４には、図１２又は図２１に示
した緩衝領域生成部３０による緩衝領域生成処理の手順
の他の例をフローチャートの形式で示している。以下、
このフローチャートに従って、緩衝領域の生成処理につ
いて説明する。

【００９８】まず、エッジ抽出部３１によって得られた
過去画像フレームにおけるオブジェクトのエッジ情報に
基づいて、未処理の注目画素を取り出す（ステップＳ３
１）。そして、注目点の法線設定部３２により、過去画
像フレームにおいて注目画素を通過するエッジの法線を
求める（ステップＳ３２）。

【００９９】次いで、線分設定部３３において、現在画
像フレーム上の注目画素と対応する位置に、所定長の線
分すなわち線状画素を設定する（ステップＳ３３）。過
去画像フレームから現在画像フレームの間でオブジェク
トが大きく動いたため、後段のマッチング部３４におい
て注目画素の対応画素を線状画素上から検出できない場
合には、動き推定部３５の推定結果に応じて注目画素に
オフセットを与えた位置に線状画素を設定するようにす
ればよい。

【０１００】次いで、マッチング部３４において、過去
画像フレームと現在画像フレームの間で、線分設定部３
３によって設定された所定長の線状画素上で画素毎に注
目画素との画素データのマッチングを行う（ステップＳ
３４）。

【０１０１】そして、マッチングした結果、線状画素上
で、注目画素と画素データ値が一致する、又は差分が所
定の閾値以下となる対応画素が存在するか否かをチェッ
クする（ステップＳ３５）。

【０１０２】線状画素上で対応画素を発見できた場合に
は、連続する複数の注目画素に設定された複数本（又は
所定本数）の線状画素毎に緩衝領域の評価を行う（ステ
ップＳ３６）（上述及び図２０を参照のこと）。

【０１０３】そして、この線状画素上のすべての画素を
緩衝領域の「解」であるとして出力する（ステップＳ３
７）。

【０１０４】未処理の注目点が残っている場合には（ス
テップＳ３８）、ステップＳ２１に復帰して、上記と同
様の処理を繰り返し実行する。また、エッジ上のすべて
の注目点について処理を終了した場合には、本処理ルー
チン全体を終了する。

【０１０５】他方、ステップＳ３５において、線状画素
上で対応画素を発見できなかったと判断された場合に
は、線状画素の長さを延長して（ステップＳ３９）、ス
テップＳ１４に復帰してマッチング処理を再度試行す
る。但し、線状画素が所定長（例えば、５〜１０画素）
を越えている場合には（ステップＳ４０）、緩衝領域と
して不適切なサイズになるので、本処理ルーチンを異常
終了させる。

【０１０６】例えば、図１６に示すような過去画像フレ
ーム（図１７に示すようなオブジェクトのエッジ情報を
持つ）を基に、図２５に示すオブジェクトのエッジ情報
を持つ現在画像フレームに対して緩衝領域生成処理を行
った場合には、図２６に示すような緩衝領域が生成され
る。

【０１０７】図２２〜図２４でそれぞれ示した緩衝領域
の処理手順では、過去画像フレーム中の注目画素と現在
画像フレーム中の対応画素との画素データ値の比較を行
う。この画素データの比較に用いる閾値、すなわち過去
画像フレームと現在画像フレームとで画素データの差分
がどのくらい以内であれば、線状画素が緩衝領域として
正しいとするかが問題となる。

【０１０８】図２８には、過去画像フレームと現在画像
フレームの各々から特定の領域を切り出して、その領域
内での画素データ値を表示している。但し、説明の簡素
化のため、過去画像フレームではオブジェクトの形状す
なわちエッジが既知であるとする。また、エッジが垂直
方向、すなわちその法線方向が水平方向であるとする。
このような場合、現在画像フレームでは、網掛け表示さ
れた範囲が線状画素＃１〜＃５として設定され、図２２
〜図２４に示すフローチャートに従って評価される領域
となる。

【０１０９】図２８には、注目画素との差分の閾値を１
から５まで変えていったときに、図２７に示した各線状
画素＃１〜＃５が「解」として判定されたか否かを、解
であれば"○"で、解でなければ"×"で表記している。ま
た、解であった場合には、そのときに線状画素上で閾値
を越える対応画素の個数を、同図上に併せて表記してい
る。

【０１１０】また、図２９には、注目画素との差分の閾
値を１から５まで変えていったときに、線状画素＃１〜
＃５の範囲内で、「解」と判定された線状画素の個数
（以下、「データａ」とする）と、注目画素との画素デ
ータ値の差分が閾値以下となった画素の個数（以下、
「データｂ」とする）をそれぞれ表記している。

【０１１１】この閾値を変える手法は幾つか想到され
る。まず、マッチする画素や候補領域が少ないときには
閾値を大きくする。そして、多くなれば閾値を小さくす
ればよい。例えば、データａがある所定値以下の場合に
は、差分の閾値を大きくする。また、データｂがある所
定値以上の場合には、差分の閾値を小さくすることがで
きる。

【０１１２】例えば、「この領域の現在の差分閾値が２
で、ある領域で３候補以下の場合には閾値を大きくす
る」という現在の条件が設定されていたとする。このと
き、この領域では２候補が正しいと評価されている。す
なわち、３候補以下なので、閾値を広げ、次回には閾値
を３にして評価する。

【０１１３】あるいは、「現在の差分閾値は４で、ある
マッチングされた画素数の和が８以上の場合には差分閾
値を小さくする」という現在の条件が設定されていたと
する。このとき、マッチングされた画素数の和は１０な
ので、差分閾値を小さくするという処理が実行される。

【０１１４】上述した例では、図２７において縦方向に
積算された情報を用いることになるが、それぞれのライ
ンすなわち線状画素上の最大値や最小値を用いて閾値を
設定するという手法も想到される。例えば、それぞれの
ライン上で差分が閾値以下の画素が３になったラインの
数を縦方向で数えて、その合計を使用する手法や、１つ
の点でも閾値以下の画素がＮ個以上になった場合には閾
値を小さくする手法などをあげることができる。

【０１１５】図３０には、注目画素との画素データ比較
に用いる閾値を設定するための処理手順をフローチャー
トの形式で示している。以下、このフローチャートに従
って、閾値の設定処理について説明する。

【０１１６】まず、初期閾値を導入する（ステップＳ５
１）。

【０１１７】次いで、この閾値を用いて、線状画素で構
成される候補領域内に、注目画素に対応する画素が存在
するか探索する（ステップＳ５２）。

【０１１８】次いで、候補領域で検出された対応画素の
個数をカウントする（ステップＳ５３）。

【０１１９】そして、上述したステップＳ５２〜Ｓ５３
の処理を複数の注目点について、繰り返し実行する（ス
テップＳ５４）。

【０１２０】次いで、カウントされた対応画素の数が少
なすぎるか否かをチェックする（ステップＳ５５）。

【０１２１】カウントされた対応画素数が少な過ぎる場
合には、閾値を広げる（ステップＳ５６）。また、カウ
ントされた対応画素数が少な過ぎない場合には、逆に、
カウントされた対応画素数が多過ぎないかチェックする
（ステップＳ５７）。多過ぎれば、閾値を狭め（ステッ
プＳ５８）、多すぎなければ、閾値をそのままに維持す
る（ステップＳ５９）。

【０１２２】そして、終了判定し（ステップＳ６０）、
判定結果が肯定的であれば本処理ルーチン全体を終了
し、否定的であれば、ステップＳ５２に復帰して、上述
した処理を繰り返し実行する。

【０１２３】次いで、エッジ抽出部４０において、緩衝
領域生成部３０で生成された緩衝領域を利用して、現在
画像フレーム上のオブジェクトのエッジを抽出する処理
について、図３１に示したフローチャートを参照しなが
ら説明する。

【０１２４】まず、緩衝領域を探索して、各線状画素に
ついてエッジに相当する画素を見つけ出す（ステップＳ
７１，Ｓ７２）。

【０１２５】そして、各線状画素におけるエッジ探索の
評価値が閾値以内となる領域を求める（ステップＳ７
３）。

【０１２６】次いで、各線状画素毎に、エッジ候補領域
の重心を求める（ステップＳ７４）。

【０１２７】次いで、各重心間のスムージングを行い
（ステップＳ７５）、スムージングした曲線をエッジと
して出力する（ステップＳ７６）。

【０１２８】図１に示した画像処理装置１によるオブジ
ェクトのエッジ抽出処理の全体フローについては、図６
を参照しながら既に説明した通りである。ここでは、オ
ブジェクトのエッジ抽出処理の他の例について、図３２
に示すフローチャートを参照しながら説明する。

【０１２９】まず、ユーザがユーザ・インターフェース
部６０を介して、ｔ番目の画像フレームにおいて、オブ
ジェクトのエッジ情報の初期値を入力する（ステップＳ
８１）。但し、この段階では、オブジェクトの輪郭をわ
りと大雑把に入力するだけで充分である。

【０１３０】次いで、この人手で入力されたオブジェク
トの輪郭の外形を基に、エッジを抽出して、ｔ番目の画
像フレームについての正確な輪郭情報を求める（ステッ
プＳ８２）。

【０１３１】そして、次のｔ＋１番目の画像フレームに
進み（ステップＳ８３）、緩衝領域生成部３０におい
て、この画像フレームについて、緩衝領域の生成を行う
（ステップＳ８４）。緩衝領域は、ｔ番目の画像フレー
ムで求めたエッジ上の各注目画素におけるエッジの垂線
用いて、ｔ＋１番目の画像フレームにおけるエッジの候
補画素すなわち線状画素を求める。より具体的には、図
２２〜図２４の各図に示したフローチャートが規定する
処理手順に従う。

【０１３２】次いで、ｔ＋１番目の画像フレームにおい
て求めた緩衝領域が良好か否かをチェックする（ステッ
プＳ８５）。緩衝領域が孤立点になったり、緩衝領域が
途切れるなど、生成された緩衝領域が良好でない場合に
は、ユーザ・インターフェース部６０を介した人手入力
により緩衝領域を修正する（ステップＳ９４）。

【０１３３】次いで、エッジ抽出部４０では、求められ
た緩衝領域を基に、ｔ＋１番目の画像フレームにおける
オブジェクトのエッジ情報を抽出する（ステップＳ８
５）。

【０１３４】次いで、抽出されたエッジ情報が良好か否
かをチェックする（ステップＳ８６）。抽出がうまくい
かず、エッジの位置を正確に求めることができなかった
場合には、ユーザ・インターフェース部６０を介した人
手入力により緩衝領域を修正する（ステップＳ９５）。

【０１３５】そして、次のｔ＋２番目の画像フレームに
進み（ステップＳ８８）、緩衝領域生成部３０におい
て、この画像フレームについて、緩衝領域の生成を行う
（ステップＳ８９）。緩衝領域は、ｔ＋１番目の画像フ
レームで求めたエッジ上の各注目画素におけるエッジの
垂線用いて、ｔ＋１番目の画像フレームにおけるエッジ
の候補画素すなわち線状画素を求める。より具体的に
は、図２２〜図２４の各図に示したフローチャートが規
定する処理手順に従う。

【０１３６】次いで、ｔ＋２番目の画像フレームにおい
て求めた緩衝領域が良好か否かをチェックする（ステッ
プＳ９０）。緩衝領域が孤立点になったり、緩衝領域が
途切れるなど、生成された緩衝領域が良好でない場合に
は、ユーザ・インターフェース部６０を介した人手入力
により緩衝領域を修正する（ステップＳ９６）。

【０１３７】次いで、エッジ抽出部４０では、求められ
た緩衝領域を基に、ｔ＋２番目の画像フレームにおける
オブジェクトのエッジ情報を抽出する（ステップＳ９
１）。

【０１３８】次いで、抽出されたエッジ情報が良好か否
かをチェックする（ステップＳ９２）。抽出がうまくい
かず、エッジの位置を正確に求めることができなかった
場合には、ユーザ・インターフェース部６０を介した人
手入力により緩衝領域を修正する（ステップＳ９７）。

【０１３９】そして、次のｔ＋３番目の画像フレームに
進み（ステップＳ９３）、上述と同様の処理を繰り返し
ていく。

【０１４０】このようにして、連続する各画像フレーム
から求められた特定のオブジェクトのエッジ情報を基
に、例えばオブジェクト（登場人物）のトラッキングな
どを行うことができる。

【０１４１】なお、図３２では図示しないが、緩衝領域
の生成において、オブジェクトの動き補正（図９〜図１
１を参照のこと）を採用するようにしてもよい。

【０１４２】上述したような画像処理を、専用のハード
ウェア構成を備えた画像処理装置によって実現すること
も可能であるが、汎用的な処理が可能な一般的な計算機
システム上で、図６、図２２〜図２４、図３０〜図３２
の各フローチャートで示した処理手順をコンピュータ可
読形式で記述した画像処理ソフトウェアを実行するとい
う形態でも、本発明を実装することができる。

【０１４３】図３３には、本発明を実現することができ
る計算機システム１００のハードウェア構成を模式的に
示している。以下、同図を参照しながら、システム１０
０内の各構成要素について説明する。

【０１４４】システム１００のメイン・コントローラで
あるＣＰＵ（Central Processing Unit）１０１は、オ
ペレーティング・システム（ＯＳ）の制御下で、各種の
アプリケーションを実行する。ＣＰＵ１０１は、例え
ば、図６、図２２〜図２４、図３０〜図３２の各フロー
チャートで示した処理手順をコンピュータ可読形式で記
述した画像処理ソフトウェアを実行することができる。
図示の通り、ＣＰＵ１０１は、バス１０８によって他の
機器類（後述）と相互接続されている。

【０１４５】メモリ１０２は、ＣＰＵ１０１において実
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ１０２は、不揮発及び揮発メモリ
双方を含むものと理解されたい。

【０１４６】ディスプレイ・コントローラ１０３は、Ｃ
ＰＵ１０１が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
１０３において処理された描画データは、例えばフレー
ム・バッファ（図示しない）に一旦書き込まれた後、デ
ィスプレイ１１１によって画面出力される。

【０１４７】入力機器インターフェース１０４は、キー
ボード１１２やマウス１１３などのユーザ入力機器を計
算機システム１００に接続するための装置である。

【０１４８】ネットワーク・インターフェース１０５
は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従
って、システム１００をＬＡＮ（Local Area Network）
などの局所的ネットワーク、さらにはインターネットの
ような広域ネットワークに接続することができる。

【０１４９】ネットワーク上では、複数のホスト端末
（図示しない）がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信が行うことができる。例えば、
図６、図２２〜図２４、図３０〜図３２の各フローチャ
ートで示した処理手順をコンピュータ可読形式で記述し
た画像処理ソフトウェアを、ネットワーク経由でダウン
ロードすることができる。また、画像処理の結果として
生成される緩衝領域データを、ネットワーク経由で配信
することもできる。

【０１５０】外部機器インターフェース１０７は、ハー
ド・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ド
ライブ１１５などの外部装置をシステム１００に接続す
るための装置である。

【０１５１】ＨＤＤ１１４は、記憶担体としての磁気デ
ィスクを固定的に搭載した外部記憶装置であり（周
知）、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でＨＤＤ１１４上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、ＨＤ
Ｄ１１４には、ＣＰＵ１０１が実行すべきオペレーティ
ング・システムのプログラム・コードや、アプリケーショ
ン・プログラム、デバイス・ドライバなどが不揮発的に格
納されている。

【０１５２】例えば、図６、図２２〜図２４、図３０〜
図３２の各フローチャートで示した処理手順をコンピュ
ータ可読形式で記述した画像処理ソフトウェアを、ＨＤ
Ｄ１１４上にインストールすることができる。また、画
像処理の結果として生成される緩衝領域データをＨＤＤ
１１４上に保存することもできる。

【０１５３】メディア・ドライブ１１５は、ＣＤ（Compa
ct Disc）やＭＯ（Magneto-Opticaldisc）、ＤＶＤ（Di
gital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。

【０１５４】可搬型メディアは、主として、ソフトウェ
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。例えば、図６、図２２〜図２
４、図３０〜図３２の各フローチャートで示した処理手
順をコンピュータ可読形式で記述した画像処理ソフトウ
ェアを、これら可搬型メディアを利用して複数の機器間
で物理的に流通・配布することができる。また、画像処
理の結果として生成される緩衝領域データを、これら可
搬型メデアを利用して機器間で物理的に流通・配布する
ことができる。

【０１５５】なお、図３３に示すような計算機システム
１００の一例は、米ＩＢＭ社のパーソナル・コンピュー
タ"ＰＣ／ＡＴ（Personal Computer/Advanced Technolo
gy）"の互換機又は後継機である。勿論、他のアーキテ
クチャを備えたコンピュータを、本実施形態に係る計算
機システム１００として適用することも可能である。

【０１５６】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【０１５７】

【発明の効果】以上詳記したように、本発明によれば、
各画像フレーム間でオブジェクトが変形・移動する場合
であっても、各画像フレーム内でのオブジェクトのエッ
ジ情報を好適に抽出することができる、優れた画像処理
装置及び方法、記憶媒体、コンピュータ・プログラムを
提供することができる。

【０１５８】また、本発明によれば、各画像フレーム内
でのオブジェクトのエッジ情報を抽出するための処理時
間や演算量を軽減することができる、優れた画像処理装
置及び方法、記憶媒体、コンピュータ・プログラムを提
供することができる。

【図面の簡単な説明】

【図１】本発明の実現に供される画像処理装置１の機能
構成を模式的に示したブロック図である。

【図２】緩衝領域生成部３０によりオブジェクトのエッ
ジ情報の緩衝領域を生成する様子を説明するための図で
ある。

【図３】緩衝領域生成部３０によりオブジェクトのエッ
ジ情報の緩衝領域を生成する様子を説明するための図で
ある。

【図４】緩衝領域生成部３０によりオブジェクトのエッ
ジ情報の緩衝領域を生成する様子を説明するための図で
ある。

【図５】緩衝領域生成部３０によりオブジェクトのエッ
ジ情報の緩衝領域を生成する様子を説明するための図で
ある。

【図６】画像処理装置１上の動作によって動画像の画像
フレームからオブジェクトのエッジ情報を抽出するため
の処理手順を概略的に示したフローチャートである。

【図７】過去画像フレームから現在画像フレームの間で
オブジェクト（人物など）が大きく動いたため、過去画
像フレームのエッジ情報からは現在画像フレーム上で緩
衝領域を探索できない様子を描写した図である。

【図８】オブジェクトの大動き補正をした様子を描写し
た図である。

【図９】図６に示したステップＳ４で実行されるオブジ
ェクトの大動き補正の処理手順の一例を示した図であ
る。

【図１０】図６に示したステップＳ４で実行されるオブ
ジェクトの大動き補正の処理手順の他の例を示した図で
ある。

【図１１】図６に示したステップＳ４で実行されるオブ
ジェクトの大動き補正の処理手順の他の例を示した図で
ある。

【図１２】緩衝領域生成部３０の一構成例を示した図で
ある。

【図１３】エッジ抽出部３１の一構成例を示した図であ
る。

【図１４】エッジ抽出部３１の他の構成例を示した図で
ある。

【図１５】エッジ抽出部３１の他の構成例を示した図で
ある。

【図１６】過去画像フレームの一例を示した図である。

【図１７】図１６に示す過去画像フレームに対してエッ
ジ抽出部３１でエッジ抽出処理を行った結果を示した図
である。

【図１８】過去画像フレームにおけるオブジェクトのエ
ッジ情報から取り出された注目画素を通過するエッジの
法線を設定する様子を示した図である。。

【図１９】マッチング部３４による注目画素の対応画素
を探索する処理を説明するための図である。

【図２０】連続する複数の注目画素に設定された複数本
（又は所定本数）の線状画素毎に線状画素を評価する処
理手順を説明するための図である。

【図２１】緩衝領域生成部３０の他の構成例を示した図
である。

【図２２】緩衝領域生成部３０による緩衝領域生成処理
の手順の一例を示したフローチャートである。

【図２３】緩衝領域生成部３０による緩衝領域生成処理
の手順の他の例を示したフローチャートである。

【図２４】緩衝領域生成部３０による緩衝領域生成処理
の手順の他の例を示したフローチャートである。

【図２５】現在画像フレームのエッジ情報を例示した図
である。

【図２６】図２５に示す現在画像フレームに対して生成
された緩衝領域を示した図である。

【図２７】過去画像フレームと現在画像フレームの各々
から特定の領域を切り出して、その領域内での画素デー
タ値を表示した図である。

【図２８】注目画素との差分の閾値を１から５まで変え
ていったときに、図２７に示した各線状画素＃１〜＃５
が「解」として判定されたか否かを表記した図である。

【図２９】注目画素との差分の閾値を１から５まで変え
ていったときに、線状画素＃１〜＃５の範囲内で、
「解」と判定された線状画素の個数と、注目画素との画
素データ値の差分が閾値以下となった画素の個数をそれ
ぞれ表記した図である。

【図３０】注目画素との画素データ比較に用いる閾値を
設定するための処理手順を示したフローチャートであ
る。

【図３１】エッジ抽出部４０において、緩衝領域生成部
３０で生成された緩衝領域からオブジェクトのエッジを
抽出する処理手順を示したフローチャートである。

【図３２】画像処理装置１上の動作によって動画像の画
像フレームからオブジェクトのエッジ情報を抽出するた
めの処理手順の他の例を示したフローチャートである。

【図３３】画像処理を実現可能な計算機システム１００
の構成を模式的に示した図である。

【符号の説明】

１０…入力部 ２０…フレーム・メモリ ３０…緩衝領域生成部 ３１…エッジ抽出部 ３２…注目点の法線設定部 ３３…線分設定部 ３４…マッチング部 ３５…動き推定部 ４０…エッジ抽出部 ５０…出力部 ６０…ユーザインターフェース部 １００…計算機システム １０１…ＣＰＵ，１０２…メモリ １０３…ディスプレイ・コントローラ １０４…入力機器インターフェース １０５…ネットワーク・インターフェース １０７…外部機器インターフェース，１０８…バス １１１…ディスプレイ，１１２…キーボード，１１３…
マウス １１４…ハード・ディスク装置，１１５…メディア・ド
ライブ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安藤 一隆 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5L096 BA18 CA04 DA02 FA06 FA60 FA69 GA08 GA28 GA51 HA03 HA05 LA01

Claims (22)

【特許請求の範囲】
1. 【請求項１】画像内のオブジェクトを処理する画像処理
   装置であって、 第１の画像内のオブジェクトに関するエッジ情報を抽出
   するエッジ抽出手段と、 該抽出されたエッジ情報に基づいて注目画素を取り出
   し、第２の画像内で該注目画素の位置に対応する所定長
   の線状画素を設定する線状画素設定手段と、 前記第１の画像内で取り出された該注目画素に対応する
   画素データと、前記第２の画像内で設定された前記線状
   画素の各画素データとを比較する画素データ比較手段
   と、 該比較結果に基づいて、前記第１の画素内で取り出され
   た該注目画素に対応する前記第２の画像内の対応画素を
   特定する対応画素特定手段と、を具備することを特徴と
   する画像処理装置。
2. 【請求項２】前記線状画素設定手段は、前記第１の画像
   内で取り出された該注目画素を通過する前記オブジェク
   トに関するエッジの法線に平行な直線上の複数の画素を
   線状画素として設定する、ことを特徴とする請求項１に
   記載の画像処理装置。
3. 【請求項３】エッジ情報に基づいて取り出されたすべて
   の画素について、前記線状画素設定手段による線状画素
   の設定、前記画素データ比較手段による画素データ比
   較、並びに前記対応画素特定手段による前記第２の画像
   内の対応画素の特定を実行して、得られた対応画素群を
   基に、前記オブジェクトの前記第２の画像内におけるエ
   ッジ情報を抽出するエッジ情報抽出手段をさらに備え
   る、ことを特徴とする請求項１に記載の画像処理装置。
4. 【請求項４】前記線状画素設定手段は、前記対応画素特
   定手段により特定された対応画素の位置に応じて線状画
   素の長さを決定する、ことを特徴とする請求項１に記載
   の画像処理装置。
5. 【請求項５】前記対応画素特定手段は、前記線状画素上
   の画素のうちで前記第１の画像内で取り出された該注目
   画素に対応する画素データとの差が閾値以下となる画素
   データを持つものを対応画素として特定する、ことを特
   徴とする請求項１に記載の画像処理装置。
6. 【請求項６】前記第１の画像内のエッジ情報に基づいて
   取り出された隣接する複数の注目画素における前記画素
   データ比較手段による画素データの比較結果に基づい
   て、前記対応画素特定手段により特定された該複数の注
   目画素における対応画素を評価する対応画素評価手段を
   さらに備える、ことを特徴とする請求項１に記載の画像
   処理装置。
7. 【請求項７】前記対応画素特定手段により対応画素が特
   定されなかった場合、前記線状画素設定手段により設定
   した線状画素の長さを増して、前記画素データ比較手段
   による画素データの比較及び前記対応画素特定手段によ
   る対応画素の特定を改めて行う、ことを特徴とする請求
   項１に記載の画像処理装置。
8. 【請求項８】前記対応画素特定手段により対応画素が特
   定されなかった場合、前記第１の画像及び前記第２の画
   像間での前記オブジェクトの動き量を推定して、該推定
   された動き量に基づいて前記線状画素設定手段により設
   定した線状画素にオフセットを与えて、前記画素データ
   比較手段による画素データの比較及び前記対応画素特定
   手段による対応画素の特定を改めて行う、ことを特徴と
   する請求項１に記載の画像処理装置。
9. 【請求項９】前記対応画素特定手段により対応画素が特
   定されなかった場合、前記第１の画像及び前記第２の画
   像間で前記オブジェクトが等速で動いたと仮定して、該
   仮定された速度から算出される動き量に基づいて前記線
   状画素設定手段により設定した線状画素にオフセットを
   与えて、前記画素データ比較手段による画素データの比
   較及び前記対応画素特定手段による対応画素の特定を改
   めて行う、ことを特徴とする請求項１に記載の画像処理
   装置。
10. 【請求項１０】前記対応画素特定手段により対応画素が
    特定されなかった場合、前記第１の画像及び前記第２の
    画像間で前記オブジェクトが等加速で動いたと仮定し
    て、該仮定された加速度から算出される動き量に基づい
    て前記線状画素設定手段により設定した線状画素にオフ
    セットを与えて、前記画素データ比較手段による画素デ
    ータの比較及び前記対応画素特定手段による対応画素の
    特定を改めて行う、ことを特徴とする請求項１に記載の
    画像処理装置。
11. 【請求項１１】画像内のオブジェクトを処理する画像処
    理方法であって、 第１の画像内のオブジェクトに関するエッジ情報を抽出
    するエッジ抽出ステップと、 該抽出されたエッジ情報に基づいて注目画素を取り出
    し、第２の画像内で該注目画素の位置に対応する所定長
    の線状画素を設定する線状画素設定ステップと、 前記第１の画像内で取り出された該注目画素に対応する
    画素データと、前記第２の画像内で設定された前記線状
    画素の各画素データとを比較する画素データ比較ステッ
    プと、 該比較結果に基づいて、前記第１の画素内で取り出され
    た該注目画素に対応する前記第２の画像内の対応画素を
    特定する対応画素特定ステップと、を具備することを特
    徴とする画像処理方法。
12. 【請求項１２】前記線状画素設定ステップは、前記第１
    の画像内で取り出された該注目画素を通過する前記オブ
    ジェクトに関するエッジの法線に平行な直線上の複数の
    画素を線状画素として設定する、ことを特徴とする請求
    項１１に記載の画像処理方法。
13. 【請求項１３】エッジ情報に基づいて取り出されたすべ
    ての画素について、前記線状画素ステップによる線状画
    素の設定、前記画素データ比較ステップによる画素デー
    タ比較、並びに前記対応画素特定ステップによる前記第
    ２の画像内の対応画素の特定を実行して、得られた対応
    画素群を基に、前記オブジェクトの前記第２の画像内に
    おけるエッジ情報を抽出するエッジ情報抽出ステップを
    さらに備える、ことを特徴とする請求項１１に記載の画
    像処理方法。
14. 【請求項１４】前記線状画素設定ステップでは、前記対
    応画素特定ステップにより特定された対応画素の位置に
    応じて線状画素の長さを決定する、ことを特徴とする請
    求項１１に記載の画像処理方法。
15. 【請求項１５】前記対応画素特定ステップでは、前記線
    状画素上の画素のうちで前記第１の画像内で取り出され
    た該注目画素に対応する画素データとの差が閾値以下と
    なる画素データを持つものを対応画素として特定する、
    ことを特徴とする請求項１１に記載の画像処理方法。
16. 【請求項１６】前記第１の画像内のエッジ情報に基づい
    て取り出された隣接する複数の注目画素における前記画
    素データ比較ステップによる画素データの比較結果に基
    づいて、前記対応画素特定ステップにより特定された該
    複数の注目画素における対応画素を評価する対応画素評
    価ステップをさらに備える、ことを特徴とする請求項１
    １に記載の画像処理方法。
17. 【請求項１７】前記対応画素特定ステップにより対応画
    素が特定されなかった場合、前記線状画素設定ステップ
    により設定した線状画素の長さを増して、前記画素デー
    タ比較手段による画素データの比較及び前記対応画素特
    定ステップによる対応画素の特定を改めて行う、ことを
    特徴とする請求項１１に記載の画像処理方法。
18. 【請求項１８】前記対応画素特定ステップにより対応画
    素が特定されなかった場合、前記第１の画像及び前記第
    ２の画像間での前記オブジェクトの動き量を推定して、
    該推定された動き量に基づいて前記線状画素設定ステッ
    プにより設定した線状画素にオフセットを与えて、前記
    画素データ比較ステップによる画素データの比較及び前
    記対応画素特定ステップによる対応画素の特定を改めて
    行う、ことを特徴とする請求項１１に記載の画像処理方
    法。
19. 【請求項１９】前記対応画素特定ステップにより対応画
    素が特定されなかった場合、前記第１の画像及び前記第
    ２の画像間で前記オブジェクトが等速で動いたと仮定し
    て、該仮定された速度から算出される動き量に基づいて
    前記線状画素設定ステップにより設定した線状画素にオ
    フセットを与えて、前記画素データ比較手段による画素
    データの比較及び前記対応画素特定ステップによる対応
    画素の特定を改めて行う、ことを特徴とする請求項１１
    に記載の画像処理方法。
20. 【請求項２０】前記対応画素特定ステップにより対応画
    素が特定されなかった場合、前記第１の画像及び前記第
    ２の画像間で前記オブジェクトが等加速で動いたと仮定
    して、該仮定された加速度から算出される動き量に基づ
    いて前記線状画素設定ステップにより設定した線状画素
    にオフセットを与えて、前記画素データ比較ステップに
    よる画素データの比較及び前記対応画素特定ステップに
    よる対応画素の特定を改めて行う、ことを特徴とする請
    求項１１に記載の画像処理方法。
21. 【請求項２１】画像内に存在するオブジェクトに関する
    処理をコンピュータ・システム上で実行するように記述
    されたコンピュータ・ソフトウェアをコンピュータ可読
    形式で物理的に格納した記憶媒体であって、前記コンピ
    ュータ・ソフトウェアは、 第１の画像内のオブジェクトに関するエッジ情報を抽出
    するエッジ抽出ステップと、 該抽出されたエッジ情報に基づいて注目画素を取り出
    し、第２の画像内で該注目画素の位置に対応する所定長
    の線状画素を設定する線状画素設定ステップと、 前記第１の画像内で取り出された該注目画素に対応する
    画素データと、前記第２の画像内で設定された前記線状
    画素の各画素データとを比較する画素データ比較ステッ
    プと、 該比較結果に基づいて、前記第１の画素内で取り出され
    た該注目画素に対応する前記第２の画像内の対応画素を
    特定する対応画素特定ステップと、を具備することを特
    徴とする記憶媒体。
22. 【請求項２２】画像内に存在するオブジェクトに関する
    処理をコンピュータ・システム上で実行するようにコン
    ピュータ可読形式で記述されたコンピュータ・プログラ
    ムであって、 第１の画像内のオブジェクトに関するエッジ情報を抽出
    するエッジ抽出ステップと、 該抽出されたエッジ情報に基づいて注目画素を取り出
    し、第２の画像内で該注目画素の位置に対応する所定長
    の線状画素を設定する線状画素設定ステップと、 前記第１の画像内で取り出された該注目画素に対応する
    画素データと、前記第２の画像内で設定された前記線状
    画素の各画素データとを比較する画素データ比較ステッ
    プと、 該比較結果に基づいて、前記第１の画素内で取り出され
    た該注目画素に対応する前記第２の画像内の対応画素を
    特定する対応画素特定ステップと、を具備することを特
    徴とするコンピュータ・プログラム。