JP2000194859A - 被写体形状抽出方法、被写体形状抽出装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 背景の種別や撮影条件などによらず、任意の
被写体画像からその被写体の３次元形状を安定して抽出
することができるようにする。 【解決手段】被写体画像からその被写体の形状を抽出す
る被写体形状抽出装置において、任意の背景を含む被写
体画像を入力する画像入力手段１と、被写体画像から被
写体形状を切り出す画像切り出し手段７と、切り出され
た被写体形状に基づき、被写体に類似する標準３次元形
状モデルの形状を修正する形状修正手段８とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラなどの撮影
手段などにより入力された画像から特定の被写体に関す
る３次元形状モデルを構築する撮像画像処理方法及び装
置に関し、特に、被写体画像から被写体形状を抽出して
３次元形状モデルを構築する被写体形状抽出方法及び装
置に関する。

【０００２】

【従来の技術】従来、撮像して得られる被写体画像か
ら、その被写体に関する３次元形状モデルを構築、復元
する技術としては、例えば、特開平４−３０６７８２号
公報、特公平５−６４３９３号公報、特開平４−８６９
５７号公報、特開平８−２３３５６号公報にそれぞれ開
示されている方法がある。

【０００３】特開平４−３０６７８２号公報に開示され
ている方法では、スリット光を被写体に照射して所定位
置からその被写体を１台のカメラで撮像し、この撮像に
よって得られた被写体画像から特徴点を抽出し、その抽
出した特徴点に基づいて被写体の３次元構造情報を算出
するスリット光投影法（または光切断法）を用い、被写
体画像の各特徴点における３次元座標データを算出す
る。これにより得られた各特徴点における３次元座標デ
ータに基づいて、データベース中に登録されている基本
３次元形状ワイヤーフレームモデルを被写体画像に整合
して３次元形状の復元を行う。

【０００４】特公平５−６４３９３号公報に開示されて
いる方法は、被写体を複数の視線方向から撮影した画像
に基づき、各視線方向から見た被写体の形状を反映する
被写体存在領域を３次元画像空間内の３次元画素（ボク
セル；voxel）の集合として記述し、すべての方向から
見た被写体存在領域の共通領域内の３次元画素の集合を
その３次元空間内の被写体の３次元形状として求めるも
のである。

【０００５】特開平４−８６９５７号公報に開示されて
いる方法は、対象の特徴点位置に近赤外線反射テープや
背景と異なる色相のマーカを付与して対象物を複数方向
から撮像し、得られた画像から標準の３次元形状立体モ
デルを用いて特徴点または線の３次元座標を抽出する方
法である。具体的には、基準となる３次元格子状モデル
の各格子点を各方向から計測した結果と照合し、補間し
て特徴点位置の較正を行い、固定されたカメラ座標系と
基準座標系の間の変換テーブルとの変換テーブルを作成
した後、マーカなどを付けた測定対象を複数方向から撮
像して特徴点の３次元座標化を行うことにより、物体の
３次元形状を求める。

【０００６】また本出願人による特開平８−２３３５６
号公報に開示されている方法は、異なる視点位置におい
て被写体を撮像して得られる複数の画像と、それぞれに
対応する視点位置での３次元形状モデルを見たモデルの
形状を表す画像（シルエットなど）とを比較して、それ
らの対応点間の変位ベクトルを求め、その変位ベクトル
に基づいて３次元形状モデルの立体形状の修正を行うこ
とにより、被写体の３次元形状を求めるものである。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た方法は、それぞれ以下のような問題がある。特開平４
−３０６７８２号公報、特開平４−８６９５７号公報に
記載の方法では、被写体の３次元形状を直接測定する手
段として、スリット光投光手段やマーカを付与する手段
など特別な装置が必要である。このことは、装置の小型
化、低コスト化を図る上で問題となる。さらには、スリ
ット光投射位置またはマーカ付与位置以外の点において
は、補間などの処理により３次元座標を求める必要があ
るため、処理が複雑となるという問題点がある。

【０００８】特公平５−６４３９３号公報に開示されて
いる方法では、視線方向を全方位にわたってまんべんな
くとる必要があるため、処理に時間がかかるという問題
点がある。また特開平８−２３３５６号公報に記載の方
法では、背景として、無地であって色成分が被写体と相
当に異なるものを必要とするので、任意の背景にある被
写体の形状を求めるのは困難である。

【０００９】本発明の目的は、背景の種別や撮影条件な
どによらず、任意の被写体画像からその被写体の３次元
形状を安定して抽出することができる被写体形状抽出方
法及び装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明の被写体形状抽出
方法は、任意の背景を含む被写体画像を入力する画像入
力ステップと、被写体画像から被写体形状を切り出す画
像切り出しステップと、切り出された被写体形状に基づ
き、被写体に類似する標準３次元形状モデルの形状を修
正する立体形状修正ステップと、を有することを特徴と
する。本発明の被写体形状抽出装置は、任意の背景を含
む被写体画像を入力する画像入力手段と、被写体画像か
ら被写体形状を切り出す画像切り出し手段と、切り出さ
れた被写体形状に基づき、被写体に類似する標準３次元
形状モデルの形状を修正する形状修正手段と、を有する
ことを特徴とする。

【００１１】これにより、任意の背景の被写体画像か
ら、被写体の立体形状を簡単かつ確実に求めることがで
きる。

【００１２】また本発明の被写体形状抽出方法は、異な
る視点位置からの特定の被写体についての任意の背景を
含む複数の被写体画像を入力する画像入力ステップと、
複数の被写体画像の一つから被写体形状を切り出す第１
の画像切り出しステップと、既に切り出された被写体形
状に基づき、他の視点位置での被写体画像での被写体領
域の推定を行う被写体領域推定ステップと、推定された
被写体領域の形状に基づいて、当該他の視点位置での被
写体画像から被写体形状の切り出しを行う第２の画像切
り出しステップと、切り出された複数の被写体形状に基
づき、被写体に類似する標準３次元形状モデルの形状を
修正する立体形状修正ステップと、を有することを特徴
とする。これにより、任意の背景の被写体画像から被写
体の立体形状を求める処理の自動化が向上し、また立体
形状を簡単かつ確実に求めることができる。

【００１３】また本発明の被写体形状抽出方法は、任意
の背景を含む被写体画像を入力する画像入力ステップ
と、被写体の形状に類似する所定の標準３次元形状モデ
ルの入力を行う形状モデル入力ステップと、標準３次元
形状モデルを所定視点位置から見た画像を生成する標準
画像生成ステップと、標準画像生成ステップで生成され
た画像の輪郭線データを被写体画像上の所定位置に所定
サイズで初期輪郭として設定する初期輪郭設定ステップ
と、初期輪郭の内部の領域から被写体形状を切り出す画
像切り出しステップと、切り出された被写体形状に基づ
き、標準３次元形状モデルの形状を修正する立体形状修
正ステップと、を有することを特徴とする。これによ
り、任意の背景の被写体画像から被写体の立体形状を求
める処理の自動化がさらに向上し、また立体形状を簡単
かつ確実に求めることができる。

【００１４】さらにまた本発明の被写体形状抽出方法
は、任意の背景を含む被写体画像および対応する視点位
置を入力する画像入力ステップと、被写体画像から被写
体形状を切り出す画像切り出しステップと、切り出され
た被写体形状および被写体形状に対応する視点位置に基
づき、被写体に類似する標準３次元形状モデルの形状を
修正する立体形状修正ステップと、を有することを特徴
とする。これにより、予め画像入力時に視点位置が画像
に付帯して記録されるので、その視点位置に対応する標
準モデル画像の生成の自動化、及び、任意の背景の被写
体画像から被写体の立体形状を求める処理の自動化が図
れる。またその結果として、立体形状を簡単かつ確実に
求めることができる。

【００１５】本発明においては、切り出し処理の確実化
のため、第２の画像切り出しステップが、推定された前
記被写体領域の輪郭を前記被写体画像に重畳して表示す
る輪郭表示ステップと、該表示された輪郭を修正する輪
郭修正ステップとから構成されるようにするとよい。

【００１６】本発明においては、被写体領域推定ステッ
プは、第１の画像切り出しステップの対象となった被写
体画像と当該被写体領域推定ステップでの現視点位置で
の被写体画像間の対応点を抽出し、対応点と当該第１の
画像切り出しステップでの切り出し領域とから現視点位
置での被写体領域を推定することを特徴とする。これに
より、視点位置が異なる多数の被写体画像から被写体の
画像切り出しを行う処理効率が向上し、処理の高速化が
図れる。

【００１７】さらにまた本発明においては、立体形状修
正ステップは、切り出された被写体形状の輪郭線と対応
する標準３次元形状モデルの標準モデル画像の輪郭線と
の間の対応点を抽出し、対応点間の変位ベクトル分布を
求め、変位ベクトルに基づいて標準モデル画像の輪郭線
に対応する標準３次元形状モデル上の各点をその法線方
向に所定量変位させることにより立体形状の修正を行う
ことを特徴とする。これにより、形状修正の自動化が達
成される。

【００１８】本発明においては、３次元形状モデルが少
なくとも一つの関節と該関節間を連結する部分形状とか
らなっていてもよい。

【００１９】さらに本発明においては、標準３次元形状
モデルが少なくとも一つの関節と該関節間を連結する部
分形状とからなるようにし、標準画像生成ステップにお
いて、標準３次元形状モデルの少なくとも一つの関節位
置に関しその関節位置を軸とする部分形状間の相対位置
及び相対姿勢の変化を与える形状変形を行った３次元形
状モデルについての所定視点位置からの画像生成を行う
ようにすることができる。これにより、関節を有する対
象の複雑な形状変化に対応でき、かつ被写体形状抽出の
自動化およびメモリ節約が図られる。

【００２０】本発明において、標準画像生成ステップ
は、標準３次元形状モデルの視点位置を変化させる視点
位置変化ステップと、視点位置から見た前記標準３次元
形状モデルの画像を生成して表示するステップと、視点
位置を選択する視点位置選択ステップと、を有すること
を特徴とする。これにより、様々な視点位置からの標準
モデル画像を記録することなく、任意の複数の視点位置
からの被写体画像からその被写体形状を抽出することが
可能となり、モデルベース立体形状抽出の際の画像デー
タ等に関するメモリ節約が図られる。

【００２１】さらに本発明の被写体形状抽出方法は、任
意の背景を含む被写体画像を入力する画像入力ステップ
と、所定の対称軸または対称面を有する少なくとも一つ
の部分形状から構成される標準３次元形状モデルを入力
する標準モデル入力ステップと、被写体画像から被写体
形状を切り出す画像切り出しステップと、切り出された
被写体形状に基づき、被写体に類似する標準３次元形状
モデルの部分形状を修正する立体形状修正ステップと、
を有することを特徴とする。これにより、比較的複雑な
形状を有する対象であっても、対称軸（面）を有する部
分形状の指示選択などの単純な操作の反復により、背景
の複雑さによらず安定的、かつ確実な立体形状の抽出が
なされる。

【００２２】本発明の被写体形状抽出装置は、画像を表
示する画像表示手段と、ユーザの指示・選択が入力する
指示選択手段と、被写体画像から被写体形状の画像切り
出しを行う画像切り出し手段と、標準３次元形状モデル
を所定の視点位置から見た標準モデル画像を生成する標
準モデル画像生成手段と、標準３次元形状モデルの形状
を修正する形状修正手段とを有し、被写体画像の入力、
被写体画像からの被写体形状の画像切り出し、視点位置
変化または入力、所定視点位置からの標準モデル画像生
成、画像切り出し結果に基づく標準３次元形状モデルの
形状修正、の各処理モードを少なくとも含む処理モード
の選択メニューが所定の方法で画像表示手段に表示され
ることを特徴とする。

【００２３】これにより、被写体画像に基づいて標準立
体形状モデルの修正が行われることになり、その被写体
の立体形状を抽出する処理過程の簡便かつ統合されたユ
ーザインターフェース環境が提供される。すなわちユー
ザは、処理手順の順番の計画をたてる必要がなく、また
中間結果の記録などを視点位置の異なる被写体画像に対
してその都度行うことなく、処理過程のある段階で実行
可能な選択メニューを選択して実行するだけで、最終的
に被写体の立体形状を求めることができる。

【００２４】さらに本発明の被写体形状抽出装置は、任
意の背景を含む被写体画像を入力する画像入力手段と、
被写体の形状に類似する所定の標準３次元形状モデルの
入力を行う形状モデル入力手段と、標準３次元形状モデ
ルを所定視点位置から見た標準モデル画像を生成する標
準モデル画像生成手段と、標準モデル画像の輪郭線デー
タを被写体画像上の所定位置に所定サイズで初期輪郭と
して設定し、初期輸郭内部の領域から被写体形状を切り
出す画像切り出し手段と、切り出された被写体形状に基
づき、標準３次元形状モデルの形状を修正する形状修正
手段と、を有することを特徴とする。これにより、任意
背景下での被写体画像から標準立体形状モデルの画像を
用いて被写体の立体形状を抽出する過程が簡単、かつ確
実に行うことができる。

【００２５】さらにまた本発明の被写体形状抽出装置
は、任意の背景を含む被写体画像を入力する画像入力手
段と、被写体の形状に類似する所定の標準３次元形状モ
デルの入力を行う形状モデル入力手段と、標準３次元形
状モデルの形状を変化させるためのユーザの指示・選択
が入力する指示選択手段と、標準３次元形状モデルを所
定視点位置から見た標準モデル画像を生成する標準モデ
ル画像生成手段と、標準モデル画像の輪郭線データを被
写体画像上の所定位置に所定サイズで初期輪郭として設
定し、初期輪郭内部の領域から被写体形状を切り出す画
像切り出し手段と、切り出された被写体形状に基づき、
標準３次元形状モデルの形状を修正する形状修正手段
と、を有することを特徴とする。これにより、変形可能
な被写体について、任意背景下での被写体画像から標準
立体形状モデルの画像を用いて被写体の立体形状を抽出
する過程を簡単かつ確実に行うことができる。

【００２６】本発明においては、指示選択手段に入力す
る指示・選択によって、標準３次元形状モデルに対し、
少なくとも一つの関節位置を軸とする部分形状間の相対
位置、相対姿勢の変化を与える形状変形が行なわれるよ
うにすることが、好ましい。関節を有する被写体につい
て対応する形状モデルの変形操作を実行することによ
り、より様々な姿態に対応する画像データを用意するこ
となく、少ないデータ量でのモデルベースの被写体形状
抽出が可能になる。

【００２７】

【発明の実施の形態】《第１の実施の形態》図１は、本
発明の第１の実施の形態における被写体形状抽出装置の
要部構成図である。この被写体形状抽出装置は、任意の
背景を含む被写体画像を入力する画像入力手段１と、標
準３次元形状モデルを記憶する標準３次元形状モデル記
憶手段２と、マウスやトラックボールなどポインティン
グデバイスを有する指示選択手段３と、ＣＲＴなどの画
像表示手段４と、ユーザからの指示に応じて視点位置が
入力したり視点位置を変化させる視点位置入力及び変化
手段５と、標準３次元形状モデルについて与えられた視
点からの画像を生成する標準モデル画像生成手段６と、
被写体画像から被写体形状を切り出す画像切り出し手段
７と、標準３次元形状モデルの形状を修正する形状修正
手段８と、処理の過程において被写体画像や標準３次元
形状モデル、視点位置などを格納する一次記憶手段９と
から構成されている。標準３次元形状モデル記憶手段２
は、標準３次元形状モデルの入力を行う形状モデル入力
手段としても機能する。指示選択手段３は、視点位置を
選択する視点位置選択手段としても機能する。

【００２８】さらにこの被写体形状抽出装置では、後述
する説明から明らかになるように、必要に応じて、被写
体画像での被写体の輪郭線と標準モデル画像の輪郭線と
の対応づけを行い、輪郭線どうしの対応点を抽出する輪
郭線対応づけ手段１１（図示破線）と、すでに切り出さ
れた被写体形状に基づき、他の視点位置での被写体画像
の被写体領域の推定を行う被写体領域推定手段１２（図
示破線）とを設けてもよい。

【００２９】この被写体形状抽出装置は、専用のハード
ウェア装置としても、あるいは、汎用のコンピュータ
（演算装置）を利用した装置として構成してもよい。具
体的には、標準モデル画像生成手段６、画像切り出し手
段７及び形状修正手段８（さらには輪郭線対応づけ手段
１１及び被写体領域推定手段１２）は、演算装置の記録
媒体に内蔵されるプログラムとして構成してもよいし、
あるいは、専用ハードウエアとして構成してもよい。ま
た、画像入力手段１に、標準モデル画像生成手段６、画
像切り出し手段７及び形状修正手段８（さらには輪郭線
対応づけ手段１１及び被写体領域推定手段１２）と画像
表示手段４とを内蔵させた構成としてもよい。さらに
は、以下に説明する処理手順のソフトウェアを所定の記
録媒体に記録しておき、そのプログラムを読み出して所
定の演算装置（コンピュータ）で実行してもよい。

【００３０】以下、図１、図２及び図３を参考にして、
各構成手段での処理内容などを具体的に説明する。ここ
ではまず、図２のフローチャートと図３を使用して、こ
の被写体形状抽出装置を用いて本発明に基づく被写体形
状抽出方法を実施する際の基本処理を説明する。図３
(a)〜(d)は、画像表示手段４の画面上に表示されるグラ
フィックユーザインタフェース（ＧＵＩ）画面の例を示
す図である。図３(a)〜(d)において、表示画面８１上の
各選択ボタンのうち、図示斜線が付されているものは、
その選択ボタンが選択されていることを示している。

【００３１】まず、ユーザは、形状を求めようとする被
写体の画像データを画像入力手段１をから一次記憶手段
９に入力する（ステップＳ１）。この場合、図３(a)に
示す表示画面８１上で、「画像入力」という処理モード
選択ボタン８２をマウスなどの指示選択手段３を用いて
押す（クリックする）ことにより、画像データの入力を
行ってもよい。

【００３２】画像入力手段１としては、いわゆる撮影手
段（カメラ、ビデオカメラなど）やスキャナ等の画像入
力機器の他に、画像データベース、あるいは画像記録媒
体からの画像読み出し（ローディング）手段が含まれ
る。画像入力手段１から入力される被写体画像として
は、典型的には、３次元形状を求める被写体がその画像
に含まれるものであって、異なる視点位置からその同一
被写体を撮影したものが用いられる。被写体の背景は静
止していることが望ましいが、それ以外の点に関して
は、本発明においては限定されない。なお、図３に示す
表示画面８１は、画像表示手段４に表示された画面であ
るが、画像入力手段１がファインダーディスプレイを内
蔵する場合には、それに表示してもよい。以下、同様と
する。

【００３３】次に、参照される標準形状モデルを選択す
る（ステップＳ２）。この処理モードヘの移行は、図３
(b)に示す表示画面８１において、「標準形状モデルの
画像表示」の選択ボタン８３をマウス等の指示選択手段
３を用いて押すことなどによってなされる。具体的に
は、様々な種類の標準形状モデルデータを蓄積記憶した
標準３次元形状モデル記憶手段２から一次記憶手段９に
モデルデータの正面画像などをローディング（入力）す
ると、その一覧が画像表示手段４に表示される。ユーザ
はその中から最も被写体に類似するモデルを選択指示す
る。なお、図３(b)はこの結果の表示画面８１の例を示
すものでもある。

【００３４】標準３次元形状モデル記憶手段２に記憶さ
れる３次元形状モデルのデータのタイプとしては、例え
ば、いわゆるワイヤーフレームモデル、サーフェスモデ
ルなどのデータ（「３次元ＣＡＤ入門」、日経コンピュ
ータグラフィックス、１９９３年８月号、pp. 153-16
2）が典型的には用いられる。また、モデルデータは、
形状モデルにテクスチャマッピングを施したＣＧ（コン
ピュータグラフィクス）モデルであってもよい。

【００３５】次に、ユーザが視点位置の設定（ステップ
Ｓ３）を行うと、標準モデル画像生成手段６によって、
その視点位置から見た３次元モデルの画像が生成される
（ステップＳ４）。この結果の表示画面８１の例を図３
(c)に示す。標準モデル画像生成手段６は、３次元モデ
ルを所定位置から見た画像を生成するもので、３次元モ
デルに予めテクスチャデータがマッピングされている場
合には、その視点位置から見た標準モデルの画像を生成
し、テクスチャマッピングがなされていない場合には、
そのシルエット画像、すなわち被写体の輪郭内部を塗り
つぶした画像またはその領域のマスク、あるいは配列デ
ータを生成する。

【００３６】視点位置の選択、設定は、指示選択手段３
（あるいは視点位置入力及び変化手段５）を用いるか、
キーボードからの数値入力により行う。以下、視点位置
の設定の処理について、図４に示すフローチャートと図
５を参照して、簡便な手順の例を具体的に説明する。

【００３７】標準モデル画像生成手段６は、まず、図４
に示すように、画像表示手段４の表示画面上に、標準３
次元形状モデル３１の重心位置を原点とする所定の直交
座標系の軸及び所定半径の球面３０を標準モデル画像に
重畳して表示する（ステップＳ２１）。ユーザは、指示
選択手段３（マウス）を用い、球面３０上の一点を指示
して緯度及び経度を指定することにより、標準モデル３
１の回転軸の方向を定義する（ステップＳ２２）。さら
にユーザが指示選択手段３（視点位置入力及び変化手段
５）の所定のボタンを押し続けると、標準モデル画像生
成手段６は、その回転軸を中心に対象を仮想的に回転し
た際に、仮想的に固定された視点位置から見える対象モ
デルの画像を生成し、時々刻々に画像表示手段４に表示
する（ステップＳ２３）。ユーザは、画像表示手段４上
に表示されたモデル画像を見ながら、被写体画像内の被
写体の形状を最も良く表していると判断したモデル画像
を選択する（例えば、その時点で回転を止めて、マウス
をダブルクリックするなどして選択指示を行う）。する
と、自動的にその画像に対応する視点位置が選択される
（ステップＳ２４）。なお、この視点位置は標準モデル
に固有の対象物中心座標系（この例では上述した直交座
標系）内の位置として与えられるものとする。被写体形
状と標準３次元形状モデル３１の形状が類似するという
前提のもとでは、例えば、標準３次元形状モデル３１が
回転対称軸３２を有する場合には、その回転対称軸３２
を予め球面３０に表示して、ユーザに選択させるように
してもよい。

【００３８】また、画像入力手段１にモニタまたはファ
インダ用のディスプレイが搭載されている場合には、標
準モデル画像生成手段６によって生成される標準モデル
画像を画像入力手段１に送り、そのディスプレイに表示
させてもよい。その場合には、被写体の画像と標準モデ
ルの画像を分割画面で並列表示してもよいし、被写体画
像中に標準モデル画像を重畳表示してもよい。重畳表示
する場合には、標準モデルの領域を着色半透明にして特
殊表示する。あるいは、標準モデルの輪郭線のみを重畳
表示してもよい。このような重畳表示用の標準モデル画
像の生成は、標準モデル画像生成手段６で行ってもよい
し、あるいは、画像入力手段１の内部に重畳表示用画像
生成手段を設けて行ってもよい。

【００３９】以上のようにして、図２のステップＳ３で
の視点位置の選択（設定）及びステップＳ４での標準３
次元モデル画像の生成が完了する。

【００４０】ところで、被写体画像中の被写体のサイズ
と標準モデル画像中の標準モデルのサイズとは一般に異
なるので、実空間の被写体サイズと形状修正後のモデル
のサイズとを合わせるためには、いずれか一方について
のサイズの正規化を行っておく必要があり、この正規化
は、ステップＳ４での３次元モデル画像の生成の後に行
われる（ステップＳ５）。標準モデルのサイズの変更
は、例えば、視点位置と原点との距離を変更することに
より見かけ上実行することができる。この際、被写体画
像の撮影時の（または仮想的な）倍率と典型的な（また
はおよその）被写体サイズを入力することにより、標準
モデルのサイズがスケーリングされる。なお、図３(c)
に示した結果は、以上のようにして視点位置の設定後、
画像サイズの正規化も行われた結果を示す。

【００４１】また前者の被写体サイズの変更は、画像入
力手段１がズーミング機構を有する場合には、そのモニ
タ用ディスプレイなどに表示された被写体画像と標準モ
デル画像を比較しながら、ズーミングなどを行うことに
より調整すればよい。

【００４２】次に、画像表示手段４のＧＵＩ画面におい
て被写体切り出しの選択メニューが選択されると、画像
切り出し手段７において、被写体画像から被写体部分の
領域を切り出す処理を実行する（ステップＳ６）。画像
切り出し手段７は、任意の背景から被写体部分領域を分
離し、抽出するための画像処理演算部である。この処理
モードヘの移行は、図３(d)に示す被写体切り出しの選
択ボタン８４をマウス等の指示選択手段３を用いて押す
（クリックする）ことによってなされる。このとき、被
写体画像から被写体部分の抽出を行う処理モードヘ移行
することについてのユーザヘの確認を促す表示を行って
もよい。なお、図１５(d)は、切り出し処理が行われた
結果も表わす。また複数の切り出し手法から所定の手法
を選択して画像切り出しを行うことができるように、そ
れらの手法の選択メニューをアイコンなどで一覧表示し
てもよい。

【００４３】任意の背景を有する画像から特定の被写体
を切り出すことが可能な処理手順としては、ユーザが指
定した物体または背景上の点の画素値を含む所定範囲の
色成分値を有する領域を選択しながら背景の除去または
抽出被写体の領域指定を繰り返す方法（特開平８−７１
０７号、特開平８−１６７７９号、特開平７−３３４６
７５号の各公報など）がある。また、抽出対象の輪郭線
を含む大まかな粗輪郭線領域または局所領域を指定し、
その指定領域内を細線化またはクラスタリングなどの処
理により対象の境界輪郭線を求めて切り出す方法（特開
平３−２４０８８４号、特開平７−２２５８４７号、特
開平６−２５１１４９号、特開平７−１０７２６６号、
特開平８−７０７５号、特開平８−７７３３６号、特公
平６−４２０６８号、特公平８−２０７２５号の各公報
など）がある。さらに、切り出し対象の画像部分を大ま
かに囲むように閉曲線（または多角形の境界線）を設定
するだけで対象物の形状にほぼ近い切り出しマスク画像
を生成する方法（特許２６４２３６８号、特開平７−３
２２０５４号の各公報）もある。本発明では、入力され
た被写体画像の一つからユーザが指示選択手段３を用い
て被写体部分の領域を分離し、抽出を実行することがで
きればよく、その具体的な手法は問わない。

【００４４】次に、形状修正手段８において標準３次元
モデルの形状の修正を行う（ステップＳ７）。そして、
視点位置を変えて上記の一連の処理（ステップＳ３〜Ｓ
８）を繰り返す必要があるかを判断し（ステップＳ
８）、視点位置を変える必要がなければそのまま処理を
終了し、視点位置を変える必要があればステップＳ３に
戻る。必要に応じて視点位置を変えてステップＳ３から
ステップＳ７までの一連の処理を繰り返すことにより、
被写体の全立体形状を求めることができる。

【００４５】以下、いくつかのケースに分けて、切り出
された領域の形状を用いて標準３次元モデルの形状を修
正する処理手順について説明する。

【００４６】第１に、標準モデルが対称軸（面）を有す
る場合には、その対称軸（面）を含む断面に投影された
標準モデル画像の形状と切り出された被写体領域の形状
とを対称軸を同じくして比較し、その間の差異を対応点
間の変位ベクトルとして抽出し、３次元空間において、
その変位ベクトルに相当する変形を対称軸の種類（回転
対称、軸対称など）に応じて行う。そして、回転対称の
場合には、投影断面において変形された形状を対称軸の
廻りに回転して得られる３次元形状を被写体形状として
求める。なお、曲線どうしの対応点の抽出は既存の手法
を用いればよい。例えば、Ｂスプラインで表現された曲
線どうしの対応付け（マッチング）による方法（"Affin
e-Invariant B-Spline Moments for Curve Matching",
Z. Huangand F. S. Cohen, IEEE Transactions on Imag
e Processing, vol. 5, pp. 1473-1480, 1996)では、標
準モデル画像の輪郭と切り出された被写体画像の輪郭を
予めＢスプライン関数でフィッティングしておき、その
両者を文献による方法で対応づけることによって対応点
が求められる。その他、可変形状テンプレートとその確
率的変形変換処理による方法（"Object Matching Using
Deformable Templates", A. K. Jain et al., IEEE Tr
ansactions on Pattern Analysis and Machine Intelli
gence, vol. 18, pp. 267-278, 1996)、弾性的テンプレ
ートマッチングによる方法（"Visual Image Retrieval
by Elastic Matching of User Sketches", A. Del Bimb
o and P. Pala, IEEE Transactions on Pattern Analys
is andMachine Intelligence, vol. 19, pp. 121-132,
1997）などがある。

【００４７】また第２に、標準モデルが一つの回転対称
軸を有しない場合であって、それが近似的に、対称軸
（面）を有する複数の所定サイズ以上の部品形状に分解
できる場合については、それぞれの対称軸（面）を含む
標準モデルの部品形状と、被写体画像から切り出された
該当する対称軸（面）を有する被写体領域の部分形状と
の比較を行う。このような形状の分解は、予め、標準モ
デルごとに行われているものとする。標準モデルの各部
品の形状は、超２次曲面、ＮＵＲＢＳ（non-uniform ra
tional B-spline）、Ｂスプライン曲面などを用いてパ
ラメトリックに関数表現してもよい。例えば、図６(a)
〜(c)は標準モデルの例を示すものであるが、図６(a)に
示すコーヒーカップは、２つの対称軸（面）に関する２
つの部品形状（図６(b),(c)）から近似的に構成され
る。図６(c)は取っ手の部分の上面図(1)、正面図(2)、
右側面図(3)を示す。上面図と右側面図に示される対称
面は、同一の面を表す。

【００４８】この第２のケースでは、標準モデルの立体
形状の修正は、対称軸（面）を有する場合と同様にし
て、各部品形状ごとに行う。ただし、標準モデルの外側
輪郭線をなす部品形状の輪郭線上の点と被写体領域の輪
郭上の点とについて対応点を求め、さらにそれらの間の
変位ベクトルを求める。そのような処理を行うために
は、図１に示す装置において、被写体画像での輪郭線と
標準モデル画像での輪郭線の対応付けを行い、輪郭線ど
うしの対応点を抽出する輪郭線対応づけ手段１１を設け
ればよい。以下、図７の処理フローを参照して、ここで
の具体的処理手順を説明する。

【００４９】まず、各対称軸（面）を標準モデル画像に
重畳して、画像表示手段４に表示する（ステップＳ１
１）。次に、標準モデルの形状部品と被写体画像上の対
応する部分との対応付けを行う。例えば、ユーザが一つ
の対称軸（面）を選択する（ステップＳ１２）と、対応
する形状部品が同時に選択され、その部分の輪郭（また
は領域）が画像表示手段４上で特定の色などで特殊表示
される（ステップＳ１３）。切り出された被写体画像上
の対称軸（面）の存在する位置に、指示選択手段３を用
いて、モデル標準画像上の選択された対称軸（面）を設
定する（ステップＳ１４）。この設定は、形状部品の対
称軸等の選択、コピー、移動等によって行われる。対称
軸（面）が設定されることにより、形状修正手段８は、
形状部品の輪郭線部分と被写体画像領域上の対応する部
分との対応点を検出し（ステップＳ１５）、それらの間
の変位ベクトルを求める（ステップＳ１６）。以上によ
り、対応点と変位ベクトルが求められる。

【００５０】ステップＳ１４の対称軸（面）の設定にお
いては、例えば、対称軸（面）の近傍でマウスボタンの
ダブルクリック、さらに被写体画像上において対応する
対称軸（面）が存在する位置でのクリックにより、上述
した形状部品画像のコピーおよび移動操作が自動的に実
行される。ユーザが行う操作としては、もちろんこのよ
うな手順に限定されるものではないが、本実施形態のよ
うに最小限の手間で行われることが望ましい。

【００５１】なお、形状部品上の輪郭であって標準モデ
ル上ではもともと他の部品との境界をなしていた輪郭部
分については、対応点の検出は行われないものとする。
該当する対称軸（面）についての標準モデルの形状部品
の変形は、第１の場合と同様に行われる。

【００５２】このようにしてユーザは、標準モデル上の
対称軸（面）を選択し、その対称軸（面）を被写体画像
上の対応する位置へ移動して設定し、さらに被写体切り
出しの実行と部品形状の修正とを一連の処理手順とし
て、各部品形状について繰り返す。ここで対称軸（面）
の向きに関しては、視点位置（視線方向）が標準モデル
画像と被写体画像とでほぼ同じであるという前提なの
で、調整する必要はない。なお、標準モデル画像または
被写体画像のサイズが適切に正規化されている場合に
は、対称軸（面）の同定、すなわち標準モデルの対称軸
（面）と被写体画像での対応する対称軸（面）の決定を
行うことなく、一方の重心と他方の重心とを一致させた
後、各部品ごとに被写体画像上での対応点を抽出して変
位ベクトルを求めてもよい。

【００５３】さらに、切り出された領域の形状を用いた
標準３次元形状モデルの形状の修正の第３の場合とし
て、被写体が対称軸（面）を有さず、また近似的に複数
の対称軸（面）を有する部品形状によっても分解して表
現しようとすると部品のサイズが小さすぎ、また部品点
数が多すぎてしまう場合には、指定された視点位置から
見た標準モデル画像の輪郭線に相当する標準３次元形状
モデル上の稜線について、その法線方向に変位ベクトル
に相当する量だけ各点を移動し、移動後の各点をスムー
ズに連結することにより、立体形状の修正を実行する。
このとき、予め標準３次元形状モデルをＢスプライン曲
面、ＮＵＲＢＳなどの自由曲面の表現手法（「３次元Ｃ
ＡＤ入門」、日経コンピュータグラフィックス、１９９
３年８月号、pp. 153-162）を用いてパラメトリックに
関数表現しておき、上述したように、ある稜線について
変形を行い、次にその変位した稜線部分に対応する制御
点の位置を求めることにより、特定の稜線部分の変位に
滑らかに追随するように、その近傍部分も変形作用を受
けるようにしておいてもよい。なお、第３の場合の立体
形状の修正方法は、他の場合についても当然適用可能で
ある。

【００５４】なお、図３(a)〜(d)に示す表示画面８１上
において、処理のある段階で実行可能な処理のメニュー
を着色などして特殊表示するようにすることもできる。

【００５５】以上の説明では、視点位置を選択後、その
視点からの標準モデル画像を生成し、その後に被写体切
り出し処理と形状モデルの修正を行う手順を示したが、
先に複数の視点位置からの被写体画像について被写体切
り出しを実行し、その後に一括して標準モデル画像の生
成と対応する切り出された被写体画像の選択表示、標準
モデル形状の修正を行ってもよい。いずれにしても、中
間結果などは自動的に所定のメモリに記憶され、処理モ
ードに応じて読み出されるので、ユーザは、処理手順の
順番について詳細に計画を予めたてる必要はない。また
中間結果の記録などを視点位置の異なる被写体画像に対
してその都度行うことなく、処理過程のある段階で実行
可能な選択メニューを選択して実行するだけで、最終的
に被写体の立体形状を求めることができる。

【００５６】《第２の実施形態》関節を有することによ
り比較的自在に形状が変化しうる非剛体（人物、動物な
ど）の形状抽出に本発明を適用する場合について、図８
及び図９を用いて説明する。図８(a),(b)は、関節を有
する対象の形状変形の例を示す図であり、図９は、関節
を有する対象についての標準モデル形状の変形から立体
形状抽出までの過程の処理を示すフローチャートであ
る。被写体形状抽出装置としては、図１に示したものを
使用する。

【００５７】標準３次元形状モデルが関節を有するとし
て、まずユーザが、指示選択手段３を用い、その関節位
置の移動や関節を軸とする所定の形状パーツの回転など
を与えることにより、標準モデルの変形を行う（ステッ
プＳ３１）。形状の変形は、主として、関節をメカニカ
ルなジョイント部分とする各形状パーツ間の相対位置、
相対姿勢が変化することによって与えられる。例えば、
図８(a),(b)に示すごとく、変形を行うべき部分の関節
位置を指示選択手段３により指示して移動を行う。ここ
で図８(a)は移動前を表わし、図８(b)は移動後を表わ
す。図８(a),(b)において□印で表示された部分は関節
を表し、他の部分は形状パーツである。同様にして、特
定の関節とその関節に連結する形状パーツおよび回転軸
を指示して、所望の角度の回転を与えることができる。
このようにして、本実施形態では、それぞれの形状変化
オペレーション（操作）は、ＧＵＩを介して直感的にか
つ簡易に行うことができる。すなわち、関節位置または
パーツの移動では、まず、表示画面上の移動のアイコン
をマウスクリックなどで操作して関節またはパーツを指
示し、さらに、マウスドローを行うことにより、指示さ
れた関節または形状パーツ及びそれに直接または間接的
に連結した他の部分が、物理的に連動して移動する。こ
のような形状操作は、３次元ＣＡＤモデルの手法を用い
ることにより実現することができる。このように被写体
の輪郭と標準モデル画像の輪郭形状とが類似するよう
に、予め設定しておく。

【００５８】被写体画像中の被写体の姿態にほぼ等しく
なるよう標準３次元モデルに所望の形状操作を加えた
後、第１の実施形態の場合と同様に、視点位置を設定し
（ステップＳ３２）、対応する標準モデル画像の生成を
行い（ステップＳ３３）、画像サイズの正規化を実行す
る（ステップＳ３４）。ステップＳ３４において標準モ
デル画像または被写体画像中の被写体部分のサイズの正
規化を行った後、本実施形態では、標準モデル画像の被
写体部分の輪郭線をその重心位置が被写体画像中の被写
体部分とほぼ等しくなるように設定して、初期輪郭とす
る（ステップＳ３５）。次に、初期輪郭の近傍領域の画
像に基づいて被写体の輪郭の抽出（画像切り出し）を行
う（ステップＳ３６）。

【００５９】この場合に適用する画像切り出しの手法の
例としては、動的輪郭（"Snakes: Active Contour Mode
ls", M. Kass, A. Witkin, and D. Terzopoulos, Inter
national Journal of Computer Vision, pp. 321-331,
1988）をべースとした方法がある。動的輪郭法は、エッ
ジ情報から物体の輪郭を抽出する方法であって、輪郭が
滑らかであることとエッジ上にあること等を拘束条件と
して表わしたエネルギー評価関数が最小となるように輪
郭線モデルの変形を行うことにより、物体上の輪郭に収
束させるものである。これを発展させた具体的な手法と
しては、例えば、初期輪郭の近傍領域の画像と被写体部
分の局所的な領域に関する画像の特徴量との差異に基づ
いて動的輪郭の輪郭上の点に内向きまたは外向きの外力
を作用させる手法（例えば、"Region-Based Strategies
for Active Contour Models", R. Ronfard, Internati
onal Journal of Computer Vision, pp. 229-251, 199
4、あるいは、“クラスタリングから得られる領域の記
述に基づく動的な輪郭抽出”、栄藤他、電子情報通信学
会論文誌Ｄ−II, vol. J75-D-II, pp. 1111-1119, 1992
など）がある。なお、第１の実施形態と同様、画像切り
出しの手法については特に限定にするものではないが、
上記の方法は、初期輪郭形状が被写体形状をよく近似す
る条件において自動的に切り出しが実行可能な方法とし
て、望ましい。したがって、上記の方法を採用した場合
には、ユーザの操作としては、基本的には、標準画像の
重心と被写体画像の被写体部分の重心とが一致するよう
に大まかに位置合わせするだけでよい。

【００６０】以上のように画像切り出しを実行したら、
第１の実施形態と同様に、標準形状モデルの修正を行い
（ステップＳ３７）、視点位置の変更が必要かどうかを
判断し（ステップＳ３８）、視点位置の変更が必要なけ
ればそのまま処理を終了し、視点位置の変更が必要であ
ればステップＳ３２に戻ってステップＳ３２〜Ｓ３７の
処理を繰り返す。

【００６１】《第３の実施形態》第３の実施形態の被写
体形状抽出装置では、画像入力手段１として、撮影手段
であって、内部またはその外部に接続する視点位置検出
手段すなわち３次元位置検出手段と、視点位置を画像の
付帯情報として記録する手段を搭載したものを用いる。
図１０は、ここで用いる撮影手段９０の要部構成を示す
ブロック図である。

【００６２】この撮影手段９０は、レンズ制御機構を含
む光学系９１と、光学系９１によって結像した光学像を
映像信号に変換するセンサー手段９２と、映像信号を処
理する映像信号処理手段９３と、各種の制御信号を発生
する制御信号発生手段９４と、撮影された画像（被写体
画像）や標準モデル画像を表示する画像表示手段９５
と、この撮影手段９０の３次元位置を検出する３次元位
置検出手段９６と、映像信号を符号化する画像符号化手
段９７と、視点位置情報及び符号化された映像信号を記
録し出力する画像記録及び出力手段９８とによって構成
されている。この撮影手段９０は被写体を撮影するもの
であるから、撮影手段９０の３次元位置は視点位置その
ものである。制御信号発生手段９４は、映像信号処理手
段９３から出力される映像信号と３次元位置検出手段９
６で検出された視点位置とに基づいて、光学系９１、セ
ンサー手段９２、画像表示手段９５及び画像記録及び出
力手段９８を制御し、画像符号化手段９７に映像信号を
出力する。

【００６３】３次元位置検出手段９６としては、例え
ば、磁気変換手段を備えた３次元位置検出手段（米国Po
lhemus社製など）に代表される非接触計測手段、メカニ
カルジョイントを用いた３Ｄデジタイザ（米国ＡＤＬ
社、Immersion社製など）に代表される接触型計測手
段、あるいは画像計測による方法によるもの（本出願人
による特開平９−１７０９１４号公報など）が用いられ
る。視点位置の絶対値の較正が所定の方法で予めなされ
ている。本実施形態では、磁気変換手段（不図示）を備
えた３次元位置検出手段９６が、撮影手段９０に内蔵さ
れているものとする。

【００６４】次に、第３の実施形態の被写体形状抽出装
置での処理について、図１１のフローチャートを用いて
説明する。

【００６５】まず、被写体画像を撮影手段９０により撮
影する（ステップＳ４１）。撮影時には、被写体画像の
撮影ごとに３次元位置検出手段９６で視点位置を検出す
る（ステップＳ４２）。検出された視点位置は、画像符
号化手段９７により圧縮符号化された画像データととも
に、その画像の付帯情報として所定のフォーマットで画
像記録及び出力手段９８内に記録され（ステップＳ４
３）、あるいは画像記録及び出力手段９８から映像信号
の一部として出力される。その後、撮影が終了かどうか
をチェックして（ステップＳ４４）、終了でない場合に
は、視点位置を変化させ（ステップＳ４５）、ステップ
Ｓ４２の視点位置の検出に戻って、同様の処理を繰り返
す。

【００６６】ステップＳ４４で撮影終了の場合には、被
写体画像の１つを所定の一次記憶手段９（図１）に入力
し、その際、画像に付帯して記録されている撮影手段９
０の視点位置を読み出し（ステップＳ４６）、上述の実
施形態と同様に標準３次元形状モデルの選択を行い、読
み出された視点位置に対応する位置から見た標準３次元
モデルの画像を自動的に生成する（ステップＳ４７）。

【００６７】そして、第２の実施形態と同様に、標準モ
デル画像の輪郭線をユーザが指示選択手段３を用いて被
写体画像上の被写体とほぼ同位置に重ねることにより、
初期輪郭を設定する（ステップＳ４８）。すると、画像
切り出し手段７によって、画像切り出しがほぼ自動的に
行われる（ステップＳ４９）。なお、第１の実施形態に
おいて説明したように、指示選択手段３を用いたマニュ
アル操作により、切り出しを実行してもよい。また画像
切り出し実行後は、上述の各実施形態と同様に、標準３
次元形状モデルの形状修正処理を実行し（ステップＳ５
０）、その後、次の視点位置での被写体画像の処理を行
うか否かを判断し（ステップＳ５１）、処理を行う場合
にはステップＳ４６に戻り、行わない場合にはそのまま
処理を終了する。

【００６８】《第４の実施形態》この第４の実施形態で
は、離散的にサンプリングされた被写体画像（連続多視
点画像）の特定フレームから被写体切り出し（第１の切
り出し処理）を実行し、他のフレームについては、第１
の切り出し処理によって切り出された領域の輪郭形状と
動きベクトルの推定に基づき、切り出しをほぼ自動的に
実行する（第２の切り出し処理）。図１２(a)〜(c)は、
第１の切り出し処理の対象となる特定フレームの選択例
を示す図であり、図１３は、ここでの主な処理手順をフ
ローチャートとして示したものである。ここでは、被写
体形状抽出装置として、図１に示した装置であって被写
体領域推定手段１２を備えたものが使用されるものとす
る。

【００６９】まず、連続的に変わる視点位置からの被写
体画像を撮影し（ステップＳ６１）、上記の実施形態の
いずれかの方法により視点位置の入力（画像の付帯情報
として記録）を行う（ステップＳ６２）。そして、被写
体切り出しをユーザの指示（マニュアル操作）を介して
行うこととなる特定のフレーム（第１の切り出し処理の
対象となるフレーム）を、ユーザ選択あるいは自動処理
によって選択する（ステップＳ６３）。

【００７０】図１２(a)〜(c)は、それぞれ、第１の切り
出し処理の対象となるフレームの選択例を示す図であ
る。選択されたフレームには、斜線が付されている。図
１２(a)は、フレーム番号が一定間隔となるようにフレ
ームを選択する例、すなわち、時間的に等間隔に撮影さ
れたフレームを選択する例を示している。図１２(b)
は、図５に示す球面３０の座標上において、視点位置が
所定角度間隔をなすようにフレームを選択する例を示し
ている。ここで、視点位置に対応する球面３０上の角度
をθとする。図１２(c)は、画像表示手段４上で時系列
的に表示された連続多視点画像から、ユーザが任意に切
り出し処理用のフレームを選択する場合を示している。

【００７１】第１の切り出し処理用のフレームを選択し
たら、選択されたフレームに対し、上述の第１の実施形
態などと同様にユーザの指定によって画像切り出し処理
（第１の切り出し処理）を実行する（ステップＳ６
４）。次に、第１の切り出し処理の対象とはならなかっ
たフレームに対し、そのフレームの画像データと既に切
り出されている領域とを用いて自動的に被写体部分領域
を推定し（ステップＳ６５）、推定された領域に基づい
て画像切り出し処理（第２の切り出し処理）を実行する
（ステップＳ６６）。

【００７２】第１の切り出し処理は、第１の実施形態に
示した方法など、ユーザによるマニュアル操作によって
行えばよい。ただし、自動切り出しが可能な場合にはそ
の限りではない。なお、どのフレーム画像を第１の切り
出し処理の対象にするかに関しては、予め固定したフレ
ーム間隔ではなく、ユーザが任意に設定するようにして
もよい。

【００７３】次に、第２の切り出し処理による画像切り
出しについて、図１４のフローチャートを用いて説明す
る。ここでは、図１２(b)に示すように、視点位置の間
隔がフレーム間で一定の角度幅をなすように、連続多視
点画像が取り込まれているものとする。説明の便宜上、
所定の回転軸の廻りに不定間隔の角度幅で螺旋状に順に
画像データがサンプリングされているものとする。な
お、他のサンプリングの仕方としては、緯度の低い方か
ら高い方へ、かつ経度の低い方から高い方へ、球面３０
（図５参照）上の赤道面と平行な面内で緯度固定のまま
順に撮影し、一周したら次の緯度レベルで一周する要領
で被写体画像の撮影を行うやり方でもよい。被写体領域
の推定は、被写体領域推定手段１２によって行われる。

【００７４】まず、未だ画像切り出しが実行されていな
い現フレームに関して、既に画像切り出しが実行されて
いる画像のうち隣接する視点位置または最も近い視点位
置のフレーム（以下、フレームＡという）を抽出する
（ステップＳ１０１）。その画像について、第１の切り
出し処理による画像切り出しによって得られた領域を現
フレームの関心領域として定義する（ステップＳ１０
２）。次に、関心領域の輪郭線上の各点に対して、現フ
レーム画像内の対応点位置を抽出する（ステップＳ１０
３）。対応点は、関心領域内の各画素ごとに求めてもよ
い。対応点抽出は、例えば、公知の動きベクトル検出手
段または対応点抽出手段を用いて、行うことができる。

【００７５】次に、上述のようにして得られた関心領域
の輪郭線に関する対応点どうしを滑らかに連結して得ら
れる輪郭線を初期輪郭線とする（ステップＳ１０４）。
関心領域内の各点について対応点抽出を行った場合に
は、その対応点存在領域についての輪郭線でもよい。そ
の結果、初期輪郭線内部の領域が推定された被写体領域
となる。初期輪郭が定まった後は、前述した各実施形態
の方法により、ほぼ自動的に、画像切り出し処理（第２
の切り出し処理）が実行される（ステップＳ１０５）。
具体的には、第１の切り出し処理の結果得られたフレー
ムＡ内の被写体領域の画像データと背景領域の画像デー
タ、現フレームに対して設定された初期輪郭線、及び現
フレームの画像データとを用いて第２の実施形態で挙げ
た手法を用いる。すなわち、現フレーム上の初期輪郭の
近傍領域の画像とフレームＡの対応する被写体部分の局
所的な領域に関する画像特徴量との差異に基づいて、動
的輪郭の輪郭上の点に、内向きまたは外向きの外力を作
用させる手法（例えば、"Region-Based Strategies for
Active Contour Models", R. Ronfard, International
Journal of Computer Vision, pp. 229-251, 1994、あ
るいは、“クラスタリングから得られる領域の記述に基
づく動的な輪郭抽出”、栄藤他、電子情報通信学会論文
誌Ｄ−II, vol. J75-D-II, pp. 1111-1119, 1992など）
が、好適に用いられる。

【００７６】以上のようにして第２の切り出し処理が行
われると、次に、視点位置入力及び変化手段５により、
視点位置を入力する（ステップＳ６７）。すると、標準
３次元形状モデルの選択が行われ、画像生成手段６は、
選択された標準３次元形状モデルの標準モデル画像を生
成し（ステップＳ６８）、画像表示手段４にその標準モ
デル画像を表示する。さらに、入力された視点位置に対
応する被写体領域（切り出し処理結果）の輪郭線が入力
され（ステップＳ６９）、標準モデル画像の輪郭線と被
写体領域の輪郭線との対応付けと輪郭線上の各点での変
位ベクトルの算出が行なわれる（ステップＳ７０）。こ
の変位ベクトルに基づき、第１の実施形態と同様にし
て、標準モデルの立体形状修正が行われる（ステップＳ
７１）。その後、処理を継続するか、すなわち視点位置
を変えて同様の処理を繰り返すかどうかを判断し（ステ
ップＳ７１）、継続する場合にはステップＳ６７に戻
り、係属しないときには処理をそのまま終了する。以上
の処理によって、被写体の全立体形状が求まる。

【００７７】なお、この第４の実施形態における第１の
切り出し処理は、視点位置変化によって生ずる被写体の
形状変化が顕著な場合に、それぞれの異なる形状につい
て代表的な画像フレームに対して実行すると特に有効で
あり、視点位置によって被写体形状があまり変化して見
えない場合には、一つの視点位置についてのみ第１の切
り出し処理を行えばよい。

【００７８】以上の説明では、形状修正に先だって、一
括して全フレームについての切り出し処理を実行するよ
うにしたが、前記各実施形態と同様に、各視点位置の入
力ごとに標準モデル画像を生成し、その結果得られる標
準モデルの輪郭線に基づいて、被写体切り出し及び標準
モデル形状の修正を行ってもよい。

【００７９】《第５の実施形態》この実施形態では、標
準３次元形状モデルにおける凸部の修正は、被写体画像
の画像切り出しによって得られる形状に基づいて上記各
実施形態と同様に行い、凹部の修正については、いわゆ
る濃淡（陰影）からの形状復元という手法（"Numerical
shape from shading and occluding boundaries", K.
Ikeuchi and B. K. P. Horn, Artificial Intelligenc
e, vol. 17, pp. 141-184, 1981；“ヒトの濃淡画像か
らの３次元形状推定に関する一つのモデル”、マナス
サンワラジ他、信学論(D-II), J-73-D-II, pp. 1789-17
91, 1990など）、またはいわゆる光投影法（三次元画像
計測、井口、佐藤著、昭晃堂）を用いて実行する。濃淡
から形状を求める手法では、光源の位置が既知であるこ
と、対象物自身の形状に起因して生じる陰影が対象物自
身の表面に投影されていないこと、対象物の面の性質
（拡散面か反射面かどうか等）が既知であることなどを
前提とする。なお、本実施形態では、予め標準３次元形
状モデル上の凹部となる部分が特定されているものとす
る。また、濃淡からの形状復元の古典的手法を適用する
に際しては、凹部の輪郭部分が画像切り出し処理により
特定され、かつその輪郭線の各点の３次元空間内法線方
向も標準モデルを参照して与えることができるという前
提で処理される。

【００８０】以下、図１５に示すフローチャートを参照
して具体的処理手順について説明する。

【００８１】まず、第１の実施形態の場合と同様に、被
写体画像の入力（ステップＳ８１）、標準形状モデルの
選択（ステップＳ８２）、視点位置の選択（ステップＳ
８３）、標準モデル画像の生成（ステップＳ８４）及び
画像サイズの正規化（ステップＳ８５）を実行する。こ
れ以降、被写体画像からの画像切り出しや形状抽出処理
は、被写体での凹部と凸部とに分かれて行われる。

【００８２】凹部については、標準モデル画像を画像表
示手段４に表示する際、特定色を用いるなどによって、
一見してそれが凹部であると予め決められたルールによ
り分かるように表示されているものとする。そして、ユ
ーザが凹部の１つを選択すると（ステップＳ８６）、選
択部分の凹部がまた別の特定色で表示される。次に、切
り出された被写体画像上の凹部に相当する部分と、標準
モデル画像の凹部との対応づけが行われる（ステップＳ
８７）。この対応づけは、例えば、第１の実施形態での
第２のケースにおけるのと同様の操作によって実行され
る。すなわち、対応するモデル標準画像上の選択された
凹部を指示選択手段３を用いて被写体画像上の対応する
位置に置くことにより、特定の凹部部分のコピー、移
動、貼り付けに相当する画像操作が実行される。次に、
被写体画像上に設定された標準モデルの凹部領域を初期
輪郭として、その近傍で被写体画像上凹部領域の抽出
（切り出し）を実行する（ステップＳ８８）。被写体画
像上での対応する凹部の画像領域の抽出は、領域どうし
の対応付けが行える方法であれば、以上と異なる方法で
実行しても構わない。例えば、標準モデル画像と被写体
画像とを異なる小画面にそれぞれ表示し、一方で標準モ
デル画像の凹部の指定、他方でその凹部に相当する部分
の切り出しを第１の実施形態と同様の方法で独立して実
行してもよい。

【００８３】以上のようにして凹部の選択と領域抽出が
なされると、既に言及した方法によって、凹部に関する
立体形状抽出が自動的に実行され（ステップＳ８９）、
さらに、標準モデルの対応する凹部の立体形状が修正さ
れる（ステップＳ９０）。

【００８４】一方、ステップＳ８５での画像サイズの正
規化後、上記の凹部の形状抽出と形状修正過程とは別
に、凸部に関し、前述の各実施形態と同様の手順で、被
写体の外形状の抽出、すなわち、被写体切り出し処理
（ステップＳ９１）と、その結果得られた輪郭形状に基
づく標準３次元形状モデルの修正処理（ステップＳ９
２）を実行する。切り出し処理が自動化されていれば、
この凹部と凸部の各処理過程を同時並列的に行い、ユー
ザには単に結果（立体形状の修正結果など）だけを示す
ようにしても良い。

【００８５】ステップＳ９０、ステップＳ９２の終了
後、次の視点位置に移って処理を継続するかを判断し
（ステップＳ９３）、継続すべきであるときはステップ
Ｓ８３に戻り、そうでない場合にはそのまま処理を終了
する。これにより、以上の２つの処理過程（凹部と凸
部）を視点位置を変えながら繰り返し、被写体形状が十
分に求まった時点で処理を終了するようにする。

【００８６】以上説明した被写体形状抽出装置は、汎用
のパーソナルコンピュータやワークステーションなどの
計算機に画像入力手段１（あるいは図１０に示す撮像手
段９０）を接続し、被写体形状抽出を実行するための計
算機プログラムをその計算機に読み込ませ、そのプログ
ラムを実行させることによっても実現できる。被写体形
状抽出を行うためのプログラムは、磁気テープやＣＤ−
ＲＯＭなどの記録媒体によって、計算機に読み込まれ
る。図１６は、被写体形状抽出装置を構成する計算機シ
ステムの構成を示すブロック図である。

【００８７】この計算機システムは、中央処理装置（Ｃ
ＰＵ）２１と、プログラムやデータ、さらには標準３次
元形状モデルを格納するためのハードディスク装置２２
と、主メモリ２３と、キーボード２４と、画像表示手段
４に相当するＣＲＴなどの表示装置２５と、磁気テープ
やＣＤ−ＲＯＭ等の記録媒体２７を読み取る読み取り装
置２６と、指示選択手段３として使用されるマウス２８
から構成されている。ハードディスク装置２２、主メモ
リ２３、入力装置２４、表示装置２５及び読み取り装置
２６は、いずれも中央処理装置２１に接続し、また、画
像入力手段１も中央処理装置２１に接続している。ま
た、ハードディスク装置２２及び主メモリ２３は一次記
憶手段９として機能する。この計算機では、被写体形状
抽出のための上述した各処理手順、特に、標準モデル画
像生成手段６、画像切り出し手段７及び形状修正手段８
（さらには輪郭線対応づけ手段１１及び被写体領域推定
手段１２）での処理手順を実行するためのプログラムを
格納した記録媒体２７を読み取り装置２６に装着し、記
録媒体２７からプログラムを読み出してハードディスク
装置２２に格納し、ハードディスク装置２２に格納され
たプログラムを中央処理装置２１が実行することによ
り、上述した各処理手順が実行され、被写体形状の抽出
が行われる。

【００８８】

【発明の効果】以上説明したように本発明は、被写体画
像に基づいて標準３次元形状モデルを修正することによ
り、被写体の立体形状を求める処理過程において、画像
サイズの正規化と被写体切り出し処理を行って得られる
領域の輪郭形状を用いて、標準３次元形状モデルの修正
を行うようにしたので、背景の種別、または倍率などの
撮影条件によらずに、任意の被写体画像から安定して被
写体形状の抽出を行うことができるようになるという効
果がある。

【００８９】また本発明は、所定視点位置からの標準形
状モデルの輪郭線を利用して任意背景からの被写体切り
出しを実行し、また切り出された形状に基づいて標準モ
デルの形状修正を行うことにより、任意の背景で撮影さ
れた被写体画像から被写体の３次元形状を簡単に求める
ことができるという効果がある。

【００９０】さらに本発明によれば、一つも対称軸
（面）を有しない対象の立体形状も対称軸（面）を有す
る形状部品に近似的に分解し、形状部品ごとに対応する
被写体画像からその部品に相当する部分形状を切り出
し、また標準形状モデルの部品形状を修正する処理を行
うようにしたので、比較的複雑な形状を有する対象物で
も形状の抽出処理が高速かつ簡単に行うことができる。

【００９１】さらにまた本発明によれば、関節を有する
標準３次元形状モデルを関節の移動などに追随する変形
を行った後、得られる所定視点位置からの画像の輪郭線
を利用して被写体画像から被写体部分の形状抽出と標準
３次元モデルの形状修正を行うようにしたので、比較的
少ないデータ（標準モデル）を用いて、関節を有して比
較的自在に変形する対象物の形状抽出が簡単にできる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の被写体形状抽出装
置の構成を示す要部ブロック図である。

【図２】本発明に基づく被写体形状抽出方法の基本処理
を示すフローチャートである。

【図３】(a)〜(d)は、本発明に基づく被写体形状抽出装
置におけるグラフィックユーザインターフェース画面の
例及び途中結果の表示例を示す図である。

【図４】視点位置の設定手順の処理を示すフローチャー
トである。

【図５】視点位置設定時の補助球面の表示例を示した図
である。

【図６】(a)〜(c)は、標準モデルの例を示す図である。

【図７】被写体が一つも回転対称軸を有しない形状の場
合における、形状部品ごとの立体形状抽出過程の処理を
示すフローチャートである。

【図８】(a),(b)は、関節を有する対象の形状変形の例
を示す図である。

【図９】関節を有する対象についての標準モデル形状の
変形から立体形状抽出までの過程の処理を示すフローチ
ャートである。

【図１０】３次元位置検出手段と視点位置を画像の付帯
情報として記録する手段とを搭載した撮影手段の要部構
成を示すブロック図である。

【図１１】図１０に示す撮影手段を用いて画像入力を行
う際の、被写体形状抽出過程の処理を説明するフローチ
ャートである。

【図１２】(a)〜(c)は、連続多視点画像から第１の画像
切り出しによって切り出されるフレームの選択例を示す
図である。

【図１３】連続的に視点位置が変化する多視点画像列を
入力して行う際の被写体形状抽出過程の処理を説明する
フローチャートである。

【図１４】連続多視点画像列から第２の切り出し処理を
実行する過程の処理を説明するフローチャートである。

【図１５】対象の凹部については陰影からの形状などの
手法を併用して選択的に形状抽出を行う過程の処理を説
明するフローチャートである。

【図１６】被写体形状抽出装置を構成する計算機システ
ムの構成を示すブロック図である。

【符号の説明】

１ 画像入力手段 ２ 標準３次元形状モデル記憶手段 ３ 指示選択手段 ４ 画像表示手段 ５ 視点位置入力及び変化手段 ６ 標準モデル画像生成手段 ７ 画像切り出し手段 ８ 形状修正手段 ９ 一次記憶手段 １１ 輪郭線対応づけ手段 １２ 被写体領域推定手段 ２１ 中央処理装置 ２２ ハードディスク装置 ２３ 主メモリ ２４ キーボード ２５ 表示装置 ２６ 読み取り装置 ２７ 記録媒体 ２８ マウス ８１ 表示画面 ９０ 撮影手段 ９１ 光学系 ９２ センサー手段 ９３ 映像信号処理手段 ９４ 制御信号発生手段 ９５ 画像表示手段 ９６ ３次元位置検出手段 ９７ 画像符号化手段 ９８ 画像記録及び出力手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 近藤 俊明 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 2F065 AA04 AA53 BB05 CC16 DD02 DD06 DD07 FF01 FF04 FF05 FF67 JJ03 JJ19 JJ26 QQ01 QQ24 QQ25 QQ31 QQ37 QQ38 QQ42 RR03 SS02 SS13 5L096 CA03 EA35 FA06 9A001 HH28 HH29

Claims (39)

【特許請求の範囲】
1. 【請求項１】 被写体画像からその被写体の形状を抽出
   する被写体形状抽出方法において、 任意の背景を含む被写体画像を入力する画像入力ステッ
   プと、 前記被写体画像から被写体形状を切り出す画像切り出し
   ステップと、 切り出された被写体形状に基づき、前記被写体に類似す
   る標準３次元形状モデルの形状を修正する立体形状修正
   ステップと、を有することを特徴とする被写体形状抽出
   方法。
2. 【請求項２】 被写体画像からその被写体の形状を抽出
   する被写体形状抽出 方法において、異なる視点位置からの特定の被写体につ
   いての任意の背景を含む複数の被写体画像を入力する画
   像入力ステップと、 前記複数の被写体画像の一つから被写体形状を切り出す
   第１の画像切り出しステップと、 既に切り出された被写体形状に基づき、他の視点位置で
   の前記被写体画像での被写体領域の推定を行う被写体領
   域推定ステップと、 推定された被写体領域の形状に基づいて、当該他の視点
   位置での被写体画像から被写体形状の切り出しを行う第
   ２の画像切り出しステップと、 切り出された複数の前記被写体形状に基づき、前記被写
   体に類似する標準３次元形状モデルの形状を修正する立
   体形状修正ステップと、を有することを特徴とする被写
   体形状抽出方法。
3. 【請求項３】 被写体画像からその被写体の形状を抽出
   する被写体形状抽出方法において、 任意の背景を含む被写体画像を入力する画像入力ステッ
   プと、 前記被写体の形状に類似する所定の標準３次元形状モデ
   ルの入力を行う形状モデル入力ステップと、 前記標準３次元形状モデルを所定視点位置から見た画像
   を生成する標準画像生成ステップと、 前記標準画像生成ステップで生成された画像の輪郭線デ
   ータを前記被写体画像上の所定位置に所定サイズで初期
   輪郭として設定する初期輪郭設定ステップと、前記初期
   輪郭の内部の領域から被写体形状を切り出す画像切り出
   しステップと、 切り出された被写体形状に基づき、前記標準３次元形状
   モデルの形状を修正する立体形状修正ステップと、を有
   することを特徴とする被写体形状抽出方法。
4. 【請求項４】 被写体画像からその被写体の形状を抽出
   する被写体形状抽出 方法において、 任意の背景を含む被写体画像および対応する視点位置を
   入力する画像入力ステップと、 前記被写体画像から被写体形状を切り出す画像切り出し
   ステップと、 切り出された被写体形状および前記被写体形状に対応す
   る前記視点位置に基づき、前記被写体に類似する標準３
   次元形状モデルの形状を修正する立体形状修正ステップ
   と、を有することを特徴とする被写体形状抽出方法。
5. 【請求項５】 前記第２の画像切り出しステップが、推
   定された前記被写体領域の輪郭を前記被写体画像に重畳
   して表示する輪郭表示ステップと、該表示された輪郭を
   修正する輪郭修正ステップとを有する請求項２に記載の
   被写体形状抽出方法。
6. 【請求項６】 前記被写体領域推定ステップが、前記第
   １の画像切り出しステップの対象となった被写体画像と
   当該被写体領域推定ステップでの現視点位置での被写体
   画像間の対応点を抽出するステップと、該対応点と当該
   第１の画像切り出しステップでの切り出し領域とから前
   記現視点位置での被写体領域を推定するステップとを有
   する請求項２に記載の被写体形状抽出方法。
7. 【請求項７】 前記立体形状修正ステップが、切り出さ
   れた被写体形状の輪郭線と対応する標準３次元形状モデ
   ルの標準モデル画像の輪郭線との間の対応点を抽出する
   対応点抽出ステップと、該対応点間の変位ベクトル分布
   を求める変位ベクトル抽出ステップと、該変位ベクトル
   に基づいて前記標準モデル画像の輪郭線に対応する前記
   標準３次元形状モデル上の各点をその法線方向に所定量
   変位させることにより立体形状の修正を行うステップ
   と、を有する請求項３または４に記載の被写体形状抽出
   方法。
8. 【請求項８】 前記標準３次元形状モデルが少なくとも
   一つの関節と該関節間を連結する部分形状とからなる請
   求項１乃至４いずれか１項に記載の被写体形状抽出方
   法。
9. 【請求項９】 前記標準３次元形状モデルが少なくとも
   一つの関節と該関節間を連結する部分形状とからなり、
   前記標準画像生成ステップでは、前記標準３次元形状モ
   デルの少なくとも一つの関節位置に関しその関節位置を
   軸とする前記部分形状間の相対位置及び相対姿勢の変化
   を与える形状変形を行った３次元形状モデルについての
   所定視点位置からの画像生成を行う、請求項３に記載の
   被写体形状抽出方法。
10. 【請求項１０】 前記標準画像生成ステップが、前記標
    準３次元形状モデルの視点位置を変化させる視点位置変
    化ステップと、前記視点位置から見た前記標準３次元形
    状モデルの画像を生成して表示するステップと、視点位
    置を選択する視点位置選択ステップと、を有する請求項
    ３に記載の被写体形状抽出方法。
11. 【請求項１１】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出方法において、 任意の背景を含む被写体画像を入力する画像入力ステッ
    プと、 所定の対称軸または対称面を有する少なくとも一つの部
    分形状から構成される標準３次元形状モデルを入力する
    標準モデル入力ステップと、 前記被写体画像から被写体形状を切り出す画像切り出し
    ステップと、 切り出された被写体形状に基づき、前記被写体に類似す
    る標準３次元形状モデルの前記部分形状を修正する立体
    形状修正ステップと、を有することを特徴とする被写体
    形状抽出方法。
12. 【請求項１２】 前記標準３次元形状モデルを所定視点
    位置から見た標準モデル画像を生成して表示ステップ
    と、該標準モデル画像上に前記部分形状の対称軸または
    対称面を所定の方法で表示するステップと、をさらに有
    する請求項１１に記載の被写体形状抽出方法。
13. 【請求項１３】 前記立体形状修正ステップが、前記部
    分形状上の輪郭点と前記被写体画像の対応する部分の輪
    郭点との対応付けを行う対応点抽出ステップと、前記対
    応点抽出ステップで抽出された対応点間の変位ベクトル
    分布を求める変位ベクトル抽出ステップと、前記変位ベ
    クトル及び前記対称軸または対称面の種類に基づいて前
    記部分形状上の所定範囲内の点を所定量変位させる部分
    形状変形ステップと、を有する請求項１１に記載の被写
    体形状抽出方法。
14. 【請求項１４】 前記立体形状修正ステップが、前記標
    準３次元形状モデルに関する画像または前記被写体画像
    のいずれか一方を他方に移動して重ね合わせる画像操作
    を含む、請求項１，２，３，４及び１１のいずれか１項
    に記載の被写体形状抽出方法。
15. 【請求項１５】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出方法において、 任意の背景を含む被写体画像を入力する画像入力ステッ
    プと、 前記被写体に類似する形状の標準３次元形状モデルの画
    像を入力するステップと、 前記被写体画像での前記被写体の輪郭線と前記３次元形
    状標準モデルの画像の輪郭線との対応づけを行い、前記
    輪郭線どうしの対応点を抽出する輪郭線対応づけステッ
    プと、 前記輪郭線間の対応づけに基づき標準３次元形状モデル
    の立体形状を修正する立体形状修正ステップと、を有す
    ることを特徴とする被写体形状抽出方法。
16. 【請求項１６】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 任意の背景を含む被写体画像を入力する画像入力手段
    と、 該被写体画像から被写体形状を切り出す画像切り出し手
    段と、 切り出された被写体形状に基づき、前記被写体に類似す
    る標準３次元形状モデルの形状を修正する形状修正手段
    と、を有することを特徴とする被写体形状抽出装置。
17. 【請求項１７】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 画像を表示する画像表示手段と、 ユーザの指示・選択が入力する指示選択手段と、 前記被写体画像から被写体形状の画像切り出しを行う画
    像切り出し手段と、 標準３次元形状モデルを所定の視点位置から見た標準モ
    デル画像を生成する標準モデル画像生成手段と、 前記標準３次元形状モデルの形状を修正する形状修正手
    段とを有し、 前記被写体画像の入力、前記被写体画像からの前記被写
    体形状の画像切り出し、視点位置変化または入力、前記
    所定視点位置からの標準モデル画像生成、画像切り出し
    結果に基づく前記標準３次元形状モデルの形状修正、の
    各処理モードを少なくとも含む処理モードの選択メニュ
    ーが所定の方法で前記画像表示手段に表示されることを
    特徴とする被写体形状抽出装置。
18. 【請求項１８】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 異なる視点位置から特定の被写体についての任意の背景
    を含む複数の被写体画像を入力する画像入力手段と、 前記被写体画像から被写体形状の切り出しを行う画像切
    り出し手段と、 既に切り出された被写体形状に基づき、他の視点位置で
    の被写体画像の被写体領域の推定を行う被写体領域推定
    手段と、 切り出された複数の被写体形状に基づき、前記被写体に
    類似する標準３次元形状モデルの形状を修正する形状修
    正手段と、を有し、 前記画像切り出し手段が、前記複数の被写体画像の一つ
    から被写体形状を切り出す第１の画像切り出しと、推定
    された前記被写体領域の形状に基づいて、当該他の視点
    位置での前記被写体形状を切り出す第２の画像切り出し
    とを実行することを特徴とする被写体形状抽出装置。
19. 【請求項１９】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 任意の背景を含む被写体画像を入力する画像入力手段
    と、 前記被写体の形状に類似する所定の標準３次元形状モデ
    ルの入力を行う形状モデル入力手段と、 前記標準３次元形状モデルを所定視点位置から見た標準
    モデル画像を生成する標準モデル画像生成手段と、 前記標準モデル画像の輪郭線データを前記被写体画像上
    の所定位置に所定サイズで初期輪郭として設定し、該初
    期輸郭の内部の領域から被写体形状を切り出す画像切り
    出し手段と、 切り出された被写体形状に基づき、前記標準３次元形状
    モデルの形状を修正する形状修正手段と、を有すること
    を特徴とする被写体形状抽出装置。
20. 【請求項２０】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 任意の背景を含む被写体画像および対応する視点位置を
    入力する画像入力手段と、 前記被写体画像から被写体形状を切り出す画像切り出し
    手段と、 切り出された被写体形状および前記被写体形状に対応す
    る前記視点位置に基づき、前記被写体に類似する標準３
    次元形状モデルの形状を修正する形状修正手段と、を有
    することを特徴とする被写体形状抽出装置。
21. 【請求項２１】 前記被写体領域推定手段が、前記第１
    の画像切り出しが実行された視点位置での被写体画像と
    被写体領域推定の対象である現視点位置での被写体画像
    間の対応点を抽出し、該対応点と第１の画像切り出しで
    の切り出し領域とから現視点位置での被写体領域を推定
    する、請求項１８に記載の被写体形状抽出装置。
22. 【請求項２２】 前記形状修正手段が、切り出された被
    写体の輪郭線と対応する標準３次元形状モデルの標準モ
    デル画像の輪郭線との間の対応点を抽出し、該対応点間
    の変位ベクトル分布を求め、前記変位ベクトルに基づい
    て前記標準モデル画像の輪郭線に対応する前記標準３次
    元形状モデル上の各点をその法線方向に所定量変位させ
    ることにより立体形状の修正を行う、請求項１９または
    ２０に記載の被写体形状抽出装置。
23. 【請求項２３】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 任意の背景を含む被写体画像を入力する画像入力手段
    と、 前記被写体の形状に類似する所定の標準３次元形状モデ
    ルの入力を行う形状モデル入力手段と、 前記標準３次元形状モデルの視点位置を変化させる視点
    位置変化手段と、 前記視点位置から見た前記標準３次元形状モデルの標準
    モデル画像を生成する標準モデル画像生成手段と、 前記視点位置を選択する視点位置選択手段と、 前記標準モデル画像の輸郭線データを前記被写体画像上
    の所定位置に所定サイズで初期輪郭として設定し、該初
    期輪郭内部の領域から被写体形状を切り出す画像切り出
    し手段と、 切り出された被写体形状に基づき、前記標準３次元形状
    モデルの形状を修正する形状修正手段と、を有すること
    を特徴とする被写体形状抽出装置。
24. 【請求項２４】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 任意の背景を含む被写体画像を入力する画像入力手段
    と、 前記被写体の形状に類似する所定の標準３次元形状モデ
    ルの入力を行う形状モデル入力手段と、 前記標準３次元形状モデルの形状を変化させるためのユ
    ーザの指示・選択が入力する指示選択手段と、 前記標準３次元形状モデルを所定視点位置から見た標準
    モデル画像を生成する標準モデル画像生成手段と、 前記標準モデル画像の輪郭線データを前記被写体画像上
    の所定位置に所定サイズで初期輪郭として設定し、前記
    初期輪郭内部の領域から被写体形状を切り出す画像切り
    出し手段と、 切り出された被写体形状に基づき、前記標準３次元形状
    モデルの形状を修正する形状修正手段と、を有すること
    を特徴とする被写体形状抽出装置。
25. 【請求項２５】 前記標準３次元形状モデルが関節を有
    し、前記指示選択手段に入力する前記指示・選択によっ
    て、前記標準３次元形状モデルに対し、少なくとも一つ
    の関節位置を軸とする部分形状間の相対位置、相対姿勢
    の変化を与える形状変形が行なわれる、請求項２４に記
    載の被写体形状抽出装置。
26. 【請求項２６】 被写体画像からその被写体の形状を抽
    出する被写体形状抽出装置において、 任意の背景を含む被写体画像を入力する画像入力手段
    と、 前記被写体の形状に類似する所定の標準３次元形状モデ
    ルの入力を行う形状モデル入力手段と、 前記被写体画像と前記標準３次元形状モデルの標準モデ
    ル画像の対応する視点位置を入力する視点位置入力手段
    と、 前記被写体画像での前記被写体の輪郭線と前記標準モデ
    ル画像の輪郭線との対応づけを行い、前記輪郭線どうし
    の対応点を抽出する輪郭線対応づけ手段と、 前記輪郭線間の対応と前記視点位置に基づき前記標準３
    次元形状モデルの立体形状を修正する形状修正手段と、
    を有することを特徴とする被写体形状抽出装置。
27. 【請求項２７】 コンピュータが読み取り可能な記録媒
    体であって、任意の背景を含む被写体画像を入力する画
    像入力ステップと、前記被写体画像から被写体形状を切
    り出す画像切り出しステップと、切り出された被写体形
    状に基づき、被写体に類似する標準３次元形状モデルの
    形状を修正する立体形状修正ステップと、からなる処理
    手順を前記コンピュータに実行させるプログラムを記録
    した記録媒体。
28. 【請求項２８】 コンピュータが読み取り可能な記録媒
    体であって、異なる視点位置からの特定の被写体につい
    ての任意の背景を含む複数の被写体画像を入力する画像
    入力ステップと、前記複数の被写体画像の一つから被写
    体形状を切り出す第１の画像切り出しステップと、既に
    切り出された被写体形状に基づき、他の視点位置での前
    記被写体画像での被写体領域の推定を行う被写体領域推
    定ステップと、推定された被写体領域の形状に基づい
    て、当該他の視点位置での被写体画像から被写体形状の
    切り出しを行う第２の画像切り出しステップと、切り出
    された複数の前記被写体形状に基づき、前記被写体に類
    似する標準３次元形状モデルの形状を修正する立体形状
    修正ステップと、からなる処理手順を前記コンピュータ
    に実行させるプログラムを記録した記録媒体。
29. 【請求項２９】 コンピュータが読み取り可能な記録媒
    体であって、任意の背景を含む被写体画像を入力する画
    像入力ステップと、前記被写体の形状に類似する所定の
    標準３次元形状モデルの入力を行う形状モデル入力ステ
    ップと、前記標準３次元形状モデルを所定視点位置から
    見た画像を生成する標準画像生成ステップと、前記標準
    画像生成ステップで生成された画像の輪郭線データを前
    記被写体画像上の所定位置に所定サイズで初期輪郭とし
    て設定する初期輪郭設定ステップと、前記初期輪郭の内
    部の領域から被写体形状を切り出す画像切り出しステッ
    プと、切り出された被写体形状に基づき、前記標準３次
    元形状モデルの形状を修正する立体形状修正ステップ
    と、からなる処理手順を前記コンピュータに実行させる
    プログラムを記録した記録媒体。
30. 【請求項３０】 コンピュータが読み取り可能な記録媒
    体であって、任意の背景を含む被写体画像および対応す
    る視点位置を入力する画像入力ステップと、前記被写体
    画像から被写体形状を切り出す画像切り出しステップ
    と、切り出された被写体形状および前記被写体形状に対
    応する前記視点位置に基づき、前記被写体に類似する標
    準３次元形状モデルの形状を修正する立体形状修正ステ
    ップと、からなる処理手順を前記コンピュータに実行さ
    せるプログラムを格納した記録媒体。
31. 【請求項３１】 前記第２の画像切り出しステップが、
    推定された前記被写体領域の輪郭を前記被写体画像に重
    畳して表示する輪郭表示ステップと、該表示された輪郭
    を修正する輪郭修正ステップとを有する請求項２８に記
    載の記録媒体。
32. 【請求項３２】 前記被写体領域推定ステップが、前記
    第１の画像切り出しステップの対象となった被写体画像
    と当該被写体領域推定ステップでの現視点位置での被写
    体画像間の対応点を抽出するステップと、該対応点と当
    該第１の画像切り出しステップでの切り出し領域とから
    前記現視点位置での被写体領域を推定するステップとを
    有する請求項２８に記載の記録媒体。
33. 【請求項３３】 前記立体形状修正ステップが、切り出
    された被写体形状の輪郭線と対応する標準３次元形状モ
    デルの標準モデル画像の輪郭線との間の対応点を抽出す
    る対応点抽出ステップと、該対応点間の変位ベクトル分
    布を求める変位ベクトル抽出ステップと、該変位ベクト
    ルに基づいて前記標準モデル画像の輪郭線に対応する前
    記標準３次元形状モデル上の各点をその法線方向に所定
    量変位させることにより立体形状の修正を行うステップ
    と、を有する請求項２９または３０に記載の記録媒体。
34. 【請求項３４】 前記標準３次元形状モデルが少なくと
    も一つの関節と該関節間を連結する部分形状とからなる
    請求項２７乃至３０いずれか１項に記載の記録媒体。
35. 【請求項３５】 前記標準３次元形状モデルが少なくと
    も一つの関節と該関節間を連結する部分形状とからな
    り、前記標準画像生成ステップでは、前記標準３次元形
    状モデルの少なくとも一つの関節位置に関しその関節位
    置を軸とする前記部分形状間の相対位置及び相対姿勢の
    変化を与える形状変形を行った３次元形状モデルについ
    ての所定視点位置からの画像生成を行う、請求項２９に
    記載の記録媒体。
36. 【請求項３６】 前記標準画像生成ステップが、前記標
    準３次元形状モデルの視点位置を変化させる視点位置変
    化ステップと、前記視点位置から見た前記標準３次元形
    状モデルの画像を生成して表示するステップと、視点位
    置を選択する視点位置選択ステップと、を有する請求項
    ２９に記載の被写体形状抽出方法。
37. 【請求項３７】 コンピュータが読み取り可能な記録媒
    体であって、任意の背景を含む被写体画像を入力する画
    像入力ステップと、所定の対称軸または対称面を有する
    少なくとも一つの部分形状から構成される標準３次元形
    状モデルを入力する標準モデル入力ステップと、前記被
    写体画像から被写体形状を切り出す画像切り出しステッ
    プと、切り出された被写体形状に基づき、前記被写体に
    類似する標準３次元形状モデルの前記部分形状を修正す
    る立体形状修正ステップと、からなる処理手順を前記コ
    ンピュータに実行させるプログラムを記録した記録媒
    体。
38. 【請求項３８】 前記標準３次元形状モデルを所定視点
    位置から見た標準モデル画像を生成して表示ステップ
    と、該標準モデル画像上に前記部分形状の対称軸または
    対称面を所定の方法で表示するステップと、をさらに有
    する請求項３７に記載の記録媒体。
39. 【請求項３９】 前記立体形状修正ステップが、前記部
    分形状上の輪郭点と前記被写体画像の対応する部分の輪
    郭点との対応付けを行う対応点抽出ステップと、前記対
    応点抽出ステップで抽出された対応点間の変位ベクトル
    分布を求める変位ベクトル抽出ステップと、前記変位ベ
    クトル及び前記対称軸または対称面の種類に基づいて前
    記部分形状上の所定範囲内の点を所定量変位させる部分
    形状変形ステップと、を有する請求項３７に記載の記録
    媒体。