JP2961264B1 - ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP2961264B1 JP2961264B1 JP10266643A JP26664398A JP2961264B1 JP 2961264 B1 JP2961264 B1 JP 2961264B1 JP 10266643 A JP10266643 A JP 10266643A JP 26664398 A JP26664398 A JP 26664398A JP 2961264 B1 JP2961264 B1 JP 2961264B1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- object model
- stereo
- stereo image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
【要約】
【課題】 複数の異なる観測方向からのステレオ画像か
ら、３次元情報を位置合わせして統合し、物体の３次元
幾何モデルを自動生成する。 【解決手段】 複数の異なる方向から物体を観測しステ
レオ画像を入力する（Ｓ１）。ステレオ画像から３次元
輪郭線を復元する（Ｓ４）、一方、そのステレオ画像に
基づき、３次元領域を復元する（Ｓ３）。これら復元さ
れた３次元輪郭線又は３次元領域の情報（Ｄ１，Ｄ２）
を、それぞれ作成中の物体モデルの３次元輪郭線又は３
次元領域の情報と位置合わせをし（Ｓ６）、物体モデル
として統合する（Ｓ７）。さらに、観測方向を移動して
（Ｓ９）、上述の処理を繰り返し、全体の物体モデルを
生成する。
ら、３次元情報を位置合わせして統合し、物体の３次元
幾何モデルを自動生成する。 【解決手段】 複数の異なる方向から物体を観測しステ
レオ画像を入力する（Ｓ１）。ステレオ画像から３次元
輪郭線を復元する（Ｓ４）、一方、そのステレオ画像に
基づき、３次元領域を復元する（Ｓ３）。これら復元さ
れた３次元輪郭線又は３次元領域の情報（Ｄ１，Ｄ２）
を、それぞれ作成中の物体モデルの３次元輪郭線又は３
次元領域の情報と位置合わせをし（Ｓ６）、物体モデル
として統合する（Ｓ７）。さらに、観測方向を移動して
（Ｓ９）、上述の処理を繰り返し、全体の物体モデルを
生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元物体モデル
生成方法及び３次元物体モデル生成プログラムを記録し
たコンピュータ読み取り可能な記録媒体に係る。本発明
は、特に、ステレオビジョンによって得られた３次元画
像データを統合して、物体の３次元幾何モデルを自動生
成するための３次元物体モデル生成方法及び３次元物体
モデル生成プログラムを記録したコンピュータ読み取り
可能な記録媒体に関する。本発明は、例えば、コンピュ
ータグラフィックス、CAD、バーチャルリアリティ、ロ
ボットビジョン等に利用することができる。
生成方法及び３次元物体モデル生成プログラムを記録し
たコンピュータ読み取り可能な記録媒体に係る。本発明
は、特に、ステレオビジョンによって得られた３次元画
像データを統合して、物体の３次元幾何モデルを自動生
成するための３次元物体モデル生成方法及び３次元物体
モデル生成プログラムを記録したコンピュータ読み取り
可能な記録媒体に関する。本発明は、例えば、コンピュ
ータグラフィックス、CAD、バーチャルリアリティ、ロ
ボットビジョン等に利用することができる。
【０００２】
【従来の技術】従来より、物体の観測データから、その
物体の３次元幾何モデルを自動生成する手法としては、
例えば次のような手法が知られている。 （１）第１に、レーザレンジファインダなど内部光源を
持つセンサを用いる手法がある。この手法は、センサか
ら物体にレーザーなどの光線を投射することによって物
体の３次元情報を計測し、次に、複数の異なる方向から
の３次元情報を位置合わせして統合することにより、３
次元物体モデルを生成するものである。位置合わせに
は、例えば回転テーブルを用いる手法をはじめ、その他
にも様々な手法が提案されている。
物体の３次元幾何モデルを自動生成する手法としては、
例えば次のような手法が知られている。 （１）第１に、レーザレンジファインダなど内部光源を
持つセンサを用いる手法がある。この手法は、センサか
ら物体にレーザーなどの光線を投射することによって物
体の３次元情報を計測し、次に、複数の異なる方向から
の３次元情報を位置合わせして統合することにより、３
次元物体モデルを生成するものである。位置合わせに
は、例えば回転テーブルを用いる手法をはじめ、その他
にも様々な手法が提案されている。
【０００３】（２）第２に、単眼のCCDカメラを用いる
手法がある。この手法は、単眼のカメラで複数の方向か
ら物体を撮影し、物体の３次元情報を推定するものであ
る。これに関しては、例えば物体のシルエットから３次
元情報を復元する手法をはじめ、その他にも様々な手法
が提案されている。
手法がある。この手法は、単眼のカメラで複数の方向か
ら物体を撮影し、物体の３次元情報を推定するものであ
る。これに関しては、例えば物体のシルエットから３次
元情報を復元する手法をはじめ、その他にも様々な手法
が提案されている。
【０００４】
【発明が解決しようとする課題】一般に、CCDカメラを
用いて観測対象の３次元情報を復元する手法としては、
ステレオビジョンが代表的である。ステレオビジョンで
は、２台以上の相対位置関係が既知のカメラの組によっ
て対象を撮影して得られるステレオ画像間で画素ごとの
対応を探索し、三角測量の原理によって３次元情報を復
元する。しかしながら、ステレオビジョンは、密な３次
元情報を得ることが難しいこと、十分な精度の３次元情
報が得られないことなどの問題点があるとされ、これま
で、３次元物体モデル生成のためのセンサシステムとし
ては、ほとんど用いられてこなかった。また、従来、こ
のような問題点から、複数の観測方向から得られた３次
元情報の位置合わせについても、ステレオビジョンで復
元された３次元情報は対象とされていなかった。
用いて観測対象の３次元情報を復元する手法としては、
ステレオビジョンが代表的である。ステレオビジョンで
は、２台以上の相対位置関係が既知のカメラの組によっ
て対象を撮影して得られるステレオ画像間で画素ごとの
対応を探索し、三角測量の原理によって３次元情報を復
元する。しかしながら、ステレオビジョンは、密な３次
元情報を得ることが難しいこと、十分な精度の３次元情
報が得られないことなどの問題点があるとされ、これま
で、３次元物体モデル生成のためのセンサシステムとし
ては、ほとんど用いられてこなかった。また、従来、こ
のような問題点から、複数の観測方向から得られた３次
元情報の位置合わせについても、ステレオビジョンで復
元された３次元情報は対象とされていなかった。
【０００５】本発明は、以上の点に鑑み、複数の異なる
観測方向から観測されたステレオ画像から、ステレオビ
ジョンによって復元した３次元情報を位置合わせして統
合し、コンピュータグラフィックス、CAD、バーチャル
リアリティ、ロボットビジョンなどで利用できる物体の
３次元幾何モデルを自動生成することを目的とする。
観測方向から観測されたステレオ画像から、ステレオビ
ジョンによって復元した３次元情報を位置合わせして統
合し、コンピュータグラフィックス、CAD、バーチャル
リアリティ、ロボットビジョンなどで利用できる物体の
３次元幾何モデルを自動生成することを目的とする。
【０００６】
【課題を解決するための手段】本発明に係る３次元物体
モデル生成方法は、主に、ステレオビジョンによって観
測された物体の３次元情報から物体の３次元幾何モデル
を自動生成する手法であって、例えばセグメントベース
トステレオと相関ステレオの２種類のステレオビジョン
を用いて物体の３次元情報を復元するものである。セグ
メントベーストステレオは、物体をある観測方向から撮
像したステレオ画像を入力し、このステレオ画像から物
体のエッジを抽出して、その局所的形状によりセグメン
トに分割し、このセグメント単位とするステレオ対応探
索を行うことにより、物体の輪郭線の３次元情報を高精
度で復元する手法である。また、相関ステレオは、ステ
レオ画像のある画素周辺の小領域の相関計数を評価する
ことによって対応探索を行う手法であり、これによる
と、セグメントベーストステレオでは復元できない、領
域の３次元情報を復元することができる。
モデル生成方法は、主に、ステレオビジョンによって観
測された物体の３次元情報から物体の３次元幾何モデル
を自動生成する手法であって、例えばセグメントベース
トステレオと相関ステレオの２種類のステレオビジョン
を用いて物体の３次元情報を復元するものである。セグ
メントベーストステレオは、物体をある観測方向から撮
像したステレオ画像を入力し、このステレオ画像から物
体のエッジを抽出して、その局所的形状によりセグメン
トに分割し、このセグメント単位とするステレオ対応探
索を行うことにより、物体の輪郭線の３次元情報を高精
度で復元する手法である。また、相関ステレオは、ステ
レオ画像のある画素周辺の小領域の相関計数を評価する
ことによって対応探索を行う手法であり、これによる
と、セグメントベーストステレオでは復元できない、領
域の３次元情報を復元することができる。
【０００７】本発明においては、セグメントベーストス
テレオで復元された輪郭線の３次元情報を用いて、複数
の異なる観測方向からの３次元情報の位置合わせを行う
ようにしている。位置合わせ手法としては、実際にシス
テムを運用する環境に応じて、例えば、以下のような手
法が採用される。 １．回転テーブルを用いて観測方向を制御する手法。 ２．輪郭線の３次元情報をセグメンテーションして得ら
れる３次元幾何特徴と、未知の異なる観測方向から得ら
れた別のステレオ画像から同様に生成された３次元幾何
特徴とを照合することによって行う手法。 ３．輪郭線の３次元情報から選択される３次元追跡点の
位置を初期位置とし、時系列的に得られるステレオ画像
の各フレームに対してその３次元追跡点の対応を求める
ことによって行う手法。
テレオで復元された輪郭線の３次元情報を用いて、複数
の異なる観測方向からの３次元情報の位置合わせを行う
ようにしている。位置合わせ手法としては、実際にシス
テムを運用する環境に応じて、例えば、以下のような手
法が採用される。 １．回転テーブルを用いて観測方向を制御する手法。 ２．輪郭線の３次元情報をセグメンテーションして得ら
れる３次元幾何特徴と、未知の異なる観測方向から得ら
れた別のステレオ画像から同様に生成された３次元幾何
特徴とを照合することによって行う手法。 ３．輪郭線の３次元情報から選択される３次元追跡点の
位置を初期位置とし、時系列的に得られるステレオ画像
の各フレームに対してその３次元追跡点の対応を求める
ことによって行う手法。
【０００８】本発明の第１の解決手段によると、複数の
異なる方向から物体を観測したステレオ画像に基づき、
３次元輪郭線を復元するステップと、前記ステレオ画像
に基づき、３次元領域を復元するステップと、これら復
元された３次元輪郭線又は３次元領域の情報を、それぞ
れ作成中の物体モデルの３次元輪郭線又は３次元領域の
情報と位置合わせをするステップと、３次元輪郭線及び
３次元領域の情報を物体モデルとして統合するステップ
とを備えた３次元物体モデル生成方法を提供する。
異なる方向から物体を観測したステレオ画像に基づき、
３次元輪郭線を復元するステップと、前記ステレオ画像
に基づき、３次元領域を復元するステップと、これら復
元された３次元輪郭線又は３次元領域の情報を、それぞ
れ作成中の物体モデルの３次元輪郭線又は３次元領域の
情報と位置合わせをするステップと、３次元輪郭線及び
３次元領域の情報を物体モデルとして統合するステップ
とを備えた３次元物体モデル生成方法を提供する。
【０００９】本発明の第２の解決手段によると、複数の
異なる方向から物体を観測したステレオ画像に基づき、
３次元輪郭線を復元するステップと、前記ステレオ画像
に基づき、３次元領域を復元するステップと、これら復
元された３次元輪郭線又は３次元領域の情報を、それぞ
れ作成中の物体モデルの３次元輪郭線又は３次元領域の
情報と位置合わせをするステップと、３次元輪郭線及び
３次元領域の情報を物体モデルとして統合するステップ
とを備えた３次元物体モデル生成プログラムを記録した
コンピュータ読み取り可能な記録媒体を提供する。
異なる方向から物体を観測したステレオ画像に基づき、
３次元輪郭線を復元するステップと、前記ステレオ画像
に基づき、３次元領域を復元するステップと、これら復
元された３次元輪郭線又は３次元領域の情報を、それぞ
れ作成中の物体モデルの３次元輪郭線又は３次元領域の
情報と位置合わせをするステップと、３次元輪郭線及び
３次元領域の情報を物体モデルとして統合するステップ
とを備えた３次元物体モデル生成プログラムを記録した
コンピュータ読み取り可能な記録媒体を提供する。
【００１０】
【発明の実施の形態】図１に、本発明に関連するシステ
ム構成図を示す。この図は、本発明による３次元物体モ
デル生成方法を実現するためのシステム構成を示すブロ
ック図である。このシステムは、コンピュータ１、デー
タバス２、テレビカメラ３ａ，３ｂ，３ｃ、Ａ／Ｄ変換
器４ａ，４ｂ，４ｃ、回転テーブル５、画像メモリ６、
ディスプレイ装置７、プリンタ８、キーボードターミナ
ル９、ハードディスク１０、入力装置１１を備える。
ム構成図を示す。この図は、本発明による３次元物体モ
デル生成方法を実現するためのシステム構成を示すブロ
ック図である。このシステムは、コンピュータ１、デー
タバス２、テレビカメラ３ａ，３ｂ，３ｃ、Ａ／Ｄ変換
器４ａ，４ｂ，４ｃ、回転テーブル５、画像メモリ６、
ディスプレイ装置７、プリンタ８、キーボードターミナ
ル９、ハードディスク１０、入力装置１１を備える。
【００１１】コンピュータ１は、システム全体を制御す
るプロセッサを備え、データバス２を通じて各部と接続
されている。テレビカメラ３ａ，３ｂ，３ｃは、それぞ
れのアナログ出力がＡ／Ｄ変換器４ａ，４ｂ，４ｃによ
りデジタル信号に変換されて、データバス２に送出され
る。回転テーブル５は、回転角度をコンピュータ１によ
って制御される。画像メモリ６は、テレビカメラ３ａ，
３ｂ，３ｃで撮像した物体の画像データを格納する。デ
ィスプレイ装置７は、画像を表示するためのＣＲや液晶
・プラズマ表示装置等である。ハードディスク１０は、
システムソフトウェア、画像データ，ステレオビジョン
によって復元された３次元情報、およびその３次元情報
を統合して生成される３次元物体モデルデータを保存す
る。入力装置１１は、例えばCDドライブ装置が用いら
れ、システムソフトウェア・各種データ等を記録させた
CD-ROMを読み取るための装置である。システムソフトウ
ェアは、例えばこの入力装置１１によってハードディス
ク１０にインストールされる。さらに、このシステム
は、データバス２を介して、外部のホストコンピュータ
等と接続されている。
るプロセッサを備え、データバス２を通じて各部と接続
されている。テレビカメラ３ａ，３ｂ，３ｃは、それぞ
れのアナログ出力がＡ／Ｄ変換器４ａ，４ｂ，４ｃによ
りデジタル信号に変換されて、データバス２に送出され
る。回転テーブル５は、回転角度をコンピュータ１によ
って制御される。画像メモリ６は、テレビカメラ３ａ，
３ｂ，３ｃで撮像した物体の画像データを格納する。デ
ィスプレイ装置７は、画像を表示するためのＣＲや液晶
・プラズマ表示装置等である。ハードディスク１０は、
システムソフトウェア、画像データ，ステレオビジョン
によって復元された３次元情報、およびその３次元情報
を統合して生成される３次元物体モデルデータを保存す
る。入力装置１１は、例えばCDドライブ装置が用いら
れ、システムソフトウェア・各種データ等を記録させた
CD-ROMを読み取るための装置である。システムソフトウ
ェアは、例えばこの入力装置１１によってハードディス
ク１０にインストールされる。さらに、このシステム
は、データバス２を介して、外部のホストコンピュータ
等と接続されている。
【００１２】図２には、本発明に係る３次元物体モデル
生成方法のフローチャートを示す。すなわち、この図で
は、入力ステレオ画像に基づき復元された３次元情報か
ら、３次元物体モデルを生成するための処理の流れが示
されている。まず、図１に示されたような３台のカメラ
３ａ，３ｂ，３ｃのうちの２台または３台を使い、物体
をある方向から観測したステレオ画像を入力する（ステ
ップＳ１）。３台のカメラで画像を入力することによ
り、計算コストは多く要するものの、ステレオ法による
３次元情報復元をより高精度にすることができる。な
お、１台のカメラで順次多方向から観測するようにして
も良い。
生成方法のフローチャートを示す。すなわち、この図で
は、入力ステレオ画像に基づき復元された３次元情報か
ら、３次元物体モデルを生成するための処理の流れが示
されている。まず、図１に示されたような３台のカメラ
３ａ，３ｂ，３ｃのうちの２台または３台を使い、物体
をある方向から観測したステレオ画像を入力する（ステ
ップＳ１）。３台のカメラで画像を入力することによ
り、計算コストは多く要するものの、ステレオ法による
３次元情報復元をより高精度にすることができる。な
お、１台のカメラで順次多方向から観測するようにして
も良い。
【００１３】例えばセグメントベーストステレオによる
処理フローでは、まず、このステレオ画像からエッジを
抽出してセグメントに分割する（ステップＳ２）。その
後、セグメントを対応の単位とするステレオ対応探索の
処理を行い（ステップＳ３）、輪郭線の３次元情報（ス
テップＤ１）を復元する。一方、このような処理フロー
と並行して、例えば相関ステレオによる処理フローで
は、ステップＳ１で入力された同じステレオ画像に基づ
き、画素間の相関値に基づく相関ステレオの処理を行い
（ステップＳ４）、テクスチャ領域およびシェイジング
領域の３次元情報（ステップＤ２）を復元する。ここ
で、テクスチャ領域とは、細かい模様が存在する領域で
ある。また、シェイジング領域とは、滑らかな曲面が光
源との位置関係にしたがって、その明るさを少しずつ変
化させている領域である。
処理フローでは、まず、このステレオ画像からエッジを
抽出してセグメントに分割する（ステップＳ２）。その
後、セグメントを対応の単位とするステレオ対応探索の
処理を行い（ステップＳ３）、輪郭線の３次元情報（ス
テップＤ１）を復元する。一方、このような処理フロー
と並行して、例えば相関ステレオによる処理フローで
は、ステップＳ１で入力された同じステレオ画像に基づ
き、画素間の相関値に基づく相関ステレオの処理を行い
（ステップＳ４）、テクスチャ領域およびシェイジング
領域の３次元情報（ステップＤ２）を復元する。ここ
で、テクスチャ領域とは、細かい模様が存在する領域で
ある。また、シェイジング領域とは、滑らかな曲面が光
源との位置関係にしたがって、その明るさを少しずつ変
化させている領域である。
【００１４】つぎに、現在作成中の物体モデルが既に登
録されているか否かの判断を行う（ステップＳ５）。こ
こで、物体モデルが既に登録されていれば、輪郭線の３
次元情報（ステップＤ１）を用いて、登録された物体モ
デルとの位置合わせを行い（ステップＳ６）、物体モデ
ルにステップＳ１及びＤ２を統合し、物体モデルを更新
する（ステップＳ７）。なお、ステップＳ６における位
置合わせについては、領域の３次元情報に基づいてそれ
を行うようにしても良いし、輪郭線及び領域の両方の情
報によりそれを行うようにしても良い。一方、ステップ
（ステップＳ５）で、物体モデルがまだ登録されていな
ければ、ステップＤ１及びＤ２を統合し、物体モデルと
して登録する（ステップＳ７）。
録されているか否かの判断を行う（ステップＳ５）。こ
こで、物体モデルが既に登録されていれば、輪郭線の３
次元情報（ステップＤ１）を用いて、登録された物体モ
デルとの位置合わせを行い（ステップＳ６）、物体モデ
ルにステップＳ１及びＤ２を統合し、物体モデルを更新
する（ステップＳ７）。なお、ステップＳ６における位
置合わせについては、領域の３次元情報に基づいてそれ
を行うようにしても良いし、輪郭線及び領域の両方の情
報によりそれを行うようにしても良い。一方、ステップ
（ステップＳ５）で、物体モデルがまだ登録されていな
ければ、ステップＤ１及びＤ２を統合し、物体モデルと
して登録する（ステップＳ７）。
【００１５】つぎに、物体全体のモデルが完成している
かどうかの判断を行う（Ｓ８）。ここで、全体のモデル
が完成していなければ、これまでに観測していない方向
に観測方向を移動させ（Ｓ９）、上述のようなステップ
Ｓ１〜Ｓ８及びＤ１，Ｄ２の処理を繰り返す。一方、全
体のモデルが完成していれば、処理を終了する。
かどうかの判断を行う（Ｓ８）。ここで、全体のモデル
が完成していなければ、これまでに観測していない方向
に観測方向を移動させ（Ｓ９）、上述のようなステップ
Ｓ１〜Ｓ８及びＤ１，Ｄ２の処理を繰り返す。一方、全
体のモデルが完成していれば、処理を終了する。
【００１６】次に、具体的なステレオ画像を用いて、上
述の処理を詳細に説明する。まず、物体をある方向から
ステレオカメラシステムで観測し、ステレオ画像を入力
する（ステップＳ１）。これを、第一観測方向からのス
テレオ画像とする。図３に、入力ステレオ画像の説明図
の一例を示す。この場合、３眼のＣＣＤカメラにより、
６４０×４８０pixels、２５６gray-levelsで画像を入
力した。
述の処理を詳細に説明する。まず、物体をある方向から
ステレオカメラシステムで観測し、ステレオ画像を入力
する（ステップＳ１）。これを、第一観測方向からのス
テレオ画像とする。図３に、入力ステレオ画像の説明図
の一例を示す。この場合、３眼のＣＣＤカメラにより、
６４０×４８０pixels、２５６gray-levelsで画像を入
力した。
【００１７】図４に、ステレオ画像から復元した輪郭線
の３次元情報を表す説明図を示す。ここでは、図３のス
テレオ画像から、エッジを抽出してセグメントに分割し
（ステップＳ２）、セグメントを対応の単位とするステ
レオ対応探索の処理を行うことによって復元した（ステ
ップＳ３）。このようなエッジセグメントを用いたステ
レオ法は、一般に、セグメントベーストステレオと呼ば
れる。セグメントベーストステレオによれば、輪郭線の
３次元情報を高精度で得ることができる。以下では、こ
のようにして復元された輪郭線の３次元情報を、単に
「３次元輪郭線」と呼ぶことにする（ステップＤ１）。
の３次元情報を表す説明図を示す。ここでは、図３のス
テレオ画像から、エッジを抽出してセグメントに分割し
（ステップＳ２）、セグメントを対応の単位とするステ
レオ対応探索の処理を行うことによって復元した（ステ
ップＳ３）。このようなエッジセグメントを用いたステ
レオ法は、一般に、セグメントベーストステレオと呼ば
れる。セグメントベーストステレオによれば、輪郭線の
３次元情報を高精度で得ることができる。以下では、こ
のようにして復元された輪郭線の３次元情報を、単に
「３次元輪郭線」と呼ぶことにする（ステップＤ１）。
【００１８】つぎに、このような３次元輪郭線の特徴点
及び３次元幾何特徴について説明する。図５に、輪郭線
の３次元情報がセグメントに分割される特徴点を表す説
明図を示す。３次元輪郭線は、その復元処理過程におい
て、図示のような各種特徴点で分割される。特徴点に
は、例えば、分岐点、屈曲点、変曲点、遷移点等があ
る。これらの特徴点は、３次元輪郭線の形状に固有の特
徴である。
及び３次元幾何特徴について説明する。図５に、輪郭線
の３次元情報がセグメントに分割される特徴点を表す説
明図を示す。３次元輪郭線は、その復元処理過程におい
て、図示のような各種特徴点で分割される。特徴点に
は、例えば、分岐点、屈曲点、変曲点、遷移点等があ
る。これらの特徴点は、３次元輪郭線の形状に固有の特
徴である。
【００１９】また、図６に、３次元幾何特徴の構造につ
いての説明図を示す。上述の特徴点上に、図６に示すよ
うな、例えば、二つのベクトルＶ１及びＶ２と、これら
のベクトルに対する法線ベクトルＶ３からなる３次元幾
何特徴を構成することができる。この他の３次元幾何特
徴の表現としては、輪郭線を円に近似した際の円中心を
起点とし、輪郭線方向へのベクトルＵ１、円面の法線方
向のベクトルＵ２及び実際の特徴点へのベクトルＵ３に
より、構成することもできる。
いての説明図を示す。上述の特徴点上に、図６に示すよ
うな、例えば、二つのベクトルＶ１及びＶ２と、これら
のベクトルに対する法線ベクトルＶ３からなる３次元幾
何特徴を構成することができる。この他の３次元幾何特
徴の表現としては、輪郭線を円に近似した際の円中心を
起点とし、輪郭線方向へのベクトルＵ１、円面の法線方
向のベクトルＵ２及び実際の特徴点へのベクトルＵ３に
より、構成することもできる。
【００２０】つぎに、図７に、ステレオ画像から復元し
たテクスチャ／シェイジング領域の３次元情報について
の説明図を示す。これは、図３のステレオ画像から、相
関ステレオによって画素間の相関値に基づいて復元した
３次元情報である（ステップＳ４）。一般に、相関ステ
レオは、ステレオ画像のある画素周辺の小領域の相関計
数を評価することによって、対応探索を行う手法であ
る。相関ステレオでは、セグメントベーストステレオで
は復元が困難な、テクスチャ領域やシェイジング領域の
３次元情報を復元することができる。以下では、相関ス
テレオで復元された３次元情報を、単に「３次元領域」
と呼ぶことにする（ステップＤ２）。
たテクスチャ／シェイジング領域の３次元情報について
の説明図を示す。これは、図３のステレオ画像から、相
関ステレオによって画素間の相関値に基づいて復元した
３次元情報である（ステップＳ４）。一般に、相関ステ
レオは、ステレオ画像のある画素周辺の小領域の相関計
数を評価することによって、対応探索を行う手法であ
る。相関ステレオでは、セグメントベーストステレオで
は復元が困難な、テクスチャ領域やシェイジング領域の
３次元情報を復元することができる。以下では、相関ス
テレオで復元された３次元情報を、単に「３次元領域」
と呼ぶことにする（ステップＤ２）。
【００２１】この段階では、作成中の物体モデルはまだ
登録されていないので、作成された３次元輪郭線（図
４）と３次元領域（図７）とを統合し、（第一観測方向
からの）物体モデルとして登録する（ステップＳ７、そ
の１）。以下では、単に物体モデルといえば、システム
に登録されている、現在作成中の物体モデルをいうこと
とする。通常、第一観測方向から観測されるステレオ画
像だけでは、物体全体の３次元情報を復元することはで
きない。このため、複数の異なる観測方向からの３次元
情報を位置合わせして統合することにより、物体全体の
幾何モデルを生成する（ステップＳ８、Ｓ９）。
登録されていないので、作成された３次元輪郭線（図
４）と３次元領域（図７）とを統合し、（第一観測方向
からの）物体モデルとして登録する（ステップＳ７、そ
の１）。以下では、単に物体モデルといえば、システム
に登録されている、現在作成中の物体モデルをいうこと
とする。通常、第一観測方向から観測されるステレオ画
像だけでは、物体全体の３次元情報を復元することはで
きない。このため、複数の異なる観測方向からの３次元
情報を位置合わせして統合することにより、物体全体の
幾何モデルを生成する（ステップＳ８、Ｓ９）。
【００２２】図８に、図３とは異なる方向から同じ物体
を観測して得られたステレオ画像の説明図の一例を示
す。このステレオ画像が入力され（ステップＳ１、その
２）、これに基づいて、上述と同様に、第二観測方向か
らの３次元輪郭線（ステップＤ１、その２）及び３次元
領域（ステップＤ２、その２）を求める。
を観測して得られたステレオ画像の説明図の一例を示
す。このステレオ画像が入力され（ステップＳ１、その
２）、これに基づいて、上述と同様に、第二観測方向か
らの３次元輪郭線（ステップＤ１、その２）及び３次元
領域（ステップＤ２、その２）を求める。
【００２３】図９に、図８のステレオ画像から復元した
３次元輪郭線の説明図を示す。また、図１０に、図８の
ステレオ画像から復元した３次元領域の説明図を示す。
この段階では、既に作成中の物体モデルが登録されてい
るので、この物体モデルと、新たに復元された３次元輪
郭線／領域を位置合わせをして（ステップＳ６）、これ
らを統合する（ステップＳ７、その２）。
３次元輪郭線の説明図を示す。また、図１０に、図８の
ステレオ画像から復元した３次元領域の説明図を示す。
この段階では、既に作成中の物体モデルが登録されてい
るので、この物体モデルと、新たに復元された３次元輪
郭線／領域を位置合わせをして（ステップＳ６）、これ
らを統合する（ステップＳ７、その２）。
【００２４】図１１に、３次元情報と物体モデルの位置
合わせ・統合についての説明図を示す。図１１（Ａ）
は、図４の物体モデルの３次元輪郭線のみを示す。図１
１（Ｂ）は、図９の３次元輪郭線を示す。第一観測方向
からの物体モデル（図４）と、第二観測方向から観測さ
れた３次元輪郭線／領域（図９）との位置関係は、物体
モデルの各点の座標値 Ｘ= ［ｘ ｙ ｚ］t を、３次元
輪郭線／領域に一致するように移動させる４×４座標変
換行列Tによって表すことができる。座標変換行列Ｔ
は、例えば次式で表され、後述するような位置合わせ手
法等により、特定される。
合わせ・統合についての説明図を示す。図１１（Ａ）
は、図４の物体モデルの３次元輪郭線のみを示す。図１
１（Ｂ）は、図９の３次元輪郭線を示す。第一観測方向
からの物体モデル（図４）と、第二観測方向から観測さ
れた３次元輪郭線／領域（図９）との位置関係は、物体
モデルの各点の座標値 Ｘ= ［ｘ ｙ ｚ］t を、３次元
輪郭線／領域に一致するように移動させる４×４座標変
換行列Tによって表すことができる。座標変換行列Ｔ
は、例えば次式で表され、後述するような位置合わせ手
法等により、特定される。
【００２５】
【数１】 ここで、Rは３×３回転行列、tは３×１平行移動ベクト
ルである。
ルである。
【００２６】図１１（Ｃ）に示されるように、特定され
た座標変換行列Tによって、Ｘを座標変換し、物体モデ
ルと３次元輪郭線／領域とを統合する。ここで、重複す
る３次元情報があれば除去し、物体モデルを更新する。
以上の処理により、物体全体の幾何モデルが完成してい
れば、終了である。一方、まだ観測できていない部分が
あれば、更にその部分が見える位置に観測方向を移動
し、上述の処理を繰り返す。物体全体の幾何モデルを生
成するために必要な観測方向は、物体の形状や物体モデ
ルの用途にもよるが、おおむね３〜６方向程度が妥当で
ある。
た座標変換行列Tによって、Ｘを座標変換し、物体モデ
ルと３次元輪郭線／領域とを統合する。ここで、重複す
る３次元情報があれば除去し、物体モデルを更新する。
以上の処理により、物体全体の幾何モデルが完成してい
れば、終了である。一方、まだ観測できていない部分が
あれば、更にその部分が見える位置に観測方向を移動
し、上述の処理を繰り返す。物体全体の幾何モデルを生
成するために必要な観測方向は、物体の形状や物体モデ
ルの用途にもよるが、おおむね３〜６方向程度が妥当で
ある。
【００２７】つぎに、図１２に、物体モデルの統合結果
の説明図を示す。この図は、図３及び図８に示されたス
テレオ画像に、更にもう１方向のステレオ画像を加え
て、計３方向からの観測データを統合して得られた物体
モデルを示す。次に、図２ステップＳ９の観測方向の移
動に関して、位置合わせ手法について説明する。位置合
わせには、例えば、以下のような三種類の手法がある。
の説明図を示す。この図は、図３及び図８に示されたス
テレオ画像に、更にもう１方向のステレオ画像を加え
て、計３方向からの観測データを統合して得られた物体
モデルを示す。次に、図２ステップＳ９の観測方向の移
動に関して、位置合わせ手法について説明する。位置合
わせには、例えば、以下のような三種類の手法がある。
【００２８】（１）位置合わせ手法１（移動パラメータ
既知） 第１の手法は、回転テーブルを用いて、観測方向の移動
量を制御する手法である。物体をコンピュータから制御
できる回転テーブル上に載せ、カメラシステムは固定す
る。あらかじめ、回転テーブルのカメラシステムに対す
る位置姿勢を較正しておく。図２ステップＳ９における
観測方向の移動は、回転テーブルを必要なだけ回転する
ことによって行う。このとき、図２ステップＳ６におい
て、上述の座標変換行列Tは、既知の回転角度から直接
算出することができる。この手法では、常に安定した位
置合わせが可能である。
既知） 第１の手法は、回転テーブルを用いて、観測方向の移動
量を制御する手法である。物体をコンピュータから制御
できる回転テーブル上に載せ、カメラシステムは固定す
る。あらかじめ、回転テーブルのカメラシステムに対す
る位置姿勢を較正しておく。図２ステップＳ９における
観測方向の移動は、回転テーブルを必要なだけ回転する
ことによって行う。このとき、図２ステップＳ６におい
て、上述の座標変換行列Tは、既知の回転角度から直接
算出することができる。この手法では、常に安定した位
置合わせが可能である。
【００２９】（２）位置合わせ手法２（移動パラメータ
認識） 図１３に、位置合わせ手法２についてのフローチャート
を示す。第２の手法は、未知の観測方向からの３次元情
報を位置合わせする手法である。ここでは、３次元幾何
特徴を用いることにより、輪郭線の３次元情報と物体モ
デルとの位置合わせをするための処理の流れを示してい
る。
認識） 図１３に、位置合わせ手法２についてのフローチャート
を示す。第２の手法は、未知の観測方向からの３次元情
報を位置合わせする手法である。ここでは、３次元幾何
特徴を用いることにより、輪郭線の３次元情報と物体モ
デルとの位置合わせをするための処理の流れを示してい
る。
【００３０】まず、現在作成中の物体モデルと、新たに
復元された３次元輪郭線を入力し（ステップＳ１０）、
３次元輪郭線に上述したような３次元幾何特徴を付加す
る（ステップＳ１１）。この３次元幾何特徴と、物体モ
デルに含まれている３次元幾何特徴とを照合して位置合
わせの候補を探索する（ステップＳ１２）。こうして得
られたそれぞれの位置合わせ候補について物体モデルの
検証点を選択する（ステップＳ１３）。そして、この検
証点を用いて、各位置合わせ候補の確からしさを検証し
て正しい位置合わせを選択し、同時にその位置合わせの
精度を微調整する（ステップＳ１４）。
復元された３次元輪郭線を入力し（ステップＳ１０）、
３次元輪郭線に上述したような３次元幾何特徴を付加す
る（ステップＳ１１）。この３次元幾何特徴と、物体モ
デルに含まれている３次元幾何特徴とを照合して位置合
わせの候補を探索する（ステップＳ１２）。こうして得
られたそれぞれの位置合わせ候補について物体モデルの
検証点を選択する（ステップＳ１３）。そして、この検
証点を用いて、各位置合わせ候補の確からしさを検証し
て正しい位置合わせを選択し、同時にその位置合わせの
精度を微調整する（ステップＳ１４）。
【００３１】次に、図１４〜図１６を参照して、位置合
わせ手法２の具体的処理を説明する。図１４に、位置合
わせ手法２の処理についての説明図を示す。図１５に、
位置合わせ候補を探索するための３次元幾何特徴の照合
についての説明図を示す。また、図１６に、位置合わせ
候補の検証・微調整についての説明図を示す。
わせ手法２の具体的処理を説明する。図１４に、位置合
わせ手法２の処理についての説明図を示す。図１５に、
位置合わせ候補を探索するための３次元幾何特徴の照合
についての説明図を示す。また、図１６に、位置合わせ
候補の検証・微調整についての説明図を示す。
【００３２】図１４（Ａ）に示すように、新たに復元さ
れた３次元輪郭線上には、３次元幾何特徴が付加され
る。作成中の物体モデルにも、同様の３次元幾何特徴が
付加されている。これらの３次元幾何特徴を照合して、
形状が類似したものを探索する。３次元幾何特徴は、例
えば、前述のように２つのベクトル及びその法線ベクト
ルからなるので、図１５に示すように、物体モデルの幾
何特徴を３次元輪郭線の幾何特徴に移動させる座標変換
行列Tは一意に決まる。一般に、類似した３次元幾何特
徴の組は複数得られるので、この時点では、正しい位置
合わせを判別することはできず、図１４（Ｂ）に示した
ような、位置合わせの候補がいくつか得られるのみであ
る。そこで、位置合わせ候補のそれぞれについて、物体
モデルを移動させ、物体モデルの輪郭線上から図１６に
示すような３次元検証点を選択し、それらの検証点の近
傍に３次元輪郭線が存在するかどうか探索する。ここ
で、３次元輪郭線が存在すれば、各検証点とその３次元
輪郭線上の対応点との距離が最小になるような座標変換
行列Ｔ’を、最小自乗法によって算出し、位置合わせの
精度を向上させる。Ｔ’は、例えば次式で表される。
れた３次元輪郭線上には、３次元幾何特徴が付加され
る。作成中の物体モデルにも、同様の３次元幾何特徴が
付加されている。これらの３次元幾何特徴を照合して、
形状が類似したものを探索する。３次元幾何特徴は、例
えば、前述のように２つのベクトル及びその法線ベクト
ルからなるので、図１５に示すように、物体モデルの幾
何特徴を３次元輪郭線の幾何特徴に移動させる座標変換
行列Tは一意に決まる。一般に、類似した３次元幾何特
徴の組は複数得られるので、この時点では、正しい位置
合わせを判別することはできず、図１４（Ｂ）に示した
ような、位置合わせの候補がいくつか得られるのみであ
る。そこで、位置合わせ候補のそれぞれについて、物体
モデルを移動させ、物体モデルの輪郭線上から図１６に
示すような３次元検証点を選択し、それらの検証点の近
傍に３次元輪郭線が存在するかどうか探索する。ここ
で、３次元輪郭線が存在すれば、各検証点とその３次元
輪郭線上の対応点との距離が最小になるような座標変換
行列Ｔ’を、最小自乗法によって算出し、位置合わせの
精度を向上させる。Ｔ’は、例えば次式で表される。
【００３３】
【数２】 物体モデルの検証点の位置PMを３次元輪郭上の対応点PD
に一致するように移動させる最適なＲ’、ｔ’を、次式
を最小にする最小自乗法によって算出する。ここで，n
は検証点と対応点の組の数である。
に一致するように移動させる最適なＲ’、ｔ’を、次式
を最小にする最小自乗法によって算出する。ここで，n
は検証点と対応点の組の数である。
【００３４】
【数３】
【００３５】また、次式で微調整後の物体位置が表わさ
れる。なお、ｎが小さいか、位置合わせ精度が十分でな
いときは、新たに得られた物体位置に物体モデルを移動
させ、検証点の選択から処理を一定の回数を上限として
繰り返す。繰り返し回数の上限は、おおむね５〜１０回
程度が適当である。 Ｒ=Ｒ’Ｒ ｔ=ｔ’+ｔ
れる。なお、ｎが小さいか、位置合わせ精度が十分でな
いときは、新たに得られた物体位置に物体モデルを移動
させ、検証点の選択から処理を一定の回数を上限として
繰り返す。繰り返し回数の上限は、おおむね５〜１０回
程度が適当である。 Ｒ=Ｒ’Ｒ ｔ=ｔ’+ｔ
【００３６】このようにして、全ての候補について上述
のような位置合わせ候補の検証・微調整についての処理
を行う。最も大きいnが得られた候補が、最も確からし
い位置合わせであると考えられるので、これを最終的な
位置合わせ結果とする。位置合わせ手法２では、回転テ
ーブルなどの装置を使わずに位置合わせをすることがで
きる。ただし、観測方向を移動させる際には、ある程度
物体モデルと重複した３次元輪郭線が得られるようにし
なければならない。また、位置合わせ手法２では、別の
ステレオカメラシステムであらかじめ撮影しておいたス
テレオ画像の組を入力として用い、まとめて３次元情報
の復元、位置合わせ、統合することも可能である。
のような位置合わせ候補の検証・微調整についての処理
を行う。最も大きいnが得られた候補が、最も確からし
い位置合わせであると考えられるので、これを最終的な
位置合わせ結果とする。位置合わせ手法２では、回転テ
ーブルなどの装置を使わずに位置合わせをすることがで
きる。ただし、観測方向を移動させる際には、ある程度
物体モデルと重複した３次元輪郭線が得られるようにし
なければならない。また、位置合わせ手法２では、別の
ステレオカメラシステムであらかじめ撮影しておいたス
テレオ画像の組を入力として用い、まとめて３次元情報
の復元、位置合わせ、統合することも可能である。
【００３７】（３）位置合わせ手法３．（移動パラメー
タ追跡） 図１７に、位置合わせ手法３についてのフローチャート
を示す。第３の手法は、観測方向の移動を検出しながら
その観測方向を変化させる手法である。まず、物体モデ
ルを入力し（ステップＳ１５）、追跡点を選択する（ス
テップＳ１６）。対象物体またはカメラシステムの位置
姿勢を少しずつ移動させながら時系列ステレオ画像を１
フレーム入力し（ステップＳ１７）、物体モデルの追跡
点のフレーム間の対応を探索して（ステップＳ１８）、
観測方向のフレーム間での微小移動T0を計測する（ステ
ップＳ１９）。適正な位置までの観測方向の移動を完了
したかどうかの判定を行う（ステップＳ２０）。ここ
で、観測方向の移動が完了していなければ、ステップＳ
１６〜Ｓ２０の処理を繰り返し、T1, T2,..., TNを算出
する。ここで、Nは繰り返し回数である。一方、観測方
向の移動が完了していれば、これまでに繰り返した微小
移動のトータルを、次式のように算出し、終了する。 Ｔ ＝ ＴＮ ＴＮ−１．．．Ｔ０
タ追跡） 図１７に、位置合わせ手法３についてのフローチャート
を示す。第３の手法は、観測方向の移動を検出しながら
その観測方向を変化させる手法である。まず、物体モデ
ルを入力し（ステップＳ１５）、追跡点を選択する（ス
テップＳ１６）。対象物体またはカメラシステムの位置
姿勢を少しずつ移動させながら時系列ステレオ画像を１
フレーム入力し（ステップＳ１７）、物体モデルの追跡
点のフレーム間の対応を探索して（ステップＳ１８）、
観測方向のフレーム間での微小移動T0を計測する（ステ
ップＳ１９）。適正な位置までの観測方向の移動を完了
したかどうかの判定を行う（ステップＳ２０）。ここ
で、観測方向の移動が完了していなければ、ステップＳ
１６〜Ｓ２０の処理を繰り返し、T1, T2,..., TNを算出
する。ここで、Nは繰り返し回数である。一方、観測方
向の移動が完了していれば、これまでに繰り返した微小
移動のトータルを、次式のように算出し、終了する。 Ｔ ＝ ＴＮ ＴＮ−１．．．Ｔ０
【００３８】ここで、ステップＳ１６〜Ｓ２０の１回の
処理時間は、１／１０秒以下であり、少なくとも毎秒数
フレームを処理することができる。また、ここで算出し
た観測方向の移動は、図２のステップＳ６における位置
合わせの座標変換行列Tとして、そのまま用いることが
できる。
処理時間は、１／１０秒以下であり、少なくとも毎秒数
フレームを処理することができる。また、ここで算出し
た観測方向の移動は、図２のステップＳ６における位置
合わせの座標変換行列Tとして、そのまま用いることが
できる。
【００３９】物体モデルの追跡点の選択（ステップＳ１
６）と、追跡点のフレーム間の対応探索（ステップＳ１
８）は、それぞれ、位置合わせ手法２の微調整処理にお
ける、検証点の選択、検証点近傍での対応点探索に相当
する処理である。位置合わせ手法３では、時系列的なス
テレオ画像が入力されるので、フレーム間の時間差は、
多くとも数百ミリ秒であり、その移動量はごくわずかで
あると仮定できる。このことから、位置合わせ手法２に
おける位置合わせ候補の探索に相当する処理は必要な
く、現在の物体モデルの位置を初期位置として、図１６
のような微調整処理をするだけで、座標変換行列Tiを算
出することができる。
６）と、追跡点のフレーム間の対応探索（ステップＳ１
８）は、それぞれ、位置合わせ手法２の微調整処理にお
ける、検証点の選択、検証点近傍での対応点探索に相当
する処理である。位置合わせ手法３では、時系列的なス
テレオ画像が入力されるので、フレーム間の時間差は、
多くとも数百ミリ秒であり、その移動量はごくわずかで
あると仮定できる。このことから、位置合わせ手法２に
おける位置合わせ候補の探索に相当する処理は必要な
く、現在の物体モデルの位置を初期位置として、図１６
のような微調整処理をするだけで、座標変換行列Tiを算
出することができる。
【００４０】ただし、位置合わせ手法３では、時系列ス
テレオ画像を実時間で高速に処理する必要があるため、
フレーム毎に３次元輪郭線を復元することは困難であ
る。このため、（１）追跡点に対応する対応点の探索を
３枚のステレオ画像のそれぞれの画像上で行い、（２）
探索の結果得られた対応点の３次元情報を復元し、
（３）その対応点の３次元座標値にモデルの追跡点を移
動させるTiを、数式(２)と同様に算出する、という手順
をとる。
テレオ画像を実時間で高速に処理する必要があるため、
フレーム毎に３次元輪郭線を復元することは困難であ
る。このため、（１）追跡点に対応する対応点の探索を
３枚のステレオ画像のそれぞれの画像上で行い、（２）
探索の結果得られた対応点の３次元情報を復元し、
（３）その対応点の３次元座標値にモデルの追跡点を移
動させるTiを、数式(２)と同様に算出する、という手順
をとる。
【００４１】なお、本発明の３次元モデル生成方法は、
記録媒体としてCD-ROMや磁気テープなどを用い、システ
ム、ソフトウェア、データ等を記録して、記録媒体とし
て販売・提供することができる。
記録媒体としてCD-ROMや磁気テープなどを用い、システ
ム、ソフトウェア、データ等を記録して、記録媒体とし
て販売・提供することができる。
【００４２】
【発明の効果】以上のように、本発明によると、複数の
異なる観測方向から観測されたステレオ画像から、ステ
レオビジョンによって復元した３次元情報を位置合わせ
して統合し、コンピュータグラフィックス、CAD、バー
チャルリアリティ、ロボットビジョンなどで利用できる
物体の３次元幾何モデルを自動生成することができる。
異なる観測方向から観測されたステレオ画像から、ステ
レオビジョンによって復元した３次元情報を位置合わせ
して統合し、コンピュータグラフィックス、CAD、バー
チャルリアリティ、ロボットビジョンなどで利用できる
物体の３次元幾何モデルを自動生成することができる。
【図１】本発明に関連するシステム構成図。
【図２】本発明に係る３次元物体モデル生成方法のフロ
ーチャート。
ーチャート。
【図３】入力ステレオ画像の説明図。
【図４】ステレオ画像から復元した輪郭線の３次元情報
を表す説明図。
を表す説明図。
【図５】輪郭線の３次元情報がセグメントに分割される
特徴点を表す説明図。
特徴点を表す説明図。
【図６】３次元幾何特徴の構造についての説明図。
【図７】ステレオ画像から復元したテクスチャ／シェイ
ジング領域の３次元情報についての説明図。
ジング領域の３次元情報についての説明図。
【図８】図３とは異なる方向から同じ物体を観測して得
られたステレオ画像の説明図。
られたステレオ画像の説明図。
【図９】図８のステレオ画像から復元した３次元輪郭線
の説明図。
の説明図。
【図１０】図８のステレオ画像から復元した３次元領域
の説明図。
の説明図。
【図１１】３次元情報と物体モデルの位置合わせ・統合
についての説明図。
についての説明図。
【図１２】物体モデルの統合結果の説明図。
【図１３】位置合わせ手法２についてのフローチャー
ト。
ト。
【図１４】位置合わせ手法２の処理についての説明図。
【図１５】位置合わせ候補を探索するための３次元幾何
特徴の照合についての説明図。
特徴の照合についての説明図。
【図１６】位置合わせ候補の検証・微調整についての説
明図。
明図。
【図１７】位置合わせ手法３についてのフローチャー
ト。
ト。
１ コンピュータ ２ データバス ３ａ，３ｂ，３ｃ テレビカメラ ４ａ，４ｂ，４ｃ Ａ／Ｄ変換器 ５ 回転テーブル ６ 画像メモリ ７ ディスプレイ装置 ８ プリンタ ９ キーボードターミナル １０ ハードディスク １１ 入力装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−88910（ＪＰ，Ａ) 特開 平10−124704（ＪＰ，Ａ) 特開 平９−81737（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 7/00,15/00,17/00 G01B 11/24
Claims (8)
- 【請求項１】複数の異なる方向から物体を観測したステ
レオ画像に基づき、３次元輪郭線を復元するステップ
と、 前記ステレオ画像に基づき、３次元領域を復元するステ
ップと、 これら復元された３次元輪郭線又は３次元領域の情報
を、それぞれ作成中の物体モデルの３次元輪郭線又は３
次元領域の情報と位置合わせをするステップと、 ３次元輪郭線及び３次元領域の情報を物体モデルとして
統合するステップとを備えた３次元物体モデル生成方
法。 - 【請求項２】物体をある方向から観測したステレオ画像
を入力するステップと、 ステレオ画像からエッジを抽出してセグメントに分割
し、セグメントを対応の単位とするステレオ対応探索処
理により、３次元輪郭線を復元するステップと、 ステレオ画像に対し、画素間の相関値に基づく相関ステ
レオ処理により、３次元領域を復元するステップと、 ３次元輪郭線及び３次元領域を統合した物体モデルが既
に登録されているか否かを判定するステップと、 物体モデルが既に登録されている場合、復元された３次
元輪郭線又は３次元領域の情報を、物体モデルの３次元
輪郭線又は３次元領域の情報と位置合わせをするステッ
プと、 物体モデルに３次元輪郭線を統合して、物体モデルを更
新するステップと、 物体全体のモデルが完成するまで、これまでに観測して
いない方向に観測方向を移動させ、前記ステレオ画像を
入力するステップからそれ以下のステップによる処理を
繰り返すステップを備えた３次元物体モデル生成方法。 - 【請求項３】物体モデルが既に登録されていない場合、
復元された３次元輪郭線及び３次元領域を統合して、物
体モデルとして登録するステップをさらに備えた請求項
２に記載の３次元物体モデル生成方法。 - 【請求項４】前記位置合わせをするステップは、 物体を回転させてステレオ画像の入力方向を制御するこ
とによって行うことを特徴とする請求項１乃至３のいず
れかに記載の３次元物体モデル生成方法。 - 【請求項５】前記位置合わせをするステップは、 ステレオ画像から物体のエッジを抽出し、そのエッジを
セグメンテーションして生成される３次元幾何特徴と、
異なる観測方向から得られた別のステレオ画像から同様
に生成された３次元幾何特徴とを照合することによって
行うことを特徴とする請求項１乃至３のいずれかに記載
の３次元物体モデル生成方法。 - 【請求項６】前記位置合わせをするステップは、 ステレオ画像から物体のエッジを抽出し、そのエッジ上
から選択される３次元追跡点の位置を初期位置とし、時
系列的に得られるステレオ画像の各フレームに対してそ
の３次元追跡点の対応を求めることにより、観測方向の
移動を検出しながら観測方向を変化させることによって
行うことを特徴とする請求項１乃至３のいずれかに記載
の３次元物体モデル生成方法。 - 【請求項７】複数の異なる方向から物体を観測したステ
レオ画像に基づき、３次元輪郭線を復元するステップ
と、 前記ステレオ画像に基づき、３次元領域を復元するステ
ップと、 これら復元された３次元輪郭線又は３次元領域の情報
を、それぞれ作成中の物体モデルの３次元輪郭線又は３
次元領域の情報と位置合わせをするステップと、 ３次元輪郭線及び３次元領域の情報を物体モデルとして
統合するステップとを備えた３次元物体モデル生成プロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項８】物体をある方向から観測したステレオ画像
を入力するステップと、 ステレオ画像からエッジを抽出してセグメントに分割
し、セグメントを対応の単位とするステレオ対応探索処
理により、３次元輪郭線を復元するステップと、 ステレオ画像に対し、画素間の相関値に基づく相関ステ
レオ処理により、３次元領域を復元するステップと、 ３次元輪郭線及び３次元領域を統合した物体モデルが既
に登録されているか否かを判定するステップと、 物体モデルが既に登録されている場合、復元された３次
元輪郭線又は３次元領域の情報を、物体モデルの３次元
輪郭線又は３次元領域の情報と位置合わせをするステッ
プと、 物体モデルに３次元輪郭線を統合して、物体モデルを更
新するステップと、 物体全体のモデルが完成するまで、これまでに観測して
いない方向に観測方向を移動させ、前記ステレオ画像を
入力するステップからそれ以下のステップによる処理を
繰り返すステップを備えた３次元物体モデル生成プログ
ラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10266643A JP2961264B1 (ja) | 1998-09-21 | 1998-09-21 | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10266643A JP2961264B1 (ja) | 1998-09-21 | 1998-09-21 | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2961264B1 true JP2961264B1 (ja) | 1999-10-12 |
| JP2000099760A JP2000099760A (ja) | 2000-04-07 |
Family
ID=17433687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10266643A Expired - Lifetime JP2961264B1 (ja) | 1998-09-21 | 1998-09-21 | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2961264B1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005346348A (ja) * | 2004-06-02 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
| JP2010112729A (ja) * | 2008-11-04 | 2010-05-20 | Omron Corp | ３次元モデルの作成方法および物体認識装置 |
| US8433128B2 (en) | 2008-11-04 | 2013-04-30 | Omron Corporation | Method of creating three-dimensional model and object recognizing device |
| JP2021103168A (ja) * | 2019-12-25 | 2021-07-15 | エーディーエーティー テクノロジー カンパニー リミテッド | 拡張現実装置及び位置決め方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002098521A (ja) | 2000-09-26 | 2002-04-05 | Minolta Co Ltd | ３次元形状データ生成装置 |
| JP3935499B2 (ja) | 2004-07-26 | 2007-06-20 | 松下電器産業株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
| JP2006098256A (ja) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体 |
| JP5321357B2 (ja) * | 2009-08-28 | 2013-10-23 | コニカミノルタ株式会社 | 三次元形状データ処理装置、三次元形状データ処理システムおよび三次元形状測定システム |
| JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | ３次元デジタイザ |
| JP2011185650A (ja) | 2010-03-05 | 2011-09-22 | Omron Corp | モデル作成装置およびモデル作成プログラム |
| CN102869950B (zh) * | 2011-11-23 | 2014-12-10 | 清华大学 | 一种提取物体三维表面轮廓的方法 |
| JP5751556B2 (ja) * | 2013-03-19 | 2015-07-22 | 株式会社ビームセンス | ステレオ透視装置およびそれを用いたステレオ観察方法 |
| JP2015083988A (ja) * | 2014-12-24 | 2015-04-30 | 株式会社ビームセンス | ステレオ透視装置およびそれを用いたステレオ観察方法 |
| KR102264682B1 (ko) | 2018-10-15 | 2021-06-15 | 주식회사 고영테크놀러지 | 검사를 위한 장치, 방법 및 명령을 기록한 기록 매체 |
| CN114502337B (zh) * | 2019-12-13 | 2024-01-09 | 川崎重工业株式会社 | 机器人系统以及工件的三维模型的形成方法 |
-
1998
- 1998-09-21 JP JP10266643A patent/JP2961264B1/ja not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005346348A (ja) * | 2004-06-02 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
| JP4546155B2 (ja) * | 2004-06-02 | 2010-09-15 | パナソニック株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
| JP2010112729A (ja) * | 2008-11-04 | 2010-05-20 | Omron Corp | ３次元モデルの作成方法および物体認識装置 |
| US8433128B2 (en) | 2008-11-04 | 2013-04-30 | Omron Corporation | Method of creating three-dimensional model and object recognizing device |
| JP2021103168A (ja) * | 2019-12-25 | 2021-07-15 | エーディーエーティー テクノロジー カンパニー リミテッド | 拡張現実装置及び位置決め方法 |
| JP7114686B2 (ja) | 2019-12-25 | 2022-08-08 | エーディーエーティー テクノロジー カンパニー リミテッド | 拡張現実装置及び位置決め方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000099760A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
| JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
| JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
| JP3054681B2 (ja) | 画像処理方法 | |
| JP2000516360A (ja) | 三次元物体モデル化装置及び方法 | |
| JPH1074272A (ja) | ３次元形状データ処理装置 | |
| KR20010042659A (ko) | 비디오 화상으로부터의 얼굴 인식 | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
| JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
| CN109613974B (zh) | 一种大场景下的ar家居体验方法 | |
| CN109447901B (zh) | 一种全景成像方法和装置 | |
| KR20060030120A (ko) | 화상 처리 장치 | |
| EP0895189B1 (en) | Method for recovering radial distortion parameters from a single camera image | |
| JP2003061936A (ja) | 動立体モデル生成装置及び方法 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
| JP2920513B2 (ja) | ３次元物体位置姿勢決定方法 | |
| JP2007323616A (ja) | 画像処理装置及びその処理方法 | |
| JP4524514B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| JP2002109518A (ja) | 三次元形状復元方法及びシステム | |
| CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |