JP2001338279A - 三次元形状計測装置 - Google Patents

Abstract

(57)【要約】 【課題】 対象物体を撮影した複数の画像から三次元形
状再構成する従来の三次元形状計測装置はノイズに弱
く，誤差が生じやすい方法、計算が複雑で簡易な手法に
しか適用できず、かつ、復元精度に問題がある方法、復
元精度を上げる手法は基準形状が予め必要で，基準形状
不明の場合は適用できない等問題がある。 【解決手段】 画像撮影手段で複数の異なる視点から対
象物体を撮影し夫々の画像を取得し、画像撮影手段の光
学系を定義した撮影系モデルとこの撮影系モデルにおけ
る撮影パラメータに従って，撮影された夫々の画像上の
各画素値を計算機内仮想空間に画像投射手段で投射し，
投射された投射面が重なる領域において，各画素点の画
素情報を投射した画素投射直線の相関度を計算して相関
度計算手段で相関度データを生成し，相関度データから
三次元形状を構成するデータを生成するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は，製品生産などの
工業（設計、製造、検査等）、情報管理（セキュリティ
システム等）、医療（検査、治療支援等）、サービス
（服飾等）等に用いられる三次元形状再構成に関するも
のである。

【０００２】

【従来の技術】従来技術 1 R. Dhond and J.K. Aggarwal:"Structure from stereo
- A review", IEEE Trans. on SMC, Vol.19, No.6, pp.
1489-1510 (1989). や， R.C. Bolles, H.H. Baker, an
d M.J. Hannah:"The JICST stereo evaluation", Proc.
of Image Understanding Workshop, pp. 23-274 (199
3). や， T. Kanade and M. Okutomi:"Astereo matchin
g algorithm with an adaptive window:Theory and exp
eriment", IEEE Trans. on PAMI, Vol.16, No.4, pp.92
0-932 (1994). や， M.J.Hannah:"A System for Digita
l Stereo Image Maching", Photorammetric Engineerin
gand Remote Sensing, Vol.55, No.12, pp.1765-1770
(1989). には，ステレオ画像のマッチングにより三次元
形状復元を行う手法（以下，相関法と称す）が記載され
ている。

【０００３】従来技術 2 S.B. Marapane and M.M. Trivedi:"Multi-premitive hi
erarchical(MPH) stereo analysis", IEEE Trans. on P
AMI, Vol.16, No.3, pp.227-240 (1994). や，R. Horau
d and T. Skordas:"Structural matching for stereo v
ision", Proc.of 9th Int'l Conf. on Pattern Recogni
tion, pp.439-445 (1994). や， Y. Ohta and T. Kanad
e:"Stereo by intra- and inter- scanline search usi
ng dynamic programming", IEEE Trans. on PAMI, Vol.
7, No.2, pp.139-154 (1985).には，特徴点に基づく三
次元形状復元の手法が記載されている．

【０００４】従来技術 3 M. Okutomi and T. Kanade:"Multiple-Baseline Stere
o", IEEE Trans. on PAMI, Vol.15, No.4, pp.353-363
(1993). や， Y. Nakamura, T. Matsuura, andY. Oht
a:"Occlusion detectable streo - Occlusion patterns
in camera matrix", Proc. of CVPR, pp.371-378 (199
6). には，複数のステレオ画像対の情報を統合すること
により曖昧さを減少させ精度を向上させる三次元形状復
元手法であるマルチベースラインステレオ法が記載され
ている。

【０００５】従来技術 4 恩田寿和，庭川誠，藤原伸行：“特徴マッチングとステ
レオ計測を結合したロボットビジョン”, 第３回画像セ
ンシングシンポジウム論文集, pp. 177-180 (1997)に
は，従来技術１の結果をより信頼性の高い三次元形状復
元結果に修正する手法が記載されている。これは，形状
を構成する点群の基準形状からの逸脱度を計算し，逸脱
度の大きな点を除去することで，信頼性の高い三次元形
状を復元する手法である。

【０００６】従来技術4の具体的な処理手順の説明図を
図７に示す。以下図７に従い従来技術4を説明する。 1. 同一対象物の2枚の画像を撮影位置と姿勢を変えてＣ
ＣＤ素子のデジタルカメラからなる画像撮影手段で夫々
撮影し，それらの撮影画像および撮影パラメータを入力
データとする。従来技術4では、画像面が同一平面内で
ｘ軸方向にすれて並んでおり、且つ座標系が画像面を基
準として定義されている。ゆえに、撮影パラメータは、 ａ．２枚の画像間の距離（相対的な撮影位置）と ｂ．焦点距離（２枚の画像とも同一の焦点距離を持つと
仮定）を用いている。

【０００７】一般的に撮影パラメータは、 (1) 並行投影の撮影系を考えた場合には、 ａ．２枚の画像の撮影位置 ｂ．それらの画像の夫々の撮影方向 ｃ．それらの画像夫々の縦横比（ＣＣＤ素子のデジタル
カメラでは、ＣＣＤ素子の配置密度が縦横で異なった
り、ＣＣＤ素子配置平面がレンズの光軸に対して傾いて
いたりした場合、縦横比が変わる。ここで、レンズの光
軸とは、並行投影の場合、撮像面へ光線が入射する方向
の空間軸を表す。）の３つである。

【０００８】(2)理想的な（線形の）射影投影の撮影系
の場合は、 ａ．２枚の画像の撮影位置 ｂ．それらの画像の夫々の撮影方向 ｃ．それらの画像夫々の縦横比（ＣＣＤ素子のデジタル
カメラでは、ＣＣＤ素子の配置密度が縦横で異なった
り、ＣＣＤ素子配置平面がレンズの光軸に対して傾いて
いたりした場合、縦横比が変わる。）ここで、レンズの
光軸とは、レンズへ光線が入射したときに集光する点を
通り、光線が集光→拡散していく束の中心を通る直線を
表す。レンズの光軸は正確には1本で表せるものではな
いが、通例として、誤差が十分少ないと仮定して、上記
した直線に定義される。また、射影撮影の撮影系におい
て、レンズに入射した光線が集光する点は、厳密には１
点にならないが通例は1点と考える。 ｄ．それらの画像夫々の中心座標(デジタルカメラの焦
点位置から画像に下ろした垂線と画像平面の交点（画像
中心点）の座標) ｅ．それらの画像夫々の焦点距離（画像中心点から焦点
までの距離）の５つである。

【０００９】２．対応点探索手段により、撮影パラメー
タに基づいて計算機内仮想空間に投射された２枚の撮影
画像Ａ，Ｂの一方の画像の任意画素において，撮影系モ
デルに基づいた幾何計算と対応確率計算により対応点の
探索を行い，対応点候補を決める。ここで、撮影系モデ
ルとは、撮影した系を記述したもので、実際の撮影系を
計測で考える撮影系にモデル化したものである。即ち、
実際の撮影系と計測で考える撮影系は完全に一致してい
るとは限らず（むしろ一致していないと考えるのが自然
である）計測で考える撮影系は実際の撮影系をモデル化
したものと捉えられる。

【００１０】撮影系をモデルとしては、例えば上記した
平行投影の撮影系や射影投影の撮影系等を用いることが
出来る。

【００１１】幾何計算は、並行投影の撮影系の場合 (1)投影を始める位置、(2)投影の方向から空間内（空間
は一般には計算のために仮に原点と空間軸の方向を決め
た計算機内空間を考える）において投影された光線がど
こに位置し、どの方向に延びているかの計算を各々の画
像内に対して行い、各々の各画素を投影している直線が
空間内のどの位置で交わるかその交点と、交点の画素値
（輝度、色相、彩度の何れかで良い）がどのくらい似て
いるを算出する。対応確率計算は、2枚の各画素点にお
いて、最も似通っている点対の存在する空間点を対応点
候補とする。

【００１２】図７では説明のため一断面における対応点
候補の図を示しているが，実際の対応点候補は三次元空
間内に広がって存在する。

【００１３】3. 手順2 を全ての画素に対して行い，全
ての画素の対応点候補を決定する。 4. 推定ノイズを除去するため，手順3 で求めた対応点
候補と基準形状から，対応点選択手段を用いて対応点候
補を取捨選択する。

【００１４】この従来の装置において、基準形状は三次
元形状表面の推定点の平均座標位置を含み且つ推定点の
空間広がりが大きい２空間軸を含む平面（即ち、推定点
が最も広がっている＝最も散らばっている方向を１番目
の軸、次にその軸に直交し且つ推定点が次に広がってい
る方向を２番目の軸とし、これ等２つの軸で構成される
平面）と定義され、三次元形状が復元される。

【００１５】図７に記載の三次元形状の図には，三次元
形状を構成するために取捨選択された対応点候補が記載
されている。図７では説明のため三次元形状の図に対応
点候補を記載しているが，実際には三次元形状に対応点
候補は含まれていない。また、図７に記載の基準形状は
概念説明のためのもので、この従来技術４の論文で示さ
れている基準形状ではなく、一般的な三次元形状を基準
形状の一例として図示している。

【００１６】5. 選択した対応点候補群から面を構成
し，三次元形状とする。面は、例えば対応点候補をつな
ぐ三角パッチで表現できる。図７では説明のため一断面
における三次元形状の図を示しているが，実際の三次元
形状は三次元空間内に広がって存在する。

【００１７】

【発明が解決しようとする課題】従来技術１では、画像
毎に撮影の位置姿勢が異なることから，物理的に同一な
点を撮影した画素同士であってもそれらに濃淡や色の不
一致が生じたり，対象物の形状やテキスチャによっては
一様領域でのマッチングの任意性が生じたりする。領域
に基づくマッチング手法では，対応点探索において最も
高い相関を持つ点を候補点と決定しまうため，大きく外
れた対応点候補にデータ全体が引っ張られるなどノイズ
に弱く，対応付けの際に誤差や誤対応が生じやすい。

【００１８】従来技術２の特徴に基づく手法では，特徴
点においてしか視差が得られないため，非特徴点の視差
を補間する必要がある。さらに，どこを特徴点とし，そ
れらをどう計算するか（与えるか）の問題も残る。ま
た，計算が複雑なため，現時点では撮影系モデルとして
平行投影を用いた手法しか提案されていない。それ故，
復元精度に問題がある。

【００１９】従来技術３のマルチベースラインステレオ
法では，複数のステレオ画像対の情報の統合により曖昧
さを減少させているが，信頼性を向上させるためには多
くの方向より画像を撮影する必要があること，基本的に
従来技術 1 であるため画像中に相似した画素がある場
合での誤対応は根本的に防げないなど課題も残る。

【００２０】従来技術４の逸脱度計算による形状候補点
の選択手法では，大きく外れた対応点候補にデータ全体
が引っ張られることを抑制するために逸脱度計算による
形状候補点の選択を行うが，そのためには逸脱度計算の
際に基準となる基準形状を予備知識として予め与える必
要があり，基準形状を既知とすることが不可能な場合に
は適用できない。また，ノイズを除去した部分の補間を
必要とする。

【００２１】

【問題を解決するための手段】本発明に係る三次元形状
計測装置は、複数の異なる視点から対象物体を撮影し夫
々の画像を取得する画像撮影手段と，画像撮影手段の光
学系を定義した撮影系モデルとこの撮影系モデルにおけ
る撮影パラメータに従って，画像撮影手段で撮影された
夫々の画像上の各画素値を計算機内仮想空間に投射する
画像投射手段と，各画像から投射された投射面が重なる
領域において，各画素点の画素情報を投射した直線（以
下，画素投射直線と称す）の相関度を計算して相関度デ
ータを生成する相関度計算手段と，相関度データから三
次元形状を構成するための三次元形状データを生成する
形状構成手段とを有する。

【００２２】また、本発明に係る三次元形状計測装置
は、前記形状構成手段が，生成するデータは三次元形状
を復元する表面データであり、形状構成手段は、この各
表面データが物体表面を構成している面確率を類似度デ
ータから計算するための面確率計算手段と，面確率から
物体表面を構成するデータを生成する面構成手段をす
る。

【００２３】また、本発明に係る三次元形状計測装置
は、前記形状構成手段が，生成するデータは三次元形状
を復元する透明度を情報に含むボリュームデータであ
り，前記形状構成手段は、類似度データから面確率デー
タを生成するための面確率計算手段と、面確率データか
らボリュームデータを生成するボリュームデータ生成手
段を有する。

【００２４】また、本発明に係る三次元形状計測装置
は、前記面確率計算手段が、相関度データのHessian行
列から局所領域における固有値／固有ベクトルを計算
し、各基底の固有値の比較より形状のプリミティブ（以
下，局所形状プリミティブと称す）を計算し、固有ベク
トルの向きより局所形状プリミティブの向きを計算する
構成にされた。

【００２５】また、本発明に係る三次元形状計測装置
は、面確率計算手段は、局所形状プリミティブとして、
一様プリミティブ，点プリミティブ，直線プリミティ
ブ，平面プリミティブの4つの局所形状プリミティブの
何れかを出力する構成にされた。

【００２６】また、本発明に係る三次元形状計測装置
は、前記面確率計算手段は,さらにひとつの画素には只
一つの三次元点からの光線しか投影されないという拘束
条件を用い，求めた三次元形状から面確率の低いものを
除去する構成にされた。

【００２７】

【発明の実施の形態】実施の形態１ 以下、本発明の実施の形態１を図面を用いて説明する。
図１〜３は本発明の実施の形態１の説明図である。図１
は装置の構成図，図２は処理手順の説明図、図３は面確
率計算手段における局所形状の分類の一実施例を示す説
明図である。

【００２８】図１において、201は対象物体を撮影する
画像撮影手段で例えばＣＣＤ素子のデジタルカメラであ
る。202は画像撮影手段201で撮影された撮影画像上の各
画素値を計算機内仮想空間に投射するための画像投射手
段、203は画像投射手段202により投射された画像の投射
面が重なる領域において，各画素点の画素情報を投射し
た直線（以下，画素投射直線と称す）の相関度（類似
度）を計算して相関度データを生成するための相関度計
算手段、204は相関度データから三次元形状を構成する
ための三次元形状データ207を生成する形状構成手段で
あり、形状構成手段204は、面確率計算手段205及び面構
成手段206を備えている。

【００２９】以上のように構成された三次元形状計測装
置の処理手順を図２を用いて説明する。 1. 画像撮影手段201により，位置・姿勢を変えて対象物
体を撮影し，2枚の画像，画像Ａ303，画像Ｂ304を生成
し、それらの撮影画像303、304および撮影パラメータ30
2を獲得する。

【００３０】ここで、撮影パラメータ302は従来技術と
同様 (1) 並行投影の撮影系を考えた場合には、 ａ．２枚の画像の撮影位置 ｂ．それらの画像の夫々の撮影方向 ｃ．それらの画像夫々の縦横比（ＣＣＤ素子のデジタル
カメラでは、ＣＣＤ素子の配置密度が縦横で異なった
り、ＣＣＤ素子配置平面がレンズの光軸に対して傾いて
いたりした場合、縦横比が変わる。ここで、レンズの光
軸とは、並行投影の場合、撮像面へ光線が入射する方向
の空間軸を表す。）であり、

【００３１】(2)理想的な（線形の）射影投影の撮影系
の場合は、 ａ．２枚の画像の撮影位置 ｂ．それらの画像の夫々の撮影方向 ｃ．それらの画像夫々の縦横比（ＣＣＤ素子のデジタル
カメラでは、ＣＣＤ素子の配置密度が縦横で異なった
り、ＣＣＤ素子配置平面がレンズの光軸に対して傾いて
いたりした場合、縦横比が変わる。） ここで、レンズの光軸とは、レンズへ光線が入射したと
きに集光する点を通り、光線が集光→拡散していく束の
中心を通る直線を表す。レンズの光軸は正確には1本で
表せるものではないが、通例として、誤差が十分少ない
と仮定して、上記した直線に定義される。また、射影撮
影の撮影系において、レンズに入射した光線が集光する
点は、厳密には１点にならないが通例は1点と考える。 ｄ．それらの画像夫々の中心座標(デジタルカメラの焦
点位置から画像に下ろした垂線と画像平面の交点（画像
中心点）の座標。ここで、焦点は理想的な射影投影の撮
像系において、光線が集中する点) ｅ．それらの画像夫々の焦点距離（画像中心点から焦点
までの距離）の５つとなる。

【００３２】ここで「系」とは、距離を定義する空間の
仕組みを指し、また、射影投影の撮影系で非線型モデル
の場合は、さらに2次や3次の歪みを表す係数を導入する
必要がある。

【００３３】このとき，画像Ａ303および画像Ｂ304の形
状は平面とは限らず，曲面でも良い。但し、画像Ａ303
および画像Ｂ304の形状が曲面の場合にはそれに対応し
た撮影系モデルを用いる必要がある。また，3枚以上の
画像撮影を行い，マルチベースライン法の概念を本発明
に導入，拡張しても良い。

【００３４】２．次に、画像投射手段202を用い，撮影
パラメータ302に基づいて撮影画像Ａ303、Ｂ304を計算
機内仮想空間に投射する。このとき投射する画素情報
は，画像中の画素の輝度や色情報（色相、彩度）など対
応点検索で用いることができるものであれば何でも良
い。画素情報の投影は、並行投影の撮影系や射影投影の
撮像系などの撮影系モデルに基いて行う。

【００３５】並行投影の撮影系の場合には、撮影パラメ
ータ302である (1)投影を始める位置と (2)投影の方向と (3)画像の縦横比から各画素の位置する空間点を通り且
つ画像面に直交する直線を計算し、その直線上に画素情
報を割り当てる。

【００３６】射影投影の撮像系の場合には、撮影パラメ
ータ302である (1)．２枚の画像の撮影位置 (2)．それらの画像の夫々の撮影方向 (3)．それらの画像夫々の縦横比 (4)．それらの画像夫々の中心座標 (5)．それらの画像夫々の焦点距離から各画素の位置す
る空間点と焦点を直線を計算し、その直線上に画素情報
を割り当てる。 上記した画素情報を割り当てる直線群の一例を画素投射
直線305に示す。また，以下の手順3 で述べるように，
複数の画素情報について投射および処理を行い，それら
を統合しても良い。

【００３７】2. 物体表面上の点の連続性は以下のよう
にして計算中に考慮する。 3. 相関度計算手段203を用い，計算機内仮想空間内の各
空間点において，画素点が対応する確率を示す相関度デ
ータ306をそれぞれ生成する。具体的には，2つ以上の画
像面から投射された2本以上の画素投射直線305の相関度
を計算し，その相関度を相関度データ306内の２直線の
交点位置のデータに割り当てることで、相関度データ30
6を生成する。

【００３８】相関度は，例えば各画素投射直線305（元
の画素）の持つ輝度や色相などの各相関度に重みをつけ
て統合したものとする。また，画素情報そのものの相関
度ではなく，画素情報の正規化二次微分量や，テキスチ
ャの特徴量や，Gaborフィルタの処理結果など周波数空
間の特徴量の相関度を用いても良い。

【００３９】4. 面確率計算手段205を用い，相関度デー
タ306から局所的に面や直線である面確率を計算する。
面確率は，例えば以下のように計算できる。相関度デー
タ306の各空間点における局所データからHessian行列の
固有値／固有ベクトルを計算し，各固有値の大きさを比
較することで，面確率を計算できる。ここで、局所デー
タとは、対象データ内における局所領域（データの一
部、例えば３×3×3の立方領域）のデータである。この
面確率計算手段205の動作詳細は後述する。

【００４０】5. 手順4 で求めた面確率を計算機内仮想
空間内の全ての空間点において計算し，面確率データ30
7を計算する。その際，計算を安定させるために，例え
ば，低解像度データでの処理（大局的処理）から高解像
度データでの処理（局所的処理）を行い，それらを統合
するなど，多重解像度アルゴリズムによる面確率計算を
行っても良い。

【００４１】6. 面構成手段206を用い，手順5 で求めた
面確率データ307から，面確率の高い部分のみを抽出す
るために平面の薄面化処理（直線における細線化処理と
同等）を行い，三次元形状データ207を生成する。この
三次元形状データ207から復元三次元形状308を得る。

【００４２】薄面化処理には、例えば手順４で求めたHe
ssian行列の固有値／固有ベクトルを利用できる。この
固有値／固有ベクトルにおいて、固有ベクトルは推定す
る面の法線ベクトルを表すので、面確率データ307内に
おいて固有ベクトルの方向軸において面確率の最大値を
探索すれば、面確率の高い部分が集まっている領域にお
ける面確率の集中する面を推定できる。

【００４３】ここでは，三次元形状データ207は復元形
状308に示すように曲面として復元される。また，復元
形状308は，そのデータとして色や面の傾きに関する情
報など，データの表示や処理に必要な情報を有するもの
でも良い。

【００４４】図2 では説明のため一断面における相関度
データ，面確率データ，および三次元形状の図を示して
いるが，実際の相関度データ306，面確率データ307，お
よび三次元形状207は三次元空間内に広がって存在す
る。

【００４５】次に面確率計算手段205により，相関度デ
ータ306から局所的に面や直線である面確率の計算方法
について更に詳しく説明する。面確率計算手段205は相
関度データ306から計算により局所形状を分類し、その
分類から局所的に面あるいは直線であることを判定す
る。その局所形状の分類の一実施例を図３に示す。

【００４６】局所形状の分類は，以下のように行う。面
確率計算手段205は、まず相関度データから局所領域に
おける固有値／固有ベクトルを計算する。固有値／固有
ベクトルは，例えばデータ値のHessian行列を生成し，
その固有情報を計算することで得られる。

【００４７】Hessian行列は，画素明度の二次偏微分行
列であり，

【数１】 と書ける。

【数２】

【００４８】

【数３】

【００４９】次に，以下に示すように，各基底の固有値
の比較より局所形状プリミティブの分類処理を，固有ベ
クトルの向きより局所形状プリミティブの向きを計算す
る。 ● 3 つの固有値の大きさが同等，且つ小さい場合：一
様プリミティブ601。 ● 3 つの固有値の大きさが同等，且つ大きい場合：点
プリミティブ602 。 ● 3 つの固有値において，他の 1 つに比べ 2 つの固
有値が大きい場合：直線プリミティブ603。 ● 3 つの固有値において，他の 2 つに比べ 1 つの固
有値が大きい場合：平面プリミティブ604。 図３では 4 つの局所形状プリミティブを示している
が，実際のシステムでは必要に応じてその一部のみを使
用するなどしても良い。

【００５０】本実施の形態１では，画素情報に加え，物
体表面を構成する点の空間的連続性を拘束条件として導
入し，対応点を求める。具体的には，相関度計算手段と
形状構成手段を有することで，まず相関度データを計算
し，次にそこから相関度データの特徴量，例えば，線ら
しさや面らしさなどを表す面確率データを生成，さらに
そこから三次元形状を構成する。これにより，「画素情
報の相関が高い」だけでなく，「空間的に連続してい
る」データを三次元形状として抽出できる。

【００５１】具体的な効果としては，相関が高くても空
間内で位置的に孤立して存在する点は，ノイズとして扱
うことができる，相関が最も高い点ではないが一定以上
の相関を持ち，且つ空間内の周辺の状態から面あるいは
線を構成していると思われる点（高い相関が空間的に連
続して現れている点）は，それぞれ面あるいは線として
扱うことができるなど，ノイズに強く信頼性が高い。

【００５２】これを二次元画像処理でたとえると，従来
法は，２値化によって形状を抽出してからそれを補正す
る手法，本実施の形態１は濃淡画像に強調フィルタを掛
けてから形状抽出する手法と例えられる。２値化によっ
て形状を抽出してからそれを補正する手法は，情報落ち
したデータを修正しているので得られた結果の信頼性は
低い。本実施の形態１は情報を保持したデータから三次
元形状を復元するので，信頼性や精度の大幅な向上を期
待できる。

【００５３】また，「局所的に物体表面は連続してい
る」という一般的な拘束を用いるため，計算のために、
予め画素間で対応する特徴点を指定したり、抽出したり
等の煩雑な処理が不要になる。そのため、目的毎にシス
テムのパラメータを調整する必要がなく汎用性に優れて
いる。また、手作業あるいは（現時点では）不安定なア
ルゴリズムを処理手順内に含まないため実用性に優れて
いる。さらに、この「局所的に物体表面は連続してい
る」という一般的な拘束を用いることは，局所的に形状
を定義し大局的にはその繋ぎ合わせで形状を復元するこ
とになるので，大局的に見た場合に自由な形状を構成で
き，従来技術 4 のように三次元形状に関する予備知識
を必要としない。

【００５４】画素値のみの情報からでなく、物体表面の
空間的な情報「局所的に物体は平面を構成している」も
拘束条件に加えることで、誤対応（正しい対応ではない
が、拘束条件のみからでは正しいと計算される対応）を
減少させ、大幅な計算の安定化、高信頼化が図れる。

【００５５】画像面の形状を平面に限定していないの
で，様々な撮影モダリティに対して適用可能である。

【００５６】画素情報を輝度のみに限定せずに色情報な
どにも適用可能とすることで，応用範囲が広がる。

【００５７】正規化二次微分量を画素情報として用いる
ことで，画素明度のオフセット変化に対してロバスト
（ノイズの影響が少ない）にできる。

【００５８】テキスチャの特徴量を画素情報として用い
ることで，テキスチャ情報量が多い対象に対してより信
頼性の高い形状復元を可能にできる。

【００５９】周波数空間の特徴量を情報とすることで，
テキスチャ情報量が多い対象に対してより信頼性の高い
形状復元を可能にできる。

【００６０】面確率計算手段において，相関度データか
らHessian行列の固有値／固有ベクトルを用いて面確率
計算を行うことで，効果的に面形状を抽出できる。

【００６１】一様プリミティブ，点プリミティブ，直線
プリミティブ，平面プリミティブの4 つの局所形状プリ
ミティブあるいはその一部を用いた判別法を判定基準と
して設けることで，固有値／固有ベクトルを用いた面確
率計算手順を定義できる。

【００６２】多重解像度の概念を本発明に導入すること
で，より安定した形状判定を可能とする。

【００６３】多くの方向から撮影した画像を統合するマ
ルチベースライン法を本発明に適用することで，信頼性
の高い形状計測を可能とする。

【００６４】面確率計算手段は,三次元形状にテキスチ
ャや面傾きなどの付加情報を持たせる構成してもよい。
このように、三次元形状にテキスチャや面傾きなどの付
加情報を持たせることで，表示あるいは後の処理におい
て，効果的にデータを利用できる。

【００６５】実施の形態２ 本発明の実施の形態２について説明する。図４は装置の
構成図、図５は処理手順の説明図である。この実施の形
態２は形状構成手段401以外は、実施の形態１と同様の
構成であり、形状構成手段401は実施の形態１における
面構成手段206に換えてボリュームデータ生成手段402を
備えている。即ち、形状構成手段401は面確率計算手段2
05とボリュームデータ生成手段402を備えている。

【００６６】図５に従い，処理手順を以下に説明する。 １．画像撮影手段201により，2枚の画像，画像Ａ303，
画像Ｂ304を撮影の位置姿勢を変えて撮影し，それら撮
影パラメータ302を獲得する。このとき，画像Ａ303およ
び画像Ｂ304の形状は平面とは限らず，曲面でも良い。
また，3枚以上の画像撮影を行い，マルチベースライン
法の概念を本実施の形態に導入，拡張しても良い。

【００６７】２．画像投射手段202を用い，撮影パラメ
ータ302に基づいて撮影画像Ａ303、Ｂ304を計算機内仮
想空間に投射する。このとき投射する画素情報は，画像
中の画素の輝度や色情報など対応点検索で用いることが
できるものであれば何でも良い。また，以下の手順3 で
述べるように，複数の画素情報について投射および処理
を行い，それらを統合しても良い。

【００６８】３．相関度計算手段203を用い，計算機内
仮想空間内の各空間点において，画素点が対応する確率
を示す相関度データ306をそれぞれ生成する。具体的に
は，2つの画像面から投射された2本の画素投射直線305
の相関度を計算し，相関度データ306を生成する。相関
度は，例えば各画素投射直線305（元の画素）の持つ輝
度や色相などの各相関度を重みをつけて統合したものと
する。また，画素情報そのものの相関度ではなく，画素
情報の正規化二次微分量や，テキスチャの特徴量や，Ga
borフィルタの処理結果など周波数空間の特徴量の相関
度を用いても良い。

【００６９】４．面確率計算手段205を用い，相関度デ
ータから局所的に面や直線である面確率を計算する。面
確率は，例えば以下のように計算できる。各空間点にお
ける局所データからHessian行列の固有値／固有ベクト
ルを計算し，各固有値の大きさを比較することで，面確
率を計算できる。面確率は、実施の形態１で述べた方法
で、計算する。

【００７０】５．手順 4で求めた面確率を全ての計算機
内仮想空間内の空間点において計算し，面確率データを
計算する。その際，計算を安定させるために，例えば，
低解像度データでの処理（大局的処理）から高解像度デ
ータでの処理（局所的処理）を行い，それらを統合する
など，多重解像度による面確率計算を行っても良い。

【００７１】また、その後に、面確率計算手段205で生
成された面確率データに対して、「一つの画素（画像の
焦点が十分合っているならば）は、只一つの三次元点か
らの光線を検出している」という拘束条件を用いノイズ
を除去する方法を施してもよい。

【００７２】この方法は、従来技術４の対応点探索手段
に手法が類似している。従来技術４は画素の対応付けを
行う際に、“画素データの相関度データそのもの”に対
して各画素点においおて最大確率を持つ点を抽出する。
対して本発明の手法は“画素データの相関度データに、
さらに物体表面の空間的連続性を考慮した面確率デー
タ”に対して各画素点において最大確率を持つ点を抽出
する。即ち、既に物体表面の空間的連続性が考慮された
データに対して選択処理を行うので、従来技術４と比較
しても、ノイズ除去の効果は大幅に向上する。

【００７３】６．ボリュームデータ生成手段402を用い
て，手順5 で求めた面確率データ307から，面確率を透
明度（面確率の低い部分を透明にし、高い部分を不透明
にする）としたボリュームデータを生成し，三次元形状
データ207を生成する。あるいは，面確率データ307その
ものをボリュームデータとして記述しても良い。

【００７４】ボリュウムデータにおいて、局所領域の形
状分類を行う方法は、例えば、SatoY.,Nakajima S.,Shi
raga N.,Atsumi H.,Yoshida S.,Koller T.,Gerig G.,an
d Kikinis R:“Three-Dimensional Multi-Scale Line F
ilter for Segmentation and Visualization of Curvil
inear Structures in Medical Imeges”,in MedicalIme
ge Analysis,2(2):143-168,1998に述べられている。こ
の研究では、ボリュウム医療画像から血管等を抽出する
ために、局所分類を行っている。本実施の形態２はこの
技術を形状計測に応用したものである。

【００７５】また，さらに図６に示したように面確率の
変化を強調するような処理を、ボリュームデータ生成手
段402に追加してもよい。この方法は例えば細線化処理
のような処理を、面確率データに対して施すことで、ボ
リュームデータの物体表面をより鮮明にすることができ
る。

【００７６】図５では説明のため一断面における相関度
データ，面確率データ，および三次元形状の図を示して
いるが，実際の相関度データ306，面確率データ307，お
よび三次元形状403は三次元空間内に広がって存在す
る。

【００７７】面形状強調手段を有することで，より効果
的なボリュームデータの表示を可能とする。

【００７８】面確率計算手段において，ひとつの画素に
は只一つの三次元点からの光線しか投影されないという
拘束を導入することで，効果的にノイズ（誤対応点）を
除去することができる。

【００７９】

【発明の効果】本発明では，相関度計算手段と形状構成
手段を有し、まず相関度データを計算し，次にそこから
相関度データの特徴量，例えば，線らしさや面らしさな
どを表す面確率データを生成、さらにそこから三次元形
状を構成する。即ち、画素情報に加え，物体表面を構成
する点の空間的連続性を拘束条件として導入し，対応点
を求める。これにより，「画素情報の相関が高い」だけ
でなく，「空間的に連続している」データを三次元形状
として抽出できる。

【００８０】また，「局所的に物体表面は連続してい
る」という一般的な拘束を用いるため，特徴点など三次
元形状に関する予備知識を必要としない。さらに局所的
に形状を定義し大局的にはその繋ぎ合わせで形状を復元
することになるので，大局的に見た場合に自由な形状を
構成でき，従来技術 4 のように三次元形状に関する予
備知識を必要としない。

【００８１】面確率データは表面データにはなっておら
ず、物体の表面形状データを構成するためには、何らか
の処理が必要である。面確率データに薄面化処理などの
形状構成手段を加えることで，従来の方法では処理が困
難であった「画一的な処理による表面データの生成」が
可能となる。この方法により、より信頼性の高い形状計
測を可能とする。

【００８２】表示を目的とする場合においては、三次元
形状にボリュームデータを用いることで、表面データを
用いる場合よりも、少ない処理時間で、よりロバスト
（ノイズの影響の少ない）な表示が期待できる。

【００８３】面確率計算手段において，相関度データか
らHessian行列の固有値／固有ベクトルを用いて面確率
計算を行うことで，効果的に面形状を抽出できる。

【００８４】一様プリミティブ，点プリミティブ，直線
プリミティブ，平面プリミティブの4 つの局所形状プリ
ミティブあるいはその一部を用いた判別法を判定基準と
して設けることで，固有値／固有ベクトルを用いた面確
率計算手順を定義できる。

【図面の簡単な説明】

【図１】 本発明の実施の形態１を示す装置の構成図。

【図２】 実施の形態１の処理手順の説明図。

【図３】 面確率計算手段による局所形状分類の一実施
例を示す説明図。

【図４】 実施の形態２を示す装置の構成図。

【図５】 実施の形態２における処理手順の説明図。

【図６】 実施の形態２における他の例の動作説明図。

【図７】 従来装置の処理手順の説明図。

【符号の説明】

201：画像撮影手段、202：画像投射手段、203：相関度
計算手段、204：形状構成手段、205：面確率計算手段、
206：面構成手段、207：三次元形状データ、401：形状
構成手段、402：ボリュームデータ生成手段。

Claims (6)

【特許請求の範囲】
1. 【請求項 1】 複数の異なる視点から対象物体を撮影し
   夫々の画像を取得する画像撮影手段と，画像撮影手段の
   光学系を定義した撮影系モデルとこの撮影系モデルにお
   ける撮影パラメータに従って，画像撮影手段で撮影され
   た夫々の画像上の各画素値を計算機内仮想空間に投射す
   る画像投射手段と，各画像から投射された投射面が重な
   る領域において，各画素点の画素情報を投射した直線
   （以下，画素投射直線と称す）の相関度を計算して相関
   度データを生成する相関度計算手段と，相関度データか
   ら三次元形状を構成するための三次元形状データを生成
   する形状構成手段とを有することを特徴とする三次元形
   状計測装置。
2. 【請求項２】 前記形状構成手段は，生成するデータが
   三次元形状を復元する表面データであり、この各表面デ
   ータが物体表面を構成している面確率を類似度データか
   ら計算するための面確率計算手段と，面確率から物体表
   面を構成するデータを生成する面構成手段をすることを
   特徴とする三次元形状計測装置。
3. 【請求項３】 前記形状構成手段は，生成するデータが
   三次元形状を復元する透明度を情報に含むボリュームデ
   ータであり，類似度データから面確率データを生成する
   ための面確率計算手段と、面確率データからボリューム
   データを生成するボリュームデータ生成手段を有するこ
   とを特徴とする三次元形状計測装置。
4. 【請求項４】 前記面確率計算手段は、相関度データのH
   essian行列から局所領域における固有値／固有ベクトル
   を計算し、各基底の固有値の比較より形状のプリミティ
   ブ（以下，局所形状プリミティブと称す）を計算し、固
   有ベクトルの向きより局所形状プリミティブの向きを計
   算する構成にされたことを特徴とする請求項２または請
   求項３記載の三次元形状計測装置。
5. 【請求項５】 面確率計算手段は、局所形状プリミティ
   ブとして、一様プリミティブ，点プリミティブ，直線プ
   リミティブ，平面プリミティブの4つの局所形状プリミ
   ティブの何れかを出力する構成にされたことを特徴とす
   る請求項４記載の三次元形状計測装置。
6. 【請求項６】 前記面確率計算手段は,さらにひとつの画
   素には只一つの三次元点からの光線しか投影されないと
   いう拘束条件を用い，求めた三次元形状から面確率の低
   いものを除去する構成にされたことを特徴とする請求項
   ２または請求項３記載の三次元形状計測装置。