JP2005332177A - ３次元情報処理装置、３次元情報処理方法、及び３次元情報処理プログラム - Google Patents

Abstract

【課題】 ステレオペア画像において対応する標定点の設定作業を自動化すること。
【解決手段】 ３次元モデルの対象となる被写体を撮影位置を変化させながら動画撮影する。このようにして撮影された動画データで最初のフレーム上で、被写体上に標定点を自動設定する。この自動設定は、例えば、エッジ検出などで被写体上の特徴点を抽出するなどして行う。設定した標定点を動画データを構成する各フレームで追跡し、各フレーム上での標定点を設定していく。そして、これら標定点が設定されたフレームから２つのフレームをステレオペア画像として選択し、写真測量解析を行う。更に、写真測量解析の結果得られた３次元情報を用いて被写体の３次元モデルを生成する。
【選択図】 図１

Description

本発明は、３次元情報処理装置、３次元情報処理方法、及び３次元情報処理プログラムに関し、例えば、写真測量技術を用いて動画データから被写体の３次元モデルを生成するものに関する。

写真測量の理論は、古くから研究されており、その成果は土木の分野などで広く利用されている。
写真測量は、被写体を異なる角度から撮影した２枚のステレオペア画像から、被写体の３次元情報を算出する技術である。

以下、図１４を用いて、写真測量の概要を説明する。
写真測量では、図１４（ａ）に示したように、被写体１００をカメラ１０２によって、異なる２方向から撮影する。
これによって、図１４（ｂ）に示したような、被写体を左側から撮影した左画像と右側から撮影した右画像からなるステレオペア画像が得られる。

このようにして得られたステレオペア画像を用いて、作業者は左右画像で対応する点（以下、標定点）を認定する。図では、左画像の標定点Ｈ１と右画像の標定点Ｈ１が対応すると認定し、以下同様に、他の標定点の対応関係を認定していく。なお、左画像の標定点Ｈ５と右画像の標定点Ｈ８は、被写体の死角となり対応する標定点がない。
次に、作業者は、左画像と右画像に平面座標系を設定し、左右画像で対応する標定点の、左画像での座標値と右画像での座標値を計測していく。

そして、これら計測値に写真測量理論（内部標定、相互標定、絶対標定などからなる）を適用することにより、これら標定点の３次元座標値を計算することができる。
また、対応する標定点のなかった標定点Ｈ５や標定点Ｈ８も、写っている画像での２次元座標値に写真測量の結果得られたパラメータを適用して３次元座標値を算出することができる。
これら算出された３次元座標値を用いて、図１４（ｃ）に示したような、被写体１００の３次元モデル１００ａを生成することができる。

ところで、写真測量を行うには、高度な熟練技能が必要であるが、近年普及のめざましいデジタルカメラを用いて、被写体のデジタル画像を撮影し、これをコンピュータで情報処理することにより、被写体の３次元モデルを生成する技術も開発されている。この技術は、次の特許文献に記述されている。

特開２００２−３１５２７号公報

この技術では、熟練技能者と同程度の結果を得ることができるアルゴリズムがプログラム化されており、熟練技能を持たない一般のユーザでも高い精度で容易に写真測量を行うことができる。

上記の技術では、ほとんどの処理は自動化されたが、左右画像の対応する標定点を認定する作業は依然ユーザが手作業で行っていた。
つまり、左画像の標定点と右画像の標定点を対応付ける作業は、ユーザがコンピュータに１つずつ入力する必要があった。
また、標定点の数が少ない場合は手入力を行うことも可能であるが、例えば、複雑な形状の被写体の３次元モデルを生成する場合や、街の風景を撮影して街の３次元モデルをコンピュータグラフィック化する場合のように、多くの標定点を設定する場合は、手入力が困難であった。

そこで、本発明の目的は、対応する標定点の設定作業を自動化することである。

本発明は、前記目的を達成するために、請求項１に記載の発明では、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得手段と、前記取得した動画データから、前記被写体に標定点が設定された第１の静止画像を取得する第１の静止画像取得手段と、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第２の静止画像を取得する対応画像取得手段と、前記第１の静止画像上での標定点の２次元座標値と、前記第２の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出する３次元座標値算出手段と、を具備したことを特徴とする３次元情報処理装置を提供する。
請求項２に記載の発明では、動画データから静止画像を取得し、前記静止画像で前記被写体上に標定点を設定する標定点設定手段を具備し、前記第１の静止画像取得手段は、前記標定点を設定した静止画像か、又は、前記動画データを用いて前記静止画像から標定点が追跡された静止画像を第１の静止画像として取得することを特徴とする請求項１に記載の３次元情報処理装置を提供する。
請求項３に記載の発明では、前記第１の静止画像、又は第２の静止画像の標定点のうち、少なくとも２点の平面位置の実測値、および少なくとも３点の高さの実測値が既知である基準点の指定を受け付ける基準点受付手段と、前記受け付けた基準点の実測値の入力を受け付ける実測値入力手段と、を具備し、前記３次元座標値算出手段は、前記基準点の実測値を用いて実寸大の３次元座標値を算出することを特徴とする請求項１、又は請求項２に記載の３次元情報処理装置を提供する。
請求項４に記載の発明では、被写体に設定された標定点を追跡することにより前記動画データから対応する標定点を有する２つの静止画像を取得する静止画像取得手段と、前記取得した２つの静止画像から当該標定点を用いて算出される当該被写体の３次元座標値の精度評価する評価手段と、を具備し、前記第１の静止画像取得手段と前記対応画像取得手段は、前記評価手段で所定の精度を有すると評価された静止画像を取得することを特徴とする請求項１、請求項２、又は請求項３に記載の３次元情報処理装置を提供する。
請求項５に記載の発明では、前記第２の静止画像が有する少なくとも３つの標定点と重複するように、前記第２の静止画像で新たに標定点を設定する標定点再設定手段を具備し、前記対応画像取得手段は、前記再設定した標定点の移動を前記動画データで追跡することにより、前記再設定した標定点を有する第３の静止画像と第４の静止画像を取得し、前記３次元座標値算出手段は、前記第３の静止画像上での標定点の２次元座標値と、前記第４の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出し、前記第１の静止画像と前記第２の静止画像から算出された３次元座標軸と、前記第３の静止画像と前記第４の静止画像から算出された３次元座標軸と、が一致するように、前記重複して発生させた標定点の座標値を用いて座標変換を行う座標変換手段を具備したことを特徴とする請求項１から請求項４までのうちの何れか１の請求項に記載の３次元情報処理装置を提供する。
請求項６に記載の発明では、動画データ取得手段と、第１の静止画像取得手段と、対応画像取得手段と、３次元座標値算出手段と、を備えたコンピュータにおいて、前記動画データ取得手段によって、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得ステップと、前記第１の静止画像取得手段によって、前記取得した動画データから、前記被写体に標定点が設定された第１の静止画像を取得する第１の静止画像取得ステップと、前記対応画像取得手段によって、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第２の静止画像を取得する対応画像取得ステップと、前記３次元座標値算出手段によって、前記第１の静止画像上での標定点の２次元座標値と、前記第２の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出する３次元座標値算出ステップと、から構成されたことを特徴とする３次元情報処理方法を提供する。
請求項７に記載の発明では、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得機能と、前記取得した動画データから、前記被写体に標定点が設定された第１の静止画像を取得する第１の静止画像取得機能と、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第２の静止画像を取得する対応画像取得機能と、前記第１の静止画像上での標定点の２次元座標値と、前記第２の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出する３次元座標値算出機能と、をコンピュータで実現する３次元情報処理プログラムを提供する。

本発明によると、被写体を撮影した動画から自動的に３次元モデルを生成することができる。

（実施の形態の概要）
３次元モデルの対象となる被写体を撮影位置を変化させながら動画撮影する。
このようにして撮影された動画データにおいて、標定点追跡の始点となるフレームで被写体上に標定点を自動設定する。この自動設定は、例えば、エッジ検出などで被写体上の特徴点を抽出するなどして行う。
設定した標定点を動画データを構成する各フレームで追跡し、各フレーム上での標定点を設定していく。
そして、これら標定点が設定されたフレームから２つのフレームをステレオペア画像として選択し、写真測量解析を行う。更に、写真測量解析の結果得られた３次元情報を用いて被写体の３次元モデルを生成する。

以下、図１を用いて、本実施の形態によって３次元モデルを生成する手順の概要を説明する。
図１（ａ）は、ビデオカメラ３を用いて被写体２を撮影する方法を説明するための図である。
ビデオカメラ３は、被写体を動画撮影する装置である。本実施の形態では、ビデオカメラ３として市販のデジタルビデオカメラを用いた。

デジタルビデオカメラは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子を配列した受光面を備えており、この受光面に被写体を投影して、映像をデジタルデータに変換する。そして、投影画像の経時変化を動画データとして磁気テープや光磁気ディスクなどの記憶媒体に記録する。

なお、ビデオカメラ３としてアナログ式のものを用いたり、ビデオカメラ３の代わりに８ミリカメラなどのフィルム媒体に映像を記録するものを用いることも可能である。この場合は、後ほど撮影された映像をデジタルデータに変換すれば良い。

被写体２は、３次元モデルの生成対象物であり、何らかの立体構造を有する物体である。被写体２は、３次元モデルの生成目的（測量、コンピュータグラフィックスの作成）により多岐に渡る。
ユーザは、以上のように構成されたビデオカメラ３を用いて、図１（ａ）に示したように、被写体２の周囲を移動しながら被写体２を撮影する。

次に、３次元情報処理装置（構成は後述）が、このようにして撮影された動画データを読み込み、以下のようにして被写体の３次元モデルを生成する。
動画データは、被写体２を方向を変化させながら撮影した一連のフレーム（静止画像）から構成されており、３次元情報処理装置は、この中からフレームＡを選択する。フレームＡとしては、例えば、動画データを構成する最初のフレームを採用することができる。

そして、３次元情報処理装置は、エッジ検出などの画像処理を用いてフレームＡから被写体２を抽出し、例えば、被写体２の角や嶺など、特徴を有する特徴点（Ｈ１〜Ｈ７）を抽出し、これを標定点として設定（登録）する。
３次元情報処理装置は、フレームＡに隣接するフレームでこれら標定点を追跡し、更にこの追跡を隣接するフレームで繰り返すことにより、フレームＢでの標定点を特定する。
フレームＡからフレームＢまでの各フレームでは、標定点が追跡により対応付けて設定されているため、３次元情報処理装置は、フレームＡからフレームＢまでのうちから２枚のフレームをステレオペア画像として選択する。
そして、３次元情報処理装置は、この２枚のステレオペア画像（例えば、フレームＡとフレームＢ）に写っている標定点を用いて写真測量処理を行う。
この処理により、各標定点の３次元座標値が算出され、３次元情報処理装置は、これらの座標値を用いて被写体２の３次元モデル５ａを生成する。

３次元情報処理装置は、更に標定点の追跡を続け、フレームＣにて標定点を特定する。そして、同様にフレームＢとフレームＣなどをステレオペア画像として採用し、３次元モデル５ｂを生成する。
３次元情報処理装置は、以上の処理を繰り返して複数の３次元モデルを生成した後、これらを連結して３次元モデル６を生成する。連結は、３次元モデル中に共通の標定点が少なくとも３点（実用的には４点）あれば行うことができる。
これによって、ビデオカメラ３が撮影した範囲を網羅する３次元モデルを生成することができる。

（実施の形態の詳細）
図２は、３次元情報処理装置１の機能的構成を示したブロック図である。
３次元情報処理装置１は、例えば、パーソナルコンピュータで３次元情報処理プログラムを実行することにより実現することができる。

３次元情報処理装置１は、動画データを取得する動画データ取得部６１、動画データから写真測量に必要な標定点情報を取得する動画データ処理部６２、標定点情報を保持する標定点情報保持部６６、保持された標定点情報を用いて写真測量解析を行い３次元モデルを生成する３次元モデル生成部６７、生成された複数の３次元モデルを連結する３次元モデル連結部６８などから構成されている。
以下、これらの構成要素の機能について説明する。

動画データ取得部６１は、動画データ取得手段を構成し、例えば、ビデオカメラから動画データの転送を受けたり、磁気テープ、光磁気ディスク、ハードディスクなどの記憶媒体に記憶された動画データを読み取ったり、あるいはインターネットなどのネットワークを介して送信されてきた動画データを受信するなどして動画データを取得する。
動画データは、フレームと呼ばれる静止画像を時系列的に取得できるように構成されており、隣接する静止画像を参照することにより、刻々と変化する被写体の動きを捕らえることができる。

動画データ処理部６２は、動画データ取得部６１から動画データを受け取り、これからフレームを取得して時系列に沿って配列する。
そして、標定点設定部６３、基準点指定部６４、標定点追跡部６５の各機能部を用いて、フレームに対し、標定点の設定、標定点の追跡、ステレオペア画像として組にするフレームの選択、ステレオペア画像からの標定点情報の取得などの処理を行う。

標定点設定部６３は、標定点追跡の起点となる起点フレームで被写体に標定点を設定する。また、追跡の過程で、標定点が被写体の陰になり順次消失するが、消失が３０％程度に達した段階で再度標定点を発生させる。
なお、写真測量では、一般に左右画像で被写体が６０％以上重なって写っていることが必要とされているが、本実施の形態では、余裕を持って重複が７０％を下回った時点で再度標定点を発生させる。
標定点設定部６３は、動画データから静止画像（フレーム）を取得し、静止画像上で被写体に標定点を設定する標定点設定手段を構成してる。

ここで、図３を用いて標定点設定部６３が標定点を設定する手順について説明する。
標定点設定部６３は、図３（ａ）に示したように、フレーム上で被写体１０をエッジ検出する。
そして、被写体１０を背景から抽出するために、ラベリング処理による画像抽出を行う。ラベリング処理とは、画像の画素の色情報を元に画素のグループ化を行うものである。

標定点設定部６３は、抽出した被写体１０の外側に、各辺と被写体１０との最短距離（画素数を単位とすることができる）がＡとなるように矩形領域１１を設定する（図３（ｂ））。Ａはユーザが指定可能な距離であり、被写体の大きさなどから適当な値を選択する。矩形領域１１に含まれる部分が標定点設定、及び追跡の対象となる。
ここで矩形領域１１に距離Ａの余裕を持たせたのは、背景画像によるエッジの乱れを考慮したものであり、被写体が必ず矩形領域１１に含まれるようにするためである。

標定点設定部６３は、矩形領域１１を設定した後、図３（ｃ）に示したように１辺の長さがｔとなるメッシュを矩形領域１１内に発生させる。ｔは、ユーザが設定可能な長さであり、被写体の大きさや、測量精度などから適当な値を選択する。メッシュは、標定点を他のフレームに渡って追跡するのに用いる。
また、メッシュが矩形領域１１をはみ出る場合は、何れを優先しても良いが、ここでは、メッシュを優先することにする。

標定点設定部６３は、メッシュを発生させた後、画像処理にて被写体の特徴点（角部や嶺部など）を検出し、これを標定点に設定する。
図３（ｄ）は、被写体１０の特徴点に標定点Ｈ１〜Ｈ７が設定されたところを示している。なお、メッシュは図示していない。
そして、標定点設定部６３は、各特徴点に位置するメッシュの濃淡情報を追跡用のテンプレート（後述）として登録する。

基準点指定部６４（図２）は、ユーザからの基準点指定を受け付ける機能部である。
写真測量では、３次元モデルの縮尺を決定するために、被写体上に、少なくとも垂直方向の座標値が２つ、水平方向の座標値が３つ既知である点を指定する必要がある。そのため、３次元座標値がわかっている３点を基準点として指定すれば良いが、実用的には４点指定する。
基準点を用いずとも写真測量は可能であるが、標定点のみで基準点を用いない場合は、被写体と相似な３次元モデルが得られる。

基準点指定部６４は、標定点設定部６３が設定した標定点と共に被写体１０をディスプレイなどに表示し、ユーザに基準点として使用する標定点を選択させる。
図３（ｄ）では、標定点Ｈ１、Ｈ２、Ｈ４、Ｈ５が基準点として指定されており、それぞれの標定点は、基準点Ｋ１、Ｋ２、Ｋ４、Ｋ５を兼ねている。このように、基準点は、このように標定点に設定しても良いし、あるいは、標定点以外の点を指定しても良い。
基準点指定部６４は、ユーザに基準点を指定させると共に、その実空間での座標値を入力させる。

例えば、被写体１０が１辺２００ミリの直方体であった場合、Ｈ１からＨ２方向にｘ軸、Ｈ１からＨ４方向にｙ軸、Ｈ１からＨ５方向に−ｚ軸と想定し、それぞれの座標値をＫ１（０、０、０）、Ｋ２（２００、０、０）、Ｋ４（０、２００、０）、Ｋ５（０、０、−２００）などと入力する。
以上は一例であって、基準点と座標軸の選択は、設定しやすいものを選択することができる。

このように、基準点指定部６４は、少なくとも２点の平面位置の実測値、および少なくとも３点の高さの実測値が既知である基準点の指定を受け付ける基準点受付手段と、これら受け付けた基準点の実測値の入力を受け付ける実測値入力手段を備えている。
そして、基準点は、ステレオペア画像の左右画像（第１の静止画像、第２の静止画像）まで追跡され、このため、第１の静止画像又は第２の静止画像での基準点の指定を受け付けている。

標定点追跡部６５（図２）は、動画データから写真測量解析に必要な情報を抽出する機能部であり、（１）標定点・基準点の追跡、（２）ステレオペア画像の選択、（３）標定点・基準点の再設定、（４）標定点情報の抽出、などを行う機能を有している。
以下、これらの機能について説明する。

（１）標定点・基準点の追跡
標定点追跡部６５は、標定点設定部６３と基準点指定部６４によって設定された標定点と基準点を、起点フレームに隣接する複数のフレームに渡って追跡する。
動画データを用いて、フレーム上の点の移動を追跡する技術は、各種実用化されており、例えば、メッシュの濃淡情報のテンプレートを用いたマッチングを用いる方法やオプティカルフローに代表される画素のベクトル情報から追跡を行う方法などがある。
何れの技術を用いても良いが、本実施の形態では、濃淡情報のテンプレートを用いて標定点・基準点の追跡を行うことにする。

図４は、標定点を濃淡情報のテンプレートを用いて追跡する方法を説明するための図である。
図に示したように、標定点設定部６３によって、起点フレームで設定した標定点の周囲のメッシュの濃淡情報から追跡用のテンプレートが作成される。
このテンプレートでは、標定点とその周囲のメッシュの濃淡分布が記録されており、標定点追跡部６５は、このテンプレートを起点フレームに隣接する次のフレームのメッシュでマッチングする。

隣接するフレームでは、被写体の移動量は小さいため、追跡元の標定点が存在したメッシュの近辺に、テンプレートと同様の濃淡分布を有する領域が存在すると考えられる。
このようにして、隣接するフレームでテンプレートをマッチングすることにより、このフレーム上での標定点の写っているメッシュを特定することができる。
標定点追跡部６５は、このようにして、隣接するフレームで標定点の位置を特定し、更にこの処理を更に隣接するフレームに繰り返し適用することにより、起点フレームで設定された標定点を複数のフレームに渡って追跡することができる。

なお、１つのメッシュの中に複数の異なる濃淡の画素が存在する場合は、これらを平均した値をこのメッシュの濃淡とすることができる。
また、濃淡情報の他に色情報やその他の情報を用いて追跡用のテンプレートを構成することもできる。
このように標定点追跡部６５は、標定点を追跡する追跡手段を備えている。

（２）ステレオペア画像の選択
各フレームに渡って、標定点・基準点が追跡されているため、任意の２つのフレームを選択してステレオペア画像として組み合わせても、両フレーム上の標定点・基準点を対応させることができる。
そのため、動画データからステレオペア画像を構成するためのフレーム２枚を任意に選択することができる。

標定点追跡部６５が、ステレオペア画像として組にするフレームを選択する基準は、各種のものが考えられるが、ここでは、一例として縦視差を用いてフレームの組から算出される３次元情報の精度を評価し、精度の高くなるフレームの組をステレオペア画像として選択する。
より詳細には、写真測量の理論によると、ステレオペア画像において、各標定点は縦視差という値を持つ。そこで縦視差の精度評価のための適当な値αを設定し、各標定点の縦視差の平均値がα未満となるフレームを選択することにする。
αは、標定点追跡部６５で予め設定しておいても良いし、またユーザが設定できるように構成しても良い。

なお、この選択方法は一例であって、この他に、縦視差がα以上となる標定点がある設定値Ｎを越えない場合に選択するように構成したり、あるいは、標定点の消失割合が測量精度を低下させない程度であるフレームを選択するなど、他の評価基準を用いてフレームを選択するように構成することができる。

図５を用いてフレームの選択方法の一例を説明する。
この例では、ｉ番目のフレームを起点として、β＋１枚の連続するフレームから２枚のフレームを選択する場合について説明する。
ｉ番目のフレームは、標定点追跡の起点となるフレームであり、このフレームで標定点が設定（又は再設定）され、更に追跡用のテンプレートが作成される。
βは、ユーザが設定できる値で、被写体や動画の撮影状況に応じて設定することができる。

図５（ａ）に示したように、標定点追跡部６５は、まず、ｉ＋１番目フレームで標定点を追跡する。
そして、ｉ＋１番目のフレームとｉ番目のフレームでの縦視差を計算し、αと比較する。
縦視差がα未満の場合は、ｉ＋１番目のフレームとｉ番目のフレームをステレオペア画像として選択する。

縦視差がα以上であった場合、標定点追跡部６５は、図５（ｂ）に示したように、更にｉ＋２番目のフレームでｉ＋１番目のフレーム上の標定点を追跡する。
そして、ｉ＋２番目のフレームとｉ＋１番目のフレームでの縦視差を計算し、αと比較する。
縦視差がα未満の場合は、ｉ＋１番目のフレームとｉ番目のフレームをステレオペア画像として選択する。

縦視差がα以上であった場合、標定点追跡部６５は、更に、ｉ＋２番目のフレームとｉ番目のフレームで縦視差を判定する。
縦視差がα未満であった場合、標定点追跡部６５は、ｉ＋２番目のフレームとｉ場面のフレームをステレオペア画像として選択する。

標定点追跡部６５は、同様の処理を繰り返し、図５（ｃ）に示したように、ｉ＋ｋ番目のフレームで標定点を追跡し、ｉ＋ｋ−１番目のフレーム、ｉ＋ｋ−２番目のフレーム、…と縦視差がα未満となる組み合わせを探索する。
標定点追跡部６５は、この処理を縦視差がα未満となるフレームの組み合わせが見つかるか、又はｋがβに達するまでステレオペア画像の組み合わせを探索する。

ｉ番目のフレームからｉ＋β番目のフレームでステレオペア画像の組み合わせを得た場合、又はｋがβに達した場合、標定点設定部６３がｉ＋β番目のフレームで再度メッシュを発生させて標定点を設定する。そして、標定点追跡部６５は、このフレームを新たなｉ番目のフレームとおき、次のβ枚のフレームに対して同様に選択を試みる。動画データ処理部６２は、この動作を動画データの終わりまで繰り返し、複数組のステレオペア画像を選択する。
以上の処理は、後ほど図１２のフローチャートを用いて説明する。

このように、標定点追跡部６５は、動画データから、被写体に標定点が設定された第１の静止画像（上の例ではフレーム番号が小さい方のフレーム）を取得する第１の静止画像取得手段と、これら標定点の移動を動画データを用いて追跡することにより、第１の静止画像で設定された標定点に対応する標定点を有する第２の静止画像（上の例ではフレームが大きい方のフレーム）を取得する対応画像取得手段を備えている。

また、標定点追跡部６５は、被写体に設定された標定点を追跡することにより動画データから対応する標定点を有する２つの静止画像を取得する静止画像取得手段と、これら２つの静止画像から当該標定点を用いて算出される当該被写体の３次元座標値の精度評価する評価手段と、備え、評価手段で所定の精度を有すると評価された静止画像をステレオペア画像として取得している。

（３）標定点・基準点の再設定
本実施の形態では、撮影位置を変えながら被写体をビデオ撮影するため、フレームが進むにつれて標定点が被写体の陰になり、徐々に消失してくる。また、被写体の陰になって隠れていた特徴点が新たに現れる。
そのため、標定点追跡部６５は、標定点の追跡を行うと共に標定点の消失割合を監視し、標定点が３０％消失したフレームで、標定点設定部６３に再び標定点の再設定を行わせる。また、必要がある場合は、ユーザに基準点の再設定を行わせる。

この場合、標定点設定部６３は、標定点追跡部６５から指定されたフレームで、被写体を矩形領域で囲った後、再度メッシュを発生させる。そして、被写体上に標定点を設定し、追跡用のテンプレートを生成する。
このように標定点の再設定を行う場合、標定点設定部６３は、前段階で追跡されている標定点を少なくとも３点（実用的には４点）含むように標定点を設定する。このように、標定点設定部６３は、標定点再設定手段を構成している。

そして、標定点追跡部６５は、標定点を再設定したフレームにおいて、前段階で追跡されていた標定点のうち少なくとも３点（実用的には４点）を新たな基準点として指定する。
前段階で追跡されている標定点の座標値は、前段階での基準点により算出されるため、これら標定点を基準点とすることができる。

なお、標定点の消失以外に、標定点を再設定する場合もある。以下、これらの例について説明する。
このような場合として、例えば、フレームが進むにつれて、新たな被写体が現れた場合がある。

図６（ａ）に示したように、被写体１５に矩形領域１５ａを設定し、標定点を追跡していたところ、他の被写体１６が出現したとする。
この場合、動画データ処理部６２は、被写体１６を抽出する。そして、被写体１５と同様に、被写体１６の周囲に矩形領域１６ａを設定し（図６（ｂ））、メッシュを発生させる。そして、被写体１６上に標定点を設定し、これを追跡する。被写体１６の写真測量処理には、被写体１５の基準点を利用することができる。
また、被写体１５の標定点を用いて、被写体１６に基準点を設定することもできる。

更に、標定点を再設定する場合として、追跡の過程で重要な標定点を見失う場合がある。
例えば、図７（ａ）に示したように、被写体２０で、領域２２、２３にあった標定点が追跡過程で消失したとする。
この場合、動画データ処理部６２は、図７（ｂ）に示したように、被写体２０の周囲に矩形領域２０ａを発生させる。そして、矩形領域２０ａ内にメッシュを発生させて標定点を再設定する。これによって、消失した標定点を再度設定することができる。

（４）標定点情報の抽出
標定点追跡部６５は、動画データから選択したフレームをステレオペア画像とし、標定点情報を抽出する。
この処理は、左画像として選択したフレームと右画像として選択したフレームで、対応する標定点の座標値を計測していくことにより行われる。
標定点の座標値を計測する座標系は、フレーム上で設定された２次元座標系であり、例えば、フレームの左下を原点として、水平方向にｘ軸、鉛直方向にｙ軸を設定することができる。
計測単位は、画素数（ピクセル数）を用い、ビデオカメラの受光部の画素サイズを用いて、後ほどミリ単位に変換する。これは、受光面の縦横寸法と画素の縦横数がわかれば可能である。

図８は、標定点追跡部６５が抽出した標定点情報の一例を示した表である。
図８では、ｉ番目のフレームをＦ（ｉ）などと表している。図８に示したように、標定点情報は、ステレオペア画像ごとに取得される。
例えば、ステレオペア番号１で特定されるステレオペア画像は、左画像としてＦ（２０）が選択され、右画像としてＦ（５６）が選択されている。

そして、標定点Ｈ１の左画像での座標値は（２８２、３３３）であり、右画像での座標値は（５２６、６２３）となっている。以下、同様に標定点Ｈ３０３まで、左画像での座標値と右画像での座標値が計測されている。
ただし、Ｆ（５６）では、標定点Ｈ４とＨ３０３が消失している。また、標定点Ｈ２は、基準点Ｋ２として設定されている。

ステレオペア番号２で特定されるステレオペア画像では、左画像としてＦ（１０５）が選択され、右画像としてＦ（１３２）が選択されている。
そして、標定点Ｈ１〜Ｈ３０３の座標値が計測されている。なお、消失した標定点の座標値は、空欄となっている。
以下、同様にステレオペア画像番号３、４、…で特定されるステレオペア画像に対して、標定点の座標値が計測される。
標定情報としては、これら左右画像での標定点の座標値の他に、標定点を再設定した場合に、再設定前後で重複している標定点がわかるようになっており、再設定前後での空間的接続関係がわかるようになっている。

図２に戻り、動画データ処理部６２は、以上のように各ステレオペア画像で計測した計測値を標定点情報として標定点情報保持部６６に出力する。標定点情報保持部６６は、これを記憶して保持する。
これにより、標定点情報保持部６６には、複数のステレオペア画像に関する標定点情報が蓄積される。

３次元モデル生成部６７は、標定点情報保持部６６に記憶されている標定点情報を用いて、各ステレオペア画像ごとに写真測量解析を行い、各ステレオペア画像ごとに３次元モデルを生成する。
ここで、図９のフローチャートを用いて写真測量処理の手順を説明する。この処理は、ステレオペア画像ごとに行うものである。

３次元モデル生成部６７は、動画データ処理部６２で生成された複数のステレオペア画像のうち、１つを選択し、そのステレオペア画像の標定点情報を標定点情報保持部６６から取得する（ステレオペア画像３０５）。
次に、３次元モデル生成部６７は、取得した標定点情報を内部標定する（ステップ３１０）。
内部標定とは、被写体がビデオカメラの受光面に投影される際の歪を修正したりなどして、後の内部標定で使用する座標値に変換する処理である。ピクセル単位からミリ単位への変換も内部標定で行われる。

３次元モデル生成部６７は、標定点の座標値を内部評定した後、これを相互評定する（ステップ３１５）。
相互標定とは、ステレオペア画像間の相対的な傾きや位置の関係を求める作業である。相互標定により被写体と相似な３次元モデルを得ることができる。

次に、３次元モデル生成部６７は、相互標定の結果を用いて絶対標定を行う（ステップ３２０）。
絶対標定とは、ステレオペア画像中の基準点を用いて相互標定で求めた被写体と相似な立体モデルの縮尺などを求める作業であり、外部標定と呼ばれることもある。
絶対標定により、各標定点の実空間での座標値を求めることができる。また、何れか一方のフレームで消失した標定点でも、絶対標定結果を用いて他方のフレームでの座標値から実空間での座標値を算出することが可能である。

絶対標定により、各標定点の実空間での座標値がわかるため、これにより、被写体と実寸大の３次元モデルを生成することができる。
例えば、算出された標定点を線分で結んで表示すると、被写体のワイヤーフレームモデルが得られる。また、標定点を用いて面を張ると被写体のサーフィスモデルが得られる。
以上のようにして、３次元モデル生成部６７は、各ステレオペア画像ごとに３次元モデルを生成する。
このように３次元モデル生成部６７は、ステレオペア画像を構成する第１の静止画像上での標定点の２次元座標値と、第２の静止画像上での標定点の２次元座標値から、被写体上の標定点の３次元座標値を算出する３次元座標値算出手段を備えている。

図２に戻り、３次元モデル連結部６８は、３次元モデル生成部６７によって生成された３次元モデルを連結する機能部である。
１組のステレオペア画像から生成された３次元モデルでは、被写体の死角となる部分が欠損したものとなる。
そのため、被写体を他の方向から撮影したステレオペア画像による３次元モデルを連結していくことにより、死角となっていた部分の３次元モデルを生成することができる。

２つの３次元モデルを連結する場合、両者に共通する共通点が３つ以上（実用的には４つ）必要である。この共通点は、両３次元モデルに共通の標定点や基準点を用いることができる。
これら共通点を用いることにより、両３次元モデルの空間座標軸の相対的な位置関係や回転角度関係がわかる。そのため、これらの関係を用いて両３次元モデルの空間座標軸が一致するように座標変換を行い、両３次元モデルを連結することができる。

本実施の形態は、フレームで標定点を追跡するため両３次元モデルで３つの共通点を見いだすことができる。即ち、あるステレオペア画像から生成した３次元モデル（モデル１）と、そのステレオペア画像より後に追跡したステレオペア画像から生成した３次元モデル（モデル２）を考えた場合、モデル２を構成する標定点は、モデル１も有しているからである（標定点を再設定しない場合）。

また、標定点を再設定した場合も、前段階での標定点と４つ重複するように新規の標定点を発生させるため、再設定前のステレオペア画像から生成した３次元モデルと再設定後のステレオペア画像から生成した３次元モデルを、この重複して発生させた標定点を用いて連結することができる。

ここで、図１０を用いて、３次元モデルの連結を説明する。
３次元モデル２５ａは、あるステレオペア画像を用いて生成したものである。 被写体は、四角柱上のオブジェクトであり、３次元モデル２５ａでは、被写体を構成する面のうち、上面である面Ｍ１と側面である面Ｍ２が生成されている。

３次元モデル２５ｂは、別のステレオペア画像を用いて生成したものである。３次元モデル２５ｂでは、被写体を構成する面のうち、側面である面Ｍ１と面Ｍ３が生成されている。
ここで、両３次元モデルが、共通点Ｋ１〜Ｋ４を共有しているとすると、共通点を用いて両３次元モデルの空間座標を一致させ、３次元モデル２５ｃが得られる。

３次元モデル２５ｃでは、被写体を構成する面のうち、Ｍ１〜Ｍ３が形成されており、３次元モデル２５ａで死角となり生成されなかった面Ｍ３が形成される。
更に、他の方角から（周囲・上部など）撮影したステレオペア画像による３次元モデルを連結していくことにより、被写体の全方位を構成することができる。

このように、３次元モデル連結部６８は、１のステレオペア画像（第１の静止画像、第２の静止画像）から生成された３次元モデル２５ａと、他のステレオペア画像（第３の静止画像、第４の静止画像）から生成された３次元モデル２５ｂを３次元座標軸が一致するように座標変換を行う座標変換手段を備えている。
また、１のステレオペア画像と他のステレオペア画像は、同じ標定点を追跡したものであっても良いし（即ち、第１の静止画像〜第４の静止画像まで同じ標定点を追跡したもの）、あるいは、再発生させたもの（例えば、第１の静止画像と第２の静止画像を取得した後、標定点を再発生させて第３の静止画像と第４の静止画像を取得した場合）でもよい。後者の場合は、共通点を用いて座標変換を行う。

また、動画データ中に複数の被写体が存在する場合にもこれらを連結することができる。
例えば、図１１（ａ）に示したように、フレームＡに被写体３１、３２が撮影され、フレームＢに被写体３２、３３が撮影され、フレームＣに被写体３３、３４が撮影されている場合を考える。
被写体３１、３２、３３、３４に、それぞれ座標系３１ａ、３２ａ、３３ａ、３４ａを設定する。

座標系３１ａと座標系３２ａの位置関係はフレームＡによりわかり、座標系３３ａと座標系３４ａの位置関係はフレームＣによりわかる。
そして、フレーム３２ａとフレーム３３ａの位置関係は、フレームＢによりわかるため、座標系３１ａ〜座標系３４ａの位置関係が全てわかる。
そのため、図１１（ｂ）に示したように、被写体３１〜被写体３４の相対的な位置関係を含めて、各被写体の３次元モデルを生成することができる。
これにより、例えば、車から建造物が建ち並ぶ街並みを動画撮影し、これを用いて街並みをコンピュータグラフィックス化することが可能となる。

次に、図１２のフローチャートを用いて、３次元モデルの生成手順について説明する。
以下の処理は、３次元情報処理装置１が備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が３次元情報処理プログラムに従って行うものである。
なお、ｉ番目のフレームをＦ（ｉ）などと表すことにする。

まず、動画データ処理部６２は、動画データを取得する。そして、カウンタｉを１に設定し、Ｆ（ｉ）＝Ｆ（１）、即ち最初のフレームに対して初期処理を行う（ステップ５）。
カウンタｉは、図５に示したｉであって、動画データ処理部６２は、ｉ番目〜ｉ＋β番目のフレームからステレオペア画像を構成するフレームを選択することになる。
初期処理は、標定点設定部６３がＦ（１）に撮影されている被写体上にメッシュを発生させて標定点を設定し、更に、基準点指定部６４によってユーザから基準点の指定を受け付けることにより行われる。

以上のようにして初期処理を終えると、標定点追跡部６５が標定点の追跡を開始する。
標定点追跡部６５は、まずカウンタｋを１に設定する（ステレオペア画像１０）。カウンタｋは、図５に示したｋであって、標定点を追跡するフレームをカウントするパラメータである。
標定点追跡部６５は、カウンタｋを設定した後、追跡技術を用いてＦ（ｉ＋ｋ）において標定点を取得する（ステップ１５）。

次に、標定点追跡部６５は、Ｆ（ｉ＋ｋ）で標定点が３０％以上消失したか否かを判断する（ステップ２０）。
３０％以上消失していない場合は（ステップ２０；Ｎ）、標定点追跡部６５は、更に、基準点が４個未満であるか否かを判断する（ステップ２５）。
基準点が消失してしまい、４個未満となった場合は（ステップ２５；Ｙ）、基準点を再指定する（ステップ３０）。この指定は基準点指定部６４がユーザから指定を受け付けることにより行う。

基準点が４個以上ある場合（ステップ２５；Ｎ）、又は基準点を指定した後（ステップ３０）、標定点追跡部６５は、カウンタｊを１に設定する（ステップ３５）。
そして、標定点追跡部６５は、Ｆ（ｉ＋ｋ−ｊ）とＦ（ｉ＋ｋ）の縦視差がα未満か否かを判断する（ステップ４０）。
縦視差がα未満である場合（ステップ４０；Ｙ）、標定点追跡部６５は、この２つのフレームをステレオペア画像の組として採用し、Ｆ（ｉ＋ｋ−ｊ）とＦ（ｉ＋ｋ）の標定点情報を標定点情報保持部６６に保持させる（ステップ８５）。

縦視差がα以上であった場合（ステップ４０；Ｎ）、標定点追跡部６５は、この２つの組み合わせをステレオペア画像として採用せず、更に、ｊがｋより小さいか否かを判断する（ステップ４５）。
ｊがｋより小さい場合（ステップ４５；Ｙ）、標定点追跡部６５は、ｊに１を加え（ステップ５０）、ステップ４０に戻る。

ｊがｋ以上となる場合（ｊに１をインクリメントした結果ｋと等しくなる場合）（ステップ４５；Ｎ）、標定点追跡部６５は、更にｋがβより小さいか否かを判断する（ステップ５５）。
ｋがβより小さい場合（ステップ５５；Ｙ）、標定点追跡部６５は、ｋに１を加えてステップ１５に戻る。

ｋがβ以上となる場合（ｋに１をインクリメントした結果βと等しくなる場合）（ステップ５５；Ｎ）、標定点追跡部６５は、標定点追跡部６５はｉにβを加算する。
そして、標定点追跡部６５は、ｉとフレームの最大数Ｇとの大小関係を確認し、ｉがＧより小さい場合は（ステップ６５；Ｙ）、ステップ１０に戻り、ｉがＧ以上となる場合は（ステップ６５；Ｎ）、標定点情報の取得処理を終了する。

そして、３次元モデル生成部６７が標定点情報保持部６６に保持されている標定点情報を用いてステレオペア画像ごとに３次元モデルを生成し（ステップ７０）、３次元モデル連結部６８が生成された３次元モデルを連結して出力する（ステップ７５）。

一方、追跡が進むと標定点の消失が多くなってくる。そのため、標定点が３０％以上消失した場合は（ステップ２０；Ｎ）、再度標定点を設定する必要があるため、Ｆ（ｉ＋ｋ）にて被写体に矩形領域を設定し、メッシュを発生させる（ステップ１００）。

そして、標定点追跡部６５は、再設定させた標定点のうち再設定前の標定点と重複しているものを基準点とする。
次に、標定点追跡部６５は、基準点が４個未満となったか否かを確認し（ステップ１０５）、４個未満となった場合は（ステップ１０５；Ｙ）、基準点指定部６４によりユーザからの基準点指定を受け付ける（ステップ１１０）。

基準点が４個以上ある場合（ステップ１０５；Ｎ）、又は基準点の指定を受け付けた後、標定点追跡部６５は、ｉをｉ＋ｋに設定し（ステップ１１５）、ステップ６０に移行する。

図１３は、３次元情報処理装置１のハードウェア的な構成を示したブロック図である。３次元情報処理装置１は、例えば、パーソナルコンピュータを用いて構成することができる。

３次元情報処理装置１は、制御部７６にバスライン７７を介して入力部８２、出力部８３、通信制御部８４、記憶部８５、記憶媒体駆動部８８、入出力インターフェース（Ｉ／Ｆ）８９などを接続して構成されている。バスライン７７は、ＣＰＵ７８と他の装置との信号の伝送を行う伝送線である。
制御部７６は、ＣＰＵ７８、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８１などから構成されている。

ＣＰＵ７８は、３次元情報処理プログラムを実行し、動画データからの静止画像の取得、標定点の設定、ステレオペア画像の選択、写真測量、３次元モデルに生成及び連結といった一連の３次元情報処理を行う。

ＲＯＭ８０は、ＣＰＵ７８が各種演算や制御を行うための各種プログラム、データ、パラメータなどを格納したリードオンリーメモリである。ＣＰＵ７８は、ＲＯＭ８０からプログラムやデータ、パラメータなどを読み込むことができる。

ＲＡＭ８１は、ＣＰＵ７８にワーキングメモリとして使用されるランダムアクセスメモリを提供する。ＣＰＵ７８は、ＲＡＭ８１にプログラムやデータなどを書き込んだり消去したりすることができる。本実施の形態では、ＲＡＭ８１は、ＣＰＵ７８が３次元情報処理プログラムを実行する際の一時的な記憶装置として利用される。

入力部８２は、例えばキーボード、マウス、ジョイスティックなどの入力装置から構成されている。
キーボードは、３次元情報処理装置１に対して文字や数字などの情報を入力するための装置である。
キーボードは、カナや英文字などを入力するためのキーや数字を入力するためのテンキー、各種機能キー、カーソルキー及びその他のキーによって構成されている。

キーボードにより、３次元情報処理装置１に対してテキストデータを入力する他、各種のコマンドを入力することができる。キーボードから基準点の実測値を入力することができる。
マウスは、ポインティングデバイスである。３次元情報処理装置１がＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて操作可能な場合、表示装置上に表示されたフレームで標定点やその他の点をクリックすることにより、基準点を指定することができる。

出力部８３は、例えば表示装置、印刷装置などから構成されている。
表示装置は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイなどのディスプレイ装置で構成され、画像情報や文字情報などを画面上に提示するための装置である。
表示装置は、動画データから取得したフレームを表示したり、生成した３次元モデルを表示することができる。

印刷装置は、紙などの印刷媒体に情報を印刷する装置である。印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置によって構成されている。フレームや標定点情報、３次元モデルなどを印刷することができる。

通信制御部８４は、通信回線を介してインターネットなどのネットワークに接続するための装置であって、モデム、ターミナルアダプタ、その他の装置によって構成されている。
動画データをネットワーク経由で取得する場合は、通信制御部を介してサーバ装置からこれを受信する。

記憶部８５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。

記憶部８５には、プログラム格納部８６とデータ格納部８７が形成されている。
プログラム格納部８６には、３次元情報処理プログラムや、３次元情報処理装置１を動作させる上で基本的な機能を実現するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などが記憶されている。
ＣＰＵ７８が、プログラム格納部８６から３次元情報処理プログラムを読み出して実行することにより、図２に示したような構成要素がソフトウェア的に形成される。
データ格納部８５は、動画データや、この動画データから生成された３次元モデルが記憶される他、標定点情報保持部６６が形成されて標定点情報も記憶する。

記憶媒体駆動部８８は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、半導体メモリ、データをパンチした紙テープ、ＣＤ−ＲＯＭなどがある。なお、ＣＤ−ＲＯＭや紙テープは、読み込みのみ可能である。
記憶媒体駆動部８８を駆動することにより、記憶媒体に格納されている動画データを読み込んだり、生成した３次元モデルを記憶媒体に書き込んだりすることができる。

入出力インターフェース８９は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。入出力インターフェース８９は、外部機器を３次元情報処理装置１に接続するためのインターフェースである。本実施の形態ではデジタルビデオカメラに接続して、当該カメラから動画データを読み込むのに使用することができる。

以上では、パーソナルコンピュータなどを用いて３次元情報処理装置１を構成したが、これに限定せず、例えば、デジタルビデオカメラに組み込むことも可能である。
デジタルビデオカメラはＣＰＵや記憶媒体、及び液状画面や入力キーなどを備えており、３次元情報処理プログラムをデジタルビデオカメラに組み込んで使用することも可能である。
また、標定点の追跡は、動画データにおいて時間が経過する方向に追跡しても良いし、時間をさかのぼる方向に追跡しても良い。

以上に説明した本実施の形態では、次のような効果を得ることができる。
（１）被写体をビデオカメラで撮影し、その動画データから被写体の３次元モデルを生成することができる。
（２）画像処理技術を用いて被写体に標定点を自動的に設定することができる。
（３）追跡技術を用いて標定点を動画データで追跡することにより、対応する標定点を有するステレオペア画像を動画データから取得することができる。
（４）動画データから複数のステレオペア画像を取得して複数の３次元モデルを生成することができ、共通点を用いてこれらを連結することができる。
（５）移動に伴い被写体上の標定点が消失した場合に、新たに標定点を自動設定することができる。
（６）標定点を再設定する際に、自動設定前の標定点と少なくとも３つ重複するように標定点を設定することにより、空間的情報の連続性を自動設定前後で保つことができる。

３次元モデルを生成する手順の概要を説明するための図である。 ３次元情報処理装置の機能的構成を示したブロック図である。 標定点設定部が標定点を設定する手順を説明するための図である。 標定点を追跡方法を説明するための図である。 ステレオペア画像を構成するフレームを選択する方法を説明するための図である。 標定点を再設定する場合を説明するための図である。 標定点を再設定する他の場合を説明するための図である。 標定点追跡部が抽出した標定点情報の一例を示した表である。 写真測量処理の手順を説明するためのフローチャートである。 ３次元モデルの連結を説明するための図である。 複数の３次元モデルを連結する場合を説明するための図である。 ３次元モデルの生成手順について説明するためのフローチャートである。 ３次元情報処理装置のハードウェア的な構成を示したブロック図である。 写真測量を説明するための図である。

符号の説明

１ ３次元情報処理装置
２ 被写体
３ ビデオカメラ
６ ３次元モデル

Claims (7)

1. 撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得手段と、
   前記取得した動画データから、前記被写体に標定点が設定された第１の静止画像を取得する第１の静止画像取得手段と、
   前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第２の静止画像を取得する対応画像取得手段と、
   前記第１の静止画像上での標定点の２次元座標値と、前記第２の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出する３次元座標値算出手段と、
   を具備したことを特徴とする３次元情報処理装置。
2. 動画データから静止画像を取得し、前記静止画像で前記被写体上に標定点を設定する標定点設定手段を具備し、
   前記第１の静止画像取得手段は、前記標定点を設定した静止画像か、又は、前記動画データを用いて前記静止画像から標定点が追跡された静止画像を第１の静止画像として取得することを特徴とする請求項１に記載の３次元情報処理装置。
3. 前記第１の静止画像、又は第２の静止画像の標定点のうち、少なくとも２点の平面位置の実測値、および少なくとも３点の高さの実測値が既知である基準点の指定を受け付ける基準点受付手段と、
   前記受け付けた基準点の実測値の入力を受け付ける実測値入力手段と、
   を具備し、
   前記３次元座標値算出手段は、前記基準点の実測値を用いて実寸大の３次元座標値を算出することを特徴とする請求項１、又は請求項２に記載の３次元情報処理装置。
4. 被写体に設定された標定点を追跡することにより前記動画データから対応する標定点を有する２つの静止画像を取得する静止画像取得手段と、
   前記取得した２つの静止画像から当該標定点を用いて算出される当該被写体の３次元座標値の精度評価する評価手段と、
   を具備し、
   前記第１の静止画像取得手段と前記対応画像取得手段は、前記評価手段で所定の精度を有すると評価された静止画像を取得することを特徴とする請求項１、請求項２、又は請求項３に記載の３次元情報処理装置。
5. 前記第２の静止画像が有する少なくとも３つの標定点と重複するように、前記第２の静止画像で新たに標定点を設定する標定点再設定手段を具備し、
   前記対応画像取得手段は、前記再設定した標定点の移動を前記動画データで追跡することにより、前記再設定した標定点を有する第３の静止画像と第４の静止画像を取得し、
   前記３次元座標値算出手段は、前記第３の静止画像上での標定点の２次元座標値と、前記第４の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出し、
   前記第１の静止画像と前記第２の静止画像から算出された３次元座標軸と、前記第３の静止画像と前記第４の静止画像から算出された３次元座標軸と、が一致するように、前記重複して発生させた標定点の座標値を用いて座標変換を行う座標変換手段を具備したことを特徴とする請求項１から請求項４までのうちの何れか１の請求項に記載の３次元情報処理装置。
6. 動画データ取得手段と、第１の静止画像取得手段と、対応画像取得手段と、３次元座標値算出手段と、を備えたコンピュータにおいて、
   前記動画データ取得手段によって、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得ステップと、
   前記第１の静止画像取得手段によって、前記取得した動画データから、前記被写体に標定点が設定された第１の静止画像を取得する第１の静止画像取得ステップと、
   前記対応画像取得手段によって、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第２の静止画像を取得する対応画像取得ステップと、
   前記３次元座標値算出手段によって、前記第１の静止画像上での標定点の２次元座標値と、前記第２の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出する３次元座標値算出ステップと、
   から構成されたことを特徴とする３次元情報処理方法。
7. 撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得機能と、
   前記取得した動画データから、前記被写体に標定点が設定された第１の静止画像を取得する第１の静止画像取得機能と、
   前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第２の静止画像を取得する対応画像取得機能と、
   前記第１の静止画像上での標定点の２次元座標値と、前記第２の静止画像上での標定点の２次元座標値から、前記被写体上の標定点の３次元座標値を算出する３次元座標値算出機能と、
   をコンピュータで実現する３次元情報処理プログラム。
   

Images