[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5248992B2 - 3次元物体モデル情報生成装置及びプログラム - Google Patents

3次元物体モデル情報生成装置及びプログラム Download PDF

Info

Publication number
JP5248992B2
JP5248992B2 JP2008293251A JP2008293251A JP5248992B2 JP 5248992 B2 JP5248992 B2 JP 5248992B2 JP 2008293251 A JP2008293251 A JP 2008293251A JP 2008293251 A JP2008293251 A JP 2008293251A JP 5248992 B2 JP5248992 B2 JP 5248992B2
Authority
JP
Japan
Prior art keywords
object model
model information
value
dimensional object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008293251A
Other languages
English (en)
Other versions
JP2010122725A (ja
Inventor
パナヒプル テヘラニ メヒルダド
彰夫 石川
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008293251A priority Critical patent/JP5248992B2/ja
Publication of JP2010122725A publication Critical patent/JP2010122725A/ja
Application granted granted Critical
Publication of JP5248992B2 publication Critical patent/JP5248992B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、カメラにて撮影した複数の画像に基づき被写体の3次元物体モデル情報を生成する技術に関する。
例えば、非特許文献1には、複数のカメラで撮影した画像から被写体を抽出して3次元物体モデル情報を生成する技術が記載されており、非特許文献2には、センサを利用して3次元物体モデル情報を生成する技術が記載されている。ここで、3次元物体モデル情報とは、3次元空間における被写体の表面位置を示す情報である。
複数のカメラで撮影した動画像に基づき、任意の位置から見た映像を再現する自由視点映像システムのためには、各画像に表されている被写体の位置、つまり、3次元モデル情報を、可能な限り正確に生成することが必要である。また、自由視点映像システムでは、例えば、スポーツの試合等、常に動き続ける被写体をも対象とするため、非特許文献2に記載のセンサ等を利用することなく3次元物体モデル情報を生成することが求められる。
T.Matsuyama、et al.、"Real−TimeDynamic 3D Object Shape Reconstruction and High−Fidelity Texture Mapping for 3D Video"、IEEE Trans.on Circuits and Systems for Video Technology、Vol.CSVT-14、No.3、pp.357−369、2004年 A.Banno、et al.、"Flying Laser Range Sensor for Large−Scale Site Modeling and Its Applications in Bayon Digital Archival Project"、Int.Journal of Computer Vision、Vol.78、No.2−3、pp.207−222、2008年7月
したがって、本発明は、センサ等を使用することなく、可能な限り正確な3次元物体モデル情報を生成する装置及び該装置としてコンピュータを機能させるプログラムを提供することを目的とする。
本発明による3次元物体モデル情報生成装置は、
入力される画像の集合から、任意の2つの画像の組を複数生成し、生成した画像の組に関連付けられ、関連する組の画像の対応する画素を示す視差マップを生成する視差マップ生成手段と、各画像の組及び各組に関連付けられた視差マップに基づき、3次元空間の位置を複数示す奥行き候補位置情報を出力する奥行き候補位置情報生成手段と、奥行き候補位置情報に基づき、被写体表面の3次元空間位置を示す3次元物体モデル情報を生成する調整手段と、調整手段が生成した3次元物体モデル情報の合否を閾値により判定する判定手段とを備えていることを特徴とする。
また、3次元物体モデル情報生成装置において、
奥行き候補位置情報が示す3次元空間の各位置は、画像の組に含まれる2つの画像の視点及び該2つの画像の対応する画素の位置により決定されたものであることも好ましい。
さらに、上記調整手段は、
奥行き候補位置情報に基づき、3次元空間の領域を外側の面と内側の面により特定する絞込み手段と、被写体表面の3次元空間位置を前記外側の面と内側の面の間から求めて3次元物体モデル情報とする決定手段とを備えていることも好ましい。
さらに、絞込み手段は、奥行き候補位置情報が示す3次元空間の位置それぞれに対応する確率分布を生成し、生成した確率分布を積算してカーネル分布を生成し、カーネル分布に3次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定することも好ましい。なお、この場合、前記3次元空間の位置に対応する確率分布は、平均値を該3次元空間の位置とし、分散を所定値とする。
また、絞込み手段は、奥行き候補位置情報が示す3次元空間の位置それぞれに対応する関数を生成し、生成した関数を積算してカーネル分布を生成し、カーネル分布に3次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定することも好ましい。なお、この場合、前記生成した関数は当該位置について点対称であり、該関数において当該位置より所定値以上離れた位置における値は0であるものを使用する。
さらに、決定手段は、絞込み手段が決定した外側の面と内側の面により挟まれた3次元空間の領域において、外側の面から内側の面の方向に所定密度の線を設定し、設定した各線上において2つの画像によるブロックマッチングにより1つの点を選択することにより3次元物体モデル情報を決定することも好ましい。
さらに、3次元物体モデル情報生成装置において、
判定手段は、第1の3次元物体モデル情報が不合格である場合、第1の3次元物体モデル情報を画像生成手段に出力し、画像生成手段は、第1の3次元物体モデル情報及び撮影した画像に基づき補間処理により画像を生成し、補間処理により生成した画像、あるいは、前記撮影した画像及び補間処理により生成した画像を視差マップ生成手段に出力し、判定手段は、第1の3次元物体モデル情報が不合格である場合、第1の3次元物体モデル情報を画像生成手段に出力し、第1の3次元物体モデル情報を画像生成手段に出力することにより調整手段が生成した第2の3次元物体モデル情報と第1の3次元物体モデル情報を比較し、第1の3次元物体モデル情報と第2の3次元物体モデル情報が示す被写体の位置のずれが閾値未満又は以下となった場合に、第2の3次元物体モデル情報を合格とすることも好ましい。
また、決定手段は、外側の面と内側の面との間の位置におけるエネルギー値を、当該位置における分布値が大きく成る程小さくなる様に定め、3次元物体モデル情報をエネルギー値の合計が最小となる様に決定することも好ましい。このとき、分布値が大きい程小さくなる様に分布値を変換した値に補正値を加えた値をエネルギー値とし、補正値は、外側の面と内側の面の中間に近づく程、小さくなる値とすることも好ましい。また、補正値は、隣接する水平面において既に決定した被写体表面の位置からのずれが小さくなる程、小さくなる値であることも好ましい。
本発明によるプログラムは、上記3次元物体モデル情報生成装置として、コンピュータを機能させるものである。
3次元物体モデル情報を生成し、生成した3次元物体モデル情報を使用して撮影した画像から補間処理により画像を生成し、生成した画像等から再度3次元物体モデル情報を生成することを、生成した3次元物体モデル情報の変動が収束するまで繰り返すことにより、精度の高い3次元物体モデル情報を得ることができる。
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。なお、以下の説明において“視点”とは、位置及び方向できまる値であり、“視点での画像”又は“視点における画像”とは、視点が示す位置において、視点が示す方向を中心とした所定範囲、つまり視野内の画像を意味するものとする。
図1は、本発明による3次元物体モデル情報生成装置の機能ブロック図である。図1によると、3次元物体モデル情報生成装置は、保存部1と、画像生成部2と、視差マップ生成部3と、奥行き候補生成部4と、調整部5と、判定部6とを備えている。なお図1は、本発明の説明に必要な部分のみを表示するものである。
3次元物体モデル情報生成装置は、まず、複数のカメラ100が撮影した動画像を構成する撮影画像と、これら複数のカメラ100のカメラパラメータを取り込んで保存部1に保存する。画像生成部2は、これら撮影画像及びカメラパラメータから、あらかじめ定めた視点での画像である補間画像を補間処理により生成する。補間画像の生成には、ステレオマッチング法等、公知の種々の方法を利用可能であり、補間画像の生成に使用する3次元物体モデル情報の生成方法は、1回目の処理においては任意である。なお、後述する様に2回目以降の処理においては、判定部6が出力する3次元物体モデル情報を使用する。また、生成する補間画像数及びその視点は、アプリケーションやハードウェア、例えば、保存部1の容量等に応じてあらかじめ決定しておく。
視差マップ生成部3は、補間画像のみ、あるいは、撮影画像及び補間画像(以後、撮影画像及び補間画像を区別する必要がない場合には単に画像との表現を用いる。)から2つの画像の組を複数生成し、生成した2つの画像の組に対する視差マップを生成する。なお、組の2つの画像は、複数ある画像の内、視点位置が隣接し、ほぼ同じ方向を向く画像を選択することが好ましい。視差マップとは、画像の組に含まれる2つの画像のうち、一方の画像のある画素が表している被写体の点と同じ点を表している他方の画像の画素を示す情報である。つまり、2つの画像において3次元空間の同一位置を示している画素の対応関係を示すものである。視差マップ生成部3は、例えば、視点位置及び方向並びに画像の範囲、つまり視野に基づき、2つの画像のほぼ同じ領域を示している範囲を絞り込み、ブロックマッチング等の手法により対応する画素を判定して視差マップを生成する。しかしながら、視差マップの生成には、2つの画像の画素の対応関係を決定する種々の方法を使用することができる。
奥行き候補生成部4は、画像の組と、その組の視差マップに基づき、被写体表面の3次元空間位置の候補となる奥行き候補位置情報を生成する。図4は、奥行き候補位置情報の生成を説明する図である。なお、以下の説明にて用いる、視点、画像、画像の画素及び該画素の画素値を決定する光線の表現方法を、図3を用いて説明する。図3において、面20が画像を、点30が視点の位置を、視点30から画像20に引いた法線の方向が視点の方向を表している。この表現方法において、画像20にある画素10の画素値は、画素10を通過し、視点30に到達する光線50により決定されることになる。
図4において、例えば、視差マップが画素11と画素12が対応すると示していたとする。この場合、視点31と画素11を通る直線と、視点32と画素12を通る直線の交点41は、被写体40の表面のある位置に対応することになる。なお、図4において被写体40は、例えば、円柱状であり、図4は、説明を簡単にするため、ある水平面における断面を表したものである。奥行き候補生成部4は、図4に示す処理を、総ての画像の組の総ての対応する画素に対して行う。仮に、カメラパラメータ、補間画像、視差マップに誤差がないとすると、このようにして求めた点は被写体40の表面と完全に一致する。つまり、図4の符号40で表す円状に分布することになる。しかしながら、上記値、特に、補間画像生成に使用した3次元物体モデル情報には誤差が多く含まれているため、奥行き候補生成部4が出力する奥行き候補位置情報が示す総ての点を空間にプロットすると、図5に示す様に、ある範囲に広がった点の集合となってしまう。
調整部5は、奥行き候補位置情報が示す点の集合に基づき被写体40の輪郭を決定、つまり、3次元物体モデル情報を決定して判定部6に出力する。判定部6は、1回目の処理においては、この3次元物体モデル情報を不合格とし、この3次元物体モデル情報を記録すると共に、画像生成部2に出力する。画像生成部2は、調整部5が決定した3次元物体モデル情報を使用して、再度、補間画像を生成する。その後、上述したのと同じく、視差マップ生成部3が、再度、視差マップを生成し、奥行き生成部4が、再度、奥行き候補位置情報を生成し、調整部5が、再度、3次元物体モデル情報を生成する。
判定部6は、記録しておいた3次元物体モデル情報と、調整部5が新しく生成した3次元物体モデル情報を比較し、その差が閾値以下又は未満であるか否かを判定する。ここで、3次元物体モデル情報の差とは、2つの3次元物体モデル情報から得られる被写体40の2つの表面のずれを示す指標であり、得られた両表面の各点の対応関係を適当な方法で求め、対応する点の距離又は距離の2乗を総ての点に渡り積算する等、表面のずれが大きくなるほど大きくなる値を使用する。
判定部6は、記録しておいた3次元物体モデル情報と、新しく生成した3次元物体モデル情報の差が閾値以下又は未満である場合には、この新しく生成した3次元物体モデル情報を最終結果として保存部1に保存し、そうでない場合には、この新しく生成した3次元物体モデル情報を記録すると共に、再度、画像生成部2に出力する。以後、本発明による3次元物体モデル情報生成装置は、生成した3次元物体モデル情報の前回からの変化が所定値以下又は未満となるまで上述した処理を繰り返す。以下に、調整部5における処理を説明する。
図2は、調整部5のブロック図である。図2に示す様に、調整部5は、絞込み部51と、決定部52とを備えている。絞込み部51は、奥行き候補位置情報が示す点の集合から誤りと思われる点を削除し、被写体40の表面の位置をある範囲に絞込みを行う。より詳しくは、被写体40の表面が存在する可能性の高い3次元空間の領域を決定し、決定した領域をその外側の閉曲面と、内側の閉曲面により特定する。具体的には、例えば、図5の点の集合を示す奥行き候補位置情報を入力して、図6に示す様に、被写体40の表面が存在すると考えられる最も外側の面と、最も内側の面を決定する。なお、図5及び図6もある水平面内での断面を表したものであり、例えば、被写体40が円柱状である場合、絞込み部51は、円柱を崩した様な最外面と、この最外面より小さい円柱を崩した様な最内面を出力することになる。
絞込み部51は、この絞込みのために、まず、奥行き候補位置情報が示す各点それぞれに対し、位置を変数とするガウス分布を生成する。このガウス分布の平均値はその位置であり、分散はあらかじめ決めた値である。続いて、生成した各点に対するガウス分布を総て足し合わせ、これを、カーネル分布とする。絞込み部51は、生成したカーネル分布に、空間の位置を代入して、その位置における分布値を求め、求めた分布値が閾値未満又は以下となる位置を削除することにより領域の最外周と最内周を決定する。
なお、ガウス分布以外にも、ラプラス分布等の他の分布を用いることができ、さらには、方形関数や三角波状の関数等、形状が点対称で、その対称軸から所定値より大きい範囲では零となる関数も使用することができる。なお、関数を使用する場合、奥行き候補位置情報が示す点が、対称軸の位置となる様にする。なお、これら処理及び以下に説明する処理は、例えば、3次元空間を複数の水平面に分割して、2次元の水平面毎に行っても良い。
また、絞込み部51は、上述した方法以外にも、例えば、最短距離法や、ある微小な領域にある奥行き候補位置情報が示す点の数を求めてヒストグラムを生成し、所定数以下又は未満の領域を削除することにより絞り込みを行っても良い。さらには、複数の方法の組み合わせて用いても良い。
決定部52は、絞込み部51が決定した3次元空間の領域内から被写体40の表面を決定して3次元物体モデル情報を出力する。図7は、決定部52による3次元物体モデル情報の決定を説明する図である。図7において、点42、43、44は深さ方向、つまり、絞込み部51が決定する外側の面から内側の面への方向、の線上にある点である。決定部52は、画像の集合のうち、この線上の点を視野内に含む画像を2つ選択する。ここでは、画像23及び24が選択されている。続いて、決定部52は、前記線上の点に対応する画像23及び画像24の画素を求める。例えば、図7において、点42から視点33に向かう光線は画素13を通り、点42から視点34に向かう光線は画素14を通るため、画素13と画素14が共に点42に対応する画素となる。その後、決定部52は、求めた画素を中心とする所定サイズブロックの相関を、つまり、図7においては画素13を中心とするブロックと、画素14を中心とするブロックの相関を求める。具体的には、ブロックの対応する画素の画素値の差の絶対値又は差の2乗を積算し、値が小さい程相関が高いと判定する。決定部52は、前記線上の所定密度の点、それぞれについて、対応する画像23及び24の画素を求め、求めた画素を中心とするブロックの相関を計算し、ブロックの相関が最も高くなる画素を与える前記線上の点をこの線上における被写体40の表面位置と決定する。
決定部52は、絞込み部51が決定した領域において、外側の面から内側の面に向かう線を所定の密度で設定し、各線に対して上述した方法により1つの点を決定することで、3次元物体モデル情報を生成する。なお、線上の点は、奥行き候補位置情報が示す点のみとすることも可能であるが、奥行き候補位置情報が示す点とは異なるものであっても良い。以上、決定部52は、ブロックマッチングにより3次元物体モデル情報を生成する。
また、決定部52は、生成したカーネル分布を利用し、ダイナミックプログラミング法により3次元物体モデル情報を決定しても良い。図8は、決定部52による3次元物体モデル情報決定の他の形態を説明する図である。図8において、符号60及び61は、それぞれ、絞込み部51が出力したある水平面内の外側の面と内側の面であり、符号62は、この水平面内において決定部52が決定した物体表面の位置、つまり、3次元モデル情報を示している。また、符号70及び71は、符号60及び61の1つ下の水平面内の外側の面と内側の面である。決定部52は、外側の面70及び内側の面71からの距離がそれぞれdとdである点45の分布値Dに基づきエネルギー値Eを以下の様に求める。なお、点45から垂直に上方に延ばした線と1つ上の水平面の交点46と線62の最小距離をΔとする。
E=−D+λ(d―d+λΔ (1)
ここで、λ及びλは所定の係数である。決定部52は、外側の面と内側の面の間を通る閉曲面のうち、この曲面上の点におけるエネルギー値Eの総和ができるだけ小さくなる閉曲面をダイナミックプログラミング法による求める。なお、式(1)の第2項は絞込み部51が決定した領域の中心に被写体の表面が存在する可能性が高いことから、この中心が選択される確率を高くするためのものでありλは0であっても良い。また、Δは、1つ上の水平面内において既に決定した表面位置からのずれを示す値であり、式(2)の第3項は垂直方向において、同じ位置が選択される確率を高くするためのものであるが、λは0であっても良い。なお、一番上の水平面の表面位置の決定は、Δを総て0として行う。
また、ダイナミックプログラミング法によりある水平面内の表面位置を決定する場合、ある点から開始して一周する線を求めることになるが、開始点に戻らない場合も生じ、この場合には、この点において不連続となってしまう。このため、ダイナミックプログラミング法による他の形態として、ある点から時計回りで求めた領域内の各点のエネルギー値と、同じ点から反時計周りで求めた領域内の各点のエネルギー値の和を取り、外側の面から内側の面に向かう線上から一番エネルギー値の小さい点を選択することで、ある水平面内の表面位置を決定する形態であっても良い。さらに、ダイナミックプログラミング法によらない実施形態として、決定部52は、平均化により3次元物体モデル情報を決定しても良い。
以上、本発明においては、求めた3次元物体モデル情報が収束するまで、生成した3次元物体モデル情報に基づく補間画像の生成、生成した補間画像に基づく視差マップの生成、生成した視差マップに基づく3次元物体モデル情報の生成を繰り返し、これにより、精度の高い3次元物体モデル情報の生成を可能としている。なお、上述した実施形態において、水平及び垂直との表現を使用したが、実際の水平面と一致させる必要はなく、任意の面を水平面とし、この面と直角に交わる方向を垂直方向とすることができる。また、複数の被写体が存在する場合においても、総ての被写体を一括して処理する形態にて説明したが、奥行き候補生成部4又は絞込み部51の出力から個々の被写体が認識できるため、一旦、被写体を認識した後には、個々の被写体単位で独立して処理する形態であっても良い。
さらに、上述した実施形態において、保存部1に保存されているカメラ100が撮影した画像を画像生成部2に出力して処理を開始しているが、最初の処理においては、補間処理による画像生成は必須ではなく、保存部1から視差マップ生成部3に画像を出力する形態であっても良い。さらに、カメラ100で撮影した画像を一旦保存部1に保存しているが、カメラ100から画像生成部2又は視差マップ生成部3に直接出力する形態であっても良い。
なお、本発明による3次元物体モデル情報生成装置は、コンピュータを図1及び図2に示す各部として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の各機能ブロックのうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。
本発明による3次元物体モデル情報生成装置の機能ブロック図である 調整部のブロック図である。 画像、視点、画像の画素及び該画素の画素値を決定する光線の表現方法を説明する図である。 奥行き候補位置情報の生成を説明する図である。 奥行き候補位置情報が示す総ての点を空間にプロットした状態を示す図である。 絞込み部による絞込みを示す図である。 決定部による3次元物体モデル情報の決定を説明する図である。 決定部による3次元物体モデル情報決定の他の形態を説明する図である。
符号の説明
1 保存部
2 画像生成部
3 視差マップ生成部
4 奥行き候補生成部
5 調整部
6 判定部
10、11、12、13、14 画素
20、23、24 画像
30、31、32、33、34 視点
40 被写体
41 被写体上の点
42、43、44、45、46 点
50 光線
51 絞り込み部
52 決定部
60、70 外側の面
61、71 内側の面
62 被写体表面位置
100 カメラ

Claims (10)

  1. 入力される画像の集合から、任意の2つの画像の組を複数生成し、生成した画像の組に関連付けられ、関連する組の画像の対応する画素を示す視差マップを生成する視差マップ生成手段と、
    各画像の組及び各組に関連付けられた視差マップに基づき、3次元空間の位置を複数示す奥行き候補位置情報を出力する奥行き候補位置情報生成手段と、
    奥行き候補位置情報に基づき、被写体表面の3次元空間位置を示す3次元物体モデル情報を生成する調整手段と、
    調整手段が生成した3次元物体モデル情報の合否を閾値により判定する判定手段と、
    を備え
    調整手段は、奥行き候補位置情報に基づき、3次元空間の領域を外側の面と内側の面により特定する絞込み手段と、
    被写体表面の3次元空間位置を前記外側の面と内側の面の間から求めて3次元物体モデル情報とする決定手段と、
    を備えている3次元物体モデル情報生成装置。
  2. 奥行き候補位置情報が示す3次元空間の各位置は、画像の組に含まれる2つの画像の視点及び該2つの画像の対応する画素の位置により決定されたものである、
    請求項1に記載の3次元物体モデル情報生成装置。
  3. 絞込み手段は、奥行き候補位置情報が示す3次元空間の位置それぞれに対応する確率分布を生成し、生成した確率分布を積算してカーネル分布を生成し、カーネル分布に3次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定し、
    前記3次元空間の位置に対応する確率分布は、平均値が該3次元空間の位置であり、分散が所定値である、
    請求項1または2に記載の3次元物体モデル情報生成装置。
  4. 絞込み手段は、奥行き候補位置情報が示す3次元空間の位置それぞれに対応する関数を生成し、生成した関数を積算してカーネル分布を生成し、カーネル分布に3次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定し、
    前記生成した関数は、当該位置について点対称であり、該関数において当該位置より所定値以上離れた位置における値は0である、
    請求項1または2に記載の3次元物体モデル情報生成装置。
  5. 決定手段は、絞込み手段が決定した外側の面と内側の面により挟まれた3次元空間の領域において、外側の面から内側の面の方向に所定密度の線を設定し、設定した各線上において2つの画像によるブロックマッチングにより1つの点を選択することにより3次元物体モデル情報を決定する、
    請求項からのいずれか1項に記載の3次元物体モデル情報生成装置。
  6. 決定手段は、前記外側の面と内側の面との間の位置におけるエネルギー値を、当該位置における分布値が大きく成る程小さくなる様に定め、3次元物体モデル情報をエネルギー値の合計が最小となる様に決定する、
    請求項からのいずれか1項に記載の3次元物体モデル情報生成装置。
  7. 決定手段は、分布値が大きい程小さくなる様に分布値を変換した値に補正値を加えた値をエネルギー値とし、補正値は、外側の面と内側の面の中間に近づく程、小さくなる値である、
    請求項に記載の3次元物体モデル情報生成装置。
  8. 決定手段は、分布値が大きい程小さくなる様に分布値を変換した値に補正値を加えた値をエネルギー値とし、補正値は、隣接する水平面において既に決定した被写体表面の位置からのずれが小さくなる程、小さくなる値である、
    請求項又はに記載の3次元物体モデル情報生成装置。
  9. 判定手段は、第1の3次元物体モデル情報が不合格である場合、第1の3次元物体モデル情報を画像生成手段に出力し、
    画像生成手段は、第1の3次元物体モデル情報及び撮影した画像に基づき補間処理により画像を生成し、補間処理により生成した画像、あるいは、前記撮影した画像及び補間処理により生成した画像を視差マップ生成手段に出力し、
    判定手段は、第1の3次元物体モデル情報を画像生成手段に出力することにより調整手段が生成した第2の3次元物体モデル情報と第1の3次元物体モデル情報を比較し、第1の3次元物体モデル情報と第2の3次元物体モデル情報が示す被写体の位置のずれが閾値未満又は以下となった場合に、第2の3次元物体モデル情報を合格とする、
    請求項1からのいずれか1項に記載の3次元物体モデル情報生成装置。
  10. 請求項1からのいずれか1項に記載の3次元物体モデル情報生成装置として、コンピュータを機能させるプログラム。
JP2008293251A 2008-11-17 2008-11-17 3次元物体モデル情報生成装置及びプログラム Expired - Fee Related JP5248992B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008293251A JP5248992B2 (ja) 2008-11-17 2008-11-17 3次元物体モデル情報生成装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008293251A JP5248992B2 (ja) 2008-11-17 2008-11-17 3次元物体モデル情報生成装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2010122725A JP2010122725A (ja) 2010-06-03
JP5248992B2 true JP5248992B2 (ja) 2013-07-31

Family

ID=42324039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008293251A Expired - Fee Related JP5248992B2 (ja) 2008-11-17 2008-11-17 3次元物体モデル情報生成装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5248992B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5067450B2 (ja) * 2010-06-29 2012-11-07 カシオ計算機株式会社 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法
JP5126442B2 (ja) * 2012-06-08 2013-01-23 カシオ計算機株式会社 三次元モデル生成装置、及び三次元モデル生成方法
KR101512658B1 (ko) * 2014-01-08 2015-04-16 계명대학교 산학협력단 스테레오 카메라와 퍼지 로직을 이용한 화재 불꽃 감지 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292678B2 (ja) * 2000-03-29 2009-07-08 コニカミノルタホールディングス株式会社 点群に面をフィッティングする方法および装置
JP2003050110A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 3次元形状データ生成システム、3次元形状データ生成方法、プログラム、および記録媒体
JP2004013869A (ja) * 2002-06-12 2004-01-15 Nec Corp 3次元形状生成装置及びそれに用いる3次元形状生成方法並びにそのプログラム
US7224831B2 (en) * 2004-02-17 2007-05-29 Honda Motor Co. Method, apparatus and program for detecting an object
JP4505616B2 (ja) * 2004-12-08 2010-07-21 株式会社国際電気通信基礎技術研究所 固有空間学習装置、固有空間学習方法及び固有空間プログラム

Also Published As

Publication number Publication date
JP2010122725A (ja) 2010-06-03

Similar Documents

Publication Publication Date Title
JP6775969B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US8452081B2 (en) Forming 3D models using multiple images
JP5955028B2 (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
US20120177283A1 (en) Forming 3d models using two images
US20170272724A1 (en) Apparatus and method for multi-view stereo
WO2019082797A1 (ja) 再構成方法および再構成装置
JP2006221603A (ja) 3次元情報復元装置、3次元情報復元方法および3次元情報復元プログラム
JP2006244387A (ja) 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム
JP2010079505A (ja) 画像生成装置及びプログラム
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
JP2019128641A (ja) 画像処理装置、画像処理方法及びプログラム
JP5248992B2 (ja) 3次元物体モデル情報生成装置及びプログラム
WO2014030571A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4998422B2 (ja) 画像生成装置、方法、通信システム及びプログラム
KR101888969B1 (ko) 영상특성을 이용한 스테레오 매칭장치
JP2010237941A (ja) マスク画像生成装置、3次元物体モデル情報生成装置及びプログラム
KR101850649B1 (ko) 센서스 변환 기반의 스테레오 정합 장치 및 방법
CN114241052B (zh) 基于布局图的多物体场景新视角图像生成方法及系统
JP2020140497A (ja) 演算装置、視差算出方法
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
KR20180005859A (ko) 가상 시점 영상 생성 장치 및 방법
JP6730214B2 (ja) 視差演算装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130411

R150 Certificate of patent or registration of utility model

Ref document number: 5248992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees