[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7533937B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7533937B2
JP7533937B2 JP2020173185A JP2020173185A JP7533937B2 JP 7533937 B2 JP7533937 B2 JP 7533937B2 JP 2020173185 A JP2020173185 A JP 2020173185A JP 2020173185 A JP2020173185 A JP 2020173185A JP 7533937 B2 JP7533937 B2 JP 7533937B2
Authority
JP
Japan
Prior art keywords
combination
feature points
dimensional coordinates
image processing
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020173185A
Other languages
English (en)
Other versions
JP2022064506A (ja
Inventor
喜宏 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2020173185A priority Critical patent/JP7533937B2/ja
Publication of JP2022064506A publication Critical patent/JP2022064506A/ja
Application granted granted Critical
Publication of JP7533937B2 publication Critical patent/JP7533937B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、対象物の複数の画像から、その３次元形状を構築する際に有用となる、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
近年、画像に写っている対象の３次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、特定の対象をカメラの視点を変えながら複数回撮影が行われ、得られた複数枚の画像から、特定の対象の３次元形状が再構築される。
具体的には、まず、ＳｆＭでは、画像毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、画像の拡大縮小、回転、及び照度変化に強いロバストネスな特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペア（以下「特徴点ペア」と表記する。）が抽出される。
その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、３次元形状（点群データ）が再構築される。
ところで、上述のＳｆＭでは、特徴点間のマッチングに誤りが発生する場合があり、この場合、誤りのある特徴点ペアが抽出されてしまい、復元される３次元形状の精度が低下してしまう。このため、特許文献１及び２に開示されたシステムは、対象物のペア画像それぞれにおいて、対応する線分又は点の指定を受け付け、受け付けた線分又は点に基づいて、誤りのある特徴点ペアを抽出し、抽出した特徴点ペアを削除している。
また、上述のＳｆＭでは、バンドル調整といったフィルタリングによっても、誤った特徴点ペアの削除が行われている。例えば、バンドル調整では、３次元形状が構築された後、特徴点ペアの一方について、それから得られた３次元座標と、抽出元の画像に対応するカメラ行列とを用いて、元の２次元画像上に再投影が行われる。そして、投影された位置の２次元座標と、抽出時の位置の２次元座標とが比較され、前者の２次元座標と後者の２次元座標との差分が算出される。算出の結果、差分が閾値以下の場合に、対象となった特徴点が適正であり、誤りのない特徴点ペアであると判定される。一方、算出の結果、差分が閾値を越える場合は、対象となった特徴点は適正でなく、誤りのある特徴点ペアであると判定される。
特許第５３１１４６５号公報 国際公開第２０１９／０６５７８４号
しかしながら、特許文献１及び２に開示されたシステムを用いた場合であっても、更に、バンドル調整を実行した場合であっても、誤りのある特徴点ペアを全て削除することは困難である。一方、誤りがあると判定された特徴点ペアであっても、誤りの程度によっては、３次元形状（点群）に影響を与えない場合もある。このため、誤りのある特徴点が３次元形状（点群データ）に与える影響を可視化することが求められている。
本発明の目的の一例は、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響を可視化し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における画像処理装置は、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出部と、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定部と、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定部と、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を実行させることを特徴とする。
以上のように本発明によれば、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響を可視化しすることができる。
図１は、実施の形態における画像処理装置の概略構成を示す構成図である。 図２は、実施の形態における画像処理装置の構成を具体的に示す構成図である。 図３は、実施の形態において処理対象となる複数の画像の一例を示す図である。 図４は、特徴点の組合せが抽出されたペア画像の一例を示す図である。 図５は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図６は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。 図７は、実施の形態における誤差算出処理の一例を説明する図である。 図８は、実施の形態における誤差算出処理の他の例を説明する図である。 図９は、実施の形態における画像処理装置の動作を示すフロー図である。 図１０は、図９に示すステップＡ８によって画面上に表示される閾値毎の指標の一例を示す図である。 図１１は、画面上に表示される点群データの一例を示す図である。 図１２は、実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図１２を参照しながら説明する。
［装置構成］
最初に、実施の形態における画像処理装置の概略構成について図１を用いて説明する。図１は、実施の形態における画像処理装置の概略構成を示す構成図である。
図１に示す実施の形態における画像処理装置は、対象物の複数の画像から、対象物の３次元形状を構築する際に有用となる装置である。図１に示すように、画像処理装置１０は、誤差算出部１１と、閾値設定部１２と、状態特定部１３と、状態表示部１４とを備えている。
誤差算出部１１は、対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する対象物の３次元座標が算出されている場合に、特徴点の組合せ毎に、対応する３次元座標についての誤差を算出する。
閾値設定部１２は、特徴点の組合せそれぞれについて算出された誤差の中から最大値と最小値とを特定し、最小値から最大値までの間で、複数の閾値を設定する。状態特定部１３は、設定された閾値毎に、誤差がその閾値以上となる特徴点の組合せを除去した場合について、対象物の３次元形状の状態を特定する。状態表示部１４は、閾値毎に、特定された状態を画面上に表示する。
このように、実施の形態では、特徴点の組合せ毎に、対応する３次元座標についての誤差が算出され、そして、特徴点の組合せを誤りであるとして除去する際の誤差の閾値を段階的に変化させた場合の、対象物の３次元形状の状態が画面に表示される。このため、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響が可視化されることになる。
続いて、図２～図８を用いて、実施の形態における画像処理装置の構成及び機能について具体的に説明する。図２は、実施の形態における画像処理装置の構成を具体的に示す構成図である。
図２に示すように、実施の形態では、画像処理装置１０は、上述した誤差算出部１１、閾値設定部１２、状態特定部１３、及び状態表示部１４に加えて、画像取得部１５と、特徴点抽出部１６と、３次元座標算出部１７と、３次元形状構築部１８と、データ格納部１９とを更に備えている。また、画像処理装置１０には、表示装置２０が接続されている。
画像取得部１５は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する。図３は、実施の形態において処理対象となる複数の画像の一例を示す図である。図３の例では、ペア画像が例示されているが、実施の形態において対象となる画像の枚数は特に限定されるものではない。
特徴点抽出部１６は、対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する。具体的には、特徴点抽出部１６は、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。なお、図３の例では、画像が２枚であるため、特徴点の組合せは、特徴点ペアである。図３において、丸で囲まれた部分が特徴点の一つである。また、対応する特徴点の組合せが抽出された２枚の画像は、以降においては、「ペア画像」と表記する。
３次元座標算出部１７は、特徴点の組合せ毎に、各組合せを構成する特徴点それぞれのカメラ行列を算出し、算出したカメラ行列を用いて、各組合せの特徴点に対応する、対象物の３次元座標を算出する。
図４～図６を用いて、３次元座標算出部１７による３次元座標の算出処理について具体的に説明する。図４は、特徴点の組合せが抽出されたペア画像の一例を示す図である。図５は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図６は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。
図４に示すように、３次元座標算出部１７は、最初に、一組のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１～ｍ５）と、画像３２から抽出されている特徴点（ｍ’１～ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図４の例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図４において、Ｍ（Ｍ１～Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
続いて、３次元座標算出部１７は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１～ｍ５、ｍ’１～ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｐと、画像３２を撮影したカメラ４２のカメラ行列Ｐ’とを算出する。また、カメラ行列Ｐ及びカメラ行列Ｐ’は、カメラ４１の位置を原点とすると、それぞれ下記の数１及び数２によって表すことができる。
Figure 0007533937000001
Figure 0007533937000002
上記数１において、Ｉは、カメラ４１の回転行列である。図５に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数２において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ,Ｒｙ，Ｒｚ））。ｔは、上述したように並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ,ｔｙ，ｔｚ））。
従って、この場合は、カメラ行列Ｐ及びカメラ行列Ｐ’から逆算することによって、Ｒ及びｔを算出することが出来る。具体的には、３次元座標算出部１７は、各特徴点の座標を用いて、下記の数３～数５に示す方程式を解くことによって、Ｒ及びｔを算出する。数３～数５において、ｍハットは、ｍ（ｍ１～ｍ５）を正規化して得られた画像Ａ上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１～ｍ’５）を正規化して得られた画像Ｂ上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
Figure 0007533937000003
Figure 0007533937000004
Figure 0007533937000005
また、キャリブレーション行列Ｋは、下記の数６及び数７から求めることができる。なお、ｃｘ、ｃｙは、カメラの中心座標である。
Figure 0007533937000006
Figure 0007533937000007
次に、３次元座標算出部１７は、各カメラの位置の３次元座標と回転行列とを用いて、三角測量法により特徴点の３次元座標Ｍ（Ｍ１～Ｍ５）を算出する。
次に、図６に示すように、３次元座標算出部１７は、特徴点が抽出されている画像であって、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
そして、３次元座標算出部１７は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１～ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、３次元座標算出部１７は、画像３３を撮影したカメラ４３のカメラ行列Ｐｎを算出する。カメラ行列Ｐｎは、下記の数８によって表すことができる。
Figure 0007533937000008
具体的には、３次元座標算出部１７は、画像３３の特定された特徴点の画像３３における２次元座標と対応する３次元座標Ｍ１～Ｍ３を用いて、ＰｎＰ法によってカメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを算出する。
３次元形状構築部１８は、３次元座標算出部１７によって算出された特徴点毎の３次元座標を用いて、対象物の３次元形状を構築する。具体的には、３次元形状構築部１８は、３次元座標に存在する特徴点の集合で構成された点群データを構築する。また、３次元形状構築部１８は、特徴点毎の３次元座標及び点群データをデータ格納部１９に格納する。
誤差算出部１１は、実施の形態では、まず、特徴点の組合せ毎に、各特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、各組合せの３次元座標に適用する。これにより、特徴点の組合せ毎に、各組合せの３次元座標を１つの特徴点が抽出された画像上に投影した場合の２次元座標が算出される。そして、誤差算出部１１は、特徴点の組合せ毎に、算出した２次元座標と１つの特徴点の抽出元での２次元座標との差分を、誤差として算出する。
図７を用いて、誤差算出部１１による誤差算出処理について具体的に説明する。図７は、実施の形態における誤差算出処理の一例を説明する図である。また、図７の例では、図４に示した画像３２上の特徴点の一つを再投影する例について示している。更に、図７において、特徴点に対応する３次元座標、即ち、世界座標系での３次元座標を（ＸＷ，ＹＷ，ＺＷ）とし、特徴点の抽出時の位置の２次元座標を（ｘｆ，ｙｆ）とする。また、特徴点のカメラ座標系での座標を（ＸＣ，ＹＣ，ＺＣ）とする。
まず、誤差算出部１１は、下記の数９を用いて、カメラ行列Ｐ’（＝［Ｒ｜ｔ］）と特徴点の３次元座標（ＸＷ，ＹＷ，ＺＷ）とから、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を算出する。
Figure 0007533937000009
続いて、誤差算出部１１は、下記の数１０を用いて、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を正規化する。
Figure 0007533937000010
続いて、誤差算出部１１は、上記数１０で正規化された座標と、カメラの内部パラメータ（図７の例では、カメラ４２の焦点距離ｆ、画像中心位置の座標（ｃｘ，ｃｙ）とを、下記の数１１に適用して、特徴点を画像３２に再投影した時の２次元座標（ｘｐ，ｙｐ）を算出する。
Figure 0007533937000011
次に、誤差算出部１１は、下記の数１２を用いて、上記数１１から算出した再投影後の２次元座標（ｘｐ，ｙｐ）と特徴点の抽出時の位置の２次元座標（ｘｆ，ｙｆ）との差分ｄを、対応する３次元座標についての誤差として算出する。
Figure 0007533937000012
このように、実施の形態では、特徴点を画像上に再投影することによって誤差が算出される。但し、実施の形態では、誤差の算出手法は、再投影による手法に限定されることはなく、他の手法として、エピポーラ線を利用した手法がある。
図８を用いて、誤差算出部１１による誤差算出処理の他の例について説明する。図８は、実施の形態における誤差算出処理の他の例を説明する図である。図８においては、特徴点ｐｉと特徴点ｐ’ｉとの組合せが、誤差算出の対象であるとする。また、図８において、Ｅはエピポーラ面を示し、Ｏｉは一方の画像のカメラの中心位置を示し、Ｏ’ｉは他方の画像のカメラの中心位置を示している。更に、図８において、左右に示された平行四辺形はそれぞれ画像のフレームを示している。
図８の例において、誤差算出部１１は、エピポーラ線についての下記の数１３に示す関係を用いて、特徴点ｐｉが存在しているエピポーラ線ｌ１に対応するエピポーラ線ｌ’１を算出する。そして、誤差算出部１１は、算出したエピポーラ線ｌ’１と特徴点ｐ’ｉとの距離を、対応する３次元座標についての誤差ｄとして算出する。なお、図８において、Ｘｉは、特徴点ｐｉ及び特徴点ｐ’ｉに対応する３次元空間における点である。ｅｉ及びｅ’ｉは、それぞれ、対応するエピポーラ線のエピポーラ面Ｅとの交点を示している。
Figure 0007533937000013
上記数１３において、Ｆは、Fundamental行列（参照文献）である。Fundamental行列は、下記数１４から算出される。下記の数１４において、「ｘ」は、３次元空間における点Ｘを一方の画像上に射影することによって得られた二次元上の点である。「ｘ’」は、３次元空間における点Ｘを他方の画像上に射影することによって得られた二次元上の点である。Ｔは転置行列である。
参照文献：Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.
Figure 0007533937000014
閾値設定部１２は、実施の形態では、まず、誤差算出部１１によって特徴点の組合せ毎に算出された誤差の中から、最大値ｄｍａｘと最小値ｄｍｉｎとを特定する。そして、閾値設定部１２は、最小値ｄｍｉｎ以上、最大値ｄｍａｘ以下の範囲内で、ｎ個の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３、・・・、Ｔｈｎを設定する（数１５）。
Figure 0007533937000015
状態特定部１３は、実施の形態では、閾値毎に、誤差がその閾値以上となる特徴点の組合せを除去した場合について、点群データの状況を示す指標を算出することで、対象物の３次元形状の状態を特定する。
また、状態特定部１３は、閾値毎に、指標として、例えば、以下に示す（ａ）～（ｄ）のうち少なくとも１つを算出することができる。
（ａ）特徴点の組合せの除去後に点群データを構成している点の個数
（ｂ）除去されなかった特徴点の組合せにおける平均誤差
（ｃ）特徴点の組合せの除去後の点群データの点の個数と除去前における点群データの点の個数との比率（以下「誤差割合」と表記する。）
（ｄ）特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率（以下「残点群割合」と表記する。）
状態表示部１４は、実施の形態では、各閾値と、閾値毎に算出された指標とを、表示装置２０の画面上に表示する。また、状態表示部１４は、３次元形状構築部１８によって構築された点群データも、表示装置２０の画面上に表することができる。そして、複数の閾値のうち１つが選択されると、点群データ上で、選択された閾値によって除去される特徴点の組合せが対応する部分を特定し、そして、点群データを表示すると共に、特定した部分を表すアイコンを表示することができる。
３次元形状構築部１８は、閾値設定部１２によって複数の閾値が設定されると、閾値毎に、誤差がその閾値以上となる特徴点の組合せの３次元座標を除去し、除去されていない３次元座標を用いて、対象物の点群データを構築することもできる。この場合は、状態表示部１４は、閾値と、それに対応する点群データとを、表示装置２０の画面上に表示する。
［装置動作］
次に、実施の形態における画像処理装置１０の動作について図９を用いて説明する。図９は、実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図８を参照する。また、実施の形態１では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
図９に示すように、最初に、画像取得部１５は、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、対象物が写った複数の画像それぞれの画像データを取得する（ステップＡ１）。
次に、特徴点抽出部１６は、ステップＡ１で取得された画像データそれぞれから、対応する特徴点の組合せを抽出する（ステップＡ２）。
次に、３次元座標算出部１７は、ステップＡ２で抽出された特徴点の組合せ毎に、各組合せを構成する特徴点それぞれのカメラ行列を算出し、算出したカメラ行列を用いて、各組合せの特徴点に対応する、対象物の３次元座標を算出する（ステップＡ３）。
次に、３次元形状構築部１８は、ステップＡ３で算出された特徴点毎の３次元座標を用いて、対象物の３次元形状、具体的には、３次元空間に存在する特徴点の集合で構成された点群データを構築する（ステップＡ４）。
次に、誤差算出部１１は、ステップＡ２で抽出された特徴点の組合せ毎に、例えば、一方の特徴点を画像上に再投影することによって、ステップＡ３で算出された３次元座標についての誤差を算出する（ステップＡ５）。
次に、閾値設定部１２は、ステップＡ５によって算出された誤差の中から、最大値ｄｍａｘと最小値ｄｍｉｎとを特定し、最小値ｄｍｉｎ以上、最大値ｄｍａｘ以下の範囲内で、ｎ個の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３、・・・、Ｔｈｎを設定する（ステップＡ６）。
次に、状態特定部１３は、ステップＡ６で設定された閾値毎に、誤差がその閾値以上となる特徴点の組合せを除去した場合について、点群データの状況を示す指標を算出し、それによって、対象物の３次元形状の状態を特定する（ステップＡ７）。
次に、状態表示部１４は、ステップ６で設定された閾値毎に、ステップＡ７で算出された指標を、表示装置２０の画面上に表示する（ステップＡ８）。ステップＡ８の実行後、画像処理装置１０における処理は終了する。図１０は、図９に示すステップＡ８によって画面上に表示される閾値毎の指標の一例を示す図である。また、ステップＡ８では状態表示部１４は、ステップＡ４で構築された点群データも、表示装置２０の画面上に表示することができる。
また、ステップＡ８では、状態表示部１４は、更に、複数の閾値のうちいずれかの選択を受け付けることもできる。そして、状態表示部１４は、ユーザがいずれか１つの閾値を選択すると（図１０において●の閾値）、図１１に示すように、点群データ上で、選択された閾値によって除去される特徴点（の組合せ）が対応する部分を特定し、特定した部分を表すアイコンを表示することができる。図１１は、画面上に表示される点群データの一例を示す図である。図１１の例では、特定した部分を表すアイコンとして★が用いられている。
［実施の形態における効果］
以上のように、実施の形態では、特徴点の組合せにおける誤差について複数の閾値が設定され、閾値毎に、物体の点群データの状況を示す指標が算出され、閾値毎の指標が画面に表示される。そして、ユーザが、いずれかの閾値を選択すると、点群データ上で、選択した閾値に応じて削除される部分が示される。つまり、実施の形態によれば、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響が可視化されることになる。
［プログラム］
実施の形態におけるプログラムとしては、コンピュータに、図９に示すステップＡ１～Ａ８を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、誤差算出部１１、閾値設定部１２、状態特定部１３、状態表示部１４、画像取得部１５、特徴点抽出部１６、３次元座標算出部１７、及び３次元形状構築部１８として機能し、処理を行なう。実施の形態では、データ格納部１９は、コンピュータに備えられたハードディスク等の記憶装置によって実現できる。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、誤差算出部１１、閾値設定部１２、状態特定部１３、状態表示部１４、画像取得部１５、特徴点抽出部１６、３次元座標算出部１７、及び３次元形状構築部１８のいずれかとして機能しても良い。
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図１２を用いて説明する。図１２は、実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
図１２に示すように、コンピュータ１１０は、ＣＰＵ（CentralProcessing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-ProgrammableGate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。
実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア（例えば、回路）を用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出部と、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定部と、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定部と、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示部と、
を備えている、
ことを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理装置であって、
前記誤差算出部が、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とする画像処理装置。
（付記３）
付記１または２に記載の画像処理装置であって、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を更に備えている、
ことを特徴とする画像処理装置。
（付記４）
付記３に記載の画像処理装置であって、
前記３次元形状構築部が、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定部が、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示部が、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とする画像処理装置。
（付記５）
付記４に記載の画像処理装置であって、
前記状態特定部が、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とする画像処理装置。
（付記６）
付記４または５に記載の画像処理装置であって、
前記状態表示部が、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とする画像処理装置。
（付記７）
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を有する、
ことを特徴とする画像処理方法。
（付記８）
付記７に記載の画像処理方法であって、
前記誤差算出ステップにおいて、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とする画像処理方法。
（付記９）
付記７または８に記載の画像処理方法であって、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を更に有する、
ことを特徴とする画像処理方法。
（付記１０）
付記９に記載の画像処理方法であって、
前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とする画像処理方法。
（付記１１）
付記１０に記載の画像処理方法であって、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とする画像処理方法。
（付記１２）
付記１０または１１に記載の画像処理方法であって、
前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とする画像処理方法。
（付記１３）
コンピュータに、
対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
を実行させる、プログラム。
（付記１４）
付記１３に記載のプログラムであって、
前記誤差算出ステップにおいて、
前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
ことを特徴とするプログラム。
（付記１５）
付記１３または１４に記載のプログラムであって、
前記コンピュータに、
前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を更に実行させる、
ことを特徴とするプログラム。
（付記１６）
付記１５に記載のプログラムであって、
前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
ことを特徴とするプログラム。
（付記１７）
付記１６に記載のプログラムであって、
前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
ことを特徴とするプログラム。
（付記１８）
付記１６または１７に記載のプログラムであって、
前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
ことを特徴とするプログラム。
以上のように本発明によれば、複数の画像から対応する特徴点の組合せを抽出して３次元形状を構築するに際して、誤りのある特徴点の組合せが３次元形状に与える影響を可視化することができる。本発明は、ＳｆＭといった複数の画像から三次元形状を構築する技術に有用である。
１０ 画像処理装置
１１ 誤差算出部
１２ 閾値設定部
１３ 状態特定部
１４ 状態表示部
１５ 画像取得部
１６ 特徴点抽出部
１７ ３次元座標算出部
１８ ３次元形状構築部
１９ データ格納部
２０ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (18)

  1. 対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出部と、
    前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定部と、
    複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定部と、
    複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示部と、
    を備えている、
    ことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記誤差算出部が、
    前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
    ことを特徴とする画像処理装置。
  3. 請求項１または２に記載の画像処理装置であって、
    前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
    前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
    前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
    を更に備えている、
    ことを特徴とする画像処理装置。
  4. 請求項３に記載の画像処理装置であって、
    前記３次元形状構築部が、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
    前記状態特定部が、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
    前記状態表示部が、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
    ことを特徴とする画像処理装置。
  5. 請求項４に記載の画像処理装置であって、
    前記状態特定部が、複数の前記閾値それぞれ毎に、前記指標として、
    前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
    ことを特徴とする画像処理装置。
  6. 請求項４または５に記載の画像処理装置であって、
    前記状態表示部が、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
    ことを特徴とする画像処理装置。
  7. 対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
    前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
    複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
    複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
    を有する、
    ことを特徴とする画像処理方法。
  8. 請求項７に記載の画像処理方法であって、
    前記誤差算出ステップにおいて、
    前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
    ことを特徴とする画像処理方法。
  9. 請求項７または８に記載の画像処理方法であって、
    前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
    前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
    前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
    を更に有する、
    ことを特徴とする画像処理方法。
  10. 請求項９に記載の画像処理方法であって、
    前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
    前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
    前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
    ことを特徴とする画像処理方法。
  11. 請求項１０に記載の画像処理方法であって、
    前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
    前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
    ことを特徴とする画像処理方法。
  12. 請求項１０または１１に記載の画像処理方法であって、
    前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
    ことを特徴とする画像処理方法。
  13. コンピュータに、
    対象物の複数の画像それぞれから抽出された、対応する特徴点の組合せそれぞれについて、対応する前記対象物の３次元座標が算出されている場合に、前記特徴点の組合せ毎に、対応する前記３次元座標についての誤差を算出する、誤差算出ステップと、
    前記特徴点の組合せそれぞれについて算出された前記誤差の中から最大値と最小値とを特定し、前記最小値から前記最大値までの間で、複数の閾値を設定する、閾値設定ステップと、
    複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記対象物の３次元形状の状態を特定する、状態特定ステップと、
    複数の前記閾値それぞれ毎に、特定された前記状態を画面上に表示する、状態表示ステップと、
    を実行させる、プログラム。
  14. 請求項１３に記載のプログラムであって、
    前記誤差算出ステップにおいて、
    前記特徴点の組合せ毎に、当該特徴点の組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの前記３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影した場合の２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との差分を、誤差として算出する、
    ことを特徴とするプログラム。
  15. 請求項１３または１４に記載のプログラムであって、
    前記コンピュータに、
    前記対象物の複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出ステップと、
    前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出ステップと、
    前記特徴点の組合せ毎に算出された前記３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
    を更に実行させる、
    ことを特徴とするプログラム。
  16. 請求項１５に記載のプログラムであって、
    前記３次元形状構築ステップにおいて、前記対象物の３次元形状として、前記３次元座標に存在する点の集合で構成された点群データを構築し、
    前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、誤差が当該閾値以上となる前記特徴点の組合せを除去した場合について、前記点群データの状況を示す指標を算出することで、前記対象物の３次元形状の状態を特定し、
    前記状態表示ステップにおいて、複数の前記閾値それぞれ毎に、算出した前記指標を表示する、
    ことを特徴とするプログラム。
  17. 請求項１６に記載のプログラムであって、
    前記状態特定ステップにおいて、複数の前記閾値それぞれ毎に、前記指標として、
    前記特徴点の組合せの除去後に前記点群データを構成している点の個数、除去されなかった前記特徴点の組合せにおける平均誤差、前記特徴点の組合せの除去後の前記点群データの点の個数と除去前における前記点群データの点の個数との比率、及び前記特徴点の組合せの除去後における平均誤差と除去前における平均誤差との比率のうち、少なくとも１つを算出する、
    ことを特徴とするプログラム。
  18. 請求項１６または１７に記載のプログラムであって、
    前記状態表示ステップにおいて、複数の前記閾値のうち１つが選択されると、前記点群データ上で、選択された前記閾値によって除去される前記特徴点の組合せが対応する部分を特定し、そして、前記点群データを表示すると共に、特定した前記部分を表すアイコンも表示する、
    ことを特徴とするプログラム。
JP2020173185A 2020-10-14 2020-10-14 画像処理装置、画像処理方法、及びプログラム Active JP7533937B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020173185A JP7533937B2 (ja) 2020-10-14 2020-10-14 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020173185A JP7533937B2 (ja) 2020-10-14 2020-10-14 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022064506A JP2022064506A (ja) 2022-04-26
JP7533937B2 true JP7533937B2 (ja) 2024-08-14

Family

ID=81385938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020173185A Active JP7533937B2 (ja) 2020-10-14 2020-10-14 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7533937B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024055A1 (ja) * 2022-07-28 2024-02-01 富士通株式会社 情報処理方法、装置、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136112A (ja) 2015-01-23 2016-07-28 シャープ株式会社 距離測定装置および距離測定方法
JP2017130049A (ja) 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2020041950A (ja) 2018-09-12 2020-03-19 Ｎｅｃソリューションイノベータ株式会社 測量装置、測量方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136112A (ja) 2015-01-23 2016-07-28 シャープ株式会社 距離測定装置および距離測定方法
JP2017130049A (ja) 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2020041950A (ja) 2018-09-12 2020-03-19 Ｎｅｃソリューションイノベータ株式会社 測量装置、測量方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全方位カメラ搭載移動ロボットによる画像列を用いた３次元環境モデリング，電気学会研究会資料 情報処理研究会 ＩＰ－０６－１１～１９ 産業システム情報化研究会，2006年08月11日

Also Published As

Publication number Publication date
JP2022064506A (ja) 2022-04-26

Similar Documents

Publication Publication Date Title
US10368062B2 (en) Panoramic camera systems
US11380017B2 (en) Dual-view angle image calibration method and apparatus, storage medium and electronic device
US20220285009A1 (en) Systems and methods for real-time multiple modality image alignment
US8805077B2 (en) Subject region detecting apparatus
US11170246B2 (en) Recognition processing device, recognition processing method, and program
TW201616451A (zh) 點雲套索選取系統及方法
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP2954457A1 (en) System and method for identifying similarities in different images
JP2016201668A (ja) 画像処理装置、画像処理方法およびプログラム
US9865061B2 (en) Constructing a 3D structure
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
CN108805823B (zh) 商品图像矫正方法、系统、设备及存储介质
WO2022160587A1 (zh) 深度检测方法、装置、电子设备、存储介质及程序产品
JP7533937B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP6989153B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7294702B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
WO2017042852A1 (en) Object recognition appratus, object recognition method and storage medium
JP2020187626A (ja) 画像処理装置、画像処理方法、及びプログラム
US20240303983A1 (en) Techniques for monocular face capture using a perceptual shape loss
JP2018055198A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018200175A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240725

R150 Certificate of patent or registration of utility model

Ref document number: 7533937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150