JP6436743B2 - Image information processing apparatus, image information processing method and program, and imaging apparatus - Google Patents
Image information processing apparatus, image information processing method and program, and imaging apparatus Download PDFInfo
- Publication number
- JP6436743B2 JP6436743B2 JP2014238963A JP2014238963A JP6436743B2 JP 6436743 B2 JP6436743 B2 JP 6436743B2 JP 2014238963 A JP2014238963 A JP 2014238963A JP 2014238963 A JP2014238963 A JP 2014238963A JP 6436743 B2 JP6436743 B2 JP 6436743B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional
- coordinate system
- scanning direction
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000003384 imaging method Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000000463 material Substances 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000007493 shaping process Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 229920005992 thermoplastic resin Polymers 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
Description
本発明は、被写体の3次元情報を生成する画像処理装置に関し、特に、立体物造形システムで被写体の立体物造形を行なうために好適な被写体の3次元情報を生成する画像情報処理装置に関する。 The present invention relates to an image processing apparatus that generates three-dimensional information of a subject, and more particularly, to an image information processing apparatus that generates three-dimensional information of a subject suitable for performing three-dimensional modeling of a subject with a three-dimensional modeling system.
従来、被写体に対して複数の方向から撮影を行うことで、被写体の3次元情報を取得するカメラシステムがある。特許文献1では、カメラを移動しながら撮影を行い、各画像の特徴点のマッチングにより被写体の3次元情報を構築している。また、特許文献2では、被写体にパターンを投影して撮影を行うことで被写体の距離情報を取得して3次元情報を構築する方法や、視差の異なる被写体画像の位相差を用いて被写体の距離情報を取得する方法など様々な方法が開示されている。
2. Description of the Related Art Conventionally, there is a camera system that acquires three-dimensional information of a subject by photographing the subject from a plurality of directions. In Patent Document 1, shooting is performed while moving a camera, and three-dimensional information of a subject is constructed by matching feature points of each image. Further, in
一方、造形材料を硬化させながら走査して硬化層を形成して順次積層していくことで立体物を造形する立体物造形装置が知られている。特許文献3では光造形と呼ばれる手法で、光硬化する樹脂材に光ビームを走査しながら照射することで硬化させ、樹脂硬化層を順次積層することで立体物を成形している。その他にも溶解させた熱可塑性樹脂をヘッドから押し出しながら走査する方法や、粉末材料をノズルから噴射し接着して積層する方法など様々な方法が知られている。 On the other hand, there is known a three-dimensional object forming apparatus that forms a three-dimensional object by scanning while hardening a modeling material to form a cured layer and sequentially stacking the layers. In Patent Literature 3, a three-dimensional object is formed by sequentially curing a resin material that is photocured by irradiating the light-curing resin material by scanning with a light beam, and sequentially laminating resin-cured layers. In addition, various methods are known, such as a method of scanning a molten thermoplastic resin while extruding it from a head, and a method of spraying a powder material from a nozzle and bonding and laminating.
しかしながら、上述の特許文献に開示された従来技術では、以下のような問題がある。特許文献1や2で示すカメラで撮影して構築された3次元情報を用いて立体物を造形する場合、3次元情報の座標系と特許文献3で示す立体物造形装置の走査方向および積層方向が適正でないと、以下のような課題が発生する。立体物造形装置の光ビームの走査方向に対し、被写体の稜線部分が略平行でない場合は、造形される立体物の稜線は不連続なものとなり造形精度が低下する。また、3次元情報の座標系と立体物造形装置の積層方向の座標系が適切でない場合、立体物造形手法によっては造形時に立体物を支えるための、一時的に立体物を構成する硬化素材とともに硬化されるサポート材が余計に必要になることが考えられる。一方で、撮影により得られた3次元情報に対して、立体物造形装置の方式に適した座標系をユーザーが設定することはユーザーの作業が煩雑になる。
However, the conventional techniques disclosed in the above-mentioned patent documents have the following problems. In the case of modeling a three-dimensional object using three-dimensional information constructed by photographing with the camera shown in
そこで、本発明の目的は、ユーザーの作業を簡略化しつつも高精度な立体造形物の3次元情報を構築できる画像情報処理装置および画像情報処理方法を提供することである。 Accordingly, an object of the present invention is to provide an image information processing apparatus and an image information processing method capable of constructing highly accurate three-dimensional information of a three-dimensional structure while simplifying a user's work.
上記目的を達成するため、本発明によれば、画像情報処理装置は、被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段と、複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段と、3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、3次元情報の座標系を決定する場合、座標系の座標軸を、3次元情報と構成に係わる情報に基づいて決定する座標系決定手段を備える。 In order to achieve the above object, according to the present invention, an image information processing apparatus obtains a plurality of pieces of image information obtained by photographing a subject from different viewpoint positions, and a three-dimensional image of the subject using a plurality of pieces of image information. 3D information generating means for generating information, memory means for storing information related to the configuration of the 3D modeling apparatus for generating a 3D object using 3D information, and a coordinate system for determining the coordinate system of 3D information Coordinate system determining means for determining the coordinate axes of the three-dimensional information based on the three-dimensional information and the information related to the configuration.
本発明によれば、ユーザーの作業を簡略化しつつも高精度な立体造形物の3次元情報を構築できる画像情報処理装置および画像情報処理方法を提供することができる。 According to the present invention, it is possible to provide an image information processing apparatus and an image information processing method capable of constructing highly accurate three-dimensional information of a three-dimensional structure while simplifying a user's work.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
以下、図1から図5を参照して、本発明の第1の実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラについて説明する。 A camera as an imaging apparatus to which the image information processing apparatus according to the first embodiment of the present invention is applied will be described below with reference to FIGS.
図1は、カメラ2と被写体1である立体造形物との撮影時の位置関係を説明するための図である。図1(a)は、カメラ2の各撮影時の視点位置と被写体1との関係を、図1(b)(c)(d)は被写体1の三面図であり、図1(b)は上面図、図1(c)は側面図、図1(d)は正面図を示している。
FIG. 1 is a diagram for explaining a positional relationship at the time of shooting between the
図1(a)のように被写体1をカメラ2が各視点位置3a、3b、3c、3dを軌跡2aのように移動して撮影することにより、カメラ取得情報として複数の画像データ及び被写体距離情報が得られる。被写体1は図1(b)(c)(d)で示すように、一つの視点位置からの撮影のみでは被写体の形状が不明なので、カメラ2を移動し視点位置を変更した撮影を行う。カメラ2では、カメラ取得情報を用いて被写体1の3次元情報を構築し、その後不図示の立体造形装置において3次元情報に基づいて被写体1を模した立体造形物が生成される。
As shown in FIG. 1A, when the
図2は、本実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラの構成を示すブロック図である。なお、図1と同様の部分には同じ符号を付して示す。 FIG. 2 is a block diagram illustrating a configuration of a camera as an imaging apparatus to which the image information processing apparatus according to the present embodiment is applied. In addition, the same code | symbol is attached | subjected and shown to the part similar to FIG.
同図において、221はカメラシステム制御部であり、内蔵する不図示のメモリに格納されているプログラムを実行することでカメラ2の各部を制御し、カメラ2内の各処理部の動作を司る。レンズ222を通過した被写体からの光線は撮像素子223の受光面の位置に集光する。撮像素子223では結像された被写体の光学像が光電変換により電気信号に変換され、不図示のA/D変換部で量子化処理された後、画像処理部224に送られる。画像処理部224は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子223から出力された撮像信号を処理し画像データを生成する。画像処理部224で生成された画像データはメモリ部225に記録される。メモリ部225は実際の記録部に加えて記録に必要な処理回路を備えている。一方、被写体距離生成部226は画像データから被写体距離の情報を生成する。被写体距離とは、カメラ2から被写体までの距離であり、カメラ2からみた被写体の細部の奥行情報である。撮像素子223は受光面の手前に光学系の瞳分割をするマイクロレンズアレイが配され、複数の視差画像を一度の撮影で取得することができる。この複数の視差画像の位相差を検出することで、被写体の距離情報を得ることができる。撮像素子223の詳細な構成、及び視差画像の位相差による距離情報生成動作は、公知の技術のため説明を割愛する。被写体の距離情報が画像処理部224で生成された画像データとともにメモリ部225に記録される。
In the figure,
姿勢検出センサ229は重力方向を検出するセンサであり、加速度センサなどで構成する。姿勢検出センサ229の検出結果は、画像処理部224で生成された画像データとともにメモリ部225に記録される。直線成分検出部230は3次元情報生成部227により求められた3次元情報から直線成分を検出する。つまり、被写体の稜線を検出し、各稜線の3次元ベクトル成分を生成する。
The
複数の撮影により得られた被写体距離情報を用いて、3次元情報生成部227は、被写体の立体形状である3次元情報を生成する。例えば、複数の被写体距離情報をマッチングにより共通の撮影範囲、奥行情報の位置を探索し、つなぎ合わせていくことで被写体の3次元情報を生成する。また、3次元情報生成部227では、座標系決定部228により適正な座標系での3次元情報を生成する。生成された3次元情報はメモリ部225に記録される。
The three-dimensional
座標系決定部228によって決定された3次元情報の座標系は、立体物造形装置での造形時に用いられる。X軸方向が硬化素材を走査する主走査方向に対応して設定され、Y軸方向が1回の主操作をした後に移動する副走査方向に対応して設定され、Z軸方向が硬化素材を順次積層する積層面の法線方向に対応して設定される。さらに、Z軸の正の方向に向かって順次積層するように設定される。このような立体物造形装置の硬化素材の走査方向及び積層方向が立体物造形装置の構成に係わる情報としてメモリ部225に記憶される。座標系決定部228及び直線成分検出部230の詳細な動作については後述する。
The coordinate system of the three-dimensional information determined by the coordinate
画像表示部231は画像処理部224で処理された画像データや、3次元情報などをユーザーに対して表示する。操作部232は、ユーザーからの撮影命令や、表示の切り替えなどの命令を受け付け、カメラシステム制御部221に命令を送る。
The
次に図3を用いて、3次元情報の座標系の取り方による、立体物造形装置での立体物造形の精度への影響について説明する。 Next, the influence on the accuracy of the three-dimensional object formation by the three-dimensional object formation apparatus by the way of taking the coordinate system of the three-dimensional information will be described with reference to FIG.
図3は、図1に示す被写体1から求められたある座標系の3次元情報を用いて、立体物造形装置で生成した立体造形物の例である。同図において図1と同様の部分は同じ符号を付して示す。 FIG. 3 is an example of a three-dimensional modeled object generated by a three-dimensional modeled apparatus using three-dimensional information of a certain coordinate system obtained from the subject 1 shown in FIG. In the figure, parts similar to those in FIG.
図3(a)は、不適切な方向にZ軸を設定した時の立体造形物及び立体造形工程の例を示している。図1とは異なる方向、具体的には、図1に示すにX軸をZ軸に設定したため、造形時に立体物を支えるサポート材31が多く必要になっている様子を表している。斜線部がサポート材31を示し、Z軸方向に順次積層しながら立体物を造形する際に、位置姿勢によっては立体造形物を直立するよう支えるためにサポート材が必要となっている。サポート材の部分は立体造形物が完成した後に除去されるが、サポート材が多く使用されていると、除去作業が煩雑になる。一方、図1に示す座標系のように3次元情報の座標系を設定していれば、被写体は図1の状態で接地面に対して直立姿勢となっているので、立体造形時の立体造形物も直立姿勢が容易であり、サポート材の量も抑えることができる。
FIG. 3A shows an example of a three-dimensional object and a three-dimensional object forming process when the Z axis is set in an inappropriate direction. Since the X axis is set to the Z axis as shown in FIG. 1 in a direction different from that in FIG. 1, a large number of
図3(b)は、不適切な方向にX軸を設定した時の立体造形物30の例を示しており、図1の被写体の稜線1aに平行な方向をX軸に設定している。図3(c)はX軸に平行でない直線成分が含まれる図3(b)に示す範囲32を拡大した図であり、33は立体造形装置で硬化される硬化素材を模式的に示している。X軸方向に硬化素材33が走査されるが、硬化素材33は一定の幅があるため、点線34で示す本来の3次元情報の直線に対し、離散的な稜線となり立体造形物の精度の低下が発生する。
FIG. 3B shows an example of the three-
図3(d)は適切な方向にX軸を設定した時の立体造形物30の例を示しており、図1の被写体の稜線1cに平行な方向にX軸を設定している。図3(e)は、図3(b)に示す範囲32と同じ範囲である図3(d)に示す範囲35を拡大した図であり、図3(c)と同様に硬化素材33を模式的に示している。図3(c)と異なり稜線1cの直線成分と立体造形装置の硬化素材の走査方向が平行なため、精度よく立体造形物が生成されている。
FIG. 3D shows an example of the three-
図1で示す直線成分である稜線1aと平行な直線成分は稜線1bのみであるのに対し、図3(b)のX軸に対して斜めになっている稜線1cは稜線1d、1e、1f、1g、1hと平行であり、直線成分が稜線1aと平行な線よりも多い。そこで、直線成分が多い方向を3次元情報のX軸として設定すると、立体物の造形時に精度よく稜線が再現されるので、全体として立体造形物の造形精度が向上する。
The only linear component parallel to the
上述したように、撮影した被写体の立体造形物を作製する際に、被写体の3次元情報の座標系を適切に設定することが重要である。座標系の設定を別のソフトウェアでユーザーが行うことが考えられるが、適切に設定することはユーザーの作業負荷が大きい。そこで本発明では、カメラで撮影時に取得されるカメラ取得情報とメモリ部225に記憶されている立体物造形装置の構成に係わる情報を用いて適切に3次元情報の座標系を決定する。
As described above, it is important to appropriately set the coordinate system of the three-dimensional information of the subject when creating a three-dimensional model of the photographed subject. Although it is conceivable for the user to set the coordinate system using another software, setting the appropriate coordinate system has a large work load on the user. Therefore, in the present invention, the coordinate system of the three-dimensional information is appropriately determined using the camera acquisition information acquired at the time of photographing with the camera and the information related to the configuration of the three-dimensional object formation apparatus stored in the
まずカメラ2内に配された姿勢検出センサ229により、カメラ2の位置姿勢からカメラ2の重量方向を検出することで、被写体1の重力方向つまり設置状態を検出する。そして、取得された距離情報を用いて3次元情報を生成する際に、座標系決定部228によって重力方向の反対方向をZ軸の正の方向として決定した後、適当な方向に仮のXY軸を設定し3次元情報を生成する。次に、複数回の撮影により3次元情報の全周囲からの情報が揃ったと判断すると、3次元情報の稜線を検出することで直線成分のベクトルを検出する。それぞれ求められた直線成分について、お互いに平行な直線成分の直線成分ベクトルの和を求める。そして、設定されたZ軸方向に対し略直交する方向で、最も直線成分ベクトルの和のスカラ量が大きい方向をX軸として決定し、設定されたX、Z軸に互いに直交する方向をY軸として3次元情報の座標系を決定する。座標系決定部228の動作の詳細については後述する。
First, the gravitational direction of the subject 1, that is, the installation state is detected by detecting the weight direction of the
次に、図4を用いて、本実施例に係わる3次元情報を生成する画像情報処理動作について述べる。図4は、本実施例に係わる座標系決定部の処理動作を含む3次元情報を生成する処理動作のフローチャートを示す図である。 Next, an image information processing operation for generating three-dimensional information according to the present embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating a flowchart of the processing operation for generating three-dimensional information including the processing operation of the coordinate system determination unit according to the present embodiment.
同図において、ステップS401では、カメラ2がある視点位置での撮影を行い、被写体距離生成部226により被写体の距離情報の生成を行う。
In step S401, the
ステップS402では、姿勢検出センサ229の検出結果とメモリ部225に記録されている立体物造形装置情報を用いて、座標系決定部228が重力方向と反対の方向をZ軸の正の方向として決定する。これにより、立体物造形装置による立体造形物の作成時に、被写体の地面や設置台に設置されている方向から硬化素材の層が順次積層されていくこととなる。
In step S402, using the detection result of the
ステップS403では、決定したZ軸に対して直交し、かつお互いに直交する方向に仮のX軸、Y軸をとる。 In step S403, provisional X and Y axes are taken in directions orthogonal to the determined Z axis and orthogonal to each other.
ステップS404では、3次元情報生成部227によりステップS401で求められた被写体の距離情報より3次元情報を生成する。この時、撮影は1回しか行われていないので、被写体の3次元情報は撮影視点位置からの距離だけで表された不完全なものである。
In step S404, the three-dimensional
次にステップS405では、ステップS401の視点位置からカメラ2を移動し、ステップ401と同様に被写体の撮影を行い、被写体の距離情報を生成する。
In step S405, the
ステップS406では、すでに生成された3次元情報に対してステップS405で得られた距離情報を用いてマッチングを行い、3次元情報を更新し距離情報の無かった不完全な箇所の距離情報を生成していく。 In step S406, matching is performed on the already generated 3D information using the distance information obtained in step S405, and the 3D information is updated to generate distance information of an incomplete part without distance information. To go.
ステップS407ではカメラ2が移動した各視点からの撮影を行い、その移動量が所定量以上であるかどうかを判断する。具体的には、被写体に対し下面を除く全周囲の視点からの撮影が行われたか、つまり被写体の全周囲の距離情報を得ることができており、完全な3次元情報を得られているかを判断する。カメラの移動量は、最初に撮影を行った視点から少なくとも、被写体の180度反対方向まで移動して撮影していればよい。カメラ2の移動量が所定量以上である場合はステップS408に進み、それ以外はステップS405に戻って移動した各視点での撮影が繰り返される。
In step S407, shooting is performed from each viewpoint from which the
次に、ステップS408では直線成分検出部230により、3次元情報の直線成分を検出し、その結果と立体物造形装置情報を用いて座標系決定部228によりXY軸を決定する。図5は直線成分検出部230により、3次元情報から各直線成分を抽出した結果を被写体画像において模式的に示した図であり、図5(a)、(b)での被写体は、それぞれ図示する座標系の方向から斜視された場合の被写体である。平行な直線成分のベクトルについては、同じ様式の線を用いて示しており、線の太さ、点線、破線でそれぞれの差異を表している。直線成分51,52,53はそれぞれZ軸に対して略直交しているので、同じ様式で表される各直線成分について直線成分ベクトルの和を生成する。生成された直線成分ベクトルの和のスカラ量を比較すると直線成分51が最も大きいので、座標系決定部228は直線成分51の方向をX軸として決定し、X軸及びZ軸に直交する方向をY軸として決定する。これにより、立体物造形装置による立体造形物の作成時に、硬化素材の主走査がX軸と平行な方向に行われ、副走査がY軸と平行な方向に行われることになる。
Next, in step S408, the linear
そして、ステップS409では、3次元情報生成部227によりこれまでに取得した距離情報を用いて、ステップS408で決定された座標系での3次元情報を再度生成しなおす。そして、立体物造形装置に適した3次元情報の座標系を決定したので、再度生成した3次元情報を残して、これまでに取得された距離情報を削除する。
In step S409, the three-dimensional information in the coordinate system determined in step S408 is generated again using the distance information acquired so far by the three-dimensional
ステップS410で、カメラシステム制御部221が操作部232を介して撮影終了の命令が下されたと判断するとフローを終了する。一方、撮影終了の命令が下されない場合はステップS411に進む。
If the camera
ステップS411では、ステップS405と同様にカメラ2を移動して別の視点からの撮影を行い、被写体の距離情報を生成する。
In step S411, as in step S405, the
ステップS412では、ステップS411で取得した距離情報を用いて3次元情報を更新するとともに距離情報を削除し、その後ステップS410に戻り、撮影終了の命令が判断されるまでフローを繰り返す。 In step S412, the distance information acquired in step S411 is used to update the three-dimensional information and the distance information is deleted. Thereafter, the process returns to step S410, and the flow is repeated until a shooting end command is determined.
以上述べたように、本実施例ではカメラから取得された情報と立体物造形装置情報に基づき、適正に3次元情報の座標系を決定している。これにより、生成された3次元情報を用いて立体物造形装置により立体造形物を生成する際に、ユーザーが座標系を決定するという煩雑な作業を行うことなく高精度な立体造形を生成することが可能な3次元情報を構築できる。 As described above, in this embodiment, the coordinate system of the three-dimensional information is appropriately determined based on the information acquired from the camera and the three-dimensional object shaping apparatus information. Thereby, when generating a three-dimensional object by the three-dimensional object forming apparatus using the generated three-dimensional information, a high-precision three-dimensional object is generated without performing a complicated operation in which a user determines a coordinate system. 3D information can be constructed.
また、本実施例ではステップS407でカメラの移動量が所定量以上であるかを判断されてから、XY座標系を決定し3次元情報を再生成した後、それまでメモリ部225に記憶されていた各視点の距離情報を削除している。そして、ステップS412では随時新たに取得された異なる視点の距離情報を用いて3次元情報を更新した後、距離情報を削除している。これにより、撮影視点が多数点に及ぶ際においても、3次元情報は更新されつつも、距離情報による記録容量の負荷を低減することができている。
Further, in this embodiment, after it is determined in step S407 whether the moving amount of the camera is equal to or larger than the predetermined amount, the XY coordinate system is determined and the three-dimensional information is regenerated, and then stored in the
本実施例では、カメラの取得情報に基づきXYZ軸座標系を自動で決定したが、少なくとも1つの座標軸についてはユーザーが選択的に決定してもよい。例えば、ステップS408において直線成分検出部230により直線成分が検出された際に、図6のように、Z軸と直交する直線成分で、ベクトルの和のスカラ量が大きい直線成分のいくつかをX軸の候補として画像表示部231に表示する。そして、操作部232を介したユーザー入力により候補のX軸のうち一つが選択されたら、座標系決定部228により選択されたX軸の候補を3次元情報のX軸として決定する。図6はカメラ2の表示部231に、被写体1にX軸座標の候補を重ねて表示している様を表しており、線の幅、破線の長さで直線成分のベクトルの違いを識別可能に示している。
In this embodiment, the XYZ axis coordinate system is automatically determined based on the acquired information of the camera, but the user may selectively determine at least one coordinate axis. For example, when the linear component is detected by the linear
なお、本実施例では被写体の距離情報生成を行うのに、マイクロレンズアレイの配された撮像素子223から得られる視差画像を用いたが、その他の構成や手法でも構わない。例えば、カメラ2が光投影部を有しており、縞模様などの複数のパターンを被写体に向けて投影して撮影を行い、異なるパターンを投影した画像間の差異により距離情報を取得するパターン投影手法を用いてもよい。その他にも、異なる視点から取得された画像の輪郭などの特徴点を抽出しステレオマッチングにより、同じ点とみなされた特徴点を立体的につなぎ合わせることで3次元情報を得る手法でも構わない。距離情報を求めることなく画像情報から3次元情報を生成する手法の場合においても、本手法は有効である。
In this embodiment, the parallax image obtained from the
また、本発明は、以下の処理を実行することによっても実現される。即ち、カメラ2は少なくとも撮像素子223のみを有し、ネットワークまたは記録媒体を介して撮像素子の情報が送られる情報処理装置システムがその他の手段を有していてもよい。
The present invention can also be realized by executing the following processing. That is, the
[その他の実施例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Examples]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
本発明は立体物造形装置のための3次元情報を取得できるカメラ又はカメラから画像信号を取得して処理する情報処理装置を含むカメラシステムに有用である。 The present invention is useful for a camera system including a camera capable of acquiring three-dimensional information for a three-dimensional object modeling apparatus or an information processing apparatus that acquires and processes an image signal from the camera.
Claims (9)
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段と、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、
前記3次元情報の座標系を決定する場合、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段と、
を備え、
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定手段は前記被写体の3次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする画像情報処理装置。 Acquisition means for acquiring a plurality of pieces of image information obtained by photographing a subject from different viewpoint positions;
Three-dimensional information generation means for generating three-dimensional information of the subject using the plurality of image information;
Memory means for storing information related to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
When determining the coordinate system of the three-dimensional information, the coordinate system determining means for determining the coordinate axis of the coordinate system based on the three-dimensional information and information related to the configuration;
Equipped with a,
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determination means has a linear component detection means for detecting a linear component from the three-dimensional information of the object, an image processing apparatus characterized that you determine the coordinate system on the basis of the line component.
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成工程と、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報をメモリに記憶する記憶工程と、
前記3次元情報の座標系を決定する場合、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定工程と、
を備え、
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定工程は前記被写体の3次元情報から直線成分を検出する直線成分検出工程を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする画像情報処理方法。 An acquisition step of acquiring a plurality of pieces of image information obtained by photographing the subject from different viewpoint positions;
A three-dimensional information generation step of generating three-dimensional information of the subject using the plurality of image information;
A storage step of storing, in a memory, information related to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
When determining the coordinate system of the three-dimensional information, a coordinate system determining step of determining the coordinate axis of the coordinate system based on the three-dimensional information and information related to the configuration;
Equipped with a,
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determining step includes a linear component detection step of detecting a linear component from the three-dimensional information of the object, an image processing method which is characterized that you determine the coordinate system on the basis of the line component.
コンピュータを、
被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段、
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報をメモリに記憶する記憶手段、
前記3次元情報の座標系を決定する決定手段であり、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段として機能させ、
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定手段は前記被写体の3次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とするプログラム。 A program for controlling an image processing apparatus,
Computer
Acquisition means for acquiring a plurality of pieces of image information obtained by photographing a subject from different viewpoint positions;
3D information generating means for generating 3D information of the subject using the plurality of image information;
Storage means for storing, in a memory, information relating to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
Determining means for determining a coordinate system of the three-dimensional information, wherein the coordinate axis of the coordinate system functions as a coordinate system determining means for determining based on the information relating to the three-dimensional information and the configuration ;
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determination means has a linear component detection means for detecting a linear component from the three-dimensional information of the object, the program characterized that you determine the coordinate system on the basis of the line component.
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段と、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、
前記3次元情報の座標系を決定する場合、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段と、
を備え、
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定手段は前記被写体の3次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする撮像装置。 Imaging means for capturing a subject from different viewpoint positions and generating a plurality of pieces of image information;
Three-dimensional information generation means for generating three-dimensional information of the subject using the plurality of image information;
Memory means for storing information related to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
When determining the coordinate system of the three-dimensional information, the coordinate system determining means for determining the coordinate axis of the coordinate system based on the three-dimensional information and information related to the configuration;
Equipped with a,
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determination means has a linear component detection means for detecting a linear component from the three-dimensional information of the object, an imaging apparatus characterized that you determine the coordinate system on the basis of the line component.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238963A JP6436743B2 (en) | 2014-11-26 | 2014-11-26 | Image information processing apparatus, image information processing method and program, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238963A JP6436743B2 (en) | 2014-11-26 | 2014-11-26 | Image information processing apparatus, image information processing method and program, and imaging apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016097657A JP2016097657A (en) | 2016-05-30 |
JP2016097657A5 JP2016097657A5 (en) | 2017-12-14 |
JP6436743B2 true JP6436743B2 (en) | 2018-12-12 |
Family
ID=56076514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238963A Expired - Fee Related JP6436743B2 (en) | 2014-11-26 | 2014-11-26 | Image information processing apparatus, image information processing method and program, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6436743B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215851A (en) * | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | Image processing device, image processing method, and molding system |
KR101793573B1 (en) * | 2016-11-22 | 2017-11-03 | 윈포시스(주) | Apparatus for recording location of forming in 3D printer and 3D printer having the same |
WO2018043869A1 (en) * | 2016-08-31 | 2018-03-08 | 윈포시스 주식회사 | Shaping process monitoring apparatus of three-dimensional printer and three-dimensional printer comprising same |
KR101874095B1 (en) * | 2017-03-21 | 2018-08-02 | 윈포시스(주) | Apparatus for detecting melting pool in 3D printer and 3D printer having the same |
CN109304870B (en) | 2017-07-27 | 2020-03-24 | 珠海赛纳打印科技股份有限公司 | 3D printing method and device |
CN110709194A (en) | 2017-08-08 | 2020-01-17 | 三菱重工业株式会社 | Construction abnormality detection system for three-dimensional laminated molding device, construction abnormality detection method for three-dimensional laminated molding device, method for manufacturing three-dimensional laminated molded object, and three-dimensional laminated molded object |
JP6960047B2 (en) * | 2018-04-10 | 2021-11-05 | シャープ株式会社 | Vibration analysis device, control method of vibration analysis device, vibration analysis program and recording medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07329190A (en) * | 1994-06-14 | 1995-12-19 | Asahi Chem Ind Co Ltd | Manufacture of 3-dimensional object and manufacturing equipment |
JP2001166809A (en) * | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | Real solid model preparation device, solid data preparation device, pseudo solid data preparation device, and its method |
JP2002067171A (en) * | 2000-08-25 | 2002-03-05 | Canon Inc | Object article forming device, object article forming method, and storage medium |
JP5206366B2 (en) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | 3D data creation device |
JP2011085971A (en) * | 2009-10-13 | 2011-04-28 | Seiko Epson Corp | Apparatus, method, and program for processing image, recording medium, and image processing system |
-
2014
- 2014-11-26 JP JP2014238963A patent/JP6436743B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016097657A (en) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6436743B2 (en) | Image information processing apparatus, image information processing method and program, and imaging apparatus | |
JP6222898B2 (en) | Three-dimensional measuring device and robot device | |
JP6465789B2 (en) | Program, apparatus and method for calculating internal parameters of depth camera | |
JP5911934B2 (en) | Contour measurement device and robot system | |
CN103366360B (en) | Information processing apparatus and information processing method | |
CN102316254B (en) | Imaging apparatus capable of generating three-dimensional images, and three-dimensional image generating method | |
JP2011232330A (en) | Imaging apparatus, distance measuring method, and program | |
JP2019138822A (en) | Three-dimensional measuring system and three-dimensional measuring method | |
JPWO2008026722A1 (en) | 3D model data generation method and 3D model data generation apparatus | |
JP6282098B2 (en) | Calibration apparatus and method | |
JP4737763B2 (en) | Free viewpoint image generation method, apparatus and program using multi-viewpoint images | |
JP6438290B2 (en) | Imaging apparatus and control method thereof | |
JP6572099B2 (en) | Imaging apparatus, control method therefor, and program | |
CN109299662A (en) | Depth data calculates apparatus and method for and face recognition device | |
JP2012071394A (en) | Simulation system and simulation program therefor | |
JP4085671B2 (en) | Data processing method, data processing program, and recording medium | |
CN110268701B (en) | Image forming apparatus | |
JP7427370B2 (en) | Imaging device, image processing device, image processing method, calibration method for imaging device, robot device, method for manufacturing articles using robot device, control program, and recording medium | |
JP2017087674A (en) | Molding device and control method and program thereof | |
JP7365567B2 (en) | Measurement system, measurement device, measurement method and measurement program | |
Kohut et al. | Application of modal analysis supported by 3D vision-based measurements | |
JP2007033087A (en) | Calibration device and method | |
JP2002350131A (en) | Calibration method for and apparatus of multiocular camera and computer program | |
JP2021160086A (en) | Three-dimensional molding device, control device, molding method and program | |
KR101770866B1 (en) | Apparatus and method for calibrating depth image based on depth sensor-color camera relations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171025 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181113 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6436743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |