[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6436743B2 - Image information processing apparatus, image information processing method and program, and imaging apparatus - Google Patents

Image information processing apparatus, image information processing method and program, and imaging apparatus Download PDF

Info

Publication number
JP6436743B2
JP6436743B2 JP2014238963A JP2014238963A JP6436743B2 JP 6436743 B2 JP6436743 B2 JP 6436743B2 JP 2014238963 A JP2014238963 A JP 2014238963A JP 2014238963 A JP2014238963 A JP 2014238963A JP 6436743 B2 JP6436743 B2 JP 6436743B2
Authority
JP
Japan
Prior art keywords
information
dimensional
coordinate system
scanning direction
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014238963A
Other languages
Japanese (ja)
Other versions
JP2016097657A (en
JP2016097657A5 (en
Inventor
文裕 梶村
文裕 梶村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014238963A priority Critical patent/JP6436743B2/en
Publication of JP2016097657A publication Critical patent/JP2016097657A/en
Publication of JP2016097657A5 publication Critical patent/JP2016097657A5/ja
Application granted granted Critical
Publication of JP6436743B2 publication Critical patent/JP6436743B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Description

本発明は、被写体の3次元情報を生成する画像処理装置に関し、特に、立体物造形システムで被写体の立体物造形を行なうために好適な被写体の3次元情報を生成する画像情報処理装置に関する。   The present invention relates to an image processing apparatus that generates three-dimensional information of a subject, and more particularly, to an image information processing apparatus that generates three-dimensional information of a subject suitable for performing three-dimensional modeling of a subject with a three-dimensional modeling system.

従来、被写体に対して複数の方向から撮影を行うことで、被写体の3次元情報を取得するカメラシステムがある。特許文献1では、カメラを移動しながら撮影を行い、各画像の特徴点のマッチングにより被写体の3次元情報を構築している。また、特許文献2では、被写体にパターンを投影して撮影を行うことで被写体の距離情報を取得して3次元情報を構築する方法や、視差の異なる被写体画像の位相差を用いて被写体の距離情報を取得する方法など様々な方法が開示されている。   2. Description of the Related Art Conventionally, there is a camera system that acquires three-dimensional information of a subject by photographing the subject from a plurality of directions. In Patent Document 1, shooting is performed while moving a camera, and three-dimensional information of a subject is constructed by matching feature points of each image. Further, in Patent Document 2, a method of acquiring distance information of a subject by projecting a pattern onto a subject to construct three-dimensional information, or a subject distance using a phase difference of subject images having different parallaxes. Various methods such as a method for acquiring information are disclosed.

一方、造形材料を硬化させながら走査して硬化層を形成して順次積層していくことで立体物を造形する立体物造形装置が知られている。特許文献3では光造形と呼ばれる手法で、光硬化する樹脂材に光ビームを走査しながら照射することで硬化させ、樹脂硬化層を順次積層することで立体物を成形している。その他にも溶解させた熱可塑性樹脂をヘッドから押し出しながら走査する方法や、粉末材料をノズルから噴射し接着して積層する方法など様々な方法が知られている。   On the other hand, there is known a three-dimensional object forming apparatus that forms a three-dimensional object by scanning while hardening a modeling material to form a cured layer and sequentially stacking the layers. In Patent Literature 3, a three-dimensional object is formed by sequentially curing a resin material that is photocured by irradiating the light-curing resin material by scanning with a light beam, and sequentially laminating resin-cured layers. In addition, various methods are known, such as a method of scanning a molten thermoplastic resin while extruding it from a head, and a method of spraying a powder material from a nozzle and bonding and laminating.

特開2011−85971号公報JP 2011-85971 A 特開平09−14531号公報Japanese Patent Laid-Open No. 09-14531 特開2004−122501号公報JP 2004-122501 A

しかしながら、上述の特許文献に開示された従来技術では、以下のような問題がある。特許文献1や2で示すカメラで撮影して構築された3次元情報を用いて立体物を造形する場合、3次元情報の座標系と特許文献3で示す立体物造形装置の走査方向および積層方向が適正でないと、以下のような課題が発生する。立体物造形装置の光ビームの走査方向に対し、被写体の稜線部分が略平行でない場合は、造形される立体物の稜線は不連続なものとなり造形精度が低下する。また、3次元情報の座標系と立体物造形装置の積層方向の座標系が適切でない場合、立体物造形手法によっては造形時に立体物を支えるための、一時的に立体物を構成する硬化素材とともに硬化されるサポート材が余計に必要になることが考えられる。一方で、撮影により得られた3次元情報に対して、立体物造形装置の方式に適した座標系をユーザーが設定することはユーザーの作業が煩雑になる。   However, the conventional techniques disclosed in the above-mentioned patent documents have the following problems. In the case of modeling a three-dimensional object using three-dimensional information constructed by photographing with the camera shown in Patent Documents 1 and 2, the three-dimensional information coordinate system and the scanning direction and the stacking direction of the three-dimensional object modeling apparatus shown in Patent Document 3 If is not appropriate, the following problems occur. If the ridge line portion of the subject is not substantially parallel to the scanning direction of the light beam of the three-dimensional object modeling apparatus, the ridge line of the three-dimensional object to be modeled becomes discontinuous and the modeling accuracy decreases. In addition, when the coordinate system of the three-dimensional information and the coordinate system in the stacking direction of the three-dimensional object shaping apparatus are not appropriate, depending on the three-dimensional object shaping method, together with a hardening material that temporarily forms the three-dimensional object to support the three-dimensional object It is conceivable that an extra support material to be cured is required. On the other hand, it is complicated for the user to set a coordinate system suitable for the method of the three-dimensional object shaping apparatus for the three-dimensional information obtained by photographing.

そこで、本発明の目的は、ユーザーの作業を簡略化しつつも高精度な立体造形物の3次元情報を構築できる画像情報処理装置および画像情報処理方法を提供することである。   Accordingly, an object of the present invention is to provide an image information processing apparatus and an image information processing method capable of constructing highly accurate three-dimensional information of a three-dimensional structure while simplifying a user's work.

上記目的を達成するため、本発明によれば、画像情報処理装置は、被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段と、複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段と、3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、3次元情報の座標系を決定する場合、座標系の座標軸を、3次元情報と構成に係わる情報に基づいて決定する座標系決定手段を備える。   In order to achieve the above object, according to the present invention, an image information processing apparatus obtains a plurality of pieces of image information obtained by photographing a subject from different viewpoint positions, and a three-dimensional image of the subject using a plurality of pieces of image information. 3D information generating means for generating information, memory means for storing information related to the configuration of the 3D modeling apparatus for generating a 3D object using 3D information, and a coordinate system for determining the coordinate system of 3D information Coordinate system determining means for determining the coordinate axes of the three-dimensional information based on the three-dimensional information and the information related to the configuration.

本発明によれば、ユーザーの作業を簡略化しつつも高精度な立体造形物の3次元情報を構築できる画像情報処理装置および画像情報処理方法を提供することができる。   According to the present invention, it is possible to provide an image information processing apparatus and an image information processing method capable of constructing highly accurate three-dimensional information of a three-dimensional structure while simplifying a user's work.

立体的な被写体とカメラの撮影位置を模式的に示す図A diagram schematically showing the shooting position of a three-dimensional subject and camera 本発明の第1の実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラのブロック図1 is a block diagram of a camera as an imaging apparatus to which an image information processing apparatus according to a first embodiment of the present invention is applied. 異なる座標系が設定された場合の立体物造形時の立体造形物を説明するための図The figure for demonstrating the three-dimensional molded item at the time of three-dimensional modeling when a different coordinate system is set 本発明の第1の実施例に係わる3次元情報生成動作のフローチャートを示す図The figure which shows the flowchart of the three-dimensional information production | generation operation | movement concerning 1st Example of this invention. 本発明の第1の実施例に係わる直線成分検出の概念を説明するための図The figure for demonstrating the concept of the linear component detection concerning 1st Example of this invention. 座標系を決定する他の方法における表示部の表示を説明するための図The figure for demonstrating the display of the display part in the other method of determining a coordinate system

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

以下、図1から図5を参照して、本発明の第1の実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラについて説明する。   A camera as an imaging apparatus to which the image information processing apparatus according to the first embodiment of the present invention is applied will be described below with reference to FIGS.

図1は、カメラ2と被写体1である立体造形物との撮影時の位置関係を説明するための図である。図1(a)は、カメラ2の各撮影時の視点位置と被写体1との関係を、図1(b)(c)(d)は被写体1の三面図であり、図1(b)は上面図、図1(c)は側面図、図1(d)は正面図を示している。   FIG. 1 is a diagram for explaining a positional relationship at the time of shooting between the camera 2 and the three-dimensional object that is the subject 1. FIG. 1A shows the relationship between the viewpoint position and the subject 1 at the time of each photographing by the camera 2, FIGS. 1B, 1C and 1D are three views of the subject 1, and FIG. FIG. 1C is a side view and FIG. 1D is a front view.

図1(a)のように被写体1をカメラ2が各視点位置3a、3b、3c、3dを軌跡2aのように移動して撮影することにより、カメラ取得情報として複数の画像データ及び被写体距離情報が得られる。被写体1は図1(b)(c)(d)で示すように、一つの視点位置からの撮影のみでは被写体の形状が不明なので、カメラ2を移動し視点位置を変更した撮影を行う。カメラ2では、カメラ取得情報を用いて被写体1の3次元情報を構築し、その後不図示の立体造形装置において3次元情報に基づいて被写体1を模した立体造形物が生成される。   As shown in FIG. 1A, when the camera 2 takes a picture of the subject 1 while moving the viewpoint positions 3a, 3b, 3c, and 3d as shown by the locus 2a, a plurality of pieces of image data and subject distance information are obtained as camera acquisition information. Is obtained. As shown in FIGS. 1B, 1C, and 1D, the subject 1 has a subject shape that is unknown only by shooting from one viewpoint position, so the camera 2 is moved to change the viewpoint position. In the camera 2, the three-dimensional information of the subject 1 is constructed using the camera acquisition information, and then a three-dimensional modeled object imitating the subject 1 is generated based on the three-dimensional information in a three-dimensional modeling apparatus (not shown).

図2は、本実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラの構成を示すブロック図である。なお、図1と同様の部分には同じ符号を付して示す。   FIG. 2 is a block diagram illustrating a configuration of a camera as an imaging apparatus to which the image information processing apparatus according to the present embodiment is applied. In addition, the same code | symbol is attached | subjected and shown to the part similar to FIG.

同図において、221はカメラシステム制御部であり、内蔵する不図示のメモリに格納されているプログラムを実行することでカメラ2の各部を制御し、カメラ2内の各処理部の動作を司る。レンズ222を通過した被写体からの光線は撮像素子223の受光面の位置に集光する。撮像素子223では結像された被写体の光学像が光電変換により電気信号に変換され、不図示のA/D変換部で量子化処理された後、画像処理部224に送られる。画像処理部224は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子223から出力された撮像信号を処理し画像データを生成する。画像処理部224で生成された画像データはメモリ部225に記録される。メモリ部225は実際の記録部に加えて記録に必要な処理回路を備えている。一方、被写体距離生成部226は画像データから被写体距離の情報を生成する。被写体距離とは、カメラ2から被写体までの距離であり、カメラ2からみた被写体の細部の奥行情報である。撮像素子223は受光面の手前に光学系の瞳分割をするマイクロレンズアレイが配され、複数の視差画像を一度の撮影で取得することができる。この複数の視差画像の位相差を検出することで、被写体の距離情報を得ることができる。撮像素子223の詳細な構成、及び視差画像の位相差による距離情報生成動作は、公知の技術のため説明を割愛する。被写体の距離情報が画像処理部224で生成された画像データとともにメモリ部225に記録される。   In the figure, reference numeral 221 denotes a camera system control unit which controls each unit of the camera 2 by executing a program stored in a built-in memory (not shown) and controls the operation of each processing unit in the camera 2. The light beam from the subject that has passed through the lens 222 is focused on the position of the light receiving surface of the image sensor 223. In the image sensor 223, the optical image of the formed subject is converted into an electric signal by photoelectric conversion, quantized by an A / D converter (not shown), and then sent to the image processor 224. The image processing unit 224 includes a white balance circuit, a gamma correction circuit, an interpolation calculation circuit, and the like, and processes the imaging signal output from the imaging element 223 to generate image data. Image data generated by the image processing unit 224 is recorded in the memory unit 225. The memory unit 225 includes a processing circuit necessary for recording in addition to the actual recording unit. On the other hand, the subject distance generation unit 226 generates subject distance information from the image data. The subject distance is a distance from the camera 2 to the subject, and is depth information of the details of the subject as seen from the camera 2. The imaging element 223 is provided with a microlens array that divides the pupil of the optical system in front of the light receiving surface, and can acquire a plurality of parallax images by one shooting. By detecting the phase difference between the plurality of parallax images, it is possible to obtain subject distance information. Since the detailed configuration of the image sensor 223 and the distance information generation operation based on the phase difference of the parallax images are well-known techniques, description thereof is omitted. The distance information of the subject is recorded in the memory unit 225 together with the image data generated by the image processing unit 224.

姿勢検出センサ229は重力方向を検出するセンサであり、加速度センサなどで構成する。姿勢検出センサ229の検出結果は、画像処理部224で生成された画像データとともにメモリ部225に記録される。直線成分検出部230は3次元情報生成部227により求められた3次元情報から直線成分を検出する。つまり、被写体の稜線を検出し、各稜線の3次元ベクトル成分を生成する。   The posture detection sensor 229 is a sensor that detects the direction of gravity, and includes an acceleration sensor or the like. The detection result of the posture detection sensor 229 is recorded in the memory unit 225 together with the image data generated by the image processing unit 224. The straight line component detection unit 230 detects a straight line component from the three-dimensional information obtained by the three-dimensional information generation unit 227. That is, the ridge line of the subject is detected, and a three-dimensional vector component of each ridge line is generated.

複数の撮影により得られた被写体距離情報を用いて、3次元情報生成部227は、被写体の立体形状である3次元情報を生成する。例えば、複数の被写体距離情報をマッチングにより共通の撮影範囲、奥行情報の位置を探索し、つなぎ合わせていくことで被写体の3次元情報を生成する。また、3次元情報生成部227では、座標系決定部228により適正な座標系での3次元情報を生成する。生成された3次元情報はメモリ部225に記録される。   The three-dimensional information generation unit 227 generates three-dimensional information that is a three-dimensional shape of the subject using the subject distance information obtained by a plurality of shootings. For example, by searching for a common shooting range and depth information position by matching a plurality of subject distance information, the three-dimensional information of the subject is generated. In the three-dimensional information generation unit 227, the coordinate system determination unit 228 generates three-dimensional information in an appropriate coordinate system. The generated three-dimensional information is recorded in the memory unit 225.

座標系決定部228によって決定された3次元情報の座標系は、立体物造形装置での造形時に用いられる。X軸方向が硬化素材を走査する主走査方向に対応して設定され、Y軸方向が1回の主操作をした後に移動する副走査方向に対応して設定され、Z軸方向が硬化素材を順次積層する積層面の法線方向に対応して設定される。さらに、Z軸の正の方向に向かって順次積層するように設定される。このような立体物造形装置の硬化素材の走査方向及び積層方向が立体物造形装置の構成に係わる情報としてメモリ部225に記憶される。座標系決定部228及び直線成分検出部230の詳細な動作については後述する。   The coordinate system of the three-dimensional information determined by the coordinate system determination unit 228 is used when modeling with the three-dimensional object modeling apparatus. The X-axis direction is set corresponding to the main scanning direction for scanning the cured material, the Y-axis direction is set corresponding to the sub-scanning direction that moves after one main operation, and the Z-axis direction is set for the cured material. It is set corresponding to the normal direction of the laminated surfaces to be sequentially laminated. Further, the layers are set so as to be sequentially laminated in the positive direction of the Z axis. The scanning direction and the stacking direction of the cured material of such a three-dimensional object formation apparatus are stored in the memory unit 225 as information related to the configuration of the three-dimensional object formation apparatus. Detailed operations of the coordinate system determination unit 228 and the linear component detection unit 230 will be described later.

画像表示部231は画像処理部224で処理された画像データや、3次元情報などをユーザーに対して表示する。操作部232は、ユーザーからの撮影命令や、表示の切り替えなどの命令を受け付け、カメラシステム制御部221に命令を送る。   The image display unit 231 displays image data processed by the image processing unit 224, three-dimensional information, and the like to the user. The operation unit 232 receives a shooting command from the user and a command such as display switching, and sends the command to the camera system control unit 221.

次に図3を用いて、3次元情報の座標系の取り方による、立体物造形装置での立体物造形の精度への影響について説明する。   Next, the influence on the accuracy of the three-dimensional object formation by the three-dimensional object formation apparatus by the way of taking the coordinate system of the three-dimensional information will be described with reference to FIG.

図3は、図1に示す被写体1から求められたある座標系の3次元情報を用いて、立体物造形装置で生成した立体造形物の例である。同図において図1と同様の部分は同じ符号を付して示す。   FIG. 3 is an example of a three-dimensional modeled object generated by a three-dimensional modeled apparatus using three-dimensional information of a certain coordinate system obtained from the subject 1 shown in FIG. In the figure, parts similar to those in FIG.

図3(a)は、不適切な方向にZ軸を設定した時の立体造形物及び立体造形工程の例を示している。図1とは異なる方向、具体的には、図1に示すにX軸をZ軸に設定したため、造形時に立体物を支えるサポート材31が多く必要になっている様子を表している。斜線部がサポート材31を示し、Z軸方向に順次積層しながら立体物を造形する際に、位置姿勢によっては立体造形物を直立するよう支えるためにサポート材が必要となっている。サポート材の部分は立体造形物が完成した後に除去されるが、サポート材が多く使用されていると、除去作業が煩雑になる。一方、図1に示す座標系のように3次元情報の座標系を設定していれば、被写体は図1の状態で接地面に対して直立姿勢となっているので、立体造形時の立体造形物も直立姿勢が容易であり、サポート材の量も抑えることができる。   FIG. 3A shows an example of a three-dimensional object and a three-dimensional object forming process when the Z axis is set in an inappropriate direction. Since the X axis is set to the Z axis as shown in FIG. 1 in a direction different from that in FIG. 1, a large number of support materials 31 that support a three-dimensional object during modeling are required. The hatched portion indicates the support material 31. When a three-dimensional object is modeled while being sequentially stacked in the Z-axis direction, a support material is required to support the three-dimensional model object upright depending on the position and orientation. The portion of the support material is removed after the three-dimensional model is completed. However, if a large amount of support material is used, the removal work becomes complicated. On the other hand, if the coordinate system of the three-dimensional information is set like the coordinate system shown in FIG. 1, the subject is in an upright posture with respect to the ground plane in the state of FIG. Objects can easily stand upright and the amount of support material can be reduced.

図3(b)は、不適切な方向にX軸を設定した時の立体造形物30の例を示しており、図1の被写体の稜線1aに平行な方向をX軸に設定している。図3(c)はX軸に平行でない直線成分が含まれる図3(b)に示す範囲32を拡大した図であり、33は立体造形装置で硬化される硬化素材を模式的に示している。X軸方向に硬化素材33が走査されるが、硬化素材33は一定の幅があるため、点線34で示す本来の3次元情報の直線に対し、離散的な稜線となり立体造形物の精度の低下が発生する。   FIG. 3B shows an example of the three-dimensional structure 30 when the X axis is set in an inappropriate direction, and the direction parallel to the ridge line 1a of the subject in FIG. 1 is set as the X axis. FIG. 3C is an enlarged view of a range 32 shown in FIG. 3B in which a linear component that is not parallel to the X axis is included, and 33 schematically shows a cured material that is cured by the three-dimensional modeling apparatus. . Although the cured material 33 is scanned in the X-axis direction, since the cured material 33 has a certain width, it becomes a discrete ridgeline with respect to the straight line of the original three-dimensional information indicated by the dotted line 34, and the accuracy of the three-dimensional object is reduced. Will occur.

図3(d)は適切な方向にX軸を設定した時の立体造形物30の例を示しており、図1の被写体の稜線1cに平行な方向にX軸を設定している。図3(e)は、図3(b)に示す範囲32と同じ範囲である図3(d)に示す範囲35を拡大した図であり、図3(c)と同様に硬化素材33を模式的に示している。図3(c)と異なり稜線1cの直線成分と立体造形装置の硬化素材の走査方向が平行なため、精度よく立体造形物が生成されている。   FIG. 3D shows an example of the three-dimensional structure 30 when the X axis is set in an appropriate direction, and the X axis is set in a direction parallel to the ridge line 1c of the subject in FIG. FIG. 3 (e) is an enlarged view of the range 35 shown in FIG. 3 (d), which is the same range as the range 32 shown in FIG. 3 (b), and schematically illustrates the cured material 33 as in FIG. 3 (c). Is shown. Unlike FIG.3 (c), since the linear component of the ridgeline 1c and the scanning direction of the hardening material of a three-dimensional modeling apparatus are parallel, the three-dimensional molded item is produced | generated accurately.

図1で示す直線成分である稜線1aと平行な直線成分は稜線1bのみであるのに対し、図3(b)のX軸に対して斜めになっている稜線1cは稜線1d、1e、1f、1g、1hと平行であり、直線成分が稜線1aと平行な線よりも多い。そこで、直線成分が多い方向を3次元情報のX軸として設定すると、立体物の造形時に精度よく稜線が再現されるので、全体として立体造形物の造形精度が向上する。   The only linear component parallel to the ridge line 1a shown in FIG. 1 is the ridge line 1b, whereas the ridge line 1c oblique to the X axis in FIG. 3B is the ridge lines 1d, 1e, 1f. 1g and 1h, and there are more linear components than lines parallel to the ridge line 1a. Therefore, when a direction with a large amount of linear components is set as the X axis of the three-dimensional information, the ridge line is accurately reproduced when the three-dimensional object is formed, so that the modeling accuracy of the three-dimensional object is improved as a whole.

上述したように、撮影した被写体の立体造形物を作製する際に、被写体の3次元情報の座標系を適切に設定することが重要である。座標系の設定を別のソフトウェアでユーザーが行うことが考えられるが、適切に設定することはユーザーの作業負荷が大きい。そこで本発明では、カメラで撮影時に取得されるカメラ取得情報とメモリ部225に記憶されている立体物造形装置の構成に係わる情報を用いて適切に3次元情報の座標系を決定する。   As described above, it is important to appropriately set the coordinate system of the three-dimensional information of the subject when creating a three-dimensional model of the photographed subject. Although it is conceivable for the user to set the coordinate system using another software, setting the appropriate coordinate system has a large work load on the user. Therefore, in the present invention, the coordinate system of the three-dimensional information is appropriately determined using the camera acquisition information acquired at the time of photographing with the camera and the information related to the configuration of the three-dimensional object formation apparatus stored in the memory unit 225.

まずカメラ2内に配された姿勢検出センサ229により、カメラ2の位置姿勢からカメラ2の重量方向を検出することで、被写体1の重力方向つまり設置状態を検出する。そして、取得された距離情報を用いて3次元情報を生成する際に、座標系決定部228によって重力方向の反対方向をZ軸の正の方向として決定した後、適当な方向に仮のXY軸を設定し3次元情報を生成する。次に、複数回の撮影により3次元情報の全周囲からの情報が揃ったと判断すると、3次元情報の稜線を検出することで直線成分のベクトルを検出する。それぞれ求められた直線成分について、お互いに平行な直線成分の直線成分ベクトルの和を求める。そして、設定されたZ軸方向に対し略直交する方向で、最も直線成分ベクトルの和のスカラ量が大きい方向をX軸として決定し、設定されたX、Z軸に互いに直交する方向をY軸として3次元情報の座標系を決定する。座標系決定部228の動作の詳細については後述する。   First, the gravitational direction of the subject 1, that is, the installation state is detected by detecting the weight direction of the camera 2 from the position and orientation of the camera 2 by the posture detection sensor 229 disposed in the camera 2. Then, when generating the three-dimensional information using the acquired distance information, the coordinate system determination unit 228 determines the opposite direction of the gravity direction as the positive direction of the Z axis, and then sets the temporary XY axis in an appropriate direction. To generate 3D information. Next, when it is determined that the information from the entire periphery of the three-dimensional information has been prepared by photographing a plurality of times, the vector of the linear component is detected by detecting the edge line of the three-dimensional information. For each obtained linear component, the sum of the linear component vectors of the linear components parallel to each other is obtained. Then, in the direction substantially orthogonal to the set Z-axis direction, the direction having the largest scalar component sum of the linear component vectors is determined as the X-axis, and the direction orthogonal to the set X and Z-axis is determined as the Y-axis. To determine the coordinate system of the three-dimensional information. Details of the operation of the coordinate system determination unit 228 will be described later.

次に、図4を用いて、本実施例に係わる3次元情報を生成する画像情報処理動作について述べる。図4は、本実施例に係わる座標系決定部の処理動作を含む3次元情報を生成する処理動作のフローチャートを示す図である。   Next, an image information processing operation for generating three-dimensional information according to the present embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating a flowchart of the processing operation for generating three-dimensional information including the processing operation of the coordinate system determination unit according to the present embodiment.

同図において、ステップS401では、カメラ2がある視点位置での撮影を行い、被写体距離生成部226により被写体の距離情報の生成を行う。   In step S401, the camera 2 performs shooting at a certain viewpoint position, and the subject distance generation unit 226 generates subject distance information.

ステップS402では、姿勢検出センサ229の検出結果とメモリ部225に記録されている立体物造形装置情報を用いて、座標系決定部228が重力方向と反対の方向をZ軸の正の方向として決定する。これにより、立体物造形装置による立体造形物の作成時に、被写体の地面や設置台に設置されている方向から硬化素材の層が順次積層されていくこととなる。   In step S402, using the detection result of the posture detection sensor 229 and the three-dimensional object formation apparatus information recorded in the memory unit 225, the coordinate system determination unit 228 determines the direction opposite to the gravity direction as the positive direction of the Z axis. To do. Thereby, at the time of creation of the three-dimensional modeled object by the three-dimensional modeled apparatus, the layers of the curing material are sequentially stacked from the direction of being set on the ground of the subject or the installation table.

ステップS403では、決定したZ軸に対して直交し、かつお互いに直交する方向に仮のX軸、Y軸をとる。   In step S403, provisional X and Y axes are taken in directions orthogonal to the determined Z axis and orthogonal to each other.

ステップS404では、3次元情報生成部227によりステップS401で求められた被写体の距離情報より3次元情報を生成する。この時、撮影は1回しか行われていないので、被写体の3次元情報は撮影視点位置からの距離だけで表された不完全なものである。   In step S404, the three-dimensional information generation unit 227 generates three-dimensional information from the subject distance information obtained in step S401. At this time, since the photographing is performed only once, the three-dimensional information of the subject is incomplete expressed only by the distance from the photographing viewpoint position.

次にステップS405では、ステップS401の視点位置からカメラ2を移動し、ステップ401と同様に被写体の撮影を行い、被写体の距離情報を生成する。   In step S405, the camera 2 is moved from the viewpoint position in step S401, the subject is photographed in the same manner as in step 401, and subject distance information is generated.

ステップS406では、すでに生成された3次元情報に対してステップS405で得られた距離情報を用いてマッチングを行い、3次元情報を更新し距離情報の無かった不完全な箇所の距離情報を生成していく。   In step S406, matching is performed on the already generated 3D information using the distance information obtained in step S405, and the 3D information is updated to generate distance information of an incomplete part without distance information. To go.

ステップS407ではカメラ2が移動した各視点からの撮影を行い、その移動量が所定量以上であるかどうかを判断する。具体的には、被写体に対し下面を除く全周囲の視点からの撮影が行われたか、つまり被写体の全周囲の距離情報を得ることができており、完全な3次元情報を得られているかを判断する。カメラの移動量は、最初に撮影を行った視点から少なくとも、被写体の180度反対方向まで移動して撮影していればよい。カメラ2の移動量が所定量以上である場合はステップS408に進み、それ以外はステップS405に戻って移動した各視点での撮影が繰り返される。   In step S407, shooting is performed from each viewpoint from which the camera 2 has moved, and it is determined whether or not the moving amount is a predetermined amount or more. Specifically, whether the subject was photographed from the viewpoint of the entire periphery except the lower surface, that is, whether the distance information of the entire periphery of the subject could be obtained and complete three-dimensional information was obtained. to decide. The amount of movement of the camera may be as long as it moves from the viewpoint where the image was first taken to at least 180 degrees opposite to the subject. If the movement amount of the camera 2 is greater than or equal to the predetermined amount, the process proceeds to step S408, otherwise, the process returns to step S405, and photographing at each viewpoint moved is repeated.

次に、ステップS408では直線成分検出部230により、3次元情報の直線成分を検出し、その結果と立体物造形装置情報を用いて座標系決定部228によりXY軸を決定する。図5は直線成分検出部230により、3次元情報から各直線成分を抽出した結果を被写体画像において模式的に示した図であり、図5(a)、(b)での被写体は、それぞれ図示する座標系の方向から斜視された場合の被写体である。平行な直線成分のベクトルについては、同じ様式の線を用いて示しており、線の太さ、点線、破線でそれぞれの差異を表している。直線成分51,52,53はそれぞれZ軸に対して略直交しているので、同じ様式で表される各直線成分について直線成分ベクトルの和を生成する。生成された直線成分ベクトルの和のスカラ量を比較すると直線成分51が最も大きいので、座標系決定部228は直線成分51の方向をX軸として決定し、X軸及びZ軸に直交する方向をY軸として決定する。これにより、立体物造形装置による立体造形物の作成時に、硬化素材の主走査がX軸と平行な方向に行われ、副走査がY軸と平行な方向に行われることになる。   Next, in step S408, the linear component detection unit 230 detects the linear component of the three-dimensional information, and the coordinate system determination unit 228 determines the XY axes using the result and the three-dimensional object shaping apparatus information. FIG. 5 is a diagram schematically showing, in the subject image, the result of extracting each linear component from the three-dimensional information by the linear component detection unit 230. The subjects in FIGS. 5 (a) and 5 (b) are illustrated. This is a subject when it is viewed from the direction of the coordinate system to be viewed. The parallel linear component vectors are shown using the same type of lines, and the thicknesses of the lines, dotted lines, and broken lines represent the differences. Since the linear components 51, 52, and 53 are substantially orthogonal to the Z axis, the sum of the linear component vectors is generated for each linear component expressed in the same manner. When the scalar quantity of the sum of the generated linear component vectors is compared, the linear component 51 is the largest, so the coordinate system determining unit 228 determines the direction of the linear component 51 as the X axis and the direction orthogonal to the X axis and the Z axis. Determine as Y-axis. Thereby, at the time of creating the three-dimensional object by the three-dimensional object forming apparatus, the main scanning of the cured material is performed in the direction parallel to the X axis, and the sub-scan is performed in the direction parallel to the Y axis.

そして、ステップS409では、3次元情報生成部227によりこれまでに取得した距離情報を用いて、ステップS408で決定された座標系での3次元情報を再度生成しなおす。そして、立体物造形装置に適した3次元情報の座標系を決定したので、再度生成した3次元情報を残して、これまでに取得された距離情報を削除する。   In step S409, the three-dimensional information in the coordinate system determined in step S408 is generated again using the distance information acquired so far by the three-dimensional information generation unit 227. And since the coordinate system of the three-dimensional information suitable for a three-dimensional object modeling apparatus was determined, the distance information acquired so far is deleted leaving the three-dimensional information generated again.

ステップS410で、カメラシステム制御部221が操作部232を介して撮影終了の命令が下されたと判断するとフローを終了する。一方、撮影終了の命令が下されない場合はステップS411に進む。   If the camera system control unit 221 determines in step S410 that an instruction to end shooting has been issued via the operation unit 232, the flow ends. On the other hand, if the shooting end command is not issued, the process proceeds to step S411.

ステップS411では、ステップS405と同様にカメラ2を移動して別の視点からの撮影を行い、被写体の距離情報を生成する。   In step S411, as in step S405, the camera 2 is moved to perform shooting from another viewpoint, and subject distance information is generated.

ステップS412では、ステップS411で取得した距離情報を用いて3次元情報を更新するとともに距離情報を削除し、その後ステップS410に戻り、撮影終了の命令が判断されるまでフローを繰り返す。   In step S412, the distance information acquired in step S411 is used to update the three-dimensional information and the distance information is deleted. Thereafter, the process returns to step S410, and the flow is repeated until a shooting end command is determined.

以上述べたように、本実施例ではカメラから取得された情報と立体物造形装置情報に基づき、適正に3次元情報の座標系を決定している。これにより、生成された3次元情報を用いて立体物造形装置により立体造形物を生成する際に、ユーザーが座標系を決定するという煩雑な作業を行うことなく高精度な立体造形を生成することが可能な3次元情報を構築できる。   As described above, in this embodiment, the coordinate system of the three-dimensional information is appropriately determined based on the information acquired from the camera and the three-dimensional object shaping apparatus information. Thereby, when generating a three-dimensional object by the three-dimensional object forming apparatus using the generated three-dimensional information, a high-precision three-dimensional object is generated without performing a complicated operation in which a user determines a coordinate system. 3D information can be constructed.

また、本実施例ではステップS407でカメラの移動量が所定量以上であるかを判断されてから、XY座標系を決定し3次元情報を再生成した後、それまでメモリ部225に記憶されていた各視点の距離情報を削除している。そして、ステップS412では随時新たに取得された異なる視点の距離情報を用いて3次元情報を更新した後、距離情報を削除している。これにより、撮影視点が多数点に及ぶ際においても、3次元情報は更新されつつも、距離情報による記録容量の負荷を低減することができている。   Further, in this embodiment, after it is determined in step S407 whether the moving amount of the camera is equal to or larger than the predetermined amount, the XY coordinate system is determined and the three-dimensional information is regenerated, and then stored in the memory unit 225 until then. The distance information for each viewpoint has been deleted. In step S412, the distance information is deleted after updating the three-dimensional information using the distance information of different viewpoints newly acquired as needed. As a result, even when the shooting viewpoint reaches a large number of points, the load on the recording capacity due to the distance information can be reduced while the three-dimensional information is updated.

本実施例では、カメラの取得情報に基づきXYZ軸座標系を自動で決定したが、少なくとも1つの座標軸についてはユーザーが選択的に決定してもよい。例えば、ステップS408において直線成分検出部230により直線成分が検出された際に、図6のように、Z軸と直交する直線成分で、ベクトルの和のスカラ量が大きい直線成分のいくつかをX軸の候補として画像表示部231に表示する。そして、操作部232を介したユーザー入力により候補のX軸のうち一つが選択されたら、座標系決定部228により選択されたX軸の候補を3次元情報のX軸として決定する。図6はカメラ2の表示部231に、被写体1にX軸座標の候補を重ねて表示している様を表しており、線の幅、破線の長さで直線成分のベクトルの違いを識別可能に示している。   In this embodiment, the XYZ axis coordinate system is automatically determined based on the acquired information of the camera, but the user may selectively determine at least one coordinate axis. For example, when the linear component is detected by the linear component detection unit 230 in step S408, some of the linear components that are orthogonal to the Z-axis and have a large vector sum are represented as X in FIG. It displays on the image display part 231 as an axis | shaft candidate. When one of the candidate X axes is selected by user input via the operation unit 232, the X axis candidate selected by the coordinate system determination unit 228 is determined as the X axis of the three-dimensional information. FIG. 6 shows the display unit 231 of the camera 2 displaying the X-axis coordinate candidates superimposed on the subject 1, and the difference between the linear component vectors can be identified by the line width and the broken line length. It shows.

なお、本実施例では被写体の距離情報生成を行うのに、マイクロレンズアレイの配された撮像素子223から得られる視差画像を用いたが、その他の構成や手法でも構わない。例えば、カメラ2が光投影部を有しており、縞模様などの複数のパターンを被写体に向けて投影して撮影を行い、異なるパターンを投影した画像間の差異により距離情報を取得するパターン投影手法を用いてもよい。その他にも、異なる視点から取得された画像の輪郭などの特徴点を抽出しステレオマッチングにより、同じ点とみなされた特徴点を立体的につなぎ合わせることで3次元情報を得る手法でも構わない。距離情報を求めることなく画像情報から3次元情報を生成する手法の場合においても、本手法は有効である。   In this embodiment, the parallax image obtained from the image sensor 223 having the microlens array is used to generate the distance information of the subject, but other configurations and methods may be used. For example, the pattern projection in which the camera 2 has a light projection unit, projects a plurality of patterns such as a stripe pattern toward a subject, performs shooting, and obtains distance information based on a difference between images obtained by projecting different patterns. A technique may be used. In addition, a method may be used in which three-dimensional information is obtained by extracting feature points such as the contours of images acquired from different viewpoints and connecting the feature points regarded as the same point in a three-dimensional manner by stereo matching. This method is also effective in the case of a method for generating three-dimensional information from image information without obtaining distance information.

また、本発明は、以下の処理を実行することによっても実現される。即ち、カメラ2は少なくとも撮像素子223のみを有し、ネットワークまたは記録媒体を介して撮像素子の情報が送られる情報処理装置システムがその他の手段を有していてもよい。   The present invention can also be realized by executing the following processing. That is, the camera 2 includes at least the image sensor 223, and an information processing apparatus system to which information about the image sensor is transmitted via a network or a recording medium may include other means.

[その他の実施例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Examples]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明は立体物造形装置のための3次元情報を取得できるカメラ又はカメラから画像信号を取得して処理する情報処理装置を含むカメラシステムに有用である。   The present invention is useful for a camera system including a camera capable of acquiring three-dimensional information for a three-dimensional object modeling apparatus or an information processing apparatus that acquires and processes an image signal from the camera.

Claims (9)

被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段と、
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段と、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、
前記3次元情報の座標系を決定する場合、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段と、
を備え
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定手段は前記被写体の3次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする画像情報処理装置。
Acquisition means for acquiring a plurality of pieces of image information obtained by photographing a subject from different viewpoint positions;
Three-dimensional information generation means for generating three-dimensional information of the subject using the plurality of image information;
Memory means for storing information related to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
When determining the coordinate system of the three-dimensional information, the coordinate system determining means for determining the coordinate axis of the coordinate system based on the three-dimensional information and information related to the configuration;
Equipped with a,
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determination means has a linear component detection means for detecting a linear component from the three-dimensional information of the object, an image processing apparatus characterized that you determine the coordinate system on the basis of the line component.
前記被写体の重力方向の情報を取得する手段を有し、前記座標系決定手段は、前記重力方向に平行な方向に、前記積層方向に対応する座標軸を決定し、前記主走査方向に対応する座標軸および前記副走査方向に対応する座標軸を、互いに直交し、かつ前記積層方向に直交する方向に決定することを特徴とする請求項に記載の画像情報処理装置。 Means for acquiring information on the gravitational direction of the subject, wherein the coordinate system determining means determines a coordinate axis corresponding to the stacking direction in a direction parallel to the gravitational direction, and a coordinate axis corresponding to the main scanning direction; The image information processing apparatus according to claim 1 , wherein coordinate axes corresponding to the sub-scanning direction are determined to be orthogonal to each other and orthogonal to the stacking direction. 前記3次元情報生成手段は、前記直線成分のうち同じ方向の直線成分が最も多い方向に前記主走査方向に対応する座標軸を決定し、前記直線成分検出手段は、前記検出された直線成分のうちの略直交する直線成分のそれぞれについての和を生成し、前記直線成分のうち同じ方向の直線成分が最も多い方向は、前記和が最も大きい直線成分の方向であることを特徴とする請求項記載の画像情報処理装置。 The three-dimensional information generating means determines a coordinate axis corresponding to the main scanning direction in a direction having the largest number of linear components in the same direction among the linear components, and the linear component detecting means the sum to generate for each line component substantially orthogonal largest direction linear component in the same direction of the line component, claim 1, wherein the sum is the direction of the largest linear component The image information processing apparatus described. 前記座標系決定手段は、前記座標系の少なくとも1つの座標軸をユーザー入力に従って選択する選択手段を有し、前記選択手段は、前記検出された直線成分を識別可能に表示する手段を有することを特徴とする請求項に記載の画像情報処理装置。 The coordinate system determining means has selection means for selecting at least one coordinate axis of the coordinate system according to user input, and the selection means has means for displaying the detected linear component in an identifiable manner. The image information processing apparatus according to claim 1 . 前記座標系決定手段は、少なくとも所定量の前記画像情報から生成された3次元情報について前記座標系を決定し、前記3次元情報生成手段は、前記決定された座標系に基づいて3次元情報を再生成することを特徴とする請求項からのいずれか1項に記載の画像情報処理装置。 The coordinate system determining unit determines the coordinate system for at least three-dimensional information generated from a predetermined amount of the image information, and the three-dimensional information generating unit determines the three-dimensional information based on the determined coordinate system. image information processing apparatus according to any one of claims 2, characterized in that to regenerate 4. 被写体を異なる視点位置から撮影した複数の画像情報を取得する取得工程と、
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成工程と、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報をメモリに記憶する記憶工程と、
前記3次元情報の座標系を決定する場合、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定工程と、
を備え
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定工程は前記被写体の3次元情報から直線成分を検出する直線成分検出工程を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする画像情報処理方法。
An acquisition step of acquiring a plurality of pieces of image information obtained by photographing the subject from different viewpoint positions;
A three-dimensional information generation step of generating three-dimensional information of the subject using the plurality of image information;
A storage step of storing, in a memory, information related to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
When determining the coordinate system of the three-dimensional information, a coordinate system determining step of determining the coordinate axis of the coordinate system based on the three-dimensional information and information related to the configuration;
Equipped with a,
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determining step includes a linear component detection step of detecting a linear component from the three-dimensional information of the object, an image processing method which is characterized that you determine the coordinate system on the basis of the line component.
画像処理装置を制御するためのプログラムであり、
コンピュータを、
被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段、
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報をメモリに記憶する記憶手段、
前記3次元情報の座標系を決定する決定手段であり、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段として機能させ
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定手段は前記被写体の3次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とするプログラム。
A program for controlling an image processing apparatus,
Computer
Acquisition means for acquiring a plurality of pieces of image information obtained by photographing a subject from different viewpoint positions;
3D information generating means for generating 3D information of the subject using the plurality of image information;
Storage means for storing, in a memory, information relating to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
Determining means for determining a coordinate system of the three-dimensional information, wherein the coordinate axis of the coordinate system functions as a coordinate system determining means for determining based on the information relating to the three-dimensional information and the configuration ;
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determination means has a linear component detection means for detecting a linear component from the three-dimensional information of the object, the program characterized that you determine the coordinate system on the basis of the line component.
請求項7に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 7. 被写体を異なる視点位置から撮影して複数の画像情報を生成する撮像手段と、
前記複数の画像情報を用いて前記被写体の3次元情報を生成する3次元情報生成手段と、
前記3次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、
前記3次元情報の座標系を決定する場合、前記座標系の座標軸を、前記3次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段と、
を備え
前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、前記副走査方向および前記積層方向に対応しており、
前記座標系決定手段は前記被写体の3次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする撮像装置。
Imaging means for capturing a subject from different viewpoint positions and generating a plurality of pieces of image information;
Three-dimensional information generation means for generating three-dimensional information of the subject using the plurality of image information;
Memory means for storing information related to a configuration of a three-dimensional modeling apparatus that generates a three-dimensional object using the three-dimensional information;
When determining the coordinate system of the three-dimensional information, the coordinate system determining means for determining the coordinate axis of the coordinate system based on the three-dimensional information and information related to the configuration;
Equipped with a,
The information related to the configuration includes information on the main scanning direction, the sub-scanning direction, and the stacking direction of the cured material in the three-dimensional modeling apparatus, and the coordinate axes of the determined coordinate system are the main scanning direction, the sub-scanning direction, and Corresponding to the stacking direction,
The coordinate system determination means has a linear component detection means for detecting a linear component from the three-dimensional information of the object, an imaging apparatus characterized that you determine the coordinate system on the basis of the line component.
JP2014238963A 2014-11-26 2014-11-26 Image information processing apparatus, image information processing method and program, and imaging apparatus Expired - Fee Related JP6436743B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014238963A JP6436743B2 (en) 2014-11-26 2014-11-26 Image information processing apparatus, image information processing method and program, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014238963A JP6436743B2 (en) 2014-11-26 2014-11-26 Image information processing apparatus, image information processing method and program, and imaging apparatus

Publications (3)

Publication Number Publication Date
JP2016097657A JP2016097657A (en) 2016-05-30
JP2016097657A5 JP2016097657A5 (en) 2017-12-14
JP6436743B2 true JP6436743B2 (en) 2018-12-12

Family

ID=56076514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014238963A Expired - Fee Related JP6436743B2 (en) 2014-11-26 2014-11-26 Image information processing apparatus, image information processing method and program, and imaging apparatus

Country Status (1)

Country Link
JP (1) JP6436743B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215851A (en) * 2016-06-01 2017-12-07 キヤノン株式会社 Image processing device, image processing method, and molding system
KR101793573B1 (en) * 2016-11-22 2017-11-03 윈포시스(주) Apparatus for recording location of forming in 3D printer and 3D printer having the same
WO2018043869A1 (en) * 2016-08-31 2018-03-08 윈포시스 주식회사 Shaping process monitoring apparatus of three-dimensional printer and three-dimensional printer comprising same
KR101874095B1 (en) * 2017-03-21 2018-08-02 윈포시스(주) Apparatus for detecting melting pool in 3D printer and 3D printer having the same
CN109304870B (en) 2017-07-27 2020-03-24 珠海赛纳打印科技股份有限公司 3D printing method and device
CN110709194A (en) 2017-08-08 2020-01-17 三菱重工业株式会社 Construction abnormality detection system for three-dimensional laminated molding device, construction abnormality detection method for three-dimensional laminated molding device, method for manufacturing three-dimensional laminated molded object, and three-dimensional laminated molded object
JP6960047B2 (en) * 2018-04-10 2021-11-05 シャープ株式会社 Vibration analysis device, control method of vibration analysis device, vibration analysis program and recording medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07329190A (en) * 1994-06-14 1995-12-19 Asahi Chem Ind Co Ltd Manufacture of 3-dimensional object and manufacturing equipment
JP2001166809A (en) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd Real solid model preparation device, solid data preparation device, pseudo solid data preparation device, and its method
JP2002067171A (en) * 2000-08-25 2002-03-05 Canon Inc Object article forming device, object article forming method, and storage medium
JP5206366B2 (en) * 2008-11-27 2013-06-12 カシオ計算機株式会社 3D data creation device
JP2011085971A (en) * 2009-10-13 2011-04-28 Seiko Epson Corp Apparatus, method, and program for processing image, recording medium, and image processing system

Also Published As

Publication number Publication date
JP2016097657A (en) 2016-05-30

Similar Documents

Publication Publication Date Title
JP6436743B2 (en) Image information processing apparatus, image information processing method and program, and imaging apparatus
JP6222898B2 (en) Three-dimensional measuring device and robot device
JP6465789B2 (en) Program, apparatus and method for calculating internal parameters of depth camera
JP5911934B2 (en) Contour measurement device and robot system
CN103366360B (en) Information processing apparatus and information processing method
CN102316254B (en) Imaging apparatus capable of generating three-dimensional images, and three-dimensional image generating method
JP2011232330A (en) Imaging apparatus, distance measuring method, and program
JP2019138822A (en) Three-dimensional measuring system and three-dimensional measuring method
JPWO2008026722A1 (en) 3D model data generation method and 3D model data generation apparatus
JP6282098B2 (en) Calibration apparatus and method
JP4737763B2 (en) Free viewpoint image generation method, apparatus and program using multi-viewpoint images
JP6438290B2 (en) Imaging apparatus and control method thereof
JP6572099B2 (en) Imaging apparatus, control method therefor, and program
CN109299662A (en) Depth data calculates apparatus and method for and face recognition device
JP2012071394A (en) Simulation system and simulation program therefor
JP4085671B2 (en) Data processing method, data processing program, and recording medium
CN110268701B (en) Image forming apparatus
JP7427370B2 (en) Imaging device, image processing device, image processing method, calibration method for imaging device, robot device, method for manufacturing articles using robot device, control program, and recording medium
JP2017087674A (en) Molding device and control method and program thereof
JP7365567B2 (en) Measurement system, measurement device, measurement method and measurement program
Kohut et al. Application of modal analysis supported by 3D vision-based measurements
JP2007033087A (en) Calibration device and method
JP2002350131A (en) Calibration method for and apparatus of multiocular camera and computer program
JP2021160086A (en) Three-dimensional molding device, control device, molding method and program
KR101770866B1 (en) Apparatus and method for calibrating depth image based on depth sensor-color camera relations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171025

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181113

R151 Written notification of patent or utility model registration

Ref document number: 6436743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees