[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2012123847A - Image data generation device of simulation device - Google Patents

Image data generation device of simulation device Download PDF

Info

Publication number
JP2012123847A
JP2012123847A JP2012071509A JP2012071509A JP2012123847A JP 2012123847 A JP2012123847 A JP 2012123847A JP 2012071509 A JP2012071509 A JP 2012071509A JP 2012071509 A JP2012071509 A JP 2012071509A JP 2012123847 A JP2012123847 A JP 2012123847A
Authority
JP
Japan
Prior art keywords
image
background image
dimensional
inspection camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012071509A
Other languages
Japanese (ja)
Other versions
JP5243636B2 (en
Inventor
Toshihiro Inukai
利宏 犬飼
幸重 ▲吉▼田
Yukishige Yoshida
Hironori Hibino
浩典 日比野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Japan Society For Promotion of Machine Industry
Original Assignee
Denso Wave Inc
Japan Society For Promotion of Machine Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc, Japan Society For Promotion of Machine Industry filed Critical Denso Wave Inc
Priority to JP2012071509A priority Critical patent/JP5243636B2/en
Publication of JP2012123847A publication Critical patent/JP2012123847A/en
Application granted granted Critical
Publication of JP5243636B2 publication Critical patent/JP5243636B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To make an environment similar to a factory of a delivery destination reproducible in a simulation device without lengthening design time.SOLUTION: An image data generation device of a simulation device comprises: means to input a plurality of two dimensional photograph image obtained by photographing with a camera in a real factory into the simulation device with photograph angle data of the two dimensional photograph images; means to input three dimensional data of a work piece to be examined; means to select the two dimensional photograph image having the photograph angle data which matches a photograph angle of an inspection camera among the plurality of the two dimensional photograph image and to make the two dimensional photograph image into a background image; means to perform setting so that a flat surface of the background image may become orthogonal to an optical axis of the inspection camera; and means to obtain an image by computing, instead of the image which may be obtained by photographing, with the inspection camera, what is arranged by piling work pieces on the background image, and to output this obtained image as an inspection camera image.

Description

本発明は、検査カメラを使う視覚検査システムを設計する場合に用いるシミュレーション装置において使用するための画像データを生成するシミュレーション装置の画像データ生成装置に関する。   The present invention relates to an image data generation apparatus of a simulation apparatus that generates image data for use in a simulation apparatus used when designing a visual inspection system using an inspection camera.

工場の生産設備等に組み込まれる視覚検査システムを設計する場合、依頼元のオーダーメイドで設計することになるので、組み込む予定の依頼元の工場で実際にテストしながら視覚検査システムを設計可能であるならば、比較的容易に設計することができる。しかし、視覚検査システムを納品する前に、依頼元の工場で設計することはかなり困難であることが多い。このため、視覚検査システムを製造販売するメーカーの実験室内でテストしたり、シミュレーション装置(シミュレータ)によりテストしたりして設計している。   When designing a visual inspection system to be built into a production facility of a factory, it will be designed by the requester's tailor-made, so it is possible to design a visual inspection system while actually testing at the factory of the requester who plans to incorporate it. If so, it can be designed relatively easily. However, it is often quite difficult to design at the requesting factory before delivering the visual inspection system. For this reason, the visual inspection system is designed by testing in the laboratory of the manufacturer that manufactures and sells, or by testing with a simulation device (simulator).

特開平4−217480号公報JP-A-4-217480 特開2000−267719号公報JP 2000-267719 A

上記したようにして設計した視覚検査システムを依頼元の工場に納品し設置して動作させてみると、実際に検査カメラで撮影される画像と、実験室やシミュレーション装置内で検査カメラで撮影される画像とが異なるために、予定していた検査機能が発揮できなくなる場合があった。このような場合には、2度手間となってしまうが、実際の工場で再調整を行なう必要があった。   When the visual inspection system designed as described above is delivered to the requesting factory, installed, and operated, the image actually taken with the inspection camera and the image taken with the inspection camera in the laboratory or simulation device are taken. In some cases, the planned inspection function could not be performed due to the difference in the image. In such a case, it would be troublesome twice, but it was necessary to readjust at the actual factory.

これに対して、シミュレーション装置において、その仮想空間内で依頼元の工場の設備そのものを再現する対策が考えられる。この対策を行なえば、確かに工場と同じ環境をシミュレーション装置に再現できるので、上記2度手間対策としては、ある程度効果的である。しかし、シミュレーション装置で工場設備を再現するには、工場設備の3Dデータ(3次元画像データ)を生成して用意する必要があり、この工場設備の3Dデータを生成する作業は、非常に手間のかかる作業であるため、設計時間が非常に長くなるおそれがあり、実現可能な対策とはいえない。また、シミュレーション装置で工場設備を再現できたとしても、現実の工場内の経年劣化などで発生する微細なコントラスト変化や模様変化などまでは、再現が困難であるので、この点では、実際の工場で再調整しなければならない可能性がある。特に、微細なコントラスト変化や模様変化などを再現できないことは、視覚検査システムにとっては、大きな問題となるおそれがある。尚、シミュレーション装置の例を、特許文献1、2に示す。   On the other hand, in the simulation apparatus, a countermeasure for reproducing the facility itself of the requesting factory in the virtual space can be considered. If this countermeasure is taken, the same environment as the factory can be reproduced in the simulation device, so that it is effective to some extent as the above-mentioned two-time countermeasure. However, in order to reproduce factory equipment with a simulation device, it is necessary to prepare and prepare 3D data (3D image data) of the factory equipment, and the work of generating 3D data of this factory equipment is very laborious. Since this is an operation, the design time may become very long, which is not a feasible measure. Even if factory equipment can be reproduced with a simulation device, it is difficult to reproduce fine contrast changes and pattern changes that occur due to aging in the actual factory. May need to be readjusted. In particular, the inability to reproduce fine contrast changes, pattern changes, and the like can be a major problem for visual inspection systems. Examples of simulation apparatuses are shown in Patent Documents 1 and 2.

そこで、本発明の目的は、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができるシミュレーション装置の画像データ生成装置を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide an image data generation device of a simulation device that can reproduce an environment similar to a factory at a delivery destination in a simulation device without lengthening the design time.

請求項1の発明によれば、現実の工場において検査カメラの設定位置からカメラで前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の2次元撮影画像を、その撮影角度データと共にシミュレーション装置に入力する手段と、検査対象のワークの3次元データを前記シミュレーション装置に入力する手段と、前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、前記複数の2次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する2次元撮影画像を選択し、この選択した画像を背景画像とする手段と、前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備えたので、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができる。そして、請求項1の発明によれば、前記複数の2次元撮影画像の中に前記検査カメラの撮影角度と一致する撮影角度データがない場合には、前記検査カメラの撮影角度が、i番目の撮影角度データと(i+1)番目の撮影角度データの中間の角度までの間は、i番目の2次元背景画像を背景画像として設定し、上記中間の角度を越えたら、(i+1)番目の2次元背景画像を背景画像として設定し、更に、前記検査カメラを平行移動させる場合には、2次元背景画像も平行移動させるように設定するたので、用意する画像のデータ量を大幅に少なくすることができる。
また、請求項2の発明のように、前記2次元背景画像Aiを平行移動させる場合、上下方向、左右方向、および、奥行き方向の3方向に平行移動させることが可能な構成となっていることが好ましい。
According to the first aspect of the present invention, a plurality of two-dimensional photographed images obtained by photographing the background of the factory with a plurality of photographing angles from the set position of the inspection camera in the actual factory, respectively, are obtained as the photographing angle data. And means for inputting to the simulation apparatus, means for inputting the three-dimensional data of the work to be inspected to the simulation apparatus, means for setting the position of the inspection camera and the position of the work in the simulation apparatus, A two-dimensional photographed image having photographing angle data that matches the photographing angle of the inspection camera is selected from a plurality of two-dimensional photographed images, and means for setting the selected image as a background image; and the position of the background image The setting is made so that the plane of the background image is orthogonal to the optical axis of the inspection camera, and the photographing angle of the inspection camera Means for maintaining the orthogonal relationship of the plane of the background image with respect to the optical axis of the inspection camera when changing, and the inspection apparatus in which the workpiece is arranged on the background image in the simulation apparatus Since the image obtained by photographing with a camera is obtained by calculation, and the means for outputting the obtained image as an inspection camera image is provided, a simulation device that simulates an environment similar to the factory of the delivery destination without lengthening the design time Can be reproduced. According to the first aspect of the present invention, when there is no shooting angle data that matches the shooting angle of the inspection camera in the plurality of two-dimensional shot images, the shooting angle of the inspection camera is the i th The i-th two-dimensional background image is set as the background image until the intermediate angle between the shooting angle data and the (i + 1) -th shooting angle data, and when the intermediate angle is exceeded, the (i + 1) -th two-dimensional When a background image is set as a background image and the inspection camera is moved in parallel, the two-dimensional background image is also set to be moved in parallel, so that the data amount of the prepared image can be greatly reduced. it can.
In addition, as in the second aspect of the invention, when the two-dimensional background image Ai is translated, the two-dimensional background image Ai can be translated in three directions: the vertical direction, the horizontal direction, and the depth direction. Is preferred.

本発明の一実施例を示すシミュレーション装置の斜視図The perspective view of the simulation apparatus which shows one Example of this invention 検査カメラと検査対象ワークと2次元背景画像との配置関係を示す図The figure which shows the arrangement | positioning relationship between a test | inspection camera, a test object workpiece | work, and a two-dimensional background image デジカメで工場設備の2次元背景画像を撮影する様子を示す図The figure which shows a mode that 2D background image of factory equipment is photographed with the digital camera 検査カメラの撮影角度と2次元背景画像とを対応させる関係を示す図The figure which shows the relationship which matches the imaging | photography angle of an inspection camera, and a two-dimensional background image 検査カメラの光軸と2次元背景画像の平面が直交する関係を示す図The figure which shows the relationship where the optical axis of an inspection camera and the plane of a two-dimensional background image orthogonally cross 検査カメラの撮影角度が変化したときに、光軸と2次元背景画像の平面が直交する関係が維持されることを示す図The figure which shows that the relationship which an optical axis and the plane of a two-dimensional background image orthogonally cross is maintained when the imaging | photography angle of an inspection camera changes. 検査カメラを平行移動させるときに、2次元背景画像も平行移動させることを示す図The figure which shows that a two-dimensional background image is also translated when an inspection camera is translated 検査カメラの光軸に対して2次元背景画像の平面が直交するように2次元背景画像の位置を設定する処理の制御内容を示すフローチャートThe flowchart which shows the control content of the process which sets the position of a two-dimensional background image so that the plane of a two-dimensional background image may orthogonally cross with respect to the optical axis of an inspection camera 工場設備および検出対象ワークを示す斜視図Perspective view showing factory equipment and workpieces to be detected 工場設備をデジカメで撮影する様子を示す図Diagram showing how factory equipment is photographed with a digital camera デジカメで撮影した2次元背景画像を示す図Figure showing a two-dimensional background image taken with a digital camera 検出対象ワーク(3Dデータ)の斜視図Perspective view of workpiece (3D data) to be detected 2次元背景画像に検出対象ワーク(3Dデータ)を重ね合わせた画像を示す図The figure which shows the image which overlap | superposed the detection object work (3D data) on the two-dimensional background image

以下、本発明を視覚検査システムをシミュレートするシミュレーション装置に適用した一実施例について、図面を参照しながら説明する。本実施例のシミュレーション装置1は、図1に示すように、パソコン2と、このパソコン2にインストールされたシミュレーションプログラム(シミュレータ)3とから構成されている。   Hereinafter, an embodiment in which the present invention is applied to a simulation apparatus for simulating a visual inspection system will be described with reference to the drawings. As shown in FIG. 1, the simulation apparatus 1 according to this embodiment includes a personal computer 2 and a simulation program (simulator) 3 installed in the personal computer 2.

設計した視覚検査システムを上記シミュレーション装置1でシミュレートする場合、視覚検査システムを構成する視覚検査プログラム4をシミュレーション装置1(パソコン2)に取り込んでおく。そして、視覚検査システムを構成する検査カメラ5や光源6等については、予めシミュレーション装置1(パソコン2)内のプログラムを用いて仮想的にそれぞれに対応する仮想な検査カメラ5や仮想な光源6等を設けておく。検査カメラ5の位置や姿勢は、シミュレーション装置1のマウスやキーボード等で自由に設定、変更可能である。また、光源6等の条件(照度、位置、方向、色等)も、マウスやキーボード等で自由に設定、変更可能である。   When the designed visual inspection system is simulated by the simulation apparatus 1, the visual inspection program 4 constituting the visual inspection system is taken into the simulation apparatus 1 (personal computer 2). And about the inspection camera 5, light source 6, etc. which comprise a visual inspection system, the virtual inspection camera 5, virtual light source 6, etc. which correspond virtually each using the program in the simulation apparatus 1 (personal computer 2) beforehand. Is provided. The position and orientation of the inspection camera 5 can be freely set and changed with the mouse or keyboard of the simulation apparatus 1. Further, conditions (illuminance, position, direction, color, etc.) of the light source 6 and the like can be freely set and changed with a mouse, a keyboard, or the like.

更に、検査対象ワーク7については、予め3DCADを用いて検査対象ワーク7の3Dデータを作成し、この作成した3Dデータ(または、ワーク7の供給メーカーから提供された3Dデータ)をシミュレーション装置1(パソコン2)内の記憶部に取り込んでおく(入力する)。また、検査カメラ5の撮影のタイミングを指示するためのトリガー信号を出力するPLC(プログラマブルコントローラ)8をシミュレーション装置1(パソコン2)に接続する。このPLC8は、視覚検査システムを納品する工場の設備に組み込まれているPLCと同じ制御機能を有している。   Furthermore, for the inspection target workpiece 7, 3D data of the inspection target workpiece 7 is created in advance using 3D CAD, and the created 3D data (or 3D data provided by the supplier of the workpiece 7) is used as the simulation device 1 ( The data is taken in (input) to the storage unit in the personal computer 2). In addition, a PLC (programmable controller) 8 that outputs a trigger signal for instructing the timing of photographing by the inspection camera 5 is connected to the simulation apparatus 1 (personal computer 2). The PLC 8 has the same control function as that of a PLC incorporated in a factory facility that delivers a visual inspection system.

次に、納品する工場の設備の2次元画像データ、具体的には、検査対象ワーク7を検査カメラ5で撮影したときに検査対象ワーク7の背景となる画像(以下、2次元背景画像と称す)を準備(作成)する。この場合、図2(a)に示すように、2次元背景画像9a、9b、・・・を準備したとし、これら2次元背景画像9a、9b、・・・をシミュレーション装置1に取り込んで利用する際には、図2(b)に示すように、検査カメラ5の光軸L1、L2に直交するように2次元背景画像9a、9bを配置する。尚、光軸L1の検査カメラ5の撮影位置(撮影角度)P1に2次元背景画像9aが対応しているとし、光軸L2の検査カメラ5の撮影位置(撮影角度)P2に2次元背景画像9bが対応しているとする。   Next, two-dimensional image data of the factory equipment to be delivered, specifically, an image (hereinafter referred to as a two-dimensional background image) that becomes the background of the inspection target workpiece 7 when the inspection target workpiece 7 is photographed by the inspection camera 5. ) Is prepared (created). In this case, as shown in FIG. 2A, it is assumed that two-dimensional background images 9a, 9b,... Are prepared, and these two-dimensional background images 9a, 9b,. In this case, as shown in FIG. 2B, the two-dimensional background images 9a and 9b are arranged so as to be orthogonal to the optical axes L1 and L2 of the inspection camera 5. It is assumed that the two-dimensional background image 9a corresponds to the photographing position (photographing angle) P1 of the inspection camera 5 along the optical axis L1, and the two-dimensional background image at the photographing position (photographing angle) P2 of the inspection camera 5 along the optical axis L2. 9b corresponds.

そして、図2(b)に示すように、検査対象ワーク7の3Dデータを所定位置(ワーク7を配置する位置)に配置し、撮影位置(撮影角度)P1の検査カメラ5で検査対象ワーク7を撮影すると、図2(c)に示すような撮影画像10a(2次元背景画像9aを背景とする画像)を撮影することができる。同様にして、撮影位置(撮影角度)P2の検査カメラ5で検査対象ワーク7を撮影すると、図2(c)に示すような撮影画像10b(2次元背景画像9bを背景とする画像)を撮影することできる。   Then, as shown in FIG. 2B, the 3D data of the inspection target workpiece 7 is arranged at a predetermined position (position where the workpiece 7 is arranged), and the inspection target workpiece 7 is detected by the inspection camera 5 at the imaging position (imaging angle) P1. Can be photographed as shown in FIG. 2C. The photographed image 10a (image with the two-dimensional background image 9a as the background) can be photographed. Similarly, when the inspection target workpiece 7 is photographed by the inspection camera 5 at the photographing position (photographing angle) P2, a photographed image 10b (an image with the background of the two-dimensional background image 9b) as shown in FIG. 2C is photographed. Can do.

以下、上記撮影画像10a、10bが、実際の工場の設備で撮影した画像とほぼ同じような類似する画像(即ち、画像処理する上でほぼ同等の画像)となる次元背景画像9a、9bを準備(作成)する手順について、具体的に説明する。理解を容易にするために用例では2次元空間で説明を行なうが、現実では3次元空間に拡張して、同様に処理するものとする。   In the following, dimensional background images 9a and 9b are prepared in which the captured images 10a and 10b are similar images (that is, substantially equivalent images for image processing) similar to images captured by actual factory equipment. The procedure of (creating) will be specifically described. In order to facilitate understanding, the example will be described in a two-dimensional space, but in reality it is extended to a three-dimensional space and processed in the same way.

まず、図3に示すように、実際の工場の設備において、検査対象ワーク7の背景となる画像をデジカメ9により撮影する。この場合、撮影者10は、検査カメラ5のカメラ設定位置Pから検査対象ワーク7の背景を、例えば5つの撮影ポジション1〜5で、即ち、5つの撮影角度B1〜B5で順次撮影する。そして、撮影した2次元画像A1〜A5と、撮影角度データB1〜B5とを対応させてペアで記録するように構成されている。尚、2次元画像A1B1、A2B2、・・・AnBnの順で、撮影角度が増加(または減少)するように設定されている。   First, as shown in FIG. 3, an image serving as the background of the work 7 to be inspected is taken with a digital camera 9 in an actual factory facility. In this case, the photographer 10 sequentially photographs the background of the work 7 to be inspected from the camera setting position P of the inspection camera 5 at, for example, five photographing positions 1 to 5, that is, five photographing angles B1 to B5. The photographed two-dimensional images A1 to A5 and the photographing angle data B1 to B5 are associated and recorded in pairs. Note that the imaging angle is set to increase (or decrease) in the order of the two-dimensional images A1B1, A2B2,... AnBn.

そして、上記したようにして準備した2次元背景画像A1B1、A2B2、・・・を、その撮影角度データB1〜B5と共にシミュレーション装置1(パソコン2)内の記憶部(ハードディスク等)に取り込む(入力する)。この場合、2次元背景画像A1B1、A2B2、・・・を記録したメモリカード等からメモリカードリーダを介してシミュレーション装置1に入力させると共に、撮影角度データB1〜B5をキーボード等を操作することにより入力させる構成となっている。   Then, the two-dimensional background images A1B1, A2B2,... Prepared as described above are taken (input) together with the photographing angle data B1 to B5 into a storage unit (hard disk or the like) in the simulation apparatus 1 (personal computer 2). ). In this case, the two-dimensional background images A1B1, A2B2,... Are input to the simulation apparatus 1 through a memory card reader from the memory card or the like recorded, and the photographing angle data B1 to B5 are input by operating the keyboard or the like. It is the composition which makes it.

さて、上記2次元背景画像A1B1、A2B2、・・・と、前記した検査対象ワーク7の3Dデータとをシミュレーション装置1に入力させる処理が完了したら、シミュレーション装置1内において、検査カメラ5の位置と検査対象ワーク7の位置とを設定する。続いて、シミュレーション装置1内において、上記入力した2次元背景画像A1B1、A2B2、・・・の中から、検査カメラ5の撮影角度と一致する撮影角度データを有する2次元撮影画像を選択し、この選択した画像を背景画像として設定する処理を実行する。   When the processing for inputting the two-dimensional background images A1B1, A2B2,... And the 3D data of the inspection target workpiece 7 to the simulation apparatus 1 is completed, the position of the inspection camera 5 in the simulation apparatus 1 is determined. The position of the workpiece 7 to be inspected is set. Subsequently, in the simulation apparatus 1, a two-dimensional photographed image having photographing angle data matching the photographing angle of the inspection camera 5 is selected from the input two-dimensional background images A1B1, A2B2,. A process of setting the selected image as a background image is executed.

具体的には、図4に示すように、検査カメラ5の撮影角度Cが撮影角度データB1と一致したら、2次元背景画像A1を背景画像として設定する。同様にして、検査カメラ5の撮影角度Cが撮影角度データB2と一致したら、2次元背景画像A2を背景画像として設定し、検査カメラ5の撮影角度Cが撮影角度データB3と一致したら、2次元背景画像A3を背景画像として設定し、検査カメラ5の撮影角度Cが撮影角度データB4と一致したら、2次元背景画像A4を背景画像として設定し、検査カメラ5の撮影角度Cが撮影角度データB5と一致したら、2次元背景画像A5を背景画像として設定する。   Specifically, as shown in FIG. 4, when the shooting angle C of the inspection camera 5 matches the shooting angle data B1, the two-dimensional background image A1 is set as the background image. Similarly, when the shooting angle C of the inspection camera 5 matches the shooting angle data B2, the two-dimensional background image A2 is set as a background image, and when the shooting angle C of the inspection camera 5 matches the shooting angle data B3, it is two-dimensional. When the background image A3 is set as the background image and the shooting angle C of the inspection camera 5 matches the shooting angle data B4, the two-dimensional background image A4 is set as the background image, and the shooting angle C of the inspection camera 5 is set as the shooting angle data B5. If the two match, the two-dimensional background image A5 is set as the background image.

また、検査カメラ5の撮影角度Cが撮影角度データB1と一致しない場合であっても、撮影角度データB1と撮影角度データB2の中間の角度までの間は、2次元背景画像A1を背景画像として設定し、上記中間の角度を越えたら、2次元背景画像A2を背景画像として設定する。即ち、
(B(i−1)+Bi)/2<C≦(Bi+B(i+1))/2
であるときには、2次元背景画像Aiを背景画像として設定するように構成されている。この背景画像の設定例を図4に示す。
Even if the shooting angle C of the inspection camera 5 does not match the shooting angle data B1, the two-dimensional background image A1 is used as the background image until the intermediate angle between the shooting angle data B1 and the shooting angle data B2. If set and the intermediate angle is exceeded, the two-dimensional background image A2 is set as the background image. That is,
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Is set so that the two-dimensional background image Ai is set as the background image. An example of setting the background image is shown in FIG.

即ち、検査カメラ5の撮影角度Cが図4中の角度C1内であるとき、2次元背景画像A1を設定し、撮影角度Cが図4中の角度C2内であるとき、2次元背景画像A2を設定し、撮影角度Cが図4中の角度C3内であるとき、2次元背景画像A3を設定し、撮影角度Cが図4中の角度C4内であるとき、2次元背景画像A4を設定し、撮影角度Cが図4中の角度C5内であるとき、2次元背景画像A5を設定する。   That is, when the photographing angle C of the inspection camera 5 is within the angle C1 in FIG. 4, the two-dimensional background image A1 is set, and when the photographing angle C is within the angle C2 in FIG. 4, the two-dimensional background image A2 is set. When the shooting angle C is within the angle C3 in FIG. 4, the two-dimensional background image A3 is set. When the shooting angle C is within the angle C4 in FIG. 4, the two-dimensional background image A4 is set. When the shooting angle C is within the angle C5 in FIG. 4, a two-dimensional background image A5 is set.

そして、図5に示すように、検査カメラ5の光軸11に対して2次元背景画像Aiの平面が直交するように、2次元背景画像Aiの位置を設定している。更に、図6に示すように、検査カメラ55の撮影角度が変化していくときに、検査カメラ5の光軸11に対する2次元背景画像Aiの平面の直交関係を維持するように構成されている。例えば、検査カメラ5の撮影角度Cが図4中の角度C1内であるときは、同じ2次元背景画像A1を設定し続けるが、このとき、図6に示すように、検査カメラ55の撮影角度Cが角度C1内で変化していくときに、検査カメラ5の光軸11に対する2次元背景画像A1の平面の直交関係を維持するように設定している。   Then, as shown in FIG. 5, the position of the two-dimensional background image Ai is set so that the plane of the two-dimensional background image Ai is orthogonal to the optical axis 11 of the inspection camera 5. Furthermore, as shown in FIG. 6, when the imaging angle of the inspection camera 55 changes, the orthogonal relationship of the plane of the two-dimensional background image Ai with respect to the optical axis 11 of the inspection camera 5 is maintained. . For example, when the shooting angle C of the inspection camera 5 is within the angle C1 in FIG. 4, the same two-dimensional background image A1 is continuously set. At this time, as shown in FIG. It is set so that the orthogonal relationship of the plane of the two-dimensional background image A1 with respect to the optical axis 11 of the inspection camera 5 is maintained when C changes within the angle C1.

尚、検査カメラ5の撮影角度Cが図4中の角度Ci内であるときに、同じ2次元背景画像Aiを設定し続ける理由は、検査カメラ5の撮影角度Cが角度Ci内であれば、検査対象ワーク7の背景は、あまり変化しないことから、同じ2次元背景画像Aiを設定し続けても、ほとんど支障がない。特に、画像処理する対象は、検査対象ワーク7であることから、検査対象ワーク7の画像が正確であれば、背景画像が少し正確でなかったとしても、問題が発生することはない。つまり、背景は、しょせん背景であり、それぼど正確でなくても良いのである。そして、この場合、用意する2次元背景画像としては5つの2次元背景画像A1〜A5だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。従って、画像データを用意する手間を大幅に少なくすることができながら、十分な効果を得ることができる。   The reason why the same two-dimensional background image Ai is continuously set when the imaging angle C of the inspection camera 5 is within the angle Ci in FIG. 4 is that the imaging angle C of the inspection camera 5 is within the angle Ci. Since the background of the work 7 to be inspected does not change much, there is almost no problem even if the same two-dimensional background image Ai is set continuously. In particular, since the object to be image-processed is the inspection object workpiece 7, if the image of the inspection object workpiece 7 is accurate, no problem will occur even if the background image is slightly inaccurate. In other words, the background is the background, and it doesn't have to be very accurate. In this case, since the prepared two-dimensional background images are only the five two-dimensional background images A1 to A5, the data amount of the prepared images can be greatly reduced, and the image processing is sufficiently accurate. Can be executed. Therefore, a sufficient effect can be obtained while the labor for preparing the image data can be greatly reduced.

また、検査カメラ5(のカメラ視点)を平行移動させる場合には、図7に示すように、2次元背景画像Aiも平行移動させるように設定する。この場合、上下方向、左右方向、および、奥行き方向の3方向に平行移動させることが可能なように構成されている。   In addition, when the inspection camera 5 (camera viewpoint) is moved in parallel, the two-dimensional background image Ai is set to move in parallel as shown in FIG. In this case, it is configured such that it can be translated in three directions: the vertical direction, the horizontal direction, and the depth direction.

次に、シミュレーション装置1において、検査カメラ5の光軸11に対して2次元背景画像Aiの平面が直交するように2次元背景画像Aiを設定する処理の一例の制御内容について、図8のフローチャートを参照して説明する。まず、ステップS10においては、準備した2次元背景画像Aiと、その撮影角度データBiとをシミュレーション装置1(パソコン2)内の記憶部に登録(入力)する。この場合、2次元背景画像Aiおよび撮影角度データBiのペアの登録数をnとする(従って、i=1、・・・、n)。   Next, in the simulation apparatus 1, the control content of an example of processing for setting the two-dimensional background image Ai so that the plane of the two-dimensional background image Ai is orthogonal to the optical axis 11 of the inspection camera 5 is a flowchart of FIG. Will be described with reference to FIG. First, in step S10, the prepared two-dimensional background image Ai and the photographing angle data Bi are registered (input) in the storage unit in the simulation apparatus 1 (personal computer 2). In this case, the number of registered pairs of the two-dimensional background image Ai and the shooting angle data Bi is n (thus, i = 1,..., N).

続いて、ステップS20へ進み、撮影角度データBiを基準にして2次元背景画像Aiをソートする(A1B1、A2B2、・・・、AnBn)。この場合、説明上、昇順とするが、降順でも良い。そして、ステップS30へ進み、検査カメラ5の位置を設定し、検査カメラ5の撮影角度(カメラ視点角度)Cを取得する。   Subsequently, the process proceeds to step S20, where the two-dimensional background image Ai is sorted with reference to the shooting angle data Bi (A1B1, A2B2,..., AnBn). In this case, ascending order is used for explanation, but descending order may be used. In step S30, the position of the inspection camera 5 is set, and the imaging angle (camera viewpoint angle) C of the inspection camera 5 is acquired.

次いで、ステップS40へ進み、撮影角度Cが撮影角度データB1よりも小さいか否かを判断する。ここで、撮影角度Cが撮影角度データB1よりも小さいときには、「YES」へ進み、ステップS130へ進み、設定する画像Gとして2次元背景画像A1を設定する。   Next, the process proceeds to step S40, and it is determined whether or not the shooting angle C is smaller than the shooting angle data B1. Here, when the shooting angle C is smaller than the shooting angle data B1, the process proceeds to “YES”, the process proceeds to step S130, and the two-dimensional background image A1 is set as the image G to be set.

一方、ステップS40において、撮影角度Cが撮影角度データB1よりも小さくないときには、「NO」へ進み、ステップS50へ進み、変数iに「0」をセットする。続いて、ステップS60へ進み、
(B(i−1)+Bi)/2<C≦(Bi+B(i+1))/2
が成立するか否かを判断する。ここで、上記式が成立するときには、「YES」へ進み、ステップS140へ進み、設定する画像Gとして2次元背景画像Aiを設定する。
On the other hand, when the shooting angle C is not smaller than the shooting angle data B1 in step S40, the process proceeds to “NO”, the process proceeds to step S50, and “0” is set to the variable i. Then, it progresses to step S60,
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Whether or not is satisfied is determined. Here, when the above equation is established, the process proceeds to “YES”, and the process proceeds to step S140, where the two-dimensional background image Ai is set as the image G to be set.

また、ステップS60において、上記式が成立しないときには、「NO」へ進み、ステップS70へ進み、変数iをカウントアップ(+1)する。そして、ステップS80へ進み、変数iがnよりも小さいか否かを判断し、ここで、変数iがnよりも小さいときには、「YES」へ進み、ステップS60へ戻り、同じ処理を繰り返す。一方、ステップS80において、変数iがnよりも小さくないときには、「NO」へ進み、ステップS90へ進み、設定する画像Gとして2次元背景画像Anを設定する。   In step S60, when the above equation is not satisfied, the process proceeds to “NO”, and the process proceeds to step S70, where the variable i is counted up (+1). Then, the process proceeds to step S80 to determine whether or not the variable i is smaller than n. If the variable i is smaller than n, the process proceeds to “YES”, returns to step S60, and repeats the same process. On the other hand, when the variable i is not smaller than n in step S80, the process proceeds to “NO”, and the process proceeds to step S90, where the two-dimensional background image An is set as the image G to be set.

この後、ステップS100へ進み、図5に示すように、検査カメラ5の視点から延びる光軸11の逆向きベクトル(V)を算出する。そして、ステップS110へ進み、法線が逆向きベクトル(V)となる平面Pを作成する。続いて、ステップS120へ進み、上記平面Pに画像G(即ち、2次元背景画像Ai)を貼り付ける。これにより、検査カメラ5の光軸11に対して2次元背景画像Aiの平面が直交するように2次元背景画像Aiの位置を設定する処理が完了する。   Thereafter, the process proceeds to step S100, and the reverse vector (V) of the optical axis 11 extending from the viewpoint of the inspection camera 5 is calculated as shown in FIG. And it progresses to step S110 and the plane P from which a normal line turns into a reverse vector (V) is produced. In step S120, the image G (that is, the two-dimensional background image Ai) is pasted on the plane P. Thereby, the process of setting the position of the two-dimensional background image Ai so that the plane of the two-dimensional background image Ai is orthogonal to the optical axis 11 of the inspection camera 5 is completed.

尚、本シミュレーション装置1の画面で環境光等の調整が必要であれば、その調整を行なう。
そして、次の処理ステップでは、本シミュレーション装置1で設備動作を記述する。
If adjustment of ambient light or the like is necessary on the screen of the simulation apparatus 1, the adjustment is performed.
In the next processing step, the equipment operation is described by the simulation apparatus 1.

更に、次の処理ステップでは、本シミュレーション装置1において、設備動作シミュレーションを開始する。
続いて、次の処理ステップでは、仮想空間内の映像を、外部トリガー入力のタイミングで検査カメラ5により撮影する。
Further, in the next processing step, the equipment operation simulation is started in the simulation apparatus 1.
Subsequently, in the next processing step, an image in the virtual space is captured by the inspection camera 5 at the timing of external trigger input.

そして、次の処理ステップでは、撮影した画像データを視覚検査プログラムに出力する。
更に、次の処理ステップでは、視覚検査プログラムを実行し、画像処理を行なう。
In the next processing step, the captured image data is output to the visual inspection program.
Further, in the next processing step, a visual inspection program is executed to perform image processing.

さて、上述した本実施例のシミュレーション装置1用の2次元背景画像Aiを作成する処理並びにシミュレーション装置1の動作の一例について、図9ないし図13を参照して説明する。   Now, an example of processing for creating the above-described two-dimensional background image Ai for the simulation apparatus 1 and an operation of the simulation apparatus 1 will be described with reference to FIGS.

この一例では、図9に示すように、実在する工場の対象設備Tにおいて、丸印で示す位置に検査対象ワーク7(3Dデータからなる仮想ワーク)を置き、画像処理によってワーク7の欠品を検査する視覚検査システムを設計する。この場合、検査対象ワーク7の画像処理に最も適した検査カメラ5の位置を、実際に画像処理した結果から決定する処理を行なう。   In this example, as shown in FIG. 9, in a target facility T of an actual factory, a work 7 to be inspected (virtual work made of 3D data) is placed at a position indicated by a circle, and a missing part of the work 7 is detected by image processing. Design a visual inspection system to inspect. In this case, processing for determining the position of the inspection camera 5 most suitable for image processing of the inspection target workpiece 7 from the result of actual image processing is performed.

まず、図10(a)に示すように、実在する工場の対象設備Tについて、デジカメ9を使用して5つの位置(0)〜(4)から撮影し、5枚の2次元背景画像A1〜A5(図11参照)を取得する。尚、5つの位置(0)〜(4)のうち、位置(0)は、XY平面に垂直でXY軸の交点の位置であり、位置(1)〜(4)は、それぞれXY平面上の45度、135度、−135度、−45度の位置であり(図10(b)参照)、且つ、高さ方向がXZ平面での45度の位置である(図10(c)参照)。   First, as shown to Fig.10 (a), about the target equipment T of the existing factory, it photographed from five positions (0)-(4) using the digital camera 9, and five two-dimensional background images A1- A5 (see FIG. 11) is acquired. Of the five positions (0) to (4), the position (0) is the position of the intersection of the XY axes perpendicular to the XY plane, and the positions (1) to (4) are respectively on the XY plane. The positions are 45 degrees, 135 degrees, −135 degrees, and −45 degrees (see FIG. 10B), and the height direction is a 45 degree position on the XZ plane (see FIG. 10C). .

次に、上記撮影した2次元背景画像A1〜A5と、撮影条件の情報(撮影角度データ)とをペアでシミュレーション装置1内の記憶部に登録する(図11参照)。そして、設計上の検査対象ワーク7の3Dデータ(図12参照)を用意し、これをシミュレーション装置1内の記憶部に取り込む(登録する)。   Next, the photographed two-dimensional background images A1 to A5 and photographing condition information (photographing angle data) are registered in pairs in the storage unit in the simulation apparatus 1 (see FIG. 11). Then, 3D data (see FIG. 12) of the design inspection target workpiece 7 is prepared, and this is taken in (registered) in the storage unit in the simulation apparatus 1.

この後、シミュレーション装置1において、検査カメラ5の位置および撮影角度に対応させて、2次元背景画像A1〜A5と検査対象ワーク7の3Dデータとを重ね合わせて、検査カメラ5による撮影画像を仮想空間内で擬似的に(計算により)作成する。図13に、検査カメラ5による撮影画像の作成例B1〜B5を示す。尚、図13において、符号(0)〜(4)は、5つの位置(撮影角度)(0)〜(4)に対応している。   Thereafter, in the simulation apparatus 1, the two-dimensional background images A <b> 1 to A <b> 5 and the 3D data of the workpiece 7 to be inspected are overlaid in correspondence with the position and the imaging angle of the inspection camera 5, and the image captured by the inspection camera 5 is virtually Create pseudo (by calculation) in space. In FIG. 13, the example B1-B5 of creation of the picked-up image by the inspection camera 5 is shown. In FIG. 13, reference numerals (0) to (4) correspond to five positions (imaging angles) (0) to (4).

そして、上記したようにして作成した撮影画像B1〜B5を視覚検査プログラムに与えて、該視覚検査プログラムにより画像処理を実行するように構成されている。
このような構成の本実施例によれば、現実の工場において検査カメラ5の設定位置からデジカメにより前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の2次元撮影画像Aiを、その撮影角度データBiと共にシミュレーション装置1に入力si、検査対象のワーク7の3次元データをシミュレーション装置1に入力し、シミュレーション装置1内において検査カメラ5の位置とワーク7の位置を設定し、複数の2次元撮影画像Aiの中から、検査カメラ5の撮影角度と一致する撮影角度データBiを有する2次元撮影画像Aiを選択し、この選択した画像を背景画像とし、この背景画像の位置を、検査カメラ5の光軸に対して背景画像の平面が直交するように設定するものであって、検査カメラ5の撮影角度が変化していくときに、検査カメラ5の光軸に対する背景画像の平面の直交関係を維持するようにし、そして、シミュレーション装置1内において、背景画像上にワーク7の3Dデータを重ねて配置したものを検査カメラ5により撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力するように構成したので、視覚検査システムの設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置1に容易に再現することができる。
The photographed images B1 to B5 created as described above are given to the visual inspection program, and image processing is executed by the visual inspection program.
According to this embodiment having such a configuration, a plurality of two-dimensional photographed images Ai obtained by photographing the background of the factory at a plurality of photographing angles with a digital camera from the set position of the inspection camera 5 in an actual factory. , Input si to the simulation apparatus 1 together with the photographing angle data Bi, three-dimensional data of the work 7 to be inspected is input to the simulation apparatus 1, and the position of the inspection camera 5 and the position of the work 7 are set in the simulation apparatus 1. A two-dimensional photographed image Ai having photographing angle data Bi that matches the photographing angle of the inspection camera 5 is selected from a plurality of two-dimensional photographed images Ai. The selected image is used as a background image, and the position of the background image is determined. The plane of the background image is set to be orthogonal to the optical axis of the inspection camera 5, and the shooting angle of the inspection camera 5 is changed. Sometimes, the orthogonal relationship of the plane of the background image with respect to the optical axis of the inspection camera 5 is maintained, and in the simulation apparatus 1, the inspection camera 5 in which the 3D data of the work 7 is arranged on the background image is superimposed. Since the image obtained by shooting is obtained by calculation and the obtained image is output as an inspection camera image, an environment similar to the factory of the delivery destination can be obtained without increasing the design time of the visual inspection system. It can be easily reproduced in the simulation apparatus 1.

また、上記実施例においては、検査カメラ5の撮影角度Cが撮影角度データB1と一致しない場合であっても、撮影角度データB1と撮影角度データB2の中間の角度までの間は、2次元背景画像A1を背景画像として設定し、上記中間の角度を越えたら、2次元背景画像A2を背景画像として設定する。即ち、
(B(i−1)+Bi)/2<C≦(Bi+B(i+1))/2
であるときには、2次元背景画像Aiを背景画像として設定するように構成したので、用意する2次元背景画像としては5つの2次元背景画像A1〜A5だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。
Further, in the above embodiment, even when the shooting angle C of the inspection camera 5 does not coincide with the shooting angle data B1, the two-dimensional background is obtained up to the intermediate angle between the shooting angle data B1 and the shooting angle data B2. When the image A1 is set as the background image and the intermediate angle is exceeded, the two-dimensional background image A2 is set as the background image. That is,
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Since the two-dimensional background image Ai is set as the background image, the two-dimensional background images to be prepared are only five two-dimensional background images A1 to A5. The image processing can be performed sufficiently accurately.

図面中、1はシミュレーション装置、2はパソコン、3はシミュレーションプログラム、4は視覚検査プログラム、5は検査カメラ、6は光源、7は検査対象ワーク、8はPLC、9はデジカメ、10は撮影者、11は光軸を示す。   In the drawings, 1 is a simulation device, 2 is a personal computer, 3 is a simulation program, 4 is a visual inspection program, 5 is an inspection camera, 6 is a light source, 7 is a work to be inspected, 8 is a PLC, 9 is a digital camera, and 10 is a photographer. , 11 indicates the optical axis.

Claims (2)

現実の工場において検査カメラの設定位置からカメラで前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の2次元撮影画像を、その撮影角度データと共にシミュレーション装置に入力する手段と、
検査対象のワークの3次元データを前記シミュレーション装置に入力する手段と、
前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、
前記複数の2次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する2次元撮影画像を選択し、この選択した画像を背景画像とする手段と、
前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、
前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備え、
前記複数の2次元撮影画像の中に前記検査カメラの撮影角度と一致する撮影角度データがない場合には、前記検査カメラの撮影角度が、i番目の撮影角度データと(i+1)番目の撮影角度データの中間の角度までの間は、i番目の2次元背景画像を背景画像として設定し、上記中間の角度を越えたら、(i+1)番目の2次元背景画像を背景画像として設定し、
前記検査カメラを平行移動させる場合には、2次元背景画像も平行移動させるように設定することを特徴とするシミュレーション装置の画像データ生成装置。
Means for inputting a plurality of two-dimensional photographed images obtained by photographing a background of the factory at a plurality of photographing angles from a set position of an inspection camera in an actual factory together with the photographing angle data to a simulation device;
Means for inputting three-dimensional data of a workpiece to be inspected into the simulation apparatus;
In the simulation device, means for setting the position of the inspection camera and the position of the work,
Means for selecting a two-dimensional photographed image having photographing angle data matching a photographing angle of the inspection camera from the plurality of two-dimensional photographed images, and setting the selected image as a background image;
The position of the background image is set so that the plane of the background image is orthogonal to the optical axis of the inspection camera, and the inspection camera changes when the imaging angle of the inspection camera changes. Means for maintaining an orthogonal relationship of the plane of the background image to the optical axis of
In the simulation apparatus, there is provided means for obtaining an image obtained by taking an image obtained by photographing the work piece superimposed on the background image by the inspection camera and outputting the obtained image as an inspection camera image. ,
If there is no shooting angle data that matches the shooting angle of the inspection camera in the plurality of two-dimensional shot images, the shooting angle of the inspection camera is the i-th shooting angle data and the (i + 1) -th shooting angle. The i-th two-dimensional background image is set as the background image until the intermediate angle of the data, and when the intermediate angle is exceeded, the (i + 1) -th two-dimensional background image is set as the background image.
An image data generation apparatus of a simulation apparatus, wherein when the inspection camera is moved in parallel, the two-dimensional background image is also set to move in parallel.
前記2次元背景画像Aiを平行移動させる場合、上下方向、左右方向、および、奥行き方向の3方向に平行移動させることが可能な構成となっていることを特徴とする請求項1記載のシミュレーション装置の画像データ生成装置。
2. The simulation apparatus according to claim 1, wherein when the two-dimensional background image Ai is translated, the two-dimensional background image Ai can be translated in three directions, ie, a vertical direction, a horizontal direction, and a depth direction. Image data generation apparatus.
JP2012071509A 2012-03-27 2012-03-27 Image data generation apparatus for simulation apparatus Active JP5243636B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012071509A JP5243636B2 (en) 2012-03-27 2012-03-27 Image data generation apparatus for simulation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012071509A JP5243636B2 (en) 2012-03-27 2012-03-27 Image data generation apparatus for simulation apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008210627A Division JP4961405B2 (en) 2008-08-19 2008-08-19 Image data generation apparatus for simulation apparatus

Publications (2)

Publication Number Publication Date
JP2012123847A true JP2012123847A (en) 2012-06-28
JP5243636B2 JP5243636B2 (en) 2013-07-24

Family

ID=46505143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012071509A Active JP5243636B2 (en) 2012-03-27 2012-03-27 Image data generation apparatus for simulation apparatus

Country Status (1)

Country Link
JP (1) JP5243636B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04217480A (en) * 1990-12-17 1992-08-07 Nippon Telegr & Teleph Corp <Ntt> Teaching device for motion procedure of robot
JPH06124328A (en) * 1992-10-13 1994-05-06 G T B:Kk Image display device
JPH0833005A (en) * 1994-07-13 1996-02-02 Fanuc Ltd Method for testing visual sensor utilizing simulation image
JPH08147495A (en) * 1994-11-18 1996-06-07 Photo Kurafutoshiya:Kk Method and device for manufacturing stereoscopic photograph
JPH1042307A (en) * 1996-03-01 1998-02-13 Fuotoron:Kk Key system and synthetic image forming method
JP2000057350A (en) * 1998-08-10 2000-02-25 Toshiba Corp Image processor, image processing method and image transmitting method
JP2000267719A (en) * 1999-03-18 2000-09-29 Agency Of Ind Science & Technol Preparation of teaching program for real environment adaptive robot
JP2003296379A (en) * 2002-04-05 2003-10-17 Fuontaajiyu:Kk Simulation method
JP2008117113A (en) * 2006-11-02 2008-05-22 Fresh Remix Kk Image forming device and method, and image forming program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04217480A (en) * 1990-12-17 1992-08-07 Nippon Telegr & Teleph Corp <Ntt> Teaching device for motion procedure of robot
JPH06124328A (en) * 1992-10-13 1994-05-06 G T B:Kk Image display device
JPH0833005A (en) * 1994-07-13 1996-02-02 Fanuc Ltd Method for testing visual sensor utilizing simulation image
JPH08147495A (en) * 1994-11-18 1996-06-07 Photo Kurafutoshiya:Kk Method and device for manufacturing stereoscopic photograph
JPH1042307A (en) * 1996-03-01 1998-02-13 Fuotoron:Kk Key system and synthetic image forming method
JP2000057350A (en) * 1998-08-10 2000-02-25 Toshiba Corp Image processor, image processing method and image transmitting method
JP2000267719A (en) * 1999-03-18 2000-09-29 Agency Of Ind Science & Technol Preparation of teaching program for real environment adaptive robot
JP2003296379A (en) * 2002-04-05 2003-10-17 Fuontaajiyu:Kk Simulation method
JP2008117113A (en) * 2006-11-02 2008-05-22 Fresh Remix Kk Image forming device and method, and image forming program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSND199800919011; 永井登: '"デンソーのモノ作りを支援するデジタル技術"' 日経デジタルエンジニアリング 第7号, 19980615, p.144-148, 日経BP社 *
JPN6012010152; 永井登: '"デンソーのモノ作りを支援するデジタル技術"' 日経デジタルエンジニアリング 第7号, 19980615, p.144-148, 日経BP社 *

Also Published As

Publication number Publication date
JP5243636B2 (en) 2013-07-24

Similar Documents

Publication Publication Date Title
CN109313814B (en) Camera calibration system
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
JP6551184B2 (en) Simulation apparatus, simulation method, and simulation program
US9508146B2 (en) Automated frame of reference calibration for augmented reality
JP2013539147A5 (en)
JP4961405B2 (en) Image data generation apparatus for simulation apparatus
CN107025663A (en) It is used for clutter points-scoring system and method that 3D point cloud is matched in vision system
US7711507B2 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
Ahmadabadian et al. Stereo‐imaging network design for precise and dense 3D reconstruction
WO2002044650A2 (en) Method and apparatus for simulating the measurement of a part without using a physical measurement system
JP5243635B2 (en) Image data generation apparatus for simulation apparatus
Tushev et al. Photogrammetric system accuracy estimation by simulation modelling
JP5243636B2 (en) Image data generation apparatus for simulation apparatus
JP5249445B2 (en) Image data generation apparatus for simulation apparatus
JP2022027111A (en) Measurement processing device, method and program
JP6822086B2 (en) Simulation equipment, simulation method and simulation program
Ueda et al. Fringe projection profilometry system verification for 3D shape measurement using virtual space of game engine
Irgenfried et al. Image formation simulation for computer-aided inspection planning of machine vision systems
JP2020187626A (en) Image processing device, image processing method, and program
WO2022249295A1 (en) Robot simulation device
Chiou Reducing the variance of intrinsic camera calibration results in the ROS camera calibration package
Ahmed Memon et al. A systematic procedure for developing the 3D model to evaluate the construction project progress
Steil et al. Validating the camera and light simulation of a virtual reality testbed by means of physical mockup data
JP2008209194A (en) Method of measuring three-dimensional shape
CN116664652A (en) Depth image acquisition method and device and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5243636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250