JP2012123847A - Image data generation device of simulation device - Google Patents
Image data generation device of simulation device Download PDFInfo
- Publication number
- JP2012123847A JP2012123847A JP2012071509A JP2012071509A JP2012123847A JP 2012123847 A JP2012123847 A JP 2012123847A JP 2012071509 A JP2012071509 A JP 2012071509A JP 2012071509 A JP2012071509 A JP 2012071509A JP 2012123847 A JP2012123847 A JP 2012123847A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- dimensional
- inspection camera
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、検査カメラを使う視覚検査システムを設計する場合に用いるシミュレーション装置において使用するための画像データを生成するシミュレーション装置の画像データ生成装置に関する。 The present invention relates to an image data generation apparatus of a simulation apparatus that generates image data for use in a simulation apparatus used when designing a visual inspection system using an inspection camera.
工場の生産設備等に組み込まれる視覚検査システムを設計する場合、依頼元のオーダーメイドで設計することになるので、組み込む予定の依頼元の工場で実際にテストしながら視覚検査システムを設計可能であるならば、比較的容易に設計することができる。しかし、視覚検査システムを納品する前に、依頼元の工場で設計することはかなり困難であることが多い。このため、視覚検査システムを製造販売するメーカーの実験室内でテストしたり、シミュレーション装置(シミュレータ)によりテストしたりして設計している。 When designing a visual inspection system to be built into a production facility of a factory, it will be designed by the requester's tailor-made, so it is possible to design a visual inspection system while actually testing at the factory of the requester who plans to incorporate it. If so, it can be designed relatively easily. However, it is often quite difficult to design at the requesting factory before delivering the visual inspection system. For this reason, the visual inspection system is designed by testing in the laboratory of the manufacturer that manufactures and sells, or by testing with a simulation device (simulator).
上記したようにして設計した視覚検査システムを依頼元の工場に納品し設置して動作させてみると、実際に検査カメラで撮影される画像と、実験室やシミュレーション装置内で検査カメラで撮影される画像とが異なるために、予定していた検査機能が発揮できなくなる場合があった。このような場合には、2度手間となってしまうが、実際の工場で再調整を行なう必要があった。 When the visual inspection system designed as described above is delivered to the requesting factory, installed, and operated, the image actually taken with the inspection camera and the image taken with the inspection camera in the laboratory or simulation device are taken. In some cases, the planned inspection function could not be performed due to the difference in the image. In such a case, it would be troublesome twice, but it was necessary to readjust at the actual factory.
これに対して、シミュレーション装置において、その仮想空間内で依頼元の工場の設備そのものを再現する対策が考えられる。この対策を行なえば、確かに工場と同じ環境をシミュレーション装置に再現できるので、上記2度手間対策としては、ある程度効果的である。しかし、シミュレーション装置で工場設備を再現するには、工場設備の3Dデータ(3次元画像データ)を生成して用意する必要があり、この工場設備の3Dデータを生成する作業は、非常に手間のかかる作業であるため、設計時間が非常に長くなるおそれがあり、実現可能な対策とはいえない。また、シミュレーション装置で工場設備を再現できたとしても、現実の工場内の経年劣化などで発生する微細なコントラスト変化や模様変化などまでは、再現が困難であるので、この点では、実際の工場で再調整しなければならない可能性がある。特に、微細なコントラスト変化や模様変化などを再現できないことは、視覚検査システムにとっては、大きな問題となるおそれがある。尚、シミュレーション装置の例を、特許文献1、2に示す。
On the other hand, in the simulation apparatus, a countermeasure for reproducing the facility itself of the requesting factory in the virtual space can be considered. If this countermeasure is taken, the same environment as the factory can be reproduced in the simulation device, so that it is effective to some extent as the above-mentioned two-time countermeasure. However, in order to reproduce factory equipment with a simulation device, it is necessary to prepare and prepare 3D data (3D image data) of the factory equipment, and the work of generating 3D data of this factory equipment is very laborious. Since this is an operation, the design time may become very long, which is not a feasible measure. Even if factory equipment can be reproduced with a simulation device, it is difficult to reproduce fine contrast changes and pattern changes that occur due to aging in the actual factory. May need to be readjusted. In particular, the inability to reproduce fine contrast changes, pattern changes, and the like can be a major problem for visual inspection systems. Examples of simulation apparatuses are shown in
そこで、本発明の目的は、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができるシミュレーション装置の画像データ生成装置を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image data generation device of a simulation device that can reproduce an environment similar to a factory at a delivery destination in a simulation device without lengthening the design time.
請求項1の発明によれば、現実の工場において検査カメラの設定位置からカメラで前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の2次元撮影画像を、その撮影角度データと共にシミュレーション装置に入力する手段と、検査対象のワークの3次元データを前記シミュレーション装置に入力する手段と、前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、前記複数の2次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する2次元撮影画像を選択し、この選択した画像を背景画像とする手段と、前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備えたので、設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置に再現することができる。そして、請求項1の発明によれば、前記複数の2次元撮影画像の中に前記検査カメラの撮影角度と一致する撮影角度データがない場合には、前記検査カメラの撮影角度が、i番目の撮影角度データと(i+1)番目の撮影角度データの中間の角度までの間は、i番目の2次元背景画像を背景画像として設定し、上記中間の角度を越えたら、(i+1)番目の2次元背景画像を背景画像として設定し、更に、前記検査カメラを平行移動させる場合には、2次元背景画像も平行移動させるように設定するたので、用意する画像のデータ量を大幅に少なくすることができる。
また、請求項2の発明のように、前記2次元背景画像Aiを平行移動させる場合、上下方向、左右方向、および、奥行き方向の3方向に平行移動させることが可能な構成となっていることが好ましい。
According to the first aspect of the present invention, a plurality of two-dimensional photographed images obtained by photographing the background of the factory with a plurality of photographing angles from the set position of the inspection camera in the actual factory, respectively, are obtained as the photographing angle data. And means for inputting to the simulation apparatus, means for inputting the three-dimensional data of the work to be inspected to the simulation apparatus, means for setting the position of the inspection camera and the position of the work in the simulation apparatus, A two-dimensional photographed image having photographing angle data that matches the photographing angle of the inspection camera is selected from a plurality of two-dimensional photographed images, and means for setting the selected image as a background image; and the position of the background image The setting is made so that the plane of the background image is orthogonal to the optical axis of the inspection camera, and the photographing angle of the inspection camera Means for maintaining the orthogonal relationship of the plane of the background image with respect to the optical axis of the inspection camera when changing, and the inspection apparatus in which the workpiece is arranged on the background image in the simulation apparatus Since the image obtained by photographing with a camera is obtained by calculation, and the means for outputting the obtained image as an inspection camera image is provided, a simulation device that simulates an environment similar to the factory of the delivery destination without lengthening the design time Can be reproduced. According to the first aspect of the present invention, when there is no shooting angle data that matches the shooting angle of the inspection camera in the plurality of two-dimensional shot images, the shooting angle of the inspection camera is the i th The i-th two-dimensional background image is set as the background image until the intermediate angle between the shooting angle data and the (i + 1) -th shooting angle data, and when the intermediate angle is exceeded, the (i + 1) -th two-dimensional When a background image is set as a background image and the inspection camera is moved in parallel, the two-dimensional background image is also set to be moved in parallel, so that the data amount of the prepared image can be greatly reduced. it can.
In addition, as in the second aspect of the invention, when the two-dimensional background image Ai is translated, the two-dimensional background image Ai can be translated in three directions: the vertical direction, the horizontal direction, and the depth direction. Is preferred.
以下、本発明を視覚検査システムをシミュレートするシミュレーション装置に適用した一実施例について、図面を参照しながら説明する。本実施例のシミュレーション装置1は、図1に示すように、パソコン2と、このパソコン2にインストールされたシミュレーションプログラム(シミュレータ)3とから構成されている。
Hereinafter, an embodiment in which the present invention is applied to a simulation apparatus for simulating a visual inspection system will be described with reference to the drawings. As shown in FIG. 1, the
設計した視覚検査システムを上記シミュレーション装置1でシミュレートする場合、視覚検査システムを構成する視覚検査プログラム4をシミュレーション装置1(パソコン2)に取り込んでおく。そして、視覚検査システムを構成する検査カメラ5や光源6等については、予めシミュレーション装置1(パソコン2)内のプログラムを用いて仮想的にそれぞれに対応する仮想な検査カメラ5や仮想な光源6等を設けておく。検査カメラ5の位置や姿勢は、シミュレーション装置1のマウスやキーボード等で自由に設定、変更可能である。また、光源6等の条件(照度、位置、方向、色等)も、マウスやキーボード等で自由に設定、変更可能である。
When the designed visual inspection system is simulated by the
更に、検査対象ワーク7については、予め3DCADを用いて検査対象ワーク7の3Dデータを作成し、この作成した3Dデータ(または、ワーク7の供給メーカーから提供された3Dデータ)をシミュレーション装置1(パソコン2)内の記憶部に取り込んでおく(入力する)。また、検査カメラ5の撮影のタイミングを指示するためのトリガー信号を出力するPLC(プログラマブルコントローラ)8をシミュレーション装置1(パソコン2)に接続する。このPLC8は、視覚検査システムを納品する工場の設備に組み込まれているPLCと同じ制御機能を有している。
Furthermore, for the
次に、納品する工場の設備の2次元画像データ、具体的には、検査対象ワーク7を検査カメラ5で撮影したときに検査対象ワーク7の背景となる画像(以下、2次元背景画像と称す)を準備(作成)する。この場合、図2(a)に示すように、2次元背景画像9a、9b、・・・を準備したとし、これら2次元背景画像9a、9b、・・・をシミュレーション装置1に取り込んで利用する際には、図2(b)に示すように、検査カメラ5の光軸L1、L2に直交するように2次元背景画像9a、9bを配置する。尚、光軸L1の検査カメラ5の撮影位置(撮影角度)P1に2次元背景画像9aが対応しているとし、光軸L2の検査カメラ5の撮影位置(撮影角度)P2に2次元背景画像9bが対応しているとする。
Next, two-dimensional image data of the factory equipment to be delivered, specifically, an image (hereinafter referred to as a two-dimensional background image) that becomes the background of the
そして、図2(b)に示すように、検査対象ワーク7の3Dデータを所定位置(ワーク7を配置する位置)に配置し、撮影位置(撮影角度)P1の検査カメラ5で検査対象ワーク7を撮影すると、図2(c)に示すような撮影画像10a(2次元背景画像9aを背景とする画像)を撮影することができる。同様にして、撮影位置(撮影角度)P2の検査カメラ5で検査対象ワーク7を撮影すると、図2(c)に示すような撮影画像10b(2次元背景画像9bを背景とする画像)を撮影することできる。
Then, as shown in FIG. 2B, the 3D data of the
以下、上記撮影画像10a、10bが、実際の工場の設備で撮影した画像とほぼ同じような類似する画像(即ち、画像処理する上でほぼ同等の画像)となる次元背景画像9a、9bを準備(作成)する手順について、具体的に説明する。理解を容易にするために用例では2次元空間で説明を行なうが、現実では3次元空間に拡張して、同様に処理するものとする。
In the following,
まず、図3に示すように、実際の工場の設備において、検査対象ワーク7の背景となる画像をデジカメ9により撮影する。この場合、撮影者10は、検査カメラ5のカメラ設定位置Pから検査対象ワーク7の背景を、例えば5つの撮影ポジション1〜5で、即ち、5つの撮影角度B1〜B5で順次撮影する。そして、撮影した2次元画像A1〜A5と、撮影角度データB1〜B5とを対応させてペアで記録するように構成されている。尚、2次元画像A1B1、A2B2、・・・AnBnの順で、撮影角度が増加(または減少)するように設定されている。
First, as shown in FIG. 3, an image serving as the background of the
そして、上記したようにして準備した2次元背景画像A1B1、A2B2、・・・を、その撮影角度データB1〜B5と共にシミュレーション装置1(パソコン2)内の記憶部(ハードディスク等)に取り込む(入力する)。この場合、2次元背景画像A1B1、A2B2、・・・を記録したメモリカード等からメモリカードリーダを介してシミュレーション装置1に入力させると共に、撮影角度データB1〜B5をキーボード等を操作することにより入力させる構成となっている。
Then, the two-dimensional background images A1B1, A2B2,... Prepared as described above are taken (input) together with the photographing angle data B1 to B5 into a storage unit (hard disk or the like) in the simulation apparatus 1 (personal computer 2). ). In this case, the two-dimensional background images A1B1, A2B2,... Are input to the
さて、上記2次元背景画像A1B1、A2B2、・・・と、前記した検査対象ワーク7の3Dデータとをシミュレーション装置1に入力させる処理が完了したら、シミュレーション装置1内において、検査カメラ5の位置と検査対象ワーク7の位置とを設定する。続いて、シミュレーション装置1内において、上記入力した2次元背景画像A1B1、A2B2、・・・の中から、検査カメラ5の撮影角度と一致する撮影角度データを有する2次元撮影画像を選択し、この選択した画像を背景画像として設定する処理を実行する。
When the processing for inputting the two-dimensional background images A1B1, A2B2,... And the 3D data of the
具体的には、図4に示すように、検査カメラ5の撮影角度Cが撮影角度データB1と一致したら、2次元背景画像A1を背景画像として設定する。同様にして、検査カメラ5の撮影角度Cが撮影角度データB2と一致したら、2次元背景画像A2を背景画像として設定し、検査カメラ5の撮影角度Cが撮影角度データB3と一致したら、2次元背景画像A3を背景画像として設定し、検査カメラ5の撮影角度Cが撮影角度データB4と一致したら、2次元背景画像A4を背景画像として設定し、検査カメラ5の撮影角度Cが撮影角度データB5と一致したら、2次元背景画像A5を背景画像として設定する。
Specifically, as shown in FIG. 4, when the shooting angle C of the
また、検査カメラ5の撮影角度Cが撮影角度データB1と一致しない場合であっても、撮影角度データB1と撮影角度データB2の中間の角度までの間は、2次元背景画像A1を背景画像として設定し、上記中間の角度を越えたら、2次元背景画像A2を背景画像として設定する。即ち、
(B(i−1)+Bi)/2<C≦(Bi+B(i+1))/2
であるときには、2次元背景画像Aiを背景画像として設定するように構成されている。この背景画像の設定例を図4に示す。
Even if the shooting angle C of the
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Is set so that the two-dimensional background image Ai is set as the background image. An example of setting the background image is shown in FIG.
即ち、検査カメラ5の撮影角度Cが図4中の角度C1内であるとき、2次元背景画像A1を設定し、撮影角度Cが図4中の角度C2内であるとき、2次元背景画像A2を設定し、撮影角度Cが図4中の角度C3内であるとき、2次元背景画像A3を設定し、撮影角度Cが図4中の角度C4内であるとき、2次元背景画像A4を設定し、撮影角度Cが図4中の角度C5内であるとき、2次元背景画像A5を設定する。
That is, when the photographing angle C of the
そして、図5に示すように、検査カメラ5の光軸11に対して2次元背景画像Aiの平面が直交するように、2次元背景画像Aiの位置を設定している。更に、図6に示すように、検査カメラ55の撮影角度が変化していくときに、検査カメラ5の光軸11に対する2次元背景画像Aiの平面の直交関係を維持するように構成されている。例えば、検査カメラ5の撮影角度Cが図4中の角度C1内であるときは、同じ2次元背景画像A1を設定し続けるが、このとき、図6に示すように、検査カメラ55の撮影角度Cが角度C1内で変化していくときに、検査カメラ5の光軸11に対する2次元背景画像A1の平面の直交関係を維持するように設定している。
Then, as shown in FIG. 5, the position of the two-dimensional background image Ai is set so that the plane of the two-dimensional background image Ai is orthogonal to the
尚、検査カメラ5の撮影角度Cが図4中の角度Ci内であるときに、同じ2次元背景画像Aiを設定し続ける理由は、検査カメラ5の撮影角度Cが角度Ci内であれば、検査対象ワーク7の背景は、あまり変化しないことから、同じ2次元背景画像Aiを設定し続けても、ほとんど支障がない。特に、画像処理する対象は、検査対象ワーク7であることから、検査対象ワーク7の画像が正確であれば、背景画像が少し正確でなかったとしても、問題が発生することはない。つまり、背景は、しょせん背景であり、それぼど正確でなくても良いのである。そして、この場合、用意する2次元背景画像としては5つの2次元背景画像A1〜A5だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。従って、画像データを用意する手間を大幅に少なくすることができながら、十分な効果を得ることができる。
The reason why the same two-dimensional background image Ai is continuously set when the imaging angle C of the
また、検査カメラ5(のカメラ視点)を平行移動させる場合には、図7に示すように、2次元背景画像Aiも平行移動させるように設定する。この場合、上下方向、左右方向、および、奥行き方向の3方向に平行移動させることが可能なように構成されている。 In addition, when the inspection camera 5 (camera viewpoint) is moved in parallel, the two-dimensional background image Ai is set to move in parallel as shown in FIG. In this case, it is configured such that it can be translated in three directions: the vertical direction, the horizontal direction, and the depth direction.
次に、シミュレーション装置1において、検査カメラ5の光軸11に対して2次元背景画像Aiの平面が直交するように2次元背景画像Aiを設定する処理の一例の制御内容について、図8のフローチャートを参照して説明する。まず、ステップS10においては、準備した2次元背景画像Aiと、その撮影角度データBiとをシミュレーション装置1(パソコン2)内の記憶部に登録(入力)する。この場合、2次元背景画像Aiおよび撮影角度データBiのペアの登録数をnとする(従って、i=1、・・・、n)。
Next, in the
続いて、ステップS20へ進み、撮影角度データBiを基準にして2次元背景画像Aiをソートする(A1B1、A2B2、・・・、AnBn)。この場合、説明上、昇順とするが、降順でも良い。そして、ステップS30へ進み、検査カメラ5の位置を設定し、検査カメラ5の撮影角度(カメラ視点角度)Cを取得する。
Subsequently, the process proceeds to step S20, where the two-dimensional background image Ai is sorted with reference to the shooting angle data Bi (A1B1, A2B2,..., AnBn). In this case, ascending order is used for explanation, but descending order may be used. In step S30, the position of the
次いで、ステップS40へ進み、撮影角度Cが撮影角度データB1よりも小さいか否かを判断する。ここで、撮影角度Cが撮影角度データB1よりも小さいときには、「YES」へ進み、ステップS130へ進み、設定する画像Gとして2次元背景画像A1を設定する。 Next, the process proceeds to step S40, and it is determined whether or not the shooting angle C is smaller than the shooting angle data B1. Here, when the shooting angle C is smaller than the shooting angle data B1, the process proceeds to “YES”, the process proceeds to step S130, and the two-dimensional background image A1 is set as the image G to be set.
一方、ステップS40において、撮影角度Cが撮影角度データB1よりも小さくないときには、「NO」へ進み、ステップS50へ進み、変数iに「0」をセットする。続いて、ステップS60へ進み、
(B(i−1)+Bi)/2<C≦(Bi+B(i+1))/2
が成立するか否かを判断する。ここで、上記式が成立するときには、「YES」へ進み、ステップS140へ進み、設定する画像Gとして2次元背景画像Aiを設定する。
On the other hand, when the shooting angle C is not smaller than the shooting angle data B1 in step S40, the process proceeds to “NO”, the process proceeds to step S50, and “0” is set to the variable i. Then, it progresses to step S60,
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Whether or not is satisfied is determined. Here, when the above equation is established, the process proceeds to “YES”, and the process proceeds to step S140, where the two-dimensional background image Ai is set as the image G to be set.
また、ステップS60において、上記式が成立しないときには、「NO」へ進み、ステップS70へ進み、変数iをカウントアップ(+1)する。そして、ステップS80へ進み、変数iがnよりも小さいか否かを判断し、ここで、変数iがnよりも小さいときには、「YES」へ進み、ステップS60へ戻り、同じ処理を繰り返す。一方、ステップS80において、変数iがnよりも小さくないときには、「NO」へ進み、ステップS90へ進み、設定する画像Gとして2次元背景画像Anを設定する。 In step S60, when the above equation is not satisfied, the process proceeds to “NO”, and the process proceeds to step S70, where the variable i is counted up (+1). Then, the process proceeds to step S80 to determine whether or not the variable i is smaller than n. If the variable i is smaller than n, the process proceeds to “YES”, returns to step S60, and repeats the same process. On the other hand, when the variable i is not smaller than n in step S80, the process proceeds to “NO”, and the process proceeds to step S90, where the two-dimensional background image An is set as the image G to be set.
この後、ステップS100へ進み、図5に示すように、検査カメラ5の視点から延びる光軸11の逆向きベクトル(V)を算出する。そして、ステップS110へ進み、法線が逆向きベクトル(V)となる平面Pを作成する。続いて、ステップS120へ進み、上記平面Pに画像G(即ち、2次元背景画像Ai)を貼り付ける。これにより、検査カメラ5の光軸11に対して2次元背景画像Aiの平面が直交するように2次元背景画像Aiの位置を設定する処理が完了する。
Thereafter, the process proceeds to step S100, and the reverse vector (V) of the
尚、本シミュレーション装置1の画面で環境光等の調整が必要であれば、その調整を行なう。
そして、次の処理ステップでは、本シミュレーション装置1で設備動作を記述する。
If adjustment of ambient light or the like is necessary on the screen of the
In the next processing step, the equipment operation is described by the
更に、次の処理ステップでは、本シミュレーション装置1において、設備動作シミュレーションを開始する。
続いて、次の処理ステップでは、仮想空間内の映像を、外部トリガー入力のタイミングで検査カメラ5により撮影する。
Further, in the next processing step, the equipment operation simulation is started in the
Subsequently, in the next processing step, an image in the virtual space is captured by the
そして、次の処理ステップでは、撮影した画像データを視覚検査プログラムに出力する。
更に、次の処理ステップでは、視覚検査プログラムを実行し、画像処理を行なう。
In the next processing step, the captured image data is output to the visual inspection program.
Further, in the next processing step, a visual inspection program is executed to perform image processing.
さて、上述した本実施例のシミュレーション装置1用の2次元背景画像Aiを作成する処理並びにシミュレーション装置1の動作の一例について、図9ないし図13を参照して説明する。
Now, an example of processing for creating the above-described two-dimensional background image Ai for the
この一例では、図9に示すように、実在する工場の対象設備Tにおいて、丸印で示す位置に検査対象ワーク7(3Dデータからなる仮想ワーク)を置き、画像処理によってワーク7の欠品を検査する視覚検査システムを設計する。この場合、検査対象ワーク7の画像処理に最も適した検査カメラ5の位置を、実際に画像処理した結果から決定する処理を行なう。
In this example, as shown in FIG. 9, in a target facility T of an actual factory, a
まず、図10(a)に示すように、実在する工場の対象設備Tについて、デジカメ9を使用して5つの位置(0)〜(4)から撮影し、5枚の2次元背景画像A1〜A5(図11参照)を取得する。尚、5つの位置(0)〜(4)のうち、位置(0)は、XY平面に垂直でXY軸の交点の位置であり、位置(1)〜(4)は、それぞれXY平面上の45度、135度、−135度、−45度の位置であり(図10(b)参照)、且つ、高さ方向がXZ平面での45度の位置である(図10(c)参照)。
First, as shown to Fig.10 (a), about the target equipment T of the existing factory, it photographed from five positions (0)-(4) using the
次に、上記撮影した2次元背景画像A1〜A5と、撮影条件の情報(撮影角度データ)とをペアでシミュレーション装置1内の記憶部に登録する(図11参照)。そして、設計上の検査対象ワーク7の3Dデータ(図12参照)を用意し、これをシミュレーション装置1内の記憶部に取り込む(登録する)。
Next, the photographed two-dimensional background images A1 to A5 and photographing condition information (photographing angle data) are registered in pairs in the storage unit in the simulation apparatus 1 (see FIG. 11). Then, 3D data (see FIG. 12) of the design
この後、シミュレーション装置1において、検査カメラ5の位置および撮影角度に対応させて、2次元背景画像A1〜A5と検査対象ワーク7の3Dデータとを重ね合わせて、検査カメラ5による撮影画像を仮想空間内で擬似的に(計算により)作成する。図13に、検査カメラ5による撮影画像の作成例B1〜B5を示す。尚、図13において、符号(0)〜(4)は、5つの位置(撮影角度)(0)〜(4)に対応している。
Thereafter, in the
そして、上記したようにして作成した撮影画像B1〜B5を視覚検査プログラムに与えて、該視覚検査プログラムにより画像処理を実行するように構成されている。
このような構成の本実施例によれば、現実の工場において検査カメラ5の設定位置からデジカメにより前記工場の背景を複数の撮影角度でそれぞれ撮影して得られた複数の2次元撮影画像Aiを、その撮影角度データBiと共にシミュレーション装置1に入力si、検査対象のワーク7の3次元データをシミュレーション装置1に入力し、シミュレーション装置1内において検査カメラ5の位置とワーク7の位置を設定し、複数の2次元撮影画像Aiの中から、検査カメラ5の撮影角度と一致する撮影角度データBiを有する2次元撮影画像Aiを選択し、この選択した画像を背景画像とし、この背景画像の位置を、検査カメラ5の光軸に対して背景画像の平面が直交するように設定するものであって、検査カメラ5の撮影角度が変化していくときに、検査カメラ5の光軸に対する背景画像の平面の直交関係を維持するようにし、そして、シミュレーション装置1内において、背景画像上にワーク7の3Dデータを重ねて配置したものを検査カメラ5により撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力するように構成したので、視覚検査システムの設計時間を長くすることなく、納品先の工場と類似する環境をシミュレーション装置1に容易に再現することができる。
The photographed images B1 to B5 created as described above are given to the visual inspection program, and image processing is executed by the visual inspection program.
According to this embodiment having such a configuration, a plurality of two-dimensional photographed images Ai obtained by photographing the background of the factory at a plurality of photographing angles with a digital camera from the set position of the
また、上記実施例においては、検査カメラ5の撮影角度Cが撮影角度データB1と一致しない場合であっても、撮影角度データB1と撮影角度データB2の中間の角度までの間は、2次元背景画像A1を背景画像として設定し、上記中間の角度を越えたら、2次元背景画像A2を背景画像として設定する。即ち、
(B(i−1)+Bi)/2<C≦(Bi+B(i+1))/2
であるときには、2次元背景画像Aiを背景画像として設定するように構成したので、用意する2次元背景画像としては5つの2次元背景画像A1〜A5だけであるから、用意する画像のデータ量を大幅に少なくすることができ、しかも、画像処理を十分正確に実行することができる。
Further, in the above embodiment, even when the shooting angle C of the
(B (i−1) + Bi) / 2 <C ≦ (Bi + B (i + 1)) / 2
Since the two-dimensional background image Ai is set as the background image, the two-dimensional background images to be prepared are only five two-dimensional background images A1 to A5. The image processing can be performed sufficiently accurately.
図面中、1はシミュレーション装置、2はパソコン、3はシミュレーションプログラム、4は視覚検査プログラム、5は検査カメラ、6は光源、7は検査対象ワーク、8はPLC、9はデジカメ、10は撮影者、11は光軸を示す。 In the drawings, 1 is a simulation device, 2 is a personal computer, 3 is a simulation program, 4 is a visual inspection program, 5 is an inspection camera, 6 is a light source, 7 is a work to be inspected, 8 is a PLC, 9 is a digital camera, and 10 is a photographer. , 11 indicates the optical axis.
Claims (2)
検査対象のワークの3次元データを前記シミュレーション装置に入力する手段と、
前記シミュレーション装置内において、前記検査カメラの位置と前記ワークの位置を設定する手段と、
前記複数の2次元撮影画像の中から、前記検査カメラの撮影角度と一致する撮影角度データを有する2次元撮影画像を選択し、この選択した画像を背景画像とする手段と、
前記背景画像の位置を、前記検査カメラの光軸に対して前記背景画像の平面が直交するように設定するものであって、前記検査カメラの撮影角度が変化していくときに、前記検査カメラの光軸に対する前記背景画像の平面の直交関係を維持する手段と、
前記シミュレーション装置内において、前記背景画像上に前記ワークを重ねて配置したものを前記検査カメラにより撮影して得られる画像を計算により求め、この求めた画像を検査カメラ画像として出力する手段とを備え、
前記複数の2次元撮影画像の中に前記検査カメラの撮影角度と一致する撮影角度データがない場合には、前記検査カメラの撮影角度が、i番目の撮影角度データと(i+1)番目の撮影角度データの中間の角度までの間は、i番目の2次元背景画像を背景画像として設定し、上記中間の角度を越えたら、(i+1)番目の2次元背景画像を背景画像として設定し、
前記検査カメラを平行移動させる場合には、2次元背景画像も平行移動させるように設定することを特徴とするシミュレーション装置の画像データ生成装置。 Means for inputting a plurality of two-dimensional photographed images obtained by photographing a background of the factory at a plurality of photographing angles from a set position of an inspection camera in an actual factory together with the photographing angle data to a simulation device;
Means for inputting three-dimensional data of a workpiece to be inspected into the simulation apparatus;
In the simulation device, means for setting the position of the inspection camera and the position of the work,
Means for selecting a two-dimensional photographed image having photographing angle data matching a photographing angle of the inspection camera from the plurality of two-dimensional photographed images, and setting the selected image as a background image;
The position of the background image is set so that the plane of the background image is orthogonal to the optical axis of the inspection camera, and the inspection camera changes when the imaging angle of the inspection camera changes. Means for maintaining an orthogonal relationship of the plane of the background image to the optical axis of
In the simulation apparatus, there is provided means for obtaining an image obtained by taking an image obtained by photographing the work piece superimposed on the background image by the inspection camera and outputting the obtained image as an inspection camera image. ,
If there is no shooting angle data that matches the shooting angle of the inspection camera in the plurality of two-dimensional shot images, the shooting angle of the inspection camera is the i-th shooting angle data and the (i + 1) -th shooting angle. The i-th two-dimensional background image is set as the background image until the intermediate angle of the data, and when the intermediate angle is exceeded, the (i + 1) -th two-dimensional background image is set as the background image.
An image data generation apparatus of a simulation apparatus, wherein when the inspection camera is moved in parallel, the two-dimensional background image is also set to move in parallel.
2. The simulation apparatus according to claim 1, wherein when the two-dimensional background image Ai is translated, the two-dimensional background image Ai can be translated in three directions, ie, a vertical direction, a horizontal direction, and a depth direction. Image data generation apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012071509A JP5243636B2 (en) | 2012-03-27 | 2012-03-27 | Image data generation apparatus for simulation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012071509A JP5243636B2 (en) | 2012-03-27 | 2012-03-27 | Image data generation apparatus for simulation apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008210627A Division JP4961405B2 (en) | 2008-08-19 | 2008-08-19 | Image data generation apparatus for simulation apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012123847A true JP2012123847A (en) | 2012-06-28 |
JP5243636B2 JP5243636B2 (en) | 2013-07-24 |
Family
ID=46505143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012071509A Active JP5243636B2 (en) | 2012-03-27 | 2012-03-27 | Image data generation apparatus for simulation apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5243636B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04217480A (en) * | 1990-12-17 | 1992-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Teaching device for motion procedure of robot |
JPH06124328A (en) * | 1992-10-13 | 1994-05-06 | G T B:Kk | Image display device |
JPH0833005A (en) * | 1994-07-13 | 1996-02-02 | Fanuc Ltd | Method for testing visual sensor utilizing simulation image |
JPH08147495A (en) * | 1994-11-18 | 1996-06-07 | Photo Kurafutoshiya:Kk | Method and device for manufacturing stereoscopic photograph |
JPH1042307A (en) * | 1996-03-01 | 1998-02-13 | Fuotoron:Kk | Key system and synthetic image forming method |
JP2000057350A (en) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | Image processor, image processing method and image transmitting method |
JP2000267719A (en) * | 1999-03-18 | 2000-09-29 | Agency Of Ind Science & Technol | Preparation of teaching program for real environment adaptive robot |
JP2003296379A (en) * | 2002-04-05 | 2003-10-17 | Fuontaajiyu:Kk | Simulation method |
JP2008117113A (en) * | 2006-11-02 | 2008-05-22 | Fresh Remix Kk | Image forming device and method, and image forming program |
-
2012
- 2012-03-27 JP JP2012071509A patent/JP5243636B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04217480A (en) * | 1990-12-17 | 1992-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Teaching device for motion procedure of robot |
JPH06124328A (en) * | 1992-10-13 | 1994-05-06 | G T B:Kk | Image display device |
JPH0833005A (en) * | 1994-07-13 | 1996-02-02 | Fanuc Ltd | Method for testing visual sensor utilizing simulation image |
JPH08147495A (en) * | 1994-11-18 | 1996-06-07 | Photo Kurafutoshiya:Kk | Method and device for manufacturing stereoscopic photograph |
JPH1042307A (en) * | 1996-03-01 | 1998-02-13 | Fuotoron:Kk | Key system and synthetic image forming method |
JP2000057350A (en) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | Image processor, image processing method and image transmitting method |
JP2000267719A (en) * | 1999-03-18 | 2000-09-29 | Agency Of Ind Science & Technol | Preparation of teaching program for real environment adaptive robot |
JP2003296379A (en) * | 2002-04-05 | 2003-10-17 | Fuontaajiyu:Kk | Simulation method |
JP2008117113A (en) * | 2006-11-02 | 2008-05-22 | Fresh Remix Kk | Image forming device and method, and image forming program |
Non-Patent Citations (2)
Title |
---|
CSND199800919011; 永井登: '"デンソーのモノ作りを支援するデジタル技術"' 日経デジタルエンジニアリング 第7号, 19980615, p.144-148, 日経BP社 * |
JPN6012010152; 永井登: '"デンソーのモノ作りを支援するデジタル技術"' 日経デジタルエンジニアリング 第7号, 19980615, p.144-148, 日経BP社 * |
Also Published As
Publication number | Publication date |
---|---|
JP5243636B2 (en) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109313814B (en) | Camera calibration system | |
US11455746B2 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
JP6551184B2 (en) | Simulation apparatus, simulation method, and simulation program | |
US9508146B2 (en) | Automated frame of reference calibration for augmented reality | |
JP2013539147A5 (en) | ||
JP4961405B2 (en) | Image data generation apparatus for simulation apparatus | |
CN107025663A (en) | It is used for clutter points-scoring system and method that 3D point cloud is matched in vision system | |
US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
Ahmadabadian et al. | Stereo‐imaging network design for precise and dense 3D reconstruction | |
WO2002044650A2 (en) | Method and apparatus for simulating the measurement of a part without using a physical measurement system | |
JP5243635B2 (en) | Image data generation apparatus for simulation apparatus | |
Tushev et al. | Photogrammetric system accuracy estimation by simulation modelling | |
JP5243636B2 (en) | Image data generation apparatus for simulation apparatus | |
JP5249445B2 (en) | Image data generation apparatus for simulation apparatus | |
JP2022027111A (en) | Measurement processing device, method and program | |
JP6822086B2 (en) | Simulation equipment, simulation method and simulation program | |
Ueda et al. | Fringe projection profilometry system verification for 3D shape measurement using virtual space of game engine | |
Irgenfried et al. | Image formation simulation for computer-aided inspection planning of machine vision systems | |
JP2020187626A (en) | Image processing device, image processing method, and program | |
WO2022249295A1 (en) | Robot simulation device | |
Chiou | Reducing the variance of intrinsic camera calibration results in the ROS camera calibration package | |
Ahmed Memon et al. | A systematic procedure for developing the 3D model to evaluate the construction project progress | |
Steil et al. | Validating the camera and light simulation of a virtual reality testbed by means of physical mockup data | |
JP2008209194A (en) | Method of measuring three-dimensional shape | |
CN116664652A (en) | Depth image acquisition method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130404 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5243636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |