JP2018056661A - Image processing system and work machine - Google Patents
Image processing system and work machine Download PDFInfo
- Publication number
- JP2018056661A JP2018056661A JP2016187496A JP2016187496A JP2018056661A JP 2018056661 A JP2018056661 A JP 2018056661A JP 2016187496 A JP2016187496 A JP 2016187496A JP 2016187496 A JP2016187496 A JP 2016187496A JP 2018056661 A JP2018056661 A JP 2018056661A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- image processing
- camera
- multiplex
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 426
- 238000004891 communication Methods 0.000 claims abstract description 374
- 230000004044 response Effects 0.000 claims abstract description 30
- 230000005856 abnormality Effects 0.000 claims description 110
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 49
- 238000012790 confirmation Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008054 signal transmission Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 239000000758 substrate Substances 0.000 description 8
- 230000032258 transport Effects 0.000 description 7
- 238000001994 activation Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、カメラから画像処理部へ画像データを送信し、画像処理部により画像データの画像処理を行う画像処理システム、及び画像処理部により画像処理した処理結果に応じた作業を実行する作業機に関する。 The present invention relates to an image processing system that transmits image data from a camera to an image processing unit and performs image processing of the image data by the image processing unit, and a work machine that performs work according to the processing result obtained by image processing by the image processing unit. About.
画像処理システムに係わる技術として、例えば、特許文献1に示されるものがある。特許文献1に示される電子部品装着機は、回路基板のマークを撮像するマークカメラ等で撮像した画像データに基づいた制御を実行している。電子部品装着機の制御装置は、コントローラと、画像処理部(文献では、「画像ボード」)と、駆動制御ボードと、I/Oボードと、を備えている。画像処理部は、マークカメラで撮像した画像データを受信し、受信した画像データに対する画像処理を行う。駆動制御ボードは、モータに取り付けたエンコーダからモータの回転位置等を示すエンコーダ情報を受信する。I/Oボードは、各種センサによって検出した検出データを受信する。コントローラは、これら各ボードが処理したデータに基づいて、電子部品装着機の動作を制御する。
As a technique related to an image processing system, for example, there is one disclosed in
ところで、上記した電子部品装着機では、マークカメラ、エンコーダ及び各種センサを設けた可動部分と、各ボードを設けた固定部分とを、光無線装置によって接続している。光無線装置は、画像データ、エンコーダ情報、及び検出データを多重化して送受信している。従って、画像データは、マークカメラから送信された後に多重化データに変換され光無線によって送信される。その後、画像データは、受信側の光無線装置によって多重化データから分離され、多重通信とは異なる通信規格のデータに変換され画像処理部へ送信される。 By the way, in the electronic component mounting machine described above, a movable part provided with a mark camera, an encoder and various sensors and a fixed part provided with each board are connected by an optical wireless device. The optical wireless device transmits and receives multiplexed image data, encoder information, and detection data. Therefore, the image data is transmitted from the mark camera, converted into multiplexed data, and transmitted by optical wireless. Thereafter, the image data is separated from the multiplexed data by the optical wireless device on the receiving side, converted into data of a communication standard different from the multiplex communication, and transmitted to the image processing unit.
このように、この種の作業機では、カメラと画像処理部との間の伝送路において、画像データを他の通信規格のデータに一度変換する場合がある。具体的には、上記した多重化する場合の他に、例えば、カメラから画像処理部へ画像データを送信する通信規格に比べてより長距離の伝送を可能とする他の通信規格のデータに画像データを変換する可能性がある。 As described above, in this type of working machine, there is a case where image data is once converted into data of another communication standard in a transmission path between the camera and the image processing unit. Specifically, in addition to the case of multiplexing as described above, for example, the image is converted into data of another communication standard that enables transmission over a longer distance than the communication standard for transmitting image data from the camera to the image processing unit. May convert data.
この場合、画像処理部からカメラに向けて制御信号を送りたい場合、画像処理部は、伝送路の途中に使用される他の通信規格の通信(多重通信など)の通信が確立された後に、制御信号を送信する必要がある。例えば、画像処理部からカメラへ制御信号(露光時間を変更する制御信号など)を送信したい場合、他の通信規格の通信が確立される前に送信すると、制御信号は、カメラに到達する前に破棄等される虞がある。その結果、画像処理部は、カメラに対する制御を実行できなくなることが問題となる。 In this case, when it is desired to send a control signal from the image processing unit to the camera, the image processing unit can establish communication of other communication standards (such as multiplex communication) used in the middle of the transmission path, A control signal needs to be transmitted. For example, if it is desired to transmit a control signal (such as a control signal for changing the exposure time) from the image processing unit to the camera, if the control signal is transmitted before communication of another communication standard is established, the control signal is transmitted before reaching the camera. There is a risk of being destroyed. As a result, there is a problem that the image processing unit cannot execute control on the camera.
本発明は、上記した課題に鑑みてなされたもので、画像処理部とカメラとの間を複数の通信規格の通信で接続する画像処理システムであって、画像処理部からカメラに向けて送信する制御信号をより確実に伝送することができる画像処理システム、及び作業機を提供することを目的とする。 The present invention has been made in view of the above-described problems, and is an image processing system that connects an image processing unit and a camera by communication of a plurality of communication standards, and transmits the image processing unit to the camera. An object of the present invention is to provide an image processing system and a work machine that can transmit a control signal more reliably.
本明細書に開示する画像処理システムは、カメラと、カメラと接続され、カメラにより撮像した画像データを入力し、第一通信により画像データを送信する第一通信部と、第一通信により第一通信部から画像データを受信し、第一通信の通信規格とは異なる通信規格の第二通信により伝送可能なデータに画像データを変換して送信する第二通信部と、第二通信により第二通信部から画像データを受信し、受信した画像データを画像処理する画像処理部と、を備え、画像処理部は、第二通信及び第一通信を介してカメラに向けてカメラ用制御信号を送信し、カメラに対する制御を実行するものであり、画像処理部は、第二通信により第二通信部に向けて通信確認用制御信号を送信し、第二通信部から受信した通信確認用制御信号に対する応答の内容に基づいて第一通信が確立されたか否かを判定する通信確立判定処理と、第一通信が確立されたと判定したことに応じて、カメラに向けてカメラ用制御信号を送信する制御信号送信処理と、を実行する。
また、本願に係わる発明は、画像処理システムの発明に限定されることなく、画像処理システムを備え、画像処理部により画像データを画像処理した処理結果に応じた作業を実行する作業機の発明としても実施し得るものである。
An image processing system disclosed in the present specification includes a camera, a first communication unit that is connected to the camera, inputs image data captured by the camera, and transmits the image data through first communication. A second communication unit that receives the image data from the communication unit, converts the image data into data that can be transmitted by the second communication of a communication standard different from the communication standard of the first communication, and transmits the second data by the second communication. An image processing unit that receives image data from the communication unit and performs image processing on the received image data. The image processing unit transmits a camera control signal to the camera via the second communication and the first communication. The image processing unit transmits a communication confirmation control signal to the second communication unit through the second communication, and controls the communication confirmation control signal received from the second communication unit. In response Communication establishment determination processing for determining whether or not the first communication has been established based on the content, and control signal transmission for transmitting the camera control signal to the camera in response to the determination that the first communication has been established. And processing.
Further, the invention according to the present application is not limited to the invention of the image processing system, but includes an image processing system, and an invention of a working machine that executes work according to the processing result obtained by performing image processing on image data by the image processing unit. Can also be implemented.
これによれば、画像処理部は、通信確認用制御信号を第二通信により第二通信部に向けて送信し、第二通信部からの応答の内容に基づいて第一通信の確立を判定する。そして、画像処理部は、第一通信の確立を検出したことに応じて、カメラに向けてカメラ用制御信号を送信し、カメラに対する制御を行う。従って、画像処理部は、第一及び第二通信部の間の第一通信が確実に確立された後に、カメラに向けてカメラ用制御信号を送信する。これにより、画像処理部からカメラに向けて送信するカメラ用制御信号をより確実に伝送することができる。 According to this, the image processing unit transmits the control signal for communication confirmation to the second communication unit by the second communication, and determines the establishment of the first communication based on the content of the response from the second communication unit. . Then, in response to detecting the establishment of the first communication, the image processing unit transmits a camera control signal to the camera and controls the camera. Therefore, the image processing unit transmits the camera control signal to the camera after the first communication between the first and second communication units is reliably established. Thereby, the camera control signal transmitted from the image processing unit to the camera can be transmitted more reliably.
以下、本発明の実施形態について図面を参照して説明する。初めに、本願の画像処理システムを備える作業機の一例として電子部品装着機10について説明する。
(1.電子部品装着機10の構成)
図1に示すように、本実施形態の電子部品装着機(以下、「装着機」と略する場合がある)10は、基板Bdに電子部品を装着する装置である。装着機10は、搬送装置11と、部品供給装置12と、移載装置13と、を備えている。搬送装置11、部品供給装置12、及び移載装置13は、装着機10の基台10aに設けられている。以下の説明では、装着機10の水平幅方向(図1の左右方向)をX軸方向とし、装着機10の水平奥行き方向(図1の上下方向)をY軸方向とし、X軸方向及びY軸方向に垂直な方向をZ軸方向とする。
Embodiments of the present invention will be described below with reference to the drawings. First, the electronic
(1. Configuration of electronic component mounting machine 10)
As shown in FIG. 1, an electronic component mounting machine (hereinafter sometimes abbreviated as “mounting machine”) 10 of the present embodiment is an apparatus for mounting electronic components on a substrate Bd. The
搬送装置11は、ベルトコンベアなどを備え、ベルトコンベアの搬送方向の上流側(例えば、図1の左側)から搬入した基板BdをX軸方向へと搬送し、機内の所定位置に位置決めする。搬送装置11は、位置決めした所定位置での電子部品の装着作業が終了すると、基板Bdを下流側に搬出する。部品供給装置12は、複数のテープフィーダ12aを備え、各テープフィーダ12aから基板Bdに装着する電子部品を供給位置Psに供給する。
The
移載装置13は、ヘッド駆動装置13aと、移動台13bと、を備えている。ヘッド駆動装置13aは、直動機構により移動台13bをXY軸方向に移動させる。ヘッド駆動装置13aには、移動台13bをXY軸方向に移動させるための駆動源としてモータ13c(図2参照)が設けられている。モータ13cは、例えば、回転角度を精度良く制御可能なサーボモータである。また、ヘッド駆動装置13aには、モータ13cの回転位置等を検出するためのエンコーダ13d(図2参照)が設けられている。なお、モータ13cは、サーボモータに限らず、エンコーダ付きのステッピングモータでもよい。
The
移動台13bには、装着ヘッド14が固定されている。装着ヘッド14は、移動台13bの移動とともに、XY軸方向に移動する。また、移動台13bには、マークカメラ15が取り付けられている。マークカメラ15は、基板Bdに設けられたマークや装着後の電子部品を、Z軸方向における上方から撮影するためのカメラである。マークカメラ15は、移載装置13により移動台13bが移動させられることで、基板Bd上の任意の位置の表面を撮像可能となっている。
The mounting
また、装着ヘッド14には、複数の吸着ノズル16が着脱可能に設けられている。各吸着ノズル16は、例えば、正負圧供給装置(図示略)の電磁弁を介して負圧エア、正圧エア通路に通じており、負圧を供給されることにより、テープフィーダ12aの供給位置Psに供給された電子部品を吸着して保持する。また、各吸着ノズル16は、例えば、僅かな正圧が供給されることで保持した電子部品を離脱する。装着ヘッド14には、吸着ノズル16を昇降及び吸着ノズル16をそれの軸心回りに自転させるための駆動源としてモータ14a(図2参照)が設けられている。また、装着ヘッド14には、モータ14aの回転位置等を検出するためのエンコーダ14b(図2参照)が設けられている。
The mounting
また、装着ヘッド14には、パーツカメラ17及び斜視カメラ18が取り付けられている。パーツカメラ17は、吸着ノズル16に吸着保持された電子部品を撮像し、吸着状態の良否を判定するために用いるカメラである。パーツカメラ17は、例えば、吸着ノズル16に吸着保持された電子部品をY軸方向から撮像し、吸着ノズル16の先端及び電子部品の側面を撮像可能となっている。斜視カメラ18は、基板Bdに装着した電子部品の状態を撮像し、搭載の良否を判定するために用いるカメラである。斜視カメラ18は、装着ヘッド14に対して斜め下方を向いた状態で取り付けられ、装着ヘッド14のZ軸方向の位置を調整することで、基板Bdにおける電子部品を装着する装着位置を中心とした一定の範囲を撮像可能となっている。
A
(2.電子部品装着機10の通信の構成)
次に、図2を参照しつつ、装着機10における3つの多重通信装置(固定側多重通信装置22、第一可動側多重通信装置23及び第二可動側多重通信装置24)を用いた画像処理システムについて説明する。図2は、装着機10に適用される画像処理システムの構成を示す模式図である。図2に示すように、装着機10は、制御部21と、固定側多重通信装置22と、第一可動側多重通信装置23と、第二可動側多重通信装置24と、を備えている。制御部21及び固定側多重通信装置22は、装着機10における固定部分、例えば、図1に示すように基台10aに内蔵されている。また、第一可動側多重通信装置23は、装着機10の可動部分、例えば、図1に示すように装着ヘッド14に内蔵されている。また、第二可動側多重通信装置24は、装着機10の可動部分、例えば、図1に示すように移載装置13の移動台13bの下面に設けられている。
(2. Communication configuration of electronic component mounting machine 10)
Next, referring to FIG. 2, image processing using three multiplex communication devices (fixed side
基台10aに設けられた固定側多重通信装置22は、装着ヘッド14に設けられた第一可動側多重通信装置23と、多重通信ケーブル25を介して接続されている。また、固定側多重通信装置22は、移載装置13に設けられた第二可動側多重通信装置24と、多重通信ケーブル26を介して接続されている。多重通信ケーブル25,26は、例えば、柔軟性の高い光ファイバーケーブルである。
The fixed side
固定側多重通信装置22及び第一可動側多重通信装置23は、多重通信ケーブル25を介して、例えば時分割多重化方式(TDM:Time Division Multiplexing)で多重化した多重化データMD1を送受信する。同様に、固定側多重通信装置22及び第二可動側多重通信装置24は、多重通信ケーブル26を介して多重化データMD2を送受信する。固定側多重通信装置22、第一可動側多重通信装置23、及び第二可動側多重通信装置24は、後述する産業用ネットワークの制御データCD、マークカメラ15等の画像情報GI、及びエンコーダ13d,14bのエンコーダ情報EIを、多重化データMD1,MD2に多重化して送受信する。なお、図2に示す多重通信の構成は、一例であり、他の通信形態に変更可能である。
The fixed-side
制御部21は、上記した搬送装置11、移載装置13、装着ヘッド14等の動作を制御する装置である。制御部21は、メインCPU31と、画像処理ボード33(画像処理部)と、アンプ部34と、メモリ35と、を備えている。固定側多重通信装置22は、各種データの多重化・非多重化を行う処理部として第一多重処理部22aを備えている。第一多重処理部22aは、メインCPU31、画像処理ボード33及びアンプ部34と接続されている。また、第一多重処理部22aは、接続情報51a,51bを記憶する第一レジスタ51(第二通信部側記憶部)を備えている。接続情報51aは、多重通信ケーブル25の通信確立の有無を示す情報である。接続情報51bは、多重通信ケーブル26の通信確立の有無を示す情報である。接続情報51a,51bは、例えば、初期値として多重通信の切断状態を示す値が設定される。
The
同様に、第一可動側多重通信装置23は、多重化処理を行う第二多重処理部23aを備えている。第二多重処理部23aは、パーツカメラ17に係わる異常を示す異常情報52a、及び斜視カメラ18に係わる異常を示す異常情報52bを記憶する第二レジスタ52(第一通信部側記憶部)を備えている。第二多重処理部23aは、上記したパーツカメラ17及び斜視カメラ18の他に、装着ヘッド14が備える第一スレーブ14cと接続されている。異常情報52a,52bは、例えば、初期値として異常なしを示す値が設定される。
Similarly, the first movable
同様に、第二可動側多重通信装置24は、多重化処理を行う第三多重処理部24aを備えている。第三多重処理部24aは、マークカメラ15に係わる異常を示す異常情報53aを記憶する第三レジスタ53(第一通信部側記憶部)を備えている。第三多重処理部24aは、上記したマークカメラ15の他に、移載装置13が備える第二スレーブ13eと接続されている。
Similarly, the second movable side
メインCPU31は、画像処理ボード33及びアンプ部34に接続されている。メインCPU31は、メモリ35に記憶されたプログラム等を実行し、画像処理ボード33、及びアンプ部34の動作を制御する。メモリ35は、例えば、ROM(Read only memory)やフラッシュメモリなどにより構成されている。
The
第一〜第三多重処理部22a,23a,24aは、例えば、フィールドプログラマブルゲートアレイ(FPGA)などの論理回路で構築されている。なお、第一〜第三多重処理部22a,23a,24aは、論理回路に限らず、例えば、通信制御に特化した特定用途向け集積回路(ASIC)でもよく、これらの集積回路と論理回路とを組み合わせたものでもよい。
The first to
第一多重処理部22aは、メインCPU31から第一スレーブ14cに向けた制御データCD、画像処理ボード33からパーツカメラ17及び斜視カメラ18に向けた画像情報GI、及びアンプ部34からエンコーダ14bに向けたエンコーダ情報EIを多重化した多重化データMD1を生成する。第一多重処理部22aは、例えば、受信した各データを、受信ポートに対して割り当てた一定時間(タイムスロット)に応じて多重化する。第一多重処理部22aは、多重化データMD1を多重通信ケーブル25を介して第一可動側多重通信装置23の第二多重処理部23aへ送信する。第二多重処理部23aは、多重化データMD1から各データを分離する。第二多重処理部23aは、分離した制御データCDを第一スレーブ14cへ、画像情報GIを対応するカメラ(パーツカメラ17又は斜視カメラ18)へ、エンコーダ情報EIをエンコーダ14bへ送信する。
The first
同様に、第一多重処理部22aは、メインCPU31から第二スレーブ13eに向けた制御データCD、画像処理ボード33からマークカメラ15に向けた画像情報GI、及びアンプ部34からエンコーダ13dに向けたエンコーダ情報EIを多重化した多重化データMD2を生成する。第一多重処理部22aは、多重化データMD2を多重通信ケーブル26を介して第二可動側多重通信装置24の第三多重処理部24aへ送信する。第三多重処理部24aは、多重化データMD1から分離した制御データCDを第二スレーブ13eへ、画像情報GIをマークカメラ15へ、エンコーダ情報EIをエンコーダ13dへ送信する。
Similarly, the first
なお、第二多重処理部23aから第一多重処理部22aへの多重通信、及び第三多重処理部24aから第一多重処理部22aへの多重通信においても、上記した処理と同様の処理がなされる。また、本実施形態の制御データCDは、後述するように、例えば、メインCPU31、第一スレーブ14c、第二スレーブ13e、メインCPU31・・の順に巡回して転送される。この場合、第一多重処理部22aは、装着ヘッド14の第一スレーブ14cから多重通信ケーブル25を介して受信した制御データCDを、多重通信ケーブル26を介して第三多重処理部24aへ転送する。
The same processing is performed in the multiplex communication from the second
次に、各種データ(制御データCD、画像情報GI、及びエンコーダ情報EI)の通信について説明する。なお、固定側多重通信装置22と第二可動側多重通信装置24との通信は、固定側多重通信装置22と第一可動側多重通信装置23との通信と同様であるため、その説明を適宜省略する。
Next, communication of various data (control data CD, image information GI, and encoder information EI) will be described. Note that the communication between the fixed-side
(2−1.制御データCDの通信)
制御部21のメインCPU31は、上記した多重通信を介した産業用ネットワークにおける通信によって、装着ヘッド14の第一スレーブ14c、及び移載装置13の第二スレーブ13eとの間で送受信される制御データCDの伝送を統括的に制御する。従って、メインCPU31は、第一及び第二スレーブ14c,13eに対して、いわゆる産業用ネットワークにおけるマスターとして機能する。第一及び第二スレーブ14c,13eは、制御データCDに基づいた制御を実行する。ここでいう産業用ネットワークとは、例えば、MECHATROLINK(登録商標)−III規格やProfinet(登録商標)規格など、イーサネット(登録商標)規格に準拠した通信方式を用いて制御データCDの伝送を行う、いわゆる産業用イーサネット(登録商標)である。なお、産業用ネットワークは、イーサネット(登録商標)技術を用いないネットワーク、例えば、RS―485規格の通信を用いたMECHATROLINK(登録商標)−II規格でもよい。
(2-1. Communication of control data CD)
The
第一及び第二スレーブ14c,13eは、例えば、フィールドプログラマブルゲートアレイ(FPGA)などの論理回路の構築に使用されるIPコアである。なお、第一及び第二スレーブ14c,13e等は、論理回路に限らず、例えば、ASICでもよい。メインCPU31は、固定側多重通信装置22の第一多重処理部22aと第一配線61を介して接続されている。第一配線61は、例えば、LANケーブルである。
The first and
第一スレーブ14cは、第二配線62(例えば、LANケーブル)を介して第一可動側多重通信装置23の第二多重処理部23aと接続されている。第一スレーブ14cは、メインCPU31から受信した制御データCDに基づいた制御を実行する。第一スレーブ14cは、例えば、制御データCDから読み込んだデータに基づいて、装着ヘッド14(図1参照)が備える各種素子(リレーやセンサなど)を制御する。また、第一スレーブ14cは、各種素子から入力される信号を制御データCDに書き込んでメインCPU31に向けて送信する。この各種素子は、例えば、装着ヘッド14のモータ14aが備えるブレーキ機構の動作を切り替えるリレーである。
The
本実施形態の産業用ネットワークにおいて、例えば、メインCPU31から送信された制御データCDは、第一及び第二スレーブ14c,13eの各々を循環するように伝送される。この場合、第一スレーブ14cからメインCPU31に向けて送信した制御データCDは、第二スレーブ13eを介してメインCPU31へ転送される。この際、第一及び第二スレーブ14c,13eは、制御データCDに対する読み出し処理及び書き込み処理を順番に行いつつ、制御データCDを高速で転送する。
In the industrial network of the present embodiment, for example, the control data CD transmitted from the
(2−2.画像情報GIの通信)
次に、画像処理ボード33とパーツカメラ17との間で送受信される画像情報GIの通信について説明する。なお、画像処理ボード33と斜視カメラ18との間の画像情報GIの通信については、パーツカメラ17の画像情報GIの通信と同様であるため、その説明を省略する。
(2-2. Communication of Image Information GI)
Next, communication of image information GI transmitted and received between the
画像処理ボード33は、上記した多重通信を介して画像情報GIをパーツカメラ17と送受信する。画像処理ボード33は、例えば、画像伝送規格であるカメラリンク(Camera Link(登録商標))規格に準拠したインターフェースを備えるフレームグラバーボードである。画像処理ボード33は、カメラリンク(Camera Link(登録商標))規格に準拠した通信方式でパーツカメラ17と通信を実行する。画像処理ボード33は、固定側多重通信装置22の第一多重処理部22aとカメラリンクケーブル63を介して接続されている。なお、画像伝送規格は、カメラリンク(Camera Link(登録商標))規格に限らず、例えば、GigE-vision(登録商標)規格でもよい。
The
図3は、画像処理ボード33と固定側多重通信装置22の第一多重処理部22aとの接続の構成を示している。図3に示すように、固定側多重通信装置22は、カメラリンクケーブル63を接続するインターフェースとして、画像出力インターフェース71、シリアル通信インターフェース72、及びCC入力インターフェース73を有している。画像処理ボード33と第一多重処理部22aとは、画像情報GIとして画像データGD、制御信号CS(カメラ用制御信号、通信確認用制御信号)、及びカメラコントロール信号CCの伝送を行う。カメラリンクケーブル63は、例えば、これら3つのデータ等(画像データGD、制御信号CS、及びカメラコントロール信号CC)を伝送する配線を一つにまとめた構成(ベース・コンフィグレーション)のケーブルである。
FIG. 3 shows a connection configuration between the
また、パーツカメラ17は、撮像素子(CCDやCMOSなど)及びレンズを備えたカメラヘッドユニットであり、制御部である第二多重処理部23aから分離した、いわゆるヘッド分離型カメラである。パーツカメラ17は、図2に示すように、専用ケーブル64を介して第二多重処理部23aと接続されている。専用ケーブル64は、例えば、フレキシブルプリント基板である。第二多重処理部23aは、パーツカメラ17との間で専用ケーブル64を介して画像データGD等の送受信を実行する。第二多重処理部23aは、例えば、シリアル通信方式の一つであるSPI(Serial Peripheral Interface)通信により、パーツカメラ17と画像データGD等の送受信を実行する。第二多重処理部23aは、例えば、画像処理ボード33から受信したデータを、SPI通信の規格に準拠したデータに変換してパーツカメラ17へ送信する処理を行う。
The
画像処理ボード33は、メインCPU31の制御に基づいて、装着機10の各作業段階でパーツカメラ17による撮像を実行する。画像処理ボード33は、撮像の開始を指示するトリガ信号としてカメラコントロール信号CCをパーツカメラ17に向けて送信する。このカメラコントロール信号CCは、例えば、カメラリンク(Camera Link(登録商標))規格で規定された4つのカメラコントロール用の信号(CC1,CC2,CC3,CC4)のうち、CC1を用いることができる。
The
図3に示すように、画像処理ボード33は、カメラリンクケーブル63を介してCC入力インターフェース73へカメラコントロール信号CCを送信する。第一多重処理部22aは、CC入力インターフェース73を介して受信したカメラコントロール信号CCを、多重通信を介して第二多重処理部23aへ送信する。パーツカメラ17は、第二多重処理部23aから専用ケーブル64を介してカメラコントロール信号CCを受信すると撮像を実行し、撮像した画像データGDを第二多重処理部23aへ出力する。第二多重処理部23aは、パーツカメラ17から入力した画像データGDを画像処理ボード33へ送信する。なお、第二多重処理部23aは、パーツカメラ17から入力した画像データGDをそのまま画像処理ボード33へ送信してもよく、あるいは入力した画像データGDに対して補正処理や二値化処理等を施した後に画像処理ボード33へ送信してもよい。
As shown in FIG. 3, the
画像処理ボード33は、画像出力インターフェース71からカメラリンクケーブル63を介して画像データGDを入力する。画像処理ボード33は、例えば、LVDS(Low Voltage Differential Signaling)技術を用いた画像伝送により画像データGDを画像出力インターフェース71から受信する。画像処理ボード33は、受信した画像データGDに対する画像処理を実行する。画像処理ボード33は、画像データGDを画像処理することによって、基板Bd(図1参照)に関する情報、電子部品の装着位置の誤差等を検出する。
The
また、画像処理ボード33は、制御信号CSによりパーツカメラ17に対する制御を実行する。画像処理ボード33は、例えば、UART(Universal Asynchronous Receiver Transmitter)通信によるシリアル通信をシリアル通信インターフェース72との間で実行し、制御信号CSを送受信する。画像処理ボード33は、UART通信によって制御データCDを第一多重処理部22aへ送信し、パーツカメラ17に対する制御を実行する。この制御信号CSは、例えば、パーツカメラ17のゲイン(増幅率)を変更し感度を調整するための信号である。また、制御信号CSは、例えば、パーツカメラ17の露光時間を変更するための信号である。また、制御信号CSは、例えば、パーツカメラ17の撮像可能な撮像領域のうち、関心領域(ROI:Region of Interest)を設定するための信号である。また、制御信号CSは、例えば、パーツカメラ17が備える照明装置の明るさや点灯時間を変更するための信号である。また、制御信号CSは、例えば、パーツカメラ17が有する補正データ(レンズ歪みを補正するためのデータなど)を、パーツカメラ17から取得するための信号である。なお、制御信号CSを送受信する通信の規格は、UART通信に限らず、他の通信規格でもよい。
Further, the
(2−3.エンコーダ情報EIの通信)
次に、アンプ部34と装着ヘッド14のエンコーダ14bとの間で送受信されるエンコーダ情報EIの通信について説明する。なお、アンプ部34と移載装置13のエンコーダ13dとの間のエンコーダ情報EIの通信については、エンコーダ14bのエンコーダ情報EIの通信と同様であるため、その説明を省略する。
(2-3. Communication of encoder information EI)
Next, communication of encoder information EI transmitted and received between the
図2に示すように、アンプ部34は、上記した多重通信を介してエンコーダ情報EIをエンコーダ14bと送受信する。このエンコーダ情報EIは、例えば、アンプ部34からエンコーダ14bに向けて送信される初期設定の情報やモータ14aの回転位置等を問い合わせる情報である。また、エンコーダ情報EIは、例えば、エンコーダ14bからアンプ部34に向けて送信されるモータ14aの回転位置の情報である。
As shown in FIG. 2, the
アンプ部34は、メインCPU31の制御に基づいて、装着ヘッド14のモータ14aを制御する。アンプ部34は、第三配線65を介して固定側多重通信装置22の第一多重処理部22aと接続されている。また、装着ヘッド14のエンコーダ14bは、第四配線66を介して第一可動側多重通信装置23の第二多重処理部23aと接続されている。従って、アンプ部34は、多重通信を介してエンコーダ情報EIをエンコーダ14bと送受信することが可能となっている。アンプ部34は、例えば、多重通信を介してRS―485規格に準拠した通信をエンコーダ14bと実行し、エンコーダ情報EIの送受信を行う。
The
メインCPU31は、アンプ部34から受信したエンコーダ情報EI(回転位置の情報等)に基づいて、アンプ部34を介してモータ14aに対するフィードバック制御を実行する。モータ14aは、例えば、U相、V相、W相の各相のコイルを有する三相交流で駆動するサーボモータであり、電源線28を介して各相のコイルがアンプ部34に接続されている。モータ14aは、アンプ部34から電源線28を通じて供給される三相交流に応じて駆動する。例えば、メインCPU31は、受信したエンコーダ情報EIに応じたPID制御などフィードバック制御により、アンプ部34からモータ14aに供給する電源電圧のデューティ比などを変更して吸着ノズル16(図1参照)の位置を上昇、あるいは下降させる。
The
上記した本実施形態の装着機10では、各装置間のデータ(制御データCDなど)を多重通信により伝送しながら、基板Bdに対する電子部品の装着作業を行う。制御部21のメインCPU31は、産業用ネットワークによって収集した制御データCD、画像処理ボード33の画像処理の処理結果、アンプ部34によって取得したエンコーダ情報EIを受信する。メインCPU31は、受信した各種のデータ等に基づいて、装着作業における次の制御内容等を決定する。例えば、メインCPU31は、決定した制御内容に基づいて、装着ヘッド14のモータ14aを制御し吸着ノズル16の位置を変更する。
In the mounting
(3.処理動作)
次に、固定側多重通信装置22(第一多重処理部22a)、第一可動側多重通信装置23(第二多重処理部23a)、画像処理ボード33の処理動作について説明する。なお、第二可動側多重通信装置24の処理動作は、第一可動側多重通信装置23の処理動作と同様であるため、その説明を適宜省略する。
(3. Processing operation)
Next, processing operations of the fixed side multiplex communication device 22 (first
(3−1.固定側多重通信装置22及び第一多重処理部22aの処理)
固定側多重通信装置22及び第一多重処理部22aの処理の内容について、図4を参照しつつ説明する。例えば、固定側多重通信装置22は、装着機10の起動にともなって電源を供給されると、図4に示す処理を開始する。
(3-1. Processing of Fixed-side
The processing contents of the fixed-side
まず、図4のステップ(以下、「S」と記載する)11において、固定側多重通信装置22は、起動処理を開始する。固定側多重通信装置22は、起動処理において、例えば、メモリ(図示略)からコンフィグレーションデータを読み出し、FPGA内の回路ブロックとして第一多重処理部22aを構築する処理を開始する(S11)。また、構築された第一多重処理部22aは、起動処理として、第一レジスタ51の初期化処理を実行する(S11)。第一多重処理部22aは、接続情報51a,51bの初期値として、多重通信の切断状態を示す値を設定する。
First, in step (hereinafter referred to as “S”) 11 in FIG. 4, the fixed-side
次に、第一多重処理部22aは、多重通信ケーブル25を介した第二多重処理部23a(第一可動側多重通信装置23)との多重通信の確立処理を実行する(S12)。第一多重処理部22aは、例えば、コンフィギュレーションを完了させ起動すると、起動した旨を通信相手の第二多重処理部23aへ多重通信ケーブル25を介して通知する(S12)。次に、第一多重処理部22aは、多重通信を開始できる旨の応答を第二多重処理部23aから受信したか否かを判定する(S13)。第一多重処理部22aは、第二多重処理部23aから応答があるまで(S13:NO)、S12及びS13の処理を繰り返し実行する。
Next, the first
第一多重処理部22aは、第二多重処理部23aから応答があった、即ち、多重通信が確立されたことに応じて(S13:YES)、通信確立を示す接続情報51aを第一レジスタ51に記憶する(S14)。これにより、接続情報51aは、切断を示す初期値から通信確立を示す値に変更される。なお、第一多重処理部22aは、同様に、第二可動側多重通信装置24の第三多重処理部24aとの多重通信を確立する処理を実行し、通信確立に応じて通信確立を示す接続情報51bを第一レジスタ51に記憶する。
The first
次に、制御部21は、例えば、第一可動側多重通信装置23及び第二可動側多重通信装置24との多重通信を確立した旨を固定側多重通信装置22から受信すると、メモリ35に記憶されたプログラム等を実行し、装着作業を開始する。これにともない、第一多重処理部22aは、多重通信による多重化データMD1の送受信を第二多重処理部23aと開始する(S15)。
Next, for example, when the
第一多重処理部22aは、多重通信を開始すると、第二多重処理部23aから多重通信を介して受信した多重化データMD1に含まれる画像データGD(画像情報GI)に誤りがあるか否かを判定する(S16)。画像データGDの誤り検出は、例えば、送信側の第二多重処理部23aで画像データGDに対して誤り検出符号を付加し、受信側の第一多重処理部22aにおいてその誤り検出符号を用いた演算を実施することで検出することができる。誤り検出符号としては、例えば、CRC(巡回冗長検査)符号を用いることができる。第一多重処理部22aは、例えば、多重化データMD1から非多重化したパーツカメラ17及び斜視カメラ18のそれぞれの画像データGDについて誤りの検出処理を実行する。
When the first
第一多重処理部22aは、画像データGDの誤りがなければ(S16:NO)、後述するS18以降の処理を行う。一方、第一多重処理部22aは、例えば、パーツカメラ17の画像データGDの誤りを検出したことに応じて(S16:YES)、誤りを検出した旨を設定した異常情報52a(第一異常情報)を第二多重処理部23a(第一可動側多重通信装置23)へ送信する(S17)。第一多重処理部22aは、例えば、多重化データMD1に異常情報52aを多重化して第二多重処理部23aへ送信する。同様に、第一多重処理部22aは、斜視カメラ18の画像データGDの誤りを検出したことに応じて(S16:YES)、誤りを検出した旨を設定した異常情報52bを第二多重処理部23aへ送信する(S17)。なお、第一多重処理部22aは、多重化データMD2に多重化されたマークカメラ15の画像データGDの誤りを検出した場合には、異常情報53aを第二可動側多重通信装置24の第三多重処理部24aへ送信する。
If there is no error in the image data GD (S16: NO), the first
次に、S18において、第一多重処理部22aは、多重通信を終了するか否かを判定する。例えば、制御部21のメインCPU31は、装着機10の停止にともなって多重通信を終了する制御を固定側多重通信装置22に対して実行する。第一多重処理部22aは、メインCPU31から多重通信を終了する指示を受けた場合(S18:YES)、多重通信を切断し図4に示す処理を終了する。
Next, in S18, the first
また、第一多重処理部22aは、多重通信を終了する指示を受けていない場合(S18:NO)、S15からの処理を再度実行する。これにより、第一多重処理部22aは、装着作業にともなう多重通信を実行しながら、多重通信で伝送される画像データGDの誤りを検出する処理を適宜実行する。
Moreover, the 1st
(3−2.第一可動側多重通信装置23及び第二多重処理部23aの処理)
次に、第一可動側多重通信装置23及び第二多重処理部23aの処理の内容について、図5を参照しつつ説明する。なお、以下の説明では、上記した固定側多重通信装置22(第一多重処理部22a)の図4に示す処理と同様の処理については、その説明を適宜省略する。
(3-2. Processing of first movable-side
Next, the processing contents of the first movable side
まず、図5のS21において、第一可動側多重通信装置23は、装着機10の起動にともなって起動処理(第二多重処理部23aのコンフィグレーションなど)を開始する。次に、第二多重処理部23aは、第一多重処理部22aと多重通信の確立処理を実行する(S22)。第二多重処理部23aは、例えば、第一多重処理部22aから起動した旨の通知を受信したか否かを判定する(S23)。第二多重処理部23aは、第一多重処理部22aからの通知に応答して多重通信を確立すると(S23:YES)、多重化データMD1の送受信を第一多重処理部22aと開始する(S24)。
First, in S21 of FIG. 5, the first movable-side
第二多重処理部23aは、多重通信を開始すると、パーツカメラ17及び斜視カメラ18の各々に異常が発生しているか否かを判定する(S25)。ここでいうパーツカメラ17等の異常とは、例えば、専用ケーブル64を介して受信した画像データGDの誤りの発生である。あるいは、パーツカメラ17等の異常とは、例えば、画像処理ボード33からトリガ信号(カメラコントロール信号CC)を送信していないにも係わらず、専用ケーブル64に生じた外来ノイズ等によりパーツカメラ17が撮像を行う動作異常である。また、パーツカメラ17等の異常とは、動作異常に限らず、パーツカメラ17の回路の故障等でもよい。
When starting the multiplex communication, the second
第二多重処理部23aは、パーツカメラ17の異常を検出したことに応じて(S25:YES)、検出した異常の内容等を設定した異常情報52aを第二レジスタ52に記憶する(S26)。同様に、第二多重処理部23aは、斜視カメラ18の異常を検出すると(S25:YES)、検出した異常の内容等を設定した異常情報52bを第二レジスタ52に記憶する。これにより、第二レジスタ52には、パーツカメラ17の異常情報52aと、斜視カメラ18の異常情報52bとのそれぞれが記憶される。
In response to detecting the abnormality of the parts camera 17 (S25: YES), the second multiple processing
また、第二多重処理部23aは、パーツカメラ17等の異常を検出しない場合(S25:NO)、第一多重処理部22aから画像データGDの誤りの情報(異常情報52a,52b)を受信したか否かを判定する(S27)。図4のS17において第一多重処理部22aから送信された異常情報52a,52bを受信した場合(S27:YES)、第二多重処理部23aは、画像データGDの誤りを検出した旨を設定した異常情報52a,52bを第二レジスタ52に記憶する(S26)。これにより、第二レジスタ52には、第二多重処理部23aで検出したパーツカメラ17等の異常の情報と、第一多重処理部22aで検出した画像データGDの誤りの情報とが、異常情報52a,52bとしてまとめて記憶される。
In addition, when the second multiple processing
S26を実行した場合、又は第一多重処理部22aから異常情報52a,52bを受信しなかった場合(S27:NO)、第二多重処理部23aは、多重通信を終了するか否かを判定する(S28)。第二多重処理部23aは、多重通信を終了する場合(S28:YES)、多重通信を切断し図5に示す処理を終了する。一方で、第二多重処理部23aは、多重通信を終了しない場合(S28:NO)、S24からの処理を再度実行する。これにより、第二多重処理部23aは、多重通信を実行しながらパーツカメラ17等の異常を検出する処理を適宜実行する。
When S26 is executed, or when the
(3−3.画像処理ボード33の処理)
次に、画像処理ボード33の処理の内容について、図6及び図7を参照しつつ説明する。まず、図6のS30において、画像処理ボード33は、装着機10の起動にともなって起動処理を実行する。画像処理ボード33は、起動処理において、例えば、固定側多重通信装置22の各インターフェース(画像出力インターフェース71など)と通信を開始するための前処理を実行する。
(3-3. Processing of Image Processing Board 33)
Next, the processing contents of the
次に、画像処理ボード33は、UART通信により制御信号CSを第一多重処理部22aに送信し、第一レジスタ51から接続情報51a,51bを取得する処理を実行する(S31)。図7は、制御信号CSのデータ構造の一例を示している。なお、図7は、制御信号CSのうち、レジスタ(第一レジスタ51等)に対する制御に用いるもののみを示している。また、カメラリンク(Camera Link(登録商標))規格で用いられるUART通信のデータ構造は、ベンダー等によって異なっている。このため、図7に示す制御信号CSのデータ構造は、一例であり、特にこのデータ構造に限定されるわけではない。また、図7に示す文字(「CR」、「ACK」や「F」など)は、ASCIIコードで表した文字である。例えば、CRは、キャリッジリターン(十進数表記で「0x0d」)を表している。
Next, the
図7の1列目は、制御信号CSのデータの種類を示している。また、1行目は、何バイト目のデータであるかを示している。例えば、3行目のレジスタへの書き込みデータは、11バイトのデータで構成されている。各データは、1バイト目にデータタイプを示す文字データ(W、ACK、NAK)が設定されている。また、9,10バイト目には、誤り検出符号として、例えば、BCC(Block Check Character)が設定されている。各データの最後には、「CR」コードが設定されている。 The first column in FIG. 7 shows the data type of the control signal CS. The first line indicates how many bytes of data it is. For example, the write data to the register in the third row is composed of 11 bytes of data. In each data, character data (W, ACK, NAK) indicating a data type is set in the first byte. In the 9th and 10th bytes, for example, BCC (Block Check Character) is set as an error detection code. At the end of each data, a “CR” code is set.
また、各データは、2バイト目に制御対象のカメラを識別するためのカメラ番号が設定されている。例えば、本実施形態では、カメラ番号「1」は、パーツカメラ17に対応している。また、カメラ番号「2」は、斜視カメラ18に対応している。また、カメラ番号「3」は、マークカメラ15に対応している。本実施形態では、カメラ番号として0〜3の4つを設定し、制御対象のカメラの台数である3台に比べて多い数を設定している。そして、余ったカメラ番号「0」を、固定側多重通信装置22の第一レジスタ51に対する制御に用いる。
In each data, a camera number for identifying a camera to be controlled is set in the second byte. For example, in the present embodiment, the camera number “1” corresponds to the
画像処理ボード33は、例えば、書き込み制御を行う場合、3行目の書き込みデータの制御信号CSを、UART通信により第一多重処理部22aへ送信する。画像処理ボード33は、書き込みデータの3,4バイト目にレジスタのアドレス値を設定し、5〜8バイト目にレジスタに書き込みたいデータ値を設定する。例えば、第一多重処理部22aは、画像処理ボード33から受信した制御信号CSのカメラ番号に「1」が設定されていた場合、カメラ番号に対応するパーツカメラ17(第一可動側多重通信装置23)へ制御信号CSを転送する。第一可動側多重通信装置23の第二多重処理部23aは、受信した制御信号CSのBCC(パリティビット)に基づいて、誤りの有無を判定する。第二多重処理部23aは、誤りがなければ、制御信号CSの内容に基づいて第二レジスタ52への書き込み処理を行う。第二多重処理部23aは、第二レジスタ52に対して、制御信号CS(書き込みデータ)の3,4バイト目で指定されたアドレスに、5〜8バイト目に設定されたデータを書き込む。第二多重処理部23aは、正常に書き込みが終了すると、正常応答(ACK)を画像処理ボード33へ返信する。また、第二多重処理部23aは、誤りを検出したり、正常に書き込みを完了できなければ、異常応答(NAK)を画像処理ボード33へ返信する。
For example, when performing write control, the
また、画像処理ボード33は、例えば、読み出し制御を行う場合、6行目の読み出しデータの制御信号CSを第一多重処理部22aへ送信する。図6に戻り、S31において、画像処理ボード33は、第一レジスタ51の接続情報51a,51bを読み出す制御信号CS(通信確認用制御信号)を第一多重処理部22aへ送信する。画像処理ボード33は、制御信号CSの2バイト目にカメラ番号として「0」を設定し、3,4バイト目に接続情報51a,51bが記憶された第一レジスタ51のアドレス値を設定する。
For example, when performing read control, the
第一多重処理部22aは、画像処理ボード33から制御信号CS(読み出しデータ)を受信すると、第一レジスタ51から接続情報51a,51bを読み出して画像処理ボード33へ返信する(S31)。第一多重処理部22aは、正常に読み出し処理が終了すると、図7の8行目に示す正常応答(接続情報51a,51b)を画像処理ボード33へ送信する。
When receiving the control signal CS (read data) from the
画像処理ボード33は、図6のS32において、第一多重処理部22aから受信した接続情報51a,51bが多重通信の確立を示す情報であるか否かを判定する(S32)。画像処理ボード33は、第一多重処理部22aから受信した接続情報51a,51bが多重通信の切断状態を示す値であった場合(S32:NO)、即ち、多重通信ケーブル25,26の多重通信が確立されていない場合、S31からの処理を再度実行する。従って、画像処理ボード33は、多重通信が確立されるまで第一レジスタ51の接続情報51a,51bを取得する処理(S31)を繰り返し実行する。
In S32 of FIG. 6, the
なお、画像処理ボード33は、多重通信ケーブル25,26の多重通信の確立を別々に判定してもよい。例えば、画像処理ボード33は、図6に示す処理を、多重通信ケーブル25(第一可動側多重通信装置23)と、多重通信ケーブル26(第二可動側多重通信装置24)とのそれぞれに実行してもよい。この場合、画像処理ボード33は、例えば、多重通信ケーブル25,26のそれぞれの多重通信のうち、一方の多重通信が確立された場合、他方の多重通信に先行して確立した多重通信による制御を実行することが可能となる。
Note that the
画像処理ボード33は、第一多重処理部22aから通信確立を示す接続情報51a,51bを受信した場合(S32:YES)、即ち、多重通信ケーブル25,26の多重通信が確立された場合、パーツカメラ17等に対する制御を開始する(S33)。画像処理ボード33は、例えば、カメラコントロール信号CCを用いてパーツカメラ17に対する撮像指示を行う。また、画像処理ボード33は、制御信号CS(カメラ用制御信号)を用いてパーツカメラ17のゲインを変更する制御を行う。これにより、画像処理ボード33は、多重通信が確実に確立された後に、パーツカメラ17に対する制御信号CSを用いた制御を実行することが可能となる。
The
次に、画像処理ボード33は、第二レジスタ52の異常情報52a,52b及び第三レジスタ53の異常情報53aを読み出す制御を行う(S34)。画像処理ボード33は、図7の6行目に示す制御信号CS(読み出しデータ)を第一多重処理部22aへ送信する。以下の説明では、一例として、パーツカメラ17の異常情報52aを読み出す場合について説明する。画像処理ボード33は、2バイト目にカメラ番号として「1」を設定し、3,4バイト目に異常情報52aが記憶された第二レジスタ52のアドレス値を設定する。
Next, the
第一多重処理部22aは、例えば、画像処理ボード33からカメラ番号「1」を設定した制御信号CSを受信すると、多重通信を介して第二多重処理部23aへ送信する。第二多重処理部23aは、正常に読み出し処理が終了すると、図7の7行目に示す正常応答(異常情報52a)を画像処理ボード33へ返信する。
For example, when receiving the control signal CS in which the camera number “1” is set from the
画像処理ボード33は、図6のS35において、第二多重処理部23aから受信した異常情報52aが画像データGDの誤りを検出した情報であるか否かを判定する(S35)。この画像データGDの誤りを示す異常情報52aは、図4のS16において第一多重処理部22aによって検出され、S17で第二多重処理部23aへ送信された情報である。
In S35 of FIG. 6, the
画像処理ボード33は、画像データGDの誤りを検出した異常情報52aを第二多重処理部23aから受信した場合(S35:YES)、再撮像処理を実行する(S36)。画像処理ボード33は、例えば、受信した異常情報52aを制御部21のメインCPU31へ転送する。メインCPU31は、画像処理ボード33から異常情報52aを受信すると、誤りを検出した画像データGDを撮像可能な位置までパーツカメラ17(装着ヘッド14)を移動させる。画像処理ボード33は、再度、トリガ信号(カメラコントロール信号CC)をパーツカメラ17に送信して再撮像を実行する。これにより、画像処理ボード33は、誤りのない画像データGDをパーツカメラ17から受信することで、適切な画像処理を実行することが可能となる。画像処理ボード33は、S36を実行すると、S39以降の処理を実行する。
When the
また、画像処理ボード33は、第二多重処理部23aから受信した異常情報52aが画像データGDの誤りを検出した情報でなかった場合(S35:NO)、受信した異常情報52aがパーツカメラ17の異常を示す情報であるか否かを判定する(S37)。このパーツカメラ17の異常を示す異常情報52aは、図5のS25において第二多重処理部23aによって検出され、S26で第二レジスタ52に記憶された情報である。
Further, in the
画像処理ボード33は、第二多重処理部23aからパーツカメラ17の異常を示す異常情報52aを受信した場合(S37:YES)、異常の対応処理を実行する(S38)。例えば、画像処理ボード33は、異常情報52aとして、専用ケーブル64における画像データGDの誤りの情報を受信した場合、S36と同様に再撮像処理を実行してもよい(S38)。また、例えば、画像処理ボード33は、異常情報52aとして、パーツカメラ17の故障情報を受信した場合、作業者に対して異常を通知してもよい。これにより、画像処理ボード33は、パーツカメラ17の異常を迅速に検出し、適切な処理を実行することが可能となる。画像処理ボード33は、S38を実行すると、S39以降の処理を実行する。
When the
画像処理ボード33は、第二多重処理部23aから受信した異常情報52aがパーツカメラ17の異常を示す情報でなかった場合(S37:NO)、即ち、パーツカメラ17の画像データGDの誤りがなく、且つパーツカメラ17の異常がなかった場合、S39の処理を実行する。S39において、画像処理ボード33は、画像処理を終了するか否かを判定する。例えば、制御部21のメインCPU31は、装着機10の停止にともなって画像処理を終了する制御を画像処理ボード33に対して実行する。画像処理ボード33は、メインCPU31から画像処理を終了する指示を受けた場合(S39:YES)、図6に示す処理を終了する。また、画像処理ボード33は、画像処理を終了する指示を受けていない場合(S39:NO)、S33からの処理を再度実行する。これにより、画像処理ボード33は、装着作業にともなって各カメラ(パーツカメラ17等)に対する撮像制御を実行しながら、画像データGDの誤りを検出する処理や、パーツカメラ17等の異常を検出する処理を適宜実行する。
When the
(4.実施形態の構成による効果)
上記した実施形態の画像処理システムは、パーツカメラ17(カメラ)と、パーツカメラ17と接続され、パーツカメラ17により撮像した画像データGDを入力し、多重通信(第一通信)により画像データGDを送信する第二多重処理部23a(第一通信部)と、多重通信により第二多重処理部23aから画像データGDを受信し、多重通信(第一通信)の通信規格とは異なる通信規格(カメラリンク規格など)の第二通信により伝送可能なデータに画像データGDを変換して送信する第一多重処理部22a(第二通信部)と、第二通信により第一多重処理部22aから画像データGDを受信し、受信した画像データGDを画像処理する画像処理ボード33(画像処理部)と、を備える。画像処理ボード33は、第二通信及び第一通信を介してパーツカメラ17に向けて制御信号CS(カメラ用制御信号)を送信し、パーツカメラ17に対する制御を実行するものである。画像処理ボード33は、第二通信により第一多重処理部22aに向けて制御信号CS(通信確認用制御信号)を送信し、第一多重処理部22aから受信した制御信号CS(通信確認用制御信号)に対する応答の内容に基づいて第一通信が確立されたか否かを判定する通信確立判定処理(図6のS31,S32)と、第一通信が確立されたと判定したことに応じて、パーツカメラ17に向けて制御信号CS(カメラ用制御信号)を送信する制御信号送信処理(図6のS33)と、を実行する。
(4. Effects of the configuration of the embodiment)
The image processing system of the above-described embodiment is connected to the parts camera 17 (camera) and the
これによれば、画像処理ボード33は、制御信号CSをカメラリンク規格の通信(第二通信)により第一多重処理部22aに向けて送信し、第一多重処理部22aからの応答の内容に基づいて多重通信(第一通信)の確立を判定する。そして、画像処理ボード33は、多重通信の確立を検出したことに応じて、パーツカメラ17に向けて制御信号CSを送信し、パーツカメラ17に対する制御を行う。従って、画像処理ボード33は、第一多重処理部22a及び第二多重処理部23aの間の多重通信が確実に確立された後に、パーツカメラ17に向けて制御信号CSを送信する。これにより、画像処理ボード33からパーツカメラ17に向けて送信する制御信号CSをより確実に伝送することができる。
According to this, the
さらに、第一多重処理部22a(第二通信部)は、第一レジスタ51(第二通信部側記憶部)を備え、多重通信(第一通信)の確立に応じて通信確立を示す接続情報51aを第一レジスタ51に記憶する第一記憶処理(図4のS14)を実行する。画像処理ボード33は、通信確立判定処理において、制御信号CS(通信確認用制御信号)により第一レジスタ51から通信確立を示す接続情報51aを取得したことに応じて、多重通信が確立されたと判定する。
Further, the first
これによれば、第一多重処理部22aは、多重通信(第一通信)の確立に応じて通信確立を示す接続情報51aを第一レジスタ51(第二通信部側記憶部)に記憶する。画像処理ボード33は、例えば、通信確立を示す接続情報51aを取得できるまで、任意のタイミングで制御信号CSを第一多重処理部22a(第二通信部)へ送信する。これにより、通信が確立されると、第一多重処理部22aから画像処理ボード33へ接続情報51aが送信され通信確立が通知される。
According to this, the 1st
さらに、第一多重処理部22a(第二通信部)は、多重通信(第一通信)により第二多重処理部23a(第一通信部)から受信した画像データGDの誤りを検出する誤り検出処理(図4のS16)と、画像データGDの誤りを検出したことを示す異常情報52a(第一異常情報)を、画像処理ボード33へ通知する第一通知処理(図4のS17、図5のS26,S27)と、を実行する。
Further, the first
これによれば、画像処理ボード33は、第一多重処理部22a(第二通信部)を介して接続される多重通信(第一通信)における画像データGDの誤りの発生を、第一多重処理部22aから直接又は間接的に通知される異常情報52a(第一異常情報)により検出できる。その結果、例えば、画像処理ボード33は、画像データGDの誤りの発生に応じて、パーツカメラ17に対し再度の撮像を要求するなど、適切な処理を実行することが可能となる。
According to this, the
さらに、第二多重処理部23a(第一通信部)は、パーツカメラ17の異常を検出する異常検出処理(図5のS25)と、パーツカメラ17の異常を検出したことを示す異常情報52a(第二異常情報)を、画像処理ボード33へ通知する第二通知処理(図5のS26)と、を実行する。
Further, the second
これによれば、画像処理ボード33は、第一多重処理部22a及び第二多重処理部23aを介して接続されるパーツカメラ17の異常を、第二多重処理部23aから直接又は間接的に通知される異常情報52a(第二異常情報)により検出できる。その結果、例えば、画像処理ボード33は、パーツカメラ17の異常の発生に応じて、作業者へ警告を通知するなど、適切な処理を実行することが可能となる。
According to this, the
さらに、第一多重処理部22a(第二通信部)は、第一通知処理において、異常情報52a(第一異常情報)を第二多重処理部23a(第一通信部)へ送信する(図4のS17)。第二多重処理部23a(第一通信部)は、異常情報52a(第二異常情報)を記憶する第二レジスタ52(第一通信部側記憶部)を備え、第一多重処理部22a(第二通信部)から受信した異常情報52a(第一異常情報)を第二レジスタ52(第一通信部側記憶部)に記憶する第二記憶処理(図5のS26,S27)を実行する。画像処理ボード33は、制御信号CS(カメラ用制御信号)により第二レジスタ52(第一通信部側記憶部)から異常情報52a(第一異常情報及び第二異常情報)を取得する取得処理(図6のS34)を実行する。
Furthermore, the first
これによれば、第一多重処理部22aは、多重通信における画像データGDの誤りを検出すると、異常情報52a(第一異常情報)を第二多重処理部23aに送信する。第二多重処理部23aは、第一多重処理部22aから受信した異常情報52a(第一異常情報)を、パーツカメラ17の異常を示す異常情報52a(第二異常情報)を記憶する第二レジスタ52に記憶する。これにより、第二多重処理部23aは、1つのカメラ(パーツカメラ17)に係わる情報として、画像データGDの誤りが発生した異常情報52a(第一異常情報)と、パーツカメラ17の異常を示す異常情報52a(第二異常情報)とを、まとめて第二レジスタ52に記憶して管理できる。そして、画像処理ボード33は、第二レジスタ52から異常情報52a(第一異常情報及び第二異常情報)をまとめて取得することができる。
According to this, when detecting an error in the image data GD in the multiplex communication, the first
さらに、第一通信は、多重通信である。第二多重処理部23aは、画像データGDを含む多重化データMD1を生成し、第一多重処理部22aへ送信する。
Further, the first communication is multiplex communication. The second multiple processing
これによれば、多重通信を用いることで、第一多重処理部22aと第二多重処理部23aとを接続する配線の省配線化を図ることができる。また、画像処理ボード33は、パーツカメラ17に向けて送信する制御信号CS(カメラ用制御信号)を、多重通信が確実に確立した後に送信することができる。
According to this, by using multiplex communication, it is possible to reduce the wiring connecting the first
(5.実施形態の変形態様)
上記実施形態では、本願における第一通信として多重通信を採用したが、これに限らない。第一通信の方式としては、第二通信部(第一多重処理部22a)から画像処理ボード33へ画像データGDを送信する第二通信(カメラリンクの通信など)に比べて、高速な通信、長距離の伝送が可能な通信、耐ノイズ性に優れた通信など、他の通信方式を採用することができる。
(5. Modification of Embodiment)
In the above embodiment, multiplex communication is employed as the first communication in the present application, but the present invention is not limited to this. As a method of the first communication, a high-speed communication compared to the second communication (camera link communication or the like) that transmits the image data GD from the second communication unit (first
図8は、別例の画像処理システム110を示している。なお、以下の説明では、上記実施形態と同様の構成については同一符号を付し、その説明を適宜省略する。図8に示す画像処理ボード133は、メモリ35と、画像処理部201と、光通信インターフェース202(第二通信部)と、を備えている。画像処理部201は、メモリ35に記憶されたプログラム等を実行し、パーツカメラ17に対する制御を実行する。画像処理部201及び光通信インターフェース202は、例えば、画像処理ボード133が有するFPGAの論理回路のブロックで構成されている。光通信インターフェース202は、光モジュール203(第一通信部)と、光ファイバケーブル125を介して接続されている。光モジュール203は、パーツカメラ17とカメラリンクケーブル204を介して接続されている。光通信インターフェース202は、例えば、カメラリンク(Camera Link(登録商標))規格の通信に比べて長距離の伝送を可能とし、耐ノイズ性に優れた「Opt−C:Link(オプト・シー・リンク)(登録商標)」に準拠した通信が可能なインターフェースである。光通信インターフェース202は、カメラリンク(Camera Link(登録商標))規格に準拠したデータを、光ファイバケーブル125により伝送可能なパケットデータPDに変換し、光モジュール203と送受信する。
FIG. 8 shows another example of the
この画像処理システム110では、画像処理部201とパーツカメラ17との間で送受信されるカメラリンク規格のデータ(画像データGD、制御信号CS及びカメラコントロール信号CC)を、一旦、オプト・シー・リンク規格のパケットデータPDに変換する。これにより、カメラリンク規格の通信に比べて長距離の通信が可能となっている。
In this
この場合、例えば、光通信インターフェース202は、光モジュール203との光通信の確立に応じて、光通信インターフェース202の第一レジスタ51に、通信確立を示す接続情報51aを記憶する。画像処理部201は、UART通信により制御信号CS(通信確認用制御信号)を光通信インターフェース202に送信して接続情報51aの取得を実行する。画像処理部201は、通信確立を示す接続情報51aを取得すると、制御信号CS(カメラ用制御信号)やカメラコントロール信号CCによるパーツカメラ17への制御を開始する。これにより、画像処理部201は、上記実施形態と同様に、光通信が確実に確立された後に、制御信号CSによる制御を実行することが可能となる。
In this case, for example, the
また、上記実施形態において、第一多重処理部22a(第二通信部)は、第一レジスタ51に記憶した接続情報51aを画像処理ボード33に取得させることで、画像処理ボード33へ多重通信の確立を間接的に通知していたが、これに限らない。例えば、第一多重処理部22aは、多重通信の確立を示す接続情報51aを、画像処理ボード33に直接送信してもよい。この場合、第一多重処理部22aは、第一レジスタ51を備えなくともよい。同様に、第二多重処理部23aは、異常情報52aを画像処理ボード33へ送信してパーツカメラ17の異常を直接通知してもよい。
また、第一多重処理部22aは、多重通信(第一通信)における画像データGDの誤り検出処理を実行しなくともよい。
また、第二多重処理部23aは、パーツカメラ17等の異常の検出処理を実行しなくともよい。
In the above embodiment, the first
Further, the first
Further, the second multiple processing
また、多重通信は、有線通信に限らず、無線通信でもよい。
また、上記実施形態では、本願における作業機として、電子部品を基板Bdに装着する電子部品装着機10を採用した例について説明したが、本願における作業機はこれに限定されるものではなく、半田印刷装置などの基板Bdに作業を行う他の作業機を採用することができる。また、作業機としては、対基板作業に限らず、切削作業や二次電池(太陽電池や燃料電池など)等の組立て作業を実施する作業機を採用してもよい。
The multiplex communication is not limited to wired communication, and may be wireless communication.
In the above-described embodiment, the example in which the electronic
10:電子部品装着機(作業機)、15:マークカメラ(カメラ)、17:パーツカメラ(カメラ)、18:斜視カメラ(カメラ)、22a:第一多重処理部(第二通信部)、23a:第二多重処理部(第一通信部)、24a:第三多重処理部(第一通信部)、33,133:画像処理ボード(画像処理部)、51:第一レジスタ(第二通信部側記憶部)、51a,51b:接続情報、52:第二レジスタ(第一通信部側記憶部)、52a,52b,53a:異常情報(第一異常情報,第二異常情報)、53:第三レジスタ(第一通信部側記憶部)、110:画像処理システム、CS:制御信号(カメラ用制御信号、通信確認用制御信号)、GD:画像データ、MD1,MD2:多重化データ。 10: Electronic component mounting machine (work machine), 15: Mark camera (camera), 17: Parts camera (camera), 18: Perspective camera (camera), 22a: First multiple processing section (second communication section), 23a: second multiple processing unit (first communication unit), 24a: third multiple processing unit (first communication unit), 33, 133: image processing board (image processing unit), 51: first register (first) (Second communication unit side storage unit), 51a, 51b: connection information, 52: second register (first communication unit side storage unit), 52a, 52b, 53a: abnormality information (first abnormality information, second abnormality information), 53: third register (first communication unit side storage unit), 110: image processing system, CS: control signal (camera control signal, communication confirmation control signal), GD: image data, MD1, MD2: multiplexed data .
Claims (7)
前記カメラと接続され、前記カメラにより撮像した画像データを入力し、第一通信により前記画像データを送信する第一通信部と、
前記第一通信により前記第一通信部から前記画像データを受信し、前記第一通信の通信規格とは異なる通信規格の第二通信により伝送可能なデータに前記画像データを変換して送信する第二通信部と、
前記第二通信により前記第二通信部から前記画像データを受信し、受信した前記画像データを画像処理する画像処理部と、を備え、
前記画像処理部は、前記第二通信及び前記第一通信を介して前記カメラに向けてカメラ用制御信号を送信し、前記カメラに対する制御を実行するものであり、
前記画像処理部は、
前記第二通信により前記第二通信部に向けて通信確認用制御信号を送信し、前記第二通信部から受信した前記通信確認用制御信号に対する応答の内容に基づいて前記第一通信が確立されたか否かを判定する通信確立判定処理と、
前記第一通信が確立されたと判定したことに応じて、前記カメラに向けて前記カメラ用制御信号を送信する制御信号送信処理と、
を実行する、画像処理システム。 A camera,
A first communication unit that is connected to the camera, inputs image data captured by the camera, and transmits the image data by first communication;
The image data is received from the first communication unit by the first communication, and the image data is converted into data that can be transmitted by second communication of a communication standard different from the communication standard of the first communication. Two communication departments;
An image processing unit that receives the image data from the second communication unit by the second communication and performs image processing on the received image data;
The image processing unit transmits a camera control signal to the camera via the second communication and the first communication, and executes control on the camera.
The image processing unit
The communication confirmation control signal is transmitted to the second communication unit by the second communication, and the first communication is established based on the content of the response to the communication confirmation control signal received from the second communication unit. Communication establishment determination processing for determining whether or not
In response to determining that the first communication has been established, a control signal transmission process for transmitting the camera control signal toward the camera;
Execute the image processing system.
第二通信部側記憶部を備え、
前記第一通信の確立に応じて通信確立を示す接続情報を前記第二通信部側記憶部に記憶する第一記憶処理を実行し、
前記画像処理部は、
前記通信確立判定処理において、前記通信確認用制御信号により前記第二通信部側記憶部から通信確立を示す前記接続情報を取得したことに応じて、前記第一通信が確立されたと判定する、請求項1に記載の画像処理システム。 The second communication unit is
A second communication unit side storage unit,
Executing a first storage process for storing connection information indicating communication establishment in the second communication unit side storage unit in response to the establishment of the first communication;
The image processing unit
In the communication establishment determination process, it is determined that the first communication has been established in response to obtaining the connection information indicating communication establishment from the second communication unit side storage unit by the communication confirmation control signal. Item 8. The image processing system according to Item 1.
前記第一通信により前記第一通信部から受信した前記画像データの誤りを検出する誤り検出処理と、
前記画像データの誤りを検出したことを示す第一異常情報を、前記画像処理部へ通知する第一通知処理と、
を実行する、請求項1又は2に記載の画像処理システム。 The second communication unit is
An error detection process for detecting an error in the image data received from the first communication unit by the first communication;
A first notification process for notifying the image processor of first abnormality information indicating that an error in the image data has been detected;
The image processing system according to claim 1 or 2, wherein:
前記カメラの異常を検出する異常検出処理と、
前記カメラの異常を検出したことを示す第二異常情報を、前記画像処理部へ通知する第二通知処理と、
を実行する、請求項3に記載の画像処理システム。 The first communication unit is
An abnormality detection process for detecting an abnormality of the camera;
A second notification process for notifying the image processing unit of second abnormality information indicating that the abnormality of the camera has been detected;
The image processing system according to claim 3, wherein:
前記第一通信部は、
前記第二異常情報を記憶する第一通信部側記憶部を備え、
前記第二通信部から受信した前記第一異常情報を前記第一通信部側記憶部に記憶する第二記憶処理を実行し、
前記画像処理部は、前記カメラ用制御信号により前記第一通信部側記憶部から前記第一異常情報及び前記第二異常情報を取得する取得処理を実行する、請求項4に記載の画像処理システム。 The second communication unit transmits the first abnormality information to the first communication unit in the first notification process,
The first communication unit is
A first communication unit side storage unit for storing the second abnormality information;
Executing a second storage process for storing the first abnormality information received from the second communication unit in the first communication unit side storage unit;
The image processing system according to claim 4, wherein the image processing unit executes an acquisition process of acquiring the first abnormality information and the second abnormality information from the first communication unit-side storage unit according to the camera control signal. .
前記第一通信部は、前記画像データを含む多重化データを生成し、前記第二通信部へ送信する、請求項1乃至5の何れか一項に記載の画像処理システム。 The first communication is multiplex communication,
The image processing system according to claim 1, wherein the first communication unit generates multiplexed data including the image data and transmits the multiplexed data to the second communication unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187496A JP6744795B2 (en) | 2016-09-26 | 2016-09-26 | Image processing system and work machine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187496A JP6744795B2 (en) | 2016-09-26 | 2016-09-26 | Image processing system and work machine |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018056661A true JP2018056661A (en) | 2018-04-05 |
JP6744795B2 JP6744795B2 (en) | 2020-08-19 |
Family
ID=61833109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016187496A Active JP6744795B2 (en) | 2016-09-26 | 2016-09-26 | Image processing system and work machine |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6744795B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07298256A (en) * | 1994-04-25 | 1995-11-10 | Sony Corp | Television image data transmitter and its method |
JP2001156801A (en) * | 1999-11-30 | 2001-06-08 | Omron Corp | Management station, node, and processing method for node |
JP2002111720A (en) * | 2000-09-26 | 2002-04-12 | Hitachi Kokusai Electric Inc | Data transmission system |
WO2015052843A1 (en) * | 2013-10-11 | 2015-04-16 | 富士機械製造株式会社 | Multiplexing communication system and substrate processing machine |
-
2016
- 2016-09-26 JP JP2016187496A patent/JP6744795B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07298256A (en) * | 1994-04-25 | 1995-11-10 | Sony Corp | Television image data transmitter and its method |
JP2001156801A (en) * | 1999-11-30 | 2001-06-08 | Omron Corp | Management station, node, and processing method for node |
JP2002111720A (en) * | 2000-09-26 | 2002-04-12 | Hitachi Kokusai Electric Inc | Data transmission system |
WO2015052843A1 (en) * | 2013-10-11 | 2015-04-16 | 富士機械製造株式会社 | Multiplexing communication system and substrate processing machine |
Also Published As
Publication number | Publication date |
---|---|
JP6744795B2 (en) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6319749B2 (en) | Board work machine | |
JP6400831B2 (en) | Multiplexed communication system and work machine | |
JPWO2017187527A1 (en) | Board work machine | |
WO2016088214A1 (en) | Multiplex communication system and work machine | |
JP2018042128A (en) | Multiplex communication device and work machine | |
JP2007226704A (en) | Control system for production equipment, and control management system for production equipment | |
JP6744795B2 (en) | Image processing system and work machine | |
JP6824398B2 (en) | Image processing equipment, multiplex communication system and image processing method | |
JP6615032B2 (en) | Switching device | |
JP6779386B2 (en) | How to switch connections between multiplex devices, robots, and multiplex devices | |
JP6607818B2 (en) | Multiplexed communication system and work machine | |
JP6615018B2 (en) | Multiplexed communication system and work machine | |
US10771672B2 (en) | Detachable-head-type camera and work machine | |
JP6539550B2 (en) | Multiplex communication system and image transmission method | |
JP6764943B2 (en) | Board work system | |
JP6905976B2 (en) | Anti-board work machine | |
WO2022259456A1 (en) | Optical multiplex communication device, work machine, and communication method | |
JP5934938B2 (en) | Component mounter and component mounter control method | |
JPWO2020100254A1 (en) | Work machine and work system | |
WO2024150409A1 (en) | Image data transmission system, substrate working machine, and image data transmission method | |
WO2023105619A1 (en) | Component mounting machine and method for manufacturing board | |
JP6037106B2 (en) | Component mounter and component mounter control method | |
JP2018056697A (en) | Multiplex communication device, multiplex communication system, and work machine | |
JP2019194635A (en) | Accessory device, imaging device, program for accessory device, and program for imaging device | |
JP2013030945A (en) | Photographic lens unit and operation control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6744795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |