[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117640879A - 压力机及压力机的图像监视方法 - Google Patents

压力机及压力机的图像监视方法 Download PDF

Info

Publication number
CN117640879A
CN117640879A CN202310931973.6A CN202310931973A CN117640879A CN 117640879 A CN117640879 A CN 117640879A CN 202310931973 A CN202310931973 A CN 202310931973A CN 117640879 A CN117640879 A CN 117640879A
Authority
CN
China
Prior art keywords
image
monitoring
monitoring target
still
slider
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310931973.6A
Other languages
English (en)
Inventor
原田康宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aida Engineering Ltd
Original Assignee
Aida Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aida Engineering Ltd filed Critical Aida Engineering Ltd
Publication of CN117640879A publication Critical patent/CN117640879A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B30—PRESSES
    • B30B—PRESSES IN GENERAL
    • B30B15/00—Details of, or accessories for, presses; Auxiliary measures in connection with pressing
    • B30B15/14—Control arrangements for mechanically-driven presses
    • B30B15/148—Electrical control arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B30—PRESSES
    • B30B—PRESSES IN GENERAL
    • B30B1/00—Presses, using a press ram, characterised by the features of the drive therefor, pressure being transmitted directly, or through simple thrust or tension members only, to the press ram or platen
    • B30B1/26—Presses, using a press ram, characterised by the features of the drive therefor, pressure being transmitted directly, or through simple thrust or tension members only, to the press ram or platen by cams, eccentrics, or cranks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B30—PRESSES
    • B30B—PRESSES IN GENERAL
    • B30B15/00—Details of, or accessories for, presses; Auxiliary measures in connection with pressing
    • B30B15/26—Programme control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B30—PRESSES
    • B30B—PRESSES IN GENERAL
    • B30B15/00—Details of, or accessories for, presses; Auxiliary measures in connection with pressing
    • B30B15/28—Arrangements for preventing distortion of, or damage to, presses or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Control Of Presses (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Presses And Accessory Devices Thereof (AREA)

Abstract

本发明提供一种仅通过图像数据就可进行图像监视的压力机。所述压力机包括：存储部，其存储由配置在可对冲压模具区域进行拍摄的位置上的摄像部拍摄到的动态图像数据；图像提取部，其以图像中的滑块的位置或被加工材料的状态为基准，从构成动态图像数据的静止图像群中提取监视对象图像；以及图像监视部，其基于监视对象图像进行图像监视，输出监视结果。

Description

压力机及压力机的图像监视方法
技术领域
本发明涉及一种压力机及压力机的图像监视方法。
背景技术
作为压力机上的图像监视例，专利文献1公开了一种发明，其根据由测距装置生成的距离数据，生成从拍摄图像切出注视物体的注视图像，并输出给用户可使用的机器。再有，专利文献2公开了一种发明，其在注射成形机中，在模具开模的定时或成形品被取出的定时进行拍摄并与基准图像进行比较。
现有技术文献
专利文献
【专利文献1】日本专利公表2022-51155号公报
【专利文献2】日本专利公开2021-41454号公报
发明内容
发明要解决的技术问题
专利文献1所记载的发明是由于仅通过摄像装置会有较多干扰因而组合测距装置的发明，并不是仅通过拍摄图像进行监视。再有，专利文献2所记载的发明也是基于执行注射成型机的开模的控制器的信息来执行拍摄的发明，并不是仅通过拍摄图像进行监视。
本发明是鉴于以上这样的课题而完成的，其目的在于提供一种仅通过图像数据就可进行图像监视的压力机以及压力机的图像监视方法。
解决技术问题的手段
(1)本发明涉及的压力机，是将电机的旋转变换为滑块的往返直线运动而对被加工材料进行冲压加工的压力机，其特征在于，包括：存储部，其存储由配置在可对冲压模具区域进行拍摄的位置上的摄像部拍摄到的动态图像数据；图像提取部，其以图像中的所述滑块的位置或所述被加工材料的状态为基准，从构成所述动态图像数据的静止图像群中提取监视对象图像；以及图像监视部，其基于所述监视对象图像进行图像监视，输出监视结果。
再有，本发明涉及的压力机的图像监视方法，是将电机的旋转变换为滑块的往返直线运动而对被加工材料进行冲压加工的压力机的图像监视方法，其特征在于，包括：存储步骤，存储由配置在可对冲压模具区域进行拍摄的位置上的摄像部所拍摄到的动态图像数据；图像提取步骤，以图像中的所述滑块的位置或所述被加工材料的状态为基准，从构成所述动态图像数据的静止图像群中提取监视对象图像；以及图像监视步骤，基于所述监视对象图像进行图像监视，输出监视结果。
采用本发明，由于以图像中的滑块的位置或被加工材料的状态为基准，从构成动态图像数据的静止图像群中提取监视对象图像，因此仅通过图像数据(不使用控制器的信息)就可提取冲压生产中的各周期中同一定时的图像来进行图像监视。
(2)在本发明涉及的压力机中，所述图像提取部也可从所述静止图像群中提取所述滑块的位置相同的静止图像作为所述监视对象图像。
在本发明涉及的压力机的图像监视方法中，也可在所述图像提取步骤中，从所述静止图像群中提取所述滑块的位置相同的静止图像作为所述监视对象图像。
(3)在本发明涉及的压力机中，所述图像提取部也可从所述静止图像群中提取所述被加工材料静止的定时的静止图像作为所述监视对象图像。
在本发明涉及的压力机的图像监视方法中，也可在所述图像提取步骤中，从所述静止图像群中提取所述被加工材料静止的定时的静止图像作为所述监视对象图像。
(4)在本发明涉及的压力机中，所述图像监视部也可设置所述监视对象图像中与加工所述被加工材料的区域对应的监视对象区域，进行所述监视对象区域的图像监视。
在本发明涉及的压力机的图像监视方法中，也可在所述图像监视步骤中，设置所述监视对象图像中与加工所述被加工材料的区域对应的监视对象区域，进行所述监视对象区域的图像监视。
根据本发明，通过对监视对象图像中的一部分区域(监视对象区域)进行图像监视，可减轻图像监视相关的处理负担。
(5)在本发明涉及的压力机中，所述图像监视部也可将从在有所述被加工材料的状态下拍摄到的所述动态图像数据的所述静止图像群中提取出的所述监视对象图像，与从在没有所述被加工材料的状态下拍摄到的所述动态图像数据的所述静止图像群中提取的所述监视对象图像进行比较，以此来设置所述监视对象区域。
在本发明涉及的压力机的图像监视方法中，也可在所述图像监视步骤中，将从在有所述被加工材料的状态下拍摄到的所述动态图像数据的所述静止图像群中提取出的所述监视对象图像，与从在没有所述被加工材料的状态下拍摄的所述动态图像数据的所述静止图像群中提取的所述监视对象图像进行比较，以此来设置所述监视对象区域。
采用本发明，可自动设置作为对被加工材料进行加工的区域的监视对象区域。
(6)在本发明涉及的压力机中，所述图像监视部也可使用对预先在正常运转时取得的所述监视对象图像进行机器学习而生成的学习模型，将监视时取得的所述监视对象图像的与学习时的相似度作为所述监视结果输出。
在本发明涉及的压力机的图像监视方法中，也可在所述图像监视步骤中，使用对预先在正常运转时取得的所述监视对象图像进行机器学习而生成的学习模型，将监视时取得的所述监视对象图像的与学习时的相似度作为所述监视结果输出。
(7)在本发明涉及的压力机中，所述图像监视部也可使用对预先在正常运转时取得的所述监视对象图像的前后帧的静止图像分别进行机器学习而生成的各学习模型，将监视时取得的所述监视对象图像的前后帧的静止图像的与学习时的相似度作为所述监视结果输出。
在本发明涉及的压力机的图像监视方法中，也可在所述图像监视步骤中，使用对预先在正常运转时取得的所述监视对象图像的前后帧的静止图像分别进行机器学习而生成的各学习模型，将监视时取得的所述监视对象图像的前后帧的静止图像的与学习时的相似度作为所述监视结果输出。
附图说明
图1是示出本实施方式涉及的压力机的结构的一个例子的图。
图2是示出监视装置的处理流程的流程图。
图3是示出从静止图像群中选择的监视对象图像的一个例子的图。
图4是示出监视对象区域的设置例的图。
图5是示出监视结果的显示例的图。
图6是示出基准监视区域的设置例的图。
图7是示出以被加工材料的状态为基准提取监视对象图像时的监视结果的显示例的图。
图8是示出使用监视对象图像的前后帧的静止图像进行学习、监视时的监视结果的显示例的图。
具体实施方式
以下参照附图对本发明的实施方式进行详细说明。
图1是示出本实施方式涉及的压力机(伺服压力机)的结构的一个例子的图。压力机1通过将旋转运动变换为直线运动的偏心机构将伺服电机10的旋转变换为滑块17的上下往返运动(往返直线运动、升降运动)，利用滑块17的上下往返运动对被加工材料实施冲压加工。压力机1具有：伺服电机10、编码器11、驱动轴12、驱动齿轮13、主齿轮14、曲轴15、连杆16、滑块17、垫板18、摄像部22、控制装置30、监视装置100、用户界面110(操作部)、显示器120(显示部)、存储部130。压力机不限于伺服压力机，例如可以是使用飞轮的机械压力机，也可以是使用滚珠丝杠的直动式压力机。在这种情况下，编码器可以设置在曲轴15的轴端或滚珠丝杠的轴端。
驱动轴12与伺服电机10的旋转轴连接，驱动齿轮13与驱动轴12连接。主齿轮14与驱动齿轮13啮合，曲轴15与主齿轮14连接，连杆16与曲轴15连接。驱动轴12或曲轴15等的旋转轴由适当设置的轴承(未图示)支承。由曲轴15和连杆16形成偏心机构。通过该偏心机构，与连杆16连接的滑块17可相对于静止侧的垫板18升降。在滑块17上安装有一个或多个上模具20，在垫板18上安装有一个或多个下模具21。
摄像部22是由光学透镜和CCD/CMOS图像传感器等构成的可进行视频摄影的数码相机，配置在能够对冲压模具区域进行拍摄的位置。冲压模具区域是设置在滑块17和垫板18之间的上模具20和下模具21的安装区域，视频的摄影对象包括滑块17、垫板18、上模具20、下模具21、被加工材料、运输装置、加工区域等。由摄像部22所拍摄的动态图像被输出到监视装置100，作为动态图像数据存储在存储部130中。
控制装置30根据存储在存储部中的规定的滑块运动控制滑块17的升降运动。作为一个例子，控制装置30由PLC，伺服控制器和伺服放大器等控制设备构成。更具体而言，控制装置30根据滑块运动规定的滑块17的位置或速度的指令而计算电机旋转位置指令值，基于旋转位置指令，进行伺服电机10的旋转位置、旋转速度及电流的控制。伺服电机10的旋转位置由安装在伺服电机10上的编码器11检测。
再有，控制装置30控制将被加工材料运输到下一工序的运输装置(省略图示)的动作。运输装置例如是转移供料器，具有由伺服电机(省略图示)驱动的一对转移杆(省略图示)。在转移杆上设置有用于夹紧被加工材料的指部(省略图示)。转移杆通过伺服电机进行夹紧动作(沿Y轴方向移动而将指部装设在被加工材料上的动作)、提升动作(Z轴方向的上升动作)、推进动作(X轴方向的去路移动动作)、下降动作(Z轴方向的下降动作)、松开动作(沿Y轴方向移动而使指部从被加工材料脱离的动作)、返回动作(X轴方向的回路移动动作)。转移杆也可使夹紧动作和提升动作、提升动作和推进动作、推进动作和下降动作、下降动作和松开动作、松开动作和返回动作、以及返回动作和夹紧动作一边各自部分重复(重叠)一边进行动作。另外，运输装置也可以是将片状的被加工材料向下一工序送出的辊式供料器(进给装置)。控制装置30一边根据与主相位信号同步的冲压用单独相位信号控制滑块17的动作，一边根据与主相位信号同步的转移用单独相位信号控制转移供料器的动作。即转移供料器与滑块17的动作同步动作。
作为监视装置100的一个例子，其是由包括处理器的工业用PC(IPC：IndustrialPC)、微型计算机和IC等构成的控制基板等，包括图像提取部101和图像监视部102。图像提取部101以图像中的滑块17的位置或被加工材料的状态为基准，从构成存储在存储部130中的动态图像数据的静止图像群(逐帧放送图像)中提取监视对象图像。图像提取部101可以从静止图像群中提取滑块17的位置相同的静止图像作为监视对象图像，也可以从静止图像群中提取在被加工材料静止的定时拍摄的静止图像作为监视对象图像。
图像监视部102基于监视对象图像进行图像监视，将监视结果(表示监视结果的图像等)输出到显示器120。例如，图像监视部102使用对从构成预先在正常运转时取得(拍摄)的动态图像数据的静止图像群中提取的监视对象图像进行机器学习而生成的学习模型，将从构成监视时取得的动态图像数据的静止图像群中提取的监视对象图像的与学习时(正常运转时)的相似度作为监视结果输出。再有，图像监视部102也可以设置监视对象图像中的与加工被加工材料的区域对应的监视对象区域，进行所设置的监视对象区域的图像监视。
图2是示出监视装置100的处理流程的流程图。在生产运转开始后，监视装置100取得由摄像部22拍摄并存储在存储部130中的动态图像数据(学习用的动态图像数据)(步骤S10)。接着，监视装置100在显示器120上显示构成所取得的动态图像数据的静止图像群的一部分(步骤S11)。此处，显示至少一个周期的量的静止图像群。一个周期的量的静止图像群，是指在曲柄旋转一周的期间(滑块往返一次的期间)内拍摄的静止图像群。接着，监视装置100接收从显示在显示器120上的静止图像群中选择一个静止图像的操作(用户对用户界面110的操作)，将通过该操作选择的静止图像设置为监视对象图像(步骤S12)。
图3示出从静止图像群SI中选择的监视对象图像MI的一个例子。此处，示出了摄像部22配置在可从压力机后侧的斜上方拍摄冲压模具区域内的3个加工区域的位置处的情况的例子。在监视对象图像MI中，拍摄有由滑块17、位于第1加工区域的上模具20a及下模具21a、位于第2加工区域的上模具20b及下模具21b、位于第3加工区域的上模具20c及下模具21c、分别在第1～第3加工区域中进行加工的材料M。再有，在监视对象图像MI中，拍摄有构成作为运输装置的转移供料器的一对转移杆40和设置在转移杆40上的指部41a、41b、41c。在加工前形成圆盘状的材料M由指部41a从上游侧运输到第1加工区域，在利用上模具20a及下模具21a的加工后，由指部41b运输到第2加工区域，在利用上模具20b及下模具21b的加工后，由指部41c运输到第3加工区域，在利用上模具20c及下模具21c的加工后，由未图示的指部运输到下游侧。在该例中，从静止图像群SI中，选择在滑块17的下降中且在通过转移给料器进行的运输完成了(下降动作结束，材料M被放置在下模具上，指部通过松开动作离开材料M)的定时拍摄到的静止图像，作为监视对象图像MI。
接着，监视装置100接收在监视对象图像中指定一个或多个监视对象区域的操作(用户对用户界面110的操作)，将由该操作指定的区域设置为监视对象区域(步骤S13)。用户可以任意指定监视对象区域的个数和各个监视对象区域的位置、大小。在图4所示例子中，在监视对象图像MI中，将第1加工区域(包括下模具21a上的材料M的区域)设置为监视对象区域MA1，将第2加工区域(包括下模具21b上的材料M的区域)设置为监视对象区域MA2，将第3加工区域(包括下模具21c上的材料M的区域)设置为监视对象区域MA3。
监视装置100检测在步骤S12中设置的监视对象图像MI中的滑块17的位置并存储在存储部130中。例如，检测监视对象图像MI左端的滑动下端的位置(滑块位置SP)，将其坐标作为监视对象图像MI的滑块位置存储在存储部130中。由于滑块17以特定的颜色进行涂装，所以通过检测滑块涂装颜色与背景的边界，能够检测滑块位置SP。再有，根据监视对象图像MI前后帧的静止图像中的滑块位置来判断滑块17的移动方向，将判断结果作为监视对象图像MI的滑块移动方向存储在存储部130中。如果监视对象图像MI前一帧的静止图像中的滑块位置比监视对象图像MI中的滑块位置SP更靠上方，监视对象图像MI后一帧的静止图像中的滑块位置比监视对象图像MI中的滑动位置SP更靠下方的话，则可判断为滑块移动方向为下方(下降中)，而如果监视对象图像MI前一帧的静止图像中的滑块位置比监视对象图像MI中的滑块位置SP更靠下方，监视对象图像MI后一帧的静止图像中的滑块位置比监视对象图像MI中的滑块位置SP更靠上方的话，则可判断为滑块移动方向为上方(上升中)。这些滑块位置SP和滑块移动方向是学习、监视时在提取监视对象图像时的基准。
再有，监视装置100将在步骤S13中设置的各监视对象区域的坐标存储在存储部130中。此处，也可以不依赖用户的操作而自动地进行监视对象图像MI中的监视对象区域的设置。例如，在设置了监视对象图像MI之后，进行不运输被加工材料的空冲运转，从构成此时拍摄到的动态图像数据的静止图像群中提取滑块位置及滑块移动方向与监视对象图像MI相同的静止图像，将提取出的静止图像(从在没有被加工材料的状态下拍摄到的动态图像数据的静止图像群中提取出的监视对象图像)，与监视对象图像MI(从在有被加工材料的状态下拍摄到的动态图像数据的静止图像群中提取出的监视对象图像)进行比较。提取出的静止图像和监视对象图像MI两者存在差异(差异度为规定的阈值以上、相似度为规定的阈值以下)的区域为放置材料的区域(加工区域)，因此可将该区域设置为监视对象区域。
接着，图像提取部101检测构成学习用的动态图像数据的静止图像群的各静止图像各自的滑块位置和滑块移动方向，从该静止图像群中，提取滑块位置及滑块移动方向与在步骤S12中设置的监视对象图像MI相同的静止图像，作为学习用的监视对象图像(步骤S14)。在图3所示的监视对象图像的设置的例子中，提取在滑块17下降中且在转移供料器进行的运输完成了的定时的各周期的静止图像作为学习用的监视对象图像。
接着，监视装置100对在步骤S14中提取出的监视对象图像中的各监视对象区域进行机器学习，针对每个监视对象区域生成学习模型，并将各学习模型存储在存储部130中(步骤S15)。在图4所示的监视对象区域的设置的例子中，对提取出的学习用的各监视对象图像中的监视对象区域MA1进行机器学习而生成第1学习模型，对提取出的各监视对象图像中的监视对象区域MA2进行机器学习而生成第2学习模型，对提取的各监视对象图像中的监视对象区域MA3进行机器学习而生成第3学习模型。作为机器学习的算法，可以使用神经网络或深度学习等AI技术。该学习模型被设计为，例如，输入的图像与学习用的监视对象图像的监视对象区域越相同(相似度高)输出越接近100的值，输入的图像与学习用的监视对象图像越不同(相似度低)输出越接近0的值。
接着，监视装置100依次取得由摄像部22拍摄并存储在存储部130中的动态图像数据(监视用的动态图像数据)(步骤S16)，图像提取部101检测构成所取得的动态图像数据的静止图像群的各静止图像各自的滑块位置和滑块移动方向，从该静止图像群中，提取滑块位置及滑块移动方向与在步骤S12中设置的监视对象图像相同的静止图像，作为监视用的监视对象图像(步骤S17)。由于转移供料器与滑块17的动作同步地动作，所以如果转移供料器进行的运输、被加工材料或模具的状态没有问题的话，则提取出的监视对象图像应该呈与学习用的监视对象图像相同的图像。另外，在步骤S17中，对提取出监视用图像的次数(累计数)进行计数，将该次数与提取出的监视对象图像相关联地作为生产数进行存储。
接着，图像监视部102将在步骤S17中提取出的监视对象图像中的各监视对象区域输入到与各监视对象区域对应的已学习的学习模型中，将各监视对象区域的与学习时的相似度作为监视结果输出到显示器120(步骤S18)。在图4所示监视对象区域的设置的例子中，将提取出的监视用的监视对象图像中的监视对象区域MA1输入到第1学习模型中，输出监视对象区域MA1的与学习时的相似度，将提取出的监视对象图像中的监视对象区域MA2输入到第2学习模型中，输出监视对象区域MA2的与学习时的相似度，将提取出的监视对象图像中的监视对象区域MA3输入到第3学习模型中，输出监视对象区域MA3的与学习时的相似度。将提取出的监视对象图像的监视结果(各监视对象区域的相似度)与关联到该监视对象图像的生产数一起输出。
接着，监视装置100判断是否继续监视(步骤S19)，在继续监视的情况下(步骤S19的“Y”)，转移到步骤S16，以后，反复进行各周期的监视对象图像的提取和监视结果的输出，直到监视结束为止。另外，在步骤S19中，也可以判断是否充分确保了监视结果的精度，在该判断为否的情况下，转移到步骤S11，进行监视对象图像的再设置(再选择)。例如，也可在各监视对象区域的与学习时的相似度都在规定的阈值以下时，判断为没有确保监视结果的精度。
图5示出监视结果的显示例。在图5所示的例子中，显示器120上显示产品名、生产数(监视对象图像的提取次数)、监视对象区域(监视部位)的设置状况，作为监视结果而显示监视对象区域MA1～MA3各自的与学习时的相似度。在该例子中，显示监视对象区域MA1的与学习时的相似度低，暗示第1加工区域(采用指部41a进行的运输，下模具21a上的被加工材料的状态或下模具21a的状态中的任意一种)存在问题。另外，也可以代替如图5所示，实时显示各监视对象区域的与学习时的相似度，而显示最近的规定周期数(生产数)的量的相似度的平均值(或者是最大值或最小值)，还可以显示表示从监视开始时到当前为止的各周期的相似度的时间上的变化的图表。
根据本实施方式，通过以图像中的滑块位置(及滑块移动方向)为基准，从构成拍摄了冲压模具区域的动态图像数据的静止图像群中提取监视对象图像，从而仅用图像数据(不使用控制装置30的信息)就可提取生产运行中的各周期中的同一定时的图像来进行图像监视(输出与学习时的相似度)。由此，可检测出材料/产品的误进给、材料的裂纹裂缝、模具的损伤、冲针断裂等。再有，会带来不需要在误进给检测中使用的传感器、通过将运输的稳定度作为相似度进行数值化可提供指部调整和进给范围的复核机会、可简化产品确认作业、即使不停止冲压也能够知道模具维护的必要性等巨大的好处。再有，由于不需要从控制装置30输入压力机的角度信号或生产数计数器的信号，所以可将监视装置100设置为与控制装置30在控制上独立的装置，容易在现有的压力机上后期附加监视装置100而构成。再有，采用本实施方式，通过将监视对象图像中的一部分区域设置为监视对象区域来进行学习、监视，与针对监视对象图像整体进行学习、监视的情况相比，可减轻处理负担。
在上述例子中，对在学习、监视时，以滑块位置为基准，从构成动态图像数据的静止图像群中，提取滑块位置相同的静止图像作为监视对象图像的情况进行了说明，但也可以是以图像中的被加工材料的状态为基准，从构成动态图像数据的静止图像群中，提取被加工材料静止的定时的静止图像作为监视对象图像。所谓被加工材料静止的定时的静止图像，是指在通过转移供料器进行的运输完成了(下降动作结束，材料放置在下模具上，指部通过松开动作离开材料M)的定时拍摄的静止图像。
在图6所示的例子中，由用户将静止图像中的第1加工区域设置为监视对象区域MA1，将第2加工区域设置为监视对象区域MA2，并且将第3加工区域设置为基准监视区域RA。基准监视区域RA是作为提取监视对象图像时的基准的区域。此时，在静止图像群中，提取基准监视区域RA与下一帧的静止图像中的基准监视区域RA呈相同图像的静止图像(在运输到第3加工区域的材料静止的定时拍摄的静止图像)作为监视对象图像。例如，当在第n帧静止图像中的基准监视区域RA和第n+1帧的静止图像中的基准监视区域RA是不同(相似度低)的图像，在第n+1帧的静止图像中的基准监视区域RA和第n+2帧的静止图像中的基准监视区域RA是相同(相似度高)的图像的情况下，提取第n+1帧的静止图像作为监视对象图像。然后，在学习时，对为了学习而提取的各监视对象图像中的监视对象区域MA1进行机器学习而生成第1学习模型，对提取的各监视对象图像中的监视对象区域MA2进行机器学习而生成第2学习模型，并且对所提取的各监视对象图像中的滑块位置(监视对象图像左端的滑块下端的位置SP1和监视对象图像右端或上端的滑块下端的位置SP2)进行机器学习而生成第3学习模型。再有，在监视时，将为了监视而提取的各监视对象图像中的监视对象区域MA1输入到第1学习模型中，输出监视对象区域MA1的与学习时的相似度，将提取出的各监视对象图像中的监视对象区域MA2输入到第2学习模型中，输出监视对象区域MA2的与学习时的相似度，并且将提取出的各监视对象图像中的滑块位置SP1、SP2输入到第3学习模型中，输出滑块位置SP1、SP2的与学习时的相似度。
图7示出以被加工材料的状态为基准提取监视对象图像时的监视结果的显示例。在图7所示的例子中，作为监视结果，显示了监视对象区域MA1、MA2各自的与学习时的相似度和滑块位置的与学习时的相似度。在该例中，由于监视对象区域MA2与滑块位置的相似度高、监视对象区域MA1的相似度低，因此推测第1加工区域(采用指部41a进行的运输，下模具21a上的被加工材料的状态或下模具21a的状态中的任意一种)存在问题。另外，如果滑块位置与监视对象区域MA1的相似度高、监视对象区域MA2的相似度低的话，则推测第2加工区域(采用指部41b进行的运输，下模具21b上的被加工材料的状态或下模具21b的状态中的任意一种)存在问题，再有，在推测监视对象区域MA1、MA2和滑块位置中的任意一个的相似度都低的情况下，推测第3加工区域(采用指部41c进行的运输、下模具21c上的被加工材料的状态或下模具21c的状态中的任意一种)存在问题。
再有，在上述例子中，说明了仅使用从静止图像群中提取的监视对象图像进行学习及图像监视的情况，但也可以除了使用从静止图像群中提取的监视对象图像之外，还使用该监视对象图像的前后n(n为自然数)帧的静止图像，进行学习及图像监视。例如，在设置了监视对象区域MA1、MA2、MA3的情况下，对为了学习而提取的监视对象图像中的监视对象区域MA1、MA2、MA3分别进行机器学习，生成学习模型LM1、LM2、LM3，对该监视对象图像的前一帧的静止图像中的监视对象区域MA1、MA2、MA3分别进行机器学习，生成学习模型LM1p、LM2p、LM3p，对该监视对象图像的后一帧的静止图像中的监视对象区域MA1、MA2、MA3分别进行机器学习，生成学习模型LM1n、LM2n、LM3n。然后，将为了监视而提取的监视对象图像中的监视对象区域MA1、MA2、MA3输入到学习模型LM1、LM2、LM3中，分别输出该监视对象图像中的监视对象区域MA1、MA2、MA3的与学习时的相似度，将该监视对象图像的前一帧的静止图像中的监视对象区域MA1、MA2、MA3输入到学习模型LM1p、LM2p、LM3p中，分别输出该静止图像中的监视对象区域MA1、MA2、MA3的与学习时的相似度，将该监视对象图像的后一帧的静止图像中的监视对象区域MA1、MA2、MA3输入到学习模型LM1n、LM2n、LM3n中，分别输出该静止图像中的监视对象区域MA1、MA2、MA3的与学习时的相似度。
图8是示出使用监视对象图像的前后n帧的静止图像进行学习、图像监视时的监视结果的一个例子的气泡图。在图8的例子中，提取被加工材料静止的定时的静止图像作为监视对象图像，针对3个监视对象区域(监视部位)的每个，分别以圆(相似度越高直径越大的圆)示出监视对象图像的与学习时的相似度、该监视对象图像的前n帧的静止图像的与学习时的相似度的平均值、该监视对象图像的后n帧的静止图像的与学习时的相似度的平均值。在该例中，针对监视对象区域“1”，由于监视对象图像的前n帧的图像的相似度变低，因此可知在第1加工区域中的材料的放置方法差(材料晃动地放置等)，推测出有转移供料器的推进动作和下降动作或下降动作和松开动作的重叠区间长(重叠量大)等分配角度的设置不佳这类的问题。再有，针对监视对象区域“3”，由于监视对象图像的后n帧的图像的相似度变低，因此可知在将材料放置在第3加工区域之后材料变得不稳定，由此推测有下模具21c的结构或状态差、指部41c的位置或状态差这类的问题。这样，通过使用监视对象图像(被加工材料静止的定时的静止图像)的前后帧的静止图像进行图像监视，可提供用于使运输稳定化的具体的改善措施。不仅可以是通过直接显示气泡图来促进推测的方法，还可以是由图像监视部102计算气泡图，输出“材料的放置方法差”等判断结果的方法。
再有，也可以从拍摄了在运输有材料的状态的冲压模具区域的动态图像数据中提取监视对象图像，进行材料的图像监视，并且从拍摄了没有运输材料的状态的冲压模具区域的动态图像数据中提取监视对象图像，进行模具的图像监视。再有，还可以设置从斜下方拍摄上模具的摄像部，从该摄像部拍摄的动态图像数据中提取监视对象图像，进行上模具的图像监视。
另外，如上所述对本发明的实施方式进行了详细说明，但本领域技术人员能够容易地理解可进行实质上不脱离本发明的新事项及效果的多种变形。
附图标记说明
1.压力机、10.伺服电机、11.编码器、12.驱动轴、13.驱动齿轮、14.主齿轮、15.曲轴、16.连杆、17.滑块、18.垫板、20.上模具、21.下模具、22.摄像部、30.控制装置、100.监视装置、101.图像提取部、102.图像监视部、110.用户界面、120.显示器、130.存储部。

Claims (8)

1.一种压力机，其是将电机的旋转变换为滑块的往返直线运动而对被加工材料进行冲压加工的压力机，其特征在于，包括：
存储部，其存储由配置在可对冲压模具区域进行拍摄的位置上的摄像部拍摄到的动态图像数据；
图像提取部，其以图像中的所述滑块的位置或所述被加工材料的状态为基准，从构成所述动态图像数据的静止图像群中提取监视对象图像；以及
图像监视部，其基于所述监视对象图像进行图像监视，输出监视结果。
2.根据权利要求1所述的压力机，其特征在于：
所述图像提取部从所述静止图像群中提取所述滑块的位置相同的静止图像作为所述监视对象图像。
3.根据权利要求1所述的压力机，其特征在于：
所述图像提取部从所述静止图像群中提取所述被加工材料静止的定时的静止图像作为所述监视对象图像。
4.根据权利要求1-3中任意一项所述的压力机，其特征在于：
所述图像监视部设置所述监视对象图像中的与加工所述被加工材料的区域对应的监视对象区域，进行所述监视对象区域的图像监视。
5.根据权利要求4所述的压力机，其特征在于：
所述图像监视部将从在有所述被加工材料的状态下拍摄到的所述动态图像数据的所述静止图像群中提取出的所述监视对象图像，与从在没有所述被加工材料的状态下拍摄到的所述动态图像数据的所述静止图像群中提取的所述监视对象图像进行比较，以此来设置所述监视对象区域。
6.根据权利要求1-3中任意一项所述的压力机，其特征在于：
所述图像监视部使用对预先在正常运转时取得的所述监视对象图像进行机器学习而生成的学习模型，将监视时取得的所述监视对象图像的与学习时的相似度作为所述监视结果输出。
7.根据权利要求1-3中任意一项所述的压力机，其特征在于：
所述图像监视部使用对预先在正常运转时取得的所述监视对象图像的前后帧的静止图像分别进行机器学习而生成的各学习模型，将监视时取得的所述监视对象图像的前后帧的静止图像的与学习时的相似度作为所述监视结果输出。
8.一种压力机的图像监视方法，其是将电机的旋转变换为滑块的往返直线运动而对被加工材料进行冲压加工的压力机的图像监视方法，其特征在于，包括：
存储步骤，存储由配置在可对冲压模具区域进行拍摄的位置上的摄像部所拍摄到的动态图像数据；
图像提取步骤，以图像中的所述滑块的位置或所述被加工材料的状态为基准，从构成所述动态图像数据的静止图像群中提取监视对象图像；以及
图像监视步骤，基于所述监视对象图像进行图像监视，输出监视结果。
CN202310931973.6A 2022-08-25 2023-07-27 压力机及压力机的图像监视方法 Pending CN117640879A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-134088 2022-08-25
JP2022134088A JP2024030883A (ja) 2022-08-25 2022-08-25 プレス機械及びプレス機械の画像監視方法

Publications (1)

Publication Number Publication Date
CN117640879A true CN117640879A (zh) 2024-03-01

Family

ID=87418703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310931973.6A Pending CN117640879A (zh) 2022-08-25 2023-07-27 压力机及压力机的图像监视方法

Country Status (4)

Country Link
US (1) US20240066825A1 (zh)
EP (1) EP4335635A1 (zh)
JP (1) JP2024030883A (zh)
CN (1) CN117640879A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT508310B1 (de) * 2009-05-18 2011-02-15 Trumpf Maschinen Austria Gmbh Verfahren zum betrieb einer fertigungspresse
JP6671648B2 (ja) * 2016-06-02 2020-03-25 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
DE102019122699A1 (de) * 2019-08-23 2021-02-25 Schuler Pressen Gmbh Umform- und/oder Trennvorrichtung und Verfahren zum Betreiben der Umform- und/oder Trennvorrichtung
JP7305493B2 (ja) 2019-09-13 2023-07-10 東洋機械金属株式会社 成形システム
JP2022051155A (ja) 2020-09-18 2022-03-31 株式会社アマダ プレスブレーキ、画像出力装置及び画像出力方法

Also Published As

Publication number Publication date
JP2024030883A (ja) 2024-03-07
US20240066825A1 (en) 2024-02-29
EP4335635A1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
CN109834712B (zh) 一种机器人抓取顺序优化的方法
CN101931753B (zh) 目标跟踪和图像跟踪设备、操作控制方法及数字摄像机
JP6171908B2 (ja) データ解析装置
US11175236B2 (en) Image acquisition system and image acquisition method
CN108287162B (zh) 一种食品安全智能检测的方法
CN109108959B (zh) 机器人系统
CN110446585B (zh) 机械系统及控制方法
US10596707B2 (en) Article transfer device
JP4974864B2 (ja) 部品吸着装置および実装機
JP6245886B2 (ja) 画像撮像方法及び画像撮像装置
CN103042658B (zh) 注塑机用多功能机械手装置和注塑产品质量全检方法
CN107352210A (zh) 基于托盘的病理切片自动搬运装置及方法与系统
US20220176667A1 (en) Forming or separating device, and method for operating same
JPH1058045A (ja) 曲げ加工方法および曲げ加工装置
JP7111444B2 (ja) 判断部及び工程判断装置及び工程判断方法
CN117640879A (zh) 压力机及压力机的图像监视方法
JPWO2018020638A1 (ja) 撮像装置、撮像システム及び撮像処理方法
CN113495073A (zh) 视觉检查系统的自动对焦功能
JP2006260443A (ja) 監視制御装置及び監視制御方法
EP1761058B1 (en) Method and device for reproducing at a different rate that from the recording
JP6238629B2 (ja) 画像処理方法及び画像処理装置
US20150229845A1 (en) Method for monitoring a post print processing machine
EP4070922A3 (en) Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
JP2006228029A (ja) 監視制御装置及び監視制御方法
JPH0418926B2 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication