[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107567369A - 具有主动焊工引导的增强视觉系统 - Google Patents

具有主动焊工引导的增强视觉系统 Download PDF

Info

Publication number
CN107567369A
CN107567369A CN201680011336.5A CN201680011336A CN107567369A CN 107567369 A CN107567369 A CN 107567369A CN 201680011336 A CN201680011336 A CN 201680011336A CN 107567369 A CN107567369 A CN 107567369A
Authority
CN
China
Prior art keywords
welding
workpiece
circuit
headwear
operable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680011336.5A
Other languages
English (en)
Other versions
CN107567369B (zh
Inventor
布鲁斯·阿尔布雷克特
理查德·比森
威廉·J·贝克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Illinois Tool Works Inc
Original Assignee
Illinois Tool Works Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Illinois Tool Works Inc filed Critical Illinois Tool Works Inc
Publication of CN107567369A publication Critical patent/CN107567369A/zh
Application granted granted Critical
Publication of CN107567369B publication Critical patent/CN107567369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/006—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • B23K9/321—Protecting means
    • B23K9/322—Head protecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35487—Display and voice output incorporated in safety helmet of operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45135—Welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Arc Welding Control (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

焊接头戴物包括显示器，所述显示器可操作以便呈现供所述焊接头戴物的佩戴者观看的图像；并且包括电路，所述电路可操作以便确定与工件相关联的标识符，从存储器检索与所述标识符相关联的焊接工作指令，并且基于所述工作指令产生用于在所述显示器上呈现的图像。

Description

具有主动焊工引导的增强视觉系统
相关申请的交叉引用
本申请要求以下申请的优先权，每个所述申请均通过引用并入本文：
于2015年2月27日提交的题为“AUGMENTED VISION SYSTEM WITH ACTIVE WELDERGUIDANCE(具有主动焊工引导的增强视觉系统)”的美国临时专利申请62/121,853。
背景技术
焊接是一种在所有行业中越来越普遍存在的过程。虽然此类过程在某些环境中可以是自动化的，但是对于手动焊接操作而言仍存在大量应用，所述手动焊接操作的成功在很大程度上依赖于焊接操作者正确使用焊枪或焊炬。例如，不正确的焊炬角度、接触尖端到工件的距离、行进速度和瞄准是可能决定焊缝质量的参数。然而，即使经验丰富的焊接操作者在焊接全过程中也经常难以监测和维持这些重要参数。
发明内容
本发明提供了用于通过焊接视觉系统来进行焊接输出控制的方法和系统，其大致如结合至少一个附图示出和描述的并在权利要求中进行了更全面地阐述。
附图说明
图1示出了根据本公开的各方面的示例性电弧焊接系统。
图2示出了根据本公开的各方面的示例性焊接设备。
图3示出了根据本公开的各方面的示例性焊接头戴物。
图4示出了图3的头戴物的示例性电路。
图5A-5C示出了可以根据正在进行的焊接图像确定的各种参数。
图6A-6E示出了使用体现本公开各方面的头戴物的示例性焊接过程。
图7A-7C示出了使用体现本公开各方面的头戴物的示例性焊接过程。
图8A和图8B示出了使用焊接头戴物所产生的3D渲染以用于增强待焊接工件的操作者视图。
具体实施方式
参考图1，其示出了示例性焊接系统10，其中操作者18正佩戴焊接头戴物20并且使用焊炬504来焊接工件24，设备12通过导管14将电力或燃料递送到所述焊炬504。设备12可以包括电源或燃料源，任选地是惰性保护气体源，并且其中送丝机将自动提供焊丝/填充材料。图1中的焊接系统10可以被配置成通过任何已知的技术形成焊缝512，所述任何已知的技术包括：气焊技术，诸如氧气燃料焊接；以及电焊技术，诸如自动保护金属极电弧焊(即焊条焊接)、金属惰性气体焊接(MIG)、钨极惰性气体焊接(TIG)和电阻焊接。
任选地，在任何实施例中，焊接设备12可以是电弧焊设备，其向焊炬504的自耗或非自耗电极16(例如，更好地在图5C中示出)提供直接电流(DC)或交流电流(AC)。电极16将电流递送到工件24上的焊接点。在焊接系统10中，操作者18通过操纵焊炬504并触发电流的启动和停止来控制电极16的位置和操作。当电流正在流动时，在电极与工件24之间形成电弧26。因此，导管14和电极16递送足以在电极16与工件之间产生电弧26的电流和电压。电弧26在电极16与工件24之间的焊接点处局部熔化工件24和供应到焊缝512的焊丝或焊条(在自耗电极的情况下为电极16，或者在非自耗电极的情况下为单独的焊丝或焊条)，由此在金属冷却时形成焊缝512。
如图所示，并且如以下更全面描述的，设备12和头戴物20可以通过链路25通信。此类通信可以使得头戴物20能够控制设备12的设置和/或设备12，以便向头戴物20提供有关其设置的信息。尽管示出了无线链路，但是链路可以是无线的、有线的或光学的。
图2示出了根据本公开的各方面的示例性焊接设备。图2中的设备12包括：天线202、通信端口204、通信接口电路206、用户接口模块208、控制电路210、电源电路212、送丝器模块214和气体供应模块216。
天线202可以是适用于通信链路25所使用的频率、功率电平等的任何类型的天线。
例如，通信端口204可以包括：以太网双绞线端口、USB端口、HDMI端口、无源光网络(PON)端口和/或用于与有线电缆或光缆接口连接的任何其他合适端口。
通信接口电路206可操作以便将控制电路210接口连接到天线202和/或端口204，以用于发射操作和接收操作。对于发射而言，通信接口206可以从控制电路210接收数据，并且将数据分组化以及根据通信链路25上使用的协议将数据转换为物理层信号。对于接收而言，通信接口可以通过天线202或端口204接收物理层信号，从所接收的物理层信号恢复数据(解调、解码等)，并且将数据提供给控制电路210。
用户接口模块208可以包括机电接口部件(例如，屏幕、扬声器、麦克风、按钮、触摸屏、加速度计、陀螺仪、磁力计等)和相关联的驱动电路。用户接口208可以响应于任何合适类型的用户输入(例如，屏幕触摸、按钮按压、语音命令、手势(例如，手部和/或头部)等)而产生电信号。用户接口模块208的驱动电路可以调节(例如，放大、数字化等)信号并且将其提供给控制电路210。用户接口208可以响应于来自控制电路210的信号而产生可听、视觉和/或触觉输出(例如，通过扬声器、显示器和/或电动机/致动器/伺服器等)。
控制电路210包括电路(例如，微控制器和存储器)，其可操作以便处理来自通信接口206、来自用户接口208、来自电源212、来自送丝器214、和/或来自气体供应装置216的数据。控制电路210包括电路(例如，微控制器和存储器)，其可操作以便将数据和/或控制信号输出到通信接口206、用户接口208、电源212、送丝器214、和/或气体供应装置216。
电源电路212包括用于产生将通过导管14递送到焊接电极的电力的电路。例如，电源电路212可以包括一个或多个电压调节器、电流调节器、反相器和/或类似物。由电源电路212输出的电压和/或电流可以被来自控制电路210的控制信号控制。电源电路212还可以包括用于向控制电路210报告当前电流和/或电压的电路。在示例性实施方式中，电源电路212可以包括用于测量导管14上(在导管14的任一端或两端处)的电压和/或电流的电路，使得所报告的电压和/或电流是实际的并且不仅是基于校准的期望值。
送丝器模块214被配置成将自耗丝状电极16递送到焊缝512。例如，送丝器214可以包括：用于保持焊丝的线轴、用于将焊丝从线轴上拉出以将其递送到焊缝512的致动器、以及用于控制致动器递送焊丝的速率的电路。可以基于来自控制电路210的控制信号来控制致动器。送丝器模块214还可以包括用于向控制电路210报告当前焊丝速度和/或剩余焊丝量的电路。在示例性实施方式中，送丝器模块214可以包括用于测量焊丝速度的电路和/或机械部件，使得所报告的速度是实际速度并且不仅是基于校准的期望值。
气体供应模块216被配置成通过导管14提供保护气体以在焊接过程期间使用。气体供应模块216可以包括用于控制气体流速的电控阀。阀可以被来自控制电路210的控制信号控制(所述控制信号可以通过送丝器214路由，或者如虚线所指示的直接来自控制器210)。气体供应模块216还可以包括用于向控制电路210报告当前气体流速的电路。在示例性实施方式中，气体供应模块216可以包括用于测量气体流速的电路和/或机械部件，使得所报告的流速是实际的并且不仅是基于校准的期望值。
图3和图4示出了根据本公开的各方面的示例性焊接头戴物。示例性头戴物20是头盔，其包括壳体306，以下各项安装在其中或安装到其：包括光学部件302和图像传感器416的一个或多个相机、显示器304、机电用户接口部件308、天线402、通信端口404、通信接口406、用户接口驱动电路408、中央处理单元(CPU)410、扬声器驱动电路412、图形处理单元(GPU)418和显示器驱动电路420。在其他实施例中，头戴物不是头盔，而可以是例如面具、眼镜、护目镜、面罩附件、眼镜附件或护目镜附件等。
例如，每组光学器件302均可以包括：一个或多个透镜、滤光器、和/或用于捕获例如范围是从红外线到紫外线的频谱内的电磁波的其他光学部件。在示例性实施方式中，用于两个相机的光学器件302a和302b可以被定位成相对于头戴物20的佩戴者的眼睛大致居中，以便在如果通过透镜观察时捕获头戴物20的佩戴者将具有的视场的立体图像(以范围是从静止照片到30fps、100fps或更高每秒帧数的视频的任何合适帧速率)。
例如，显示器304可以包括LCD、LED、OLED、电子墨水、和/或可操作以便将电信号转换成头戴物20的佩戴者可以看到的光学信号的任何其他合适类型的显示器。
例如，机电用户接口部件308可以包括响应于通过用户接口208的用户输入而产生电信号的一个或多个触摸屏元件、扬声器、麦克风、物理按钮等。例如，机电用户接口部件308可以包括安装在显示器304的后部上(即在头戴物20的外侧上)的电容式、电感式或电阻式触摸屏传感器，其使得头戴物20的佩戴者能够与显示器304的前部上(即在头戴物20的内侧上)显示的用户图形交互。
天线402可以是适用于通信链路25所使用的频率、功率电平等的任何类型的天线。
例如，通信端口404可以包括：以太网双绞线端口、USB端口、HDMI端口、无源光网络(PON)端口、和/或用于与有线电缆或光缆接口连接的任何其他合适端口。
通信接口电路406可操作以便将控制电路410接口连接到天线202和端口204，以用于发射操作和接收操作。对于发射操作而言，通信接口406可以从控制电路410接收数据，并且将数据分组化以及根据通信链路25上使用的协议将数据转换为物理层信号。例如，待发射的数据可以包括用于控制设备12的控制信号。对于接收操作而言，通信接口可以通过天线202或端口204接收物理层信号，从所接收的物理层信号恢复数据(解调、解码等)，并且将数据提供给控制电路410。例如，所接收的数据可以包括设备12的当前设置和/或实际测量输出的指示。对于电焊而言，这可以包括例如电压、电流强度和/或焊丝速度设置和/或测量值。对于气焊而言，这可以包括例如气体流速和/或气体混合比设置和/或测量值。
用户接口驱动电路408可操作以便调节(例如，放大、数字化等)来自用户接口部件308的信号。
控制电路410可操作以便处理来自通信接口406、用户接口驱动器408和GPU 418的数据，并且产生要输出到扬声器驱动电路412、GPU 418和通信接口406的控制信号和/或数据信号。例如，输出到通信接口406的信号可以包括用于控制设备12的设置的信号。可以基于来自GPU 418和/或用户接口驱动器408的信号来产生此类信号。例如，来自通信接口406的信号可以包括设备12的当前设置和/或实际测量输出的指示(通过链路25接收)。例如，输出到GPU 418的信号可以包括用于控制在显示器304上呈现的用户接口图形元素的信号。例如，来自GPU 418的信号可以包括基于图像传感器416所捕获的像素数据的分析而确定的信息。
扬声器驱动电路412可操作以便调节(例如，转换为模拟、放大等)来自控制电路410的信号，以用于输出到用户接口部件308的一个或多个扬声器。例如，此类信号可以传送音频以便向头戴物20的佩戴者警告焊接参数超出公差范围以外，并向头戴物20的佩戴者提供音频引导等。
例如，图像传感器416可以包括CMOS或CCD图像传感器，其可操作以便将光信号转换为数字像素数据并且将像素数据输出到GPU 418。
图形处理单元(GPU)418可操作以便接收和处理来自图像传感器416的像素数据(例如，立体图像或二维图像)，将一个或多个信号输出到控制电路410，并且将像素数据输出到显示器304。
例如，GPU 418对像素数据进行的处理可以包括分析像素数据以便实时(例如，等待时间小于100毫秒，或者更优选地小于20毫秒，或者更优选地小于5毫秒)确定以下中的一个或多个：工件24的名称、尺寸、零件号、金属类型或其他特征；电极16和/或填充材料的名称、尺寸、零件号、金属类型或其他特征；待焊接的焊缝512的类型或几何形状；所捕获的视野中的物品(例如，电极、工件等)的2D位置或3D位置、视野中正在进行的焊接的一个或多个焊接参数(例如以下参考图5描述的那些)；视野中的一个或多个物品的测量值(例如，正在焊接的焊缝或工件的尺寸、在焊接期间形成的焊道的尺寸、在焊接期间形成的焊接熔池的尺寸和/或类似物)；和/或可以从像素数据中搜集并且可能有助于实现更好的焊接、训练操作者、校准系统10等的任何其他信息。
从GPU 418输出到控制电路410的信息可以包括根据像素分析确定的信息。
从GPU 418输出到显示器304的像素数据可以为头戴物20的佩戴者提供间接的实际视图。在这种视图中，佩戴者体验显示器304上呈现的视频，就好像她/他正在通过透镜观察一样，但是其中通过屏幕上的显示增强和/或补充了图像。所述增强(例如，调整对比度、亮度、饱和度、清晰度等)可以使得头戴物20的佩戴者能够看见她/他仅通过透镜不能看到的东西。屏幕上的显示可以包括覆盖在视频上的文本、图形等，以便提供从控制电路410接收的设备设置的可视化、和/或根据像素数据的分析确定的信息的可视化。
显示驱动电路420可操作以便产生用于显示器304的控制信号(例如，偏置信号和定时信号)，并且调节(例如，电平控制同步化、分组化、格式化等)来自GPU 418的像素数据以用于传送到显示器304。
图5A-5C示出了可以根据正在进行的焊接的图像确定的各种参数。示出了坐标轴以用于参考。在图5A中，Z轴指向纸张的顶部，X轴指向右侧，并且Y轴指向纸张中。在图5B和图5C中，Z轴指向纸张的顶部，Y轴指向右侧，并且X轴指向纸张中。
在图5A-5C中，设备12包括MIG枪504，其将自耗电极16馈送到工件24的焊缝512。在焊接操作期间，MIG枪504的位置可以由以下参数来限定，所述参数包括：接触尖端到工件的距离506或507、行进角度502、工件角度508、行进速度510和瞄准。
如图5A所示，接触尖端到工件的距离可包括从焊炬504的尖端到工件24的垂直距离506。在其他实施例中，接触尖端到工件的距离可以是从焊炬504的尖端到工件24的距离507(在焊炬504与工件24的角度下)。
行进角度502是枪504和/或电极16沿行进轴线(图5A-5C所示的实例中的X轴)的角度。
工作角度508是枪504和/或电极16垂直于行进轴线(图5A-5C所示的实例中的Y轴)的角度。
移动速度是枪504和/或电极16沿着正在焊接的焊缝512移动的速度。
瞄准是电极16相对于待焊接的焊缝512的位置的测量。例如，可以测量目标作为在垂直于行进方向的方向上与焊缝512的中心的距离。例如，图5C描绘了示例性瞄准测量516。
图6A-6E示出了使用体现本公开各方面的头戴物的示例性焊接过程。
过程开始于框652，其中头戴物20确定待执行的一个或多个焊接。所述确定可以基于头戴物20的佩戴者通过用户接口208输入的标识符(例如，工件定单号码、零件号等)。可替代地或附加地，头戴物20的佩戴者可以从一定距离和/或角度观看待焊接的工件，所述距离和/或角度允许相机302捕获图像处理算法可以从其中检测待执行焊接的工件图像。例如，所捕获的图像视图中的工件的独特形状、标记和/或其他特点可以被检测并且用于检索与工件相关联的标识符。可替代地或附加地，头戴物20的佩戴者可以从一定距离和/或角度观看工作指令(例如，纸张或监视器上)，所述距离和/或角度允许相机302捕获图像处理算法可以从其中检测待执行焊接的工作指令图像(例如，工作指令可以具有条形码、QR码或可用于检索数字版本的工作指令的一些其他可识别特点)。
在框654中，从存储器(例如，20中的本地存储器和/或基于网络的存储器)检索待执行焊接的工作指令。例如，在框652中确定的标识符可以被用作索引以便检索驻留在服务器30(图1)中的数据库中的对应条目。例如，所检索的工作指令可以包括适用于呈现在显示器304上的任何格式的文本和/或图像(静止图像、视频和/或CAD图)。例如，工作指令中包含的信息可包括：要对工件执行的焊接数量、要执行多个焊接的顺序、要执行的每个焊接的目标焊接参数、用于要执行的每个焊接的标称设备设置、用于要进行的每个焊接的焊接材料(电极、填充材料等)的识别、如何为要执行的每个焊接准备工件(例如，如何将零件放置在夹具中、螺钉拧紧/螺栓连接转矩值、工具的准备/清洁等)和/或类似物。例如，工作指令中包含的信息可包括：执行焊接所需的零件/材料/等的库存水平(例如，工作指令中的焊丝、接触尖端、气体、消耗品和零件等)、库存位置的识别。焊接接口还可以使得操作者能够使用用户接口208以便订购零件/材料/等。例如，当库存低于确定阈值时，可以在头戴物20的显示器上呈现“重新订购”界面元素，和/或可以在从其可以下订单的另一个装置(例如，操作者的智能电话、计算机等)上产生通知。
在框656中，在显示器304上呈现焊接前界面。焊接前界面可以提供有关为待执行的下一次焊接和/或为实际执行焊接进行设置的工作指令。参考图6B，示出了示例性焊接前界面。示例性焊接前界面包括覆盖在框652中识别的工件图像上的图形元素602、604、606、608和610。工件图像可以是与工作指令一起接收的照片或绘图、或者可以是相机302所捕获的实际工件(例如，在框652中)的图像。
图形602(例如，文本框)为头戴物20的佩戴者提供有关工件的信息(例如，待焊接工件的零件号、待执行焊接的工作定单号、和/或类似物)。为了将数据存储到适当用户简档的目的，图形602还可以显示头戴物20的佩戴者的用户名。头戴物的佩戴者可以通过用户接口208与图形604交互。图形604的激活可能致使头戴物20关闭焊接前界面并且提出以下描述的焊接中界面。头戴物20的佩戴者可以通过用户接口208与图形606交互。图形606的激活可能致使头戴物20提出附加的工作指令(例如，显示待执行焊接的先前记录的视频)。图形608和图形610识别待执行的下一次焊接，并且提供有关执行焊接的信息。在所示的实例中，图形608识别：工件的特征，诸如制造其的金属类型；待焊接的接缝的特征，诸如其长度和宽度；用于焊接焊缝的目标参数，诸如目标工作角度、目标行进角度、目标行进速度、目标编织图案和/或类似物；以及标称设备设置，诸如是否应使用恒定电流或恒压模式、应使用的标称电压、应使用的标称电流、应使用的电极和/或填充材料的类型/尺寸、应使用的标称焊丝速度等。
返回图6A，在框658中，头戴物20的佩戴者触发(例如，通过激活图形604)从焊接前界面到焊接中界面的转变。在框660中，呈现了焊接中界面。焊接中界面提供用于执行特定焊接的工作指令。简要地参考图6C，示出了示例性焊接中界面。示例性焊接中界面包括覆盖在相机302所捕获的实时视频帧上的图形元素602、612、620、624、628和630。已经被相机302捕获的实时视频帧可以在例如20毫秒、或更优选地5毫秒内呈现在显示器304上。覆盖的图形可以是不透明的或部分透明的。图形602(例如，文本框)为头戴物20的佩戴者提供有关待执行的焊接的信息(例如，工件的零件号、待执行的焊接的工作订单号、和/或类似物)。头戴物20的佩戴者可以通过用户接口208与图形612交互。图形612的激活可能致使头戴物20从焊接中界面转变回当前焊接的焊接前界面。以这种方式，使得操作者能够在焊接前界面与焊接中界面之间来回快速切换。在示例性实施方式中，可以同时观看两个界面(例如，在并排或画中画型视图中)。
图形620、624、628和630向头戴物20的佩戴者提供关于对正在进行的焊接测量的一个或多个焊接参数的反馈。在所示的实例中，图形620包括表示工件角度和行进角度的位置坐标轴。坐标系的中心指示焊炬618在焊接期间的最佳定向。焊炬的实际定向由点622指示。基于这个反馈，操作者可以重新定位焊炬以尝试使点622返回中心。可以使用焊炬角度的其他图形表示以便提供反馈，而不是图6C所示的“牛眼”。在美国专利申请公布20090298024中描述了一些实例，所述专利申请通过引用并入本文。在所示的实例中，图形624包括在“过慢”标记与“过快”标记之间延伸的图形速度计。指示实际速度的标记626被设置在图形速度计上作为对头戴物20的佩戴者的反馈。可以代替图6C所示的线性速度计使用用于提供反馈的行进速度的其他图形表示。在美国专利申请公布20090298024中描述了一些实例，所述专利申请通过引用并入本文。图形628为头戴物20的佩戴者提供关于焊接设备12的设置和/或实际测量输出的反馈。例如，测量输出可以呈现来自电弧监测设备的实时读数(例如，如在示波器显示器上的沿着时间轴呈现)。图形630提供参考路径以便有助于操作者在她/他执行操作时瞄准电极。例如，图形630可以与接缝的中心线重合和/或可以提出编织图案。在焊接期间捕获的任何图像和/或其他数据可以存储到本地存储器和/或远程存储器(诸如服务器30的存储器)上。
返回到图6A，在框662中，操作者完成焊接。在框664中，当检测到焊接完成时(例如，自动通过图像处理算法自动或通过来自操作者的输入)，头戴物20呈现焊接后界面。焊接后界面呈现了已完成焊接的总结(例如，用于培训和/或质量控制目的)。简要地参考图6D，示出了示例性焊接后界面。示例性焊接后界面包括覆盖在相机302所捕获的视频帧上的图形元素602、634、638、640和652。图形602(例如，文本框)为头戴物20的佩戴者提供有关待执行的焊接的信息(例如，所涉及的工件的零件号、待执行的焊接的工作订单号、和/或类似物)。头戴物20的佩戴者可以通过用户接口208与图形634交互。图形634的激活可能致使头戴物20从焊接后界面转变到待执行的下一次焊接的焊接前界面。
图形638、640和652向头戴物20的佩戴者提供对已完成焊接的回顾。图形638(例如，文本框)提供已完成焊接的评估结果。这种评估可包括确定在焊接期间测量和存储的焊接参数和/或设备设置是否在确定的公差内(例如，在工作指令中提出的)。这种评估可以包括实现用于检查焊道614和/或工件的形状、宽度、高度、反射率、颜色、不连续性、变形和/或其他视觉特征的图像处理算法。这种评估可以包括检查在焊接期间捕获的图像的亮度。例如，在焊缝期间的暗帧可能指示沿着焊接的电弧丢失的位置，并且此类地点也许应受到附加的检查(通过图像处理和/或通过引导操作者执行进一步的检查或测试)。类似地，这种评估可以包括针对可能对应于电弧丢失的地方的不连续性检查图640所示的设备设置/输出。
图形640提供了在焊接期间测量的参数和/或设置的直方图。尽管仅示出了单个图形640，但是可以示出对应于任何数量的参数和/或设置的任何数量的图形。线650对应于参数的目标值。线646和线648对应于参数的上限公差和下限公差。线644对应于已完成焊接的参数的测量。标记642允许操作者在焊接期间选择任何时刻。图形652显示由标记642选择的时刻的附加信息。在示例性实施方式中，图形元素602、634、638、640和652覆盖在其上的视频帧是在由标记642选择的时刻捕获的帧。以这种方式，通过滚动标记642或触发播放(即，标记642的自动滚动)，可以在显示器304上观看焊接的记录。在存储器中，在焊接后界面中呈现的数据可以与执行焊接的操作者的用户简档相关联。这种用户简档信息可以用于对操作者进行评估/认证/等。
在示例性实施方式中，可以分析图形640以便检测有关焊接的潜在问题(例如，可以针对可能指示例如已熄灭电弧的锐峰或不连续性，分析递送到焊接的电流的时间图)。然后可以在焊接后界面上通过接口元件(例如，替代性标记642)来调用这种尖峰或不连续性。然后，操作者与此类界面元素的交互可以从围绕所检测的尖峰或不连续性的时间段提出焊接中界面的记录。
返回到图6A，在框666中，头戴物20的佩戴者触发(例如，通过激活图形634)从焊接后界面到待完成的下一次焊接的焊接前界面的转变。图6E示出了这种界面的实例，其类似于图6B所示的界面，但是用于工件600上的下一次焊接。
图7A-7C示出了使用体现本公开各方面的头戴物的示例性焊接过程。
过程开始于框702，其中确定头戴物20与工件之间的距离和观看角度。例如，可以使用集成到头戴物20中的超声波或红外辐射计来确定距离。可替代地，可以通过GPU 418所执行的图像处理算法来确定距离。在这种实施例中，可以分析工件的已捕获图像，以便在工件的区分特点在图像中出现时检测其特征(尺寸、位置等)。然后，特征可以与有关工件的存储数据(例如，工件特点的实际尺寸)结合使用，以便确定观看距离和角度。例如，工件上的可见标记的尺寸、工件上的一些标记是可见的而其他标记不是可见的事实、标记的已知实际尺寸、以及标记在工件上的已知定位可用于确定观看距离和角度。
在框704中，从存储器(例如，从头戴物20通过LAN或互联网到达的网络数据库)检索用于焊接工件的工作指令。
在框706中，基于所确定的与工件的距离和/或工件的观看角度，选择一部分工作指令以用于在显示器304上呈现。当从相对远处观看工件时，工作指令的所选部分可以包括高级图像以及将操作者定向到整体工件的工作指令，以便有助于操作者计划要对工件执行的一系列焊缝。例如，简要参考图7B，当以相对远的距离d1观看工件时，选择指令部分724以用于呈现。指令部分724是包括图形726的工件放大视图、所述图形识别工件的零件号、要对工件执行的两个焊接、以及要执行焊接的顺序。相反，当从相对近处观看工件时，工作指令的所选部分可以包括低级图像以及用于指导操作者执行特定焊接的工作指令。例如，参考图7C，当以近距离d2观看工件时，选择指令部分734以用于呈现。指令部分734是缩小视图，其包括仍然与放大视图相关的图形726的一部分、以及提供用于焊接操作者正在观察的接缝的更深入信息的图形730。虽然描述了两个距离和对应的指令部分，但是对应于不同的视距和/或角度的任何数量的指令部分可以是可用的。类似地，在不同指令部分之间的切换不需要完全基于所测量的距离，或者甚至根本不基于所测量的距离。相反，操作者可以通过用户接口208选择她/他期望在任何给定时间观看哪些指令部分。此外，可以同时观看多个指令部分(例如，在并排或画中画型视图中)。例如，指令部分724可以呈现在显示器的角落上，而指令部分734呈现在显示器的其余部分上。
返回到图7A，在框708中，头戴物20的佩戴者触发(例如，通过激活图形604)到焊接中界面(诸如图6C的界面)的转变。在框710中，在焊接期间，头戴物20确定以下的空间位置：正在焊接的接缝、焊炬、电极和/或相机302的视野中的其他物体。头戴物20使用该确定的空间位置信息来实时更新一个或多个图形覆盖图。例如，可以使用图像处理算法来确定空间位置信息，所述图像处理算法基于由相机302捕获的立体图像的像素数据来确定3D位置。例如，空间位置信息可以用于渲染覆盖工件的实时视频的图形(诸如630)，从而维持图形与工件的正确对准(即，以便跟踪和补偿焊工在她/他执行焊接时头部的变化位置)。
图8A和图8B示出了使用焊接头戴物所产生的3D渲染，以用于增强待焊接工件的操作者视图。在图8A中，待焊接的工件800的一部分被障碍物802阻挡。例如，障碍物802可以是焊炬和/或执行焊接的操作者的手部。在图8B中，3D渲染用于数字地擦除障碍物802，使得头戴物20的佩戴者可以“看穿”障碍物802。例如，代替障碍物802呈现焊道804的虚拟延伸部、虚拟电极808以及接缝810的虚拟延伸部。渲染可能基于：工件的当前位置(根据相机302所捕获的最近图像确定)、有关工件的已知信息(例如，来自当障碍物802未阻挡工件视图时的先前捕获图像)、以及色度键控(例如，焊炬和焊工手套可以被涂成绿色或其他颜色)。
根据本公开的示例性实施方式，焊接头戴物(例如，20)包括：相机(例如，302)，其可操作以便捕获头戴物佩戴者的视野的图片；显示器，其可操作以便呈现用于由头戴物佩戴者观看的图像；和电路(例如，402、404、406、408、410、412、416、418、420)。电路可操作以便：确定与图像中的工件(例如，600)相关联的标识符(例如，零件号或工作定单号)；从存储器检索与标识符相关联的焊接工作指令；并且基于图片和工作指令中的一者或两者产生用于在显示器上呈现的图像。
标识符的确定可以包括：检测工件上的标记(例如，贴纸、油漆等)和/或工件的特点(例如，形状、尺寸、颜色等)、以及基于所检测的标记和/或特点从存储器检索标识符。标识符的确定可以基于通过有线或无线链路(例如，25)的与焊接电源的通信。工作指令可以包括示出要对工件执行的一系列焊接的一个或多个图像(例如，724)，其可以包括在为了在显示器上呈现而产生的图像中。工作指令可以指示要用于该系列焊接中的每个焊接的焊接设备设置。设置的图形表示可以包括在为了在显示器上呈现而产生的图像中。工作指令可以指示该系列焊接中的每个焊接的一个或多个焊接参数目标(例如，对应于线650)。参数目标的图形表示可以包括在为了在显示器上呈现而产生的图像中。工作指示可能指示：要对工件执行的一系列焊接、该系列焊接中使用的零件的标识符以及零件的库存(例如，其中存储指令的数据库可以链接到库存数据库)。该系列焊接和零件标识符的图形表示可以包括在为了在显示器上呈现而产生的图像中。
电路可操作以便：确定图片中的焊炬的焊接参数(例如，工作角度、行驶角度、行进速度、瞄准或接触尖端到工件的距离)，产生焊接参数的图形表示(例如，620或624)，并且在图像(例如，图6C中的显示器304上所示的图像)中包括焊接参数的图形表示。电路可操作以便：确定焊接电源的输出(例如，电压、电流或焊丝速度)，产生焊接电源的输出的图形表示(例如，628)，并且在所产生的图像(例如，图6C中的显示器304上所示的图像)中包括焊接电源输出的图形表示。
电路可以操作以便确定焊接头戴物与工件之间的距离。可以基于对图片和有关工件的尺寸/形状和/或特点的存储信息的分析来确定距离。工作指令的不同部分可能与不同的观看距离相关联。电路可以操作以便基于焊接头戴物与工件之间的确定距离来确定工作指令的哪些部分要用于产生图像。可替代地或附加地，电路可以操作以便提供接口(例如，208)，操作者可以通过所述接口在所述工作指令的所述不同部分之间切换(例如，在734与724之间)，而不管操作者正在观看工件的距离。
电路可以操作以便基于来自焊接头戴物的佩戴者的输入，确定是否使用图片和工作指令中的一者或两者以用于产生图像。来自头戴物佩戴者的输入可以是通过焊接头戴物的触觉控制的(例如，308)。来自头戴物佩戴者的输入可以是通过焊接头戴物的麦克风(例如，308)输入的语音。
电路可以操作以便确定工件的位置和定向。图像的产生可以包括基于所确定的位置和定向而产生的工件的3D渲染的产生。图片像素的第一部分可以对应于工件(例如，图8A中的802外部的像素)，而图片像素的第二部分可以对应于相机与工件之间的视线中的障碍物(例如，对应于802的像素)。图像(例如，图8B中的显示器304上所示的图像)的产生可以包括用来自3D渲染的对应像素替换图片像素的第二部分。
电路可以操作以便在特定焊缝的整个持续时间内监测焊接参数和/或焊接设备设置，并且将所监测的焊接参数和/或焊接设备设置存储到存储器。所存储的数据可以包括用于稍后播放的图片。电路可操作以便：产生存储的焊接参数和/或设备设置的图形总结(例如，640和652)，并且在第二图像(例如，图6D中的显示器304上所示的图像)中包括所跟踪的焊接参数和/或设备设置的图形总结。
本方法和系统可能以硬件、软件、或硬件和软件的组合来实现。本方法和/或系统可能以集中的方式在至少一个计算系统中实现，或以其中不同元件分布在若干互连计算系统中的分布式方式实现。适于执行本文描述的方法的任何种类的计算机系统或其他装置是适合的。硬件和软件的典型组合可以包括具有一定程序或其他代码的通用计算系统，所述程序或其他代码在被加载和执行时控制计算系统使得其执行本文描述的方法。另一个典型的实施方式可以包括专用集成电路或芯片。一些实施方式可以包括其上存储有机器可执行的一行或多行代码的非暂时机器可读(例如，计算机可读)介质(例如，闪存驱动器、光盘、磁盘等)，由此致使机器执行如本文所述的过程。
虽然已经参照某些实施方式描述了本方法和/或系统，但是本领域技术人员将理解，在不偏离本方法和/或系统的范围的情况下可以进行各种改变并且可以替换等同物。此外，在不偏离本公开的范围的情况下，可以做出许多修改来使具体情况或材料适应本发明的教导。因此，旨在使得本方法和/或系统不限于所公开的具体实施方式，但是本方法和/或系统将包括涵盖在所附权利要求的范围内的所有实施方式。
如本文所利用的，术语“电路(circuit)”和“电路(circuitry)”是指物理电子部件(即硬件)、以及可以配置硬件、由硬件执行、和/或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。如本文所使用的，例如，特定的处理器和存储器在执行第一组一行或多行代码时可以包括第一“电路”，并且在执行第二组一行或多行代码时可以包括第二“电路”。如本文所利用的，“和/或”是指通过“和/或”连接的列表中的任何一个或多个项目。作为实例，“x和/或y”意味着三元素集合{(x),(y),(x,y)}中的任何元素。换言之，“x和/或y”意味着“x和y中的一者或两者”。作为另一个实例，“x、y、和/或z”意味着七元素集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。换言之，“x、y和/或z”意味着“x、y和z中的一个或多个”。如本文所利用的，术语“示例性”意味着用作非限制性实例、示例或说明。如本文所利用的，术语“例如(e.g.)和例如(for example)”提出一个或多个非限制性实例、示例、或说明的列表。如本文所利用的，电路是“可操作的”以便每当电路包括执行功能所必需的硬件和代码(如果代码是必要的话)时执行所述功能，无论所述功能的执行是禁用还是未启用的(例如，通过用户可配置的设置、工厂调整等)。

Claims (23)

1.一种系统，所述系统包括：
焊接头戴物，所述焊接头戴物包括：
显示器，其可操作以便呈现用于由所述焊接头戴物的佩戴者观看的图像；以及
电路，其可操作以便：
确定与工件相关联的标识符；
从存储器检索与所述标识符相关联的焊接工作指令；以及
基于所述工作指令产生用于在所述显示器上呈现的所述图像。
2.根据权利要求1所述的系统，其中所述标识符的所述确定包括：
通过由所述电路实施的图像处理算法来检测所述工件和所述工件特点中的一者或两者上的标记；以及
基于所检测的标记特点中的所述一者或两者从存储器检索所述标识符。
3.根据权利要求1所述的系统，其中所述电路可操作以便：
在手动焊接操作期间，确定焊炬的焊接参数；
产生所述焊接参数的图形表示；以及
在所述图像中包括所述焊接参数的所述图形表示。
4.根据权利要求1所述的系统，其中所述电路可操作以便：
确定焊接电源的输出；
产生所述焊接电源的所述输出的图形表示；以及
在所述图像中包括所述焊接电源的所述输出的所述图形表示。
5.根据权利要求1所述的系统，其中：
所述工作指令包括示出要对所述工件执行的一系列焊接的一个或多个图示；以及
在为了在所述显示器上呈现而产生的所述图像中包括示出所述系列的焊接的一个或多个图像。
6.根据权利要求5所述的系统，其中：
所述焊接工作指令指示要用于所述系列焊接中的每个焊接的焊接设备设置；以及
在为了在所述显示器上呈现而产生的图像内包括所述焊接设备设置的图形表示。
7.根据权利要求5所述的系统，其中：
所述焊接工作指令指示所述系列焊接中的每个焊接的一个或多个焊接参数目标；以及
在为了在所述显示器上呈现而产生的所述图像中包括所述焊接参数目标的图形表示。
8.根据权利要求7所述的系统，其中所述一个或多个焊接参数目标包括以下中的一个或多个：目标工作角度、目标行进角度、目标行进速度和目标接触尖端到工件的距离。
9.根据权利要求5所述的系统，其中：
所述工作指令指示要对所述工件执行的一系列焊接和在所述系列的焊接中使用的零件的标识符；以及
在为了在所述显示器上呈现而产生的所述图像中包括所述系列的焊接和所述零件的所述标识符的图形表示。
10.根据权利要求1所述的系统，其中：
所述工作指令的不同部分与不同的观看距离相关联；以及
所述电路可操作以便提供接口，操作者可以通过所述接口在所述工作指令的所述不同部分之间切换。
11.根据权利要求1所述的系统，其中所述电路可操作以便确定所述焊接头戴物与所述工件之间的距离。
12.根据权利要求11所述的系统，其中所述电路可操作以便使用图像处理算法以及有关所述工件的尺寸、形状和/或特点中的一个或多个的存储信息来确定所述距离。
13.根据权利要求10所述的系统，其中：
所述工作指令的不同部分与不同的观看距离相关联；以及
所述电路可操作，以便基于所述焊接头戴物与所述工件之间的所述确定的距离，确定在产生在所述显示器上呈现的所述图像时使用所述工作指令中的哪些所述不同部分。
14.根据权利要求1所述的系统，其包括可操作以便捕获所述焊接头戴物佩戴者视野的图片的相机，其中：
所述电路可操作以便基于来自所述焊接头戴物的佩戴者的输入，
确定是否使用所述图片以及用于在所述显示器上呈现的所述图像的所述产生的所述工作指令中的一者或两者。
15.根据权利要求14所述的系统，其中来自所述焊接头戴物的所述佩戴者的所述输入是以下各项中的一个或多个：通过所述焊接头戴物的触觉控制的输入、通过所述焊接头戴物的麦克风输入的语音、通过所述焊接头戴物的相机捕获的手势、通过加速度计捕获的手势以及通过陀螺仪捕获的手势。
16.根据权利要求1所述的系统，其中所述电路可操作以便通过由所述电路实现的图像处理算法来确定所述工件的位置和定向。
17.根据权利要求16所述的系统，其中所述图像的所述产生包括基于所述确定的位置和定向产生的所述工件的3D渲染的产生。
18.根据权利要求1所述的系统，其中所述电路可操作以便：
在特定焊接的整个持续时间内监测焊接参数和焊接设备设置中的一者或两者；以及
将所述监测的焊接参数和焊接设备设置中的一者或两者存储到存储器中。
19.根据权利要求18所述的系统，其中所述电路可操作以便：
在完成所述特定焊接之后，产生所述存储的焊接参数和设备设置中的一者或两者的图形总结；以及
在为了在所述显示器上呈现而产生的所述图像中包括所述存储的焊接参数和设备设置的所述图形总结。
20.根据权利要求1所述的系统，其中：
在开始焊接操作之前，为了在所述显示器上呈现而产生的所述图像对应于焊接前界面；
在所述焊接操作期间，为了在所述显示器上呈现而产生的所述图像对应于焊接中界面；以及
在所述焊接操作之后，为了在所述显示器上呈现而产生的所述图像对应于焊接后界面。
21.根据权利要求1所述的系统，其中为了在所述显示器上呈现而产生的所述图像包括图形元素，其指示在先前完成的焊接操作期间测量的焊接设备输出。
22.根据权利要求1所述的系统，其包括可操作以便捕获由所述焊接头戴物的佩戴者执行的焊接操作的视频的相机，其中所述电路可操作以便：
在完成所述焊接操作之后，分析在所述焊接操作期间测量的焊接设备输出，以便识别在所述焊接操作期间感兴趣的时间段；以及
产生图形元素，在与其交互时触发对应于所述识别的时间段的所述视频的一部分的重放。
23.根据权利要求1所述的系统，其中所述电路可操作以便：
从存储器检索执行所述焊接工作所需的零件的库存；以及
提供所述头戴物的佩戴者可以通过其订购所述零件的界面。
CN201680011336.5A 2015-02-27 2016-01-06 具有主动焊工引导的增强视觉系统 Active CN107567369B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562121853P 2015-02-27 2015-02-27
US62/121,853 2015-02-27
US14/918,654 2015-10-21
US14/918,654 US10406638B2 (en) 2015-02-27 2015-10-21 Augmented vision system with active welder guidance
PCT/US2016/012273 WO2016137578A1 (en) 2015-02-27 2016-01-06 Augmented vision system with active welder guidance

Publications (2)

Publication Number Publication Date
CN107567369A true CN107567369A (zh) 2018-01-09
CN107567369B CN107567369B (zh) 2020-05-15

Family

ID=55405446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680011336.5A Active CN107567369B (zh) 2015-02-27 2016-01-06 具有主动焊工引导的增强视觉系统

Country Status (4)

Country Link
US (2) US10406638B2 (zh)
EP (1) EP3261597B1 (zh)
CN (1) CN107567369B (zh)
WO (1) WO2016137578A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666955A (zh) * 2020-06-08 2020-09-15 杭州智乎物联科技有限公司 电烙铁操作指导信息生成方法、系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9196169B2 (en) 2008-08-21 2015-11-24 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US9280913B2 (en) 2009-07-10 2016-03-08 Lincoln Global, Inc. Systems and methods providing enhanced education and training in a virtual reality environment
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US9483959B2 (en) 2008-08-21 2016-11-01 Lincoln Global, Inc. Welding simulator
US8274013B2 (en) 2009-03-09 2012-09-25 Lincoln Global, Inc. System for tracking and analyzing welding activity
US20160093233A1 (en) 2012-07-06 2016-03-31 Lincoln Global, Inc. System for characterizing manual welding operations on pipe and other curved structures
US10930174B2 (en) 2013-05-24 2021-02-23 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
EP3111440A1 (en) 2014-06-02 2017-01-04 Lincoln Global, Inc. System and method for manual welder training
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
EP3319066A1 (en) 2016-11-04 2018-05-09 Lincoln Global, Inc. Magnetic frequency selection for electromagnetic position tracking
US10913125B2 (en) 2016-11-07 2021-02-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display
US10878591B2 (en) * 2016-11-07 2020-12-29 Lincoln Global, Inc. Welding trainer utilizing a head up display to display simulated and real-world objects
US20180130377A1 (en) * 2016-11-07 2018-05-10 Lincoln Global, Inc. Communication between a welding machine and a live welding training device
WO2019113316A1 (en) * 2017-12-06 2019-06-13 Walmart Apollo, Llc System and method for iterative improvements to pre-count inventory rules
US11557223B2 (en) 2018-04-19 2023-01-17 Lincoln Global, Inc. Modular and reconfigurable chassis for simulated welding training
US11475792B2 (en) 2018-04-19 2022-10-18 Lincoln Global, Inc. Welding simulator with dual-user configuration
US11403962B2 (en) 2018-08-03 2022-08-02 Illinois Tool Works Inc. System and method for weld training
US11514816B2 (en) 2019-02-19 2022-11-29 Illinois Tool Works Inc. Adjustable visual effects simulating auto darkening lenses in augmented reality welding systems
US11806814B2 (en) 2019-02-19 2023-11-07 Illinois Tool Works Inc. Welding location and order monitoring in welding systems
US20210220177A1 (en) * 2020-01-21 2021-07-22 Illinois Tool Works Inc. Systems and methods to reduce perceived audible welding noise
US12090581B2 (en) * 2020-05-29 2024-09-17 Illinois Tool Works Inc. Welding sequence guidance using three dimensional models
US20240017342A1 (en) 2022-07-18 2024-01-18 Illinois Tool Works Inc. Welding technique monitoring systems using acoustic tracking

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041904A (ja) * 1999-08-02 2001-02-16 Ricoh Microelectronics Co Ltd 異物除去装置及び異物位置検出装置
US6734393B1 (en) * 1999-08-13 2004-05-11 Fronius International Gmbh Data display on a welding screen
US20050103767A1 (en) * 2001-01-25 2005-05-19 Lincoln Global, Inc. System and method providing automated welding notification
US20090231423A1 (en) * 2008-03-14 2009-09-17 Illinois Tool Works Inc. Video recording device for a welder's helmet
CN102378666A (zh) * 2009-03-31 2012-03-14 弗罗纽斯国际有限公司 用于远程控制与手动致动的器具相连接的电源的方法和设备
US20130206741A1 (en) * 2012-02-10 2013-08-15 Illinois Tool Works Inc. Helmet-integrated weld travel speed sensing system and method
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US20140346158A1 (en) * 2013-05-24 2014-11-27 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4021840A (en) 1975-01-24 1977-05-03 General Dynamics Corporation Seam tracking welding system
US4641292A (en) 1983-06-20 1987-02-03 George Tunnell Voice controlled welding system
US4577796A (en) 1984-10-10 1986-03-25 Kaiser Steel Corporation Method and apparatus for tracking seam welds on pipes and the like
US4812614A (en) 1987-02-26 1989-03-14 Industrial Technology Research Institute Machine vision seam tracking method and apparatus for welding robots
US4733051A (en) 1987-08-25 1988-03-22 Canadian Patents And Development Limited Method and apparatus for controlling root pass weld penetration in open butt joints
US5572102A (en) 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
ES2215208T3 (es) 1996-10-10 2004-10-01 Elpatronic Ag Procedimiento y dispositivo para la verificacion optica de una costura de soldadura.
CA2194937A1 (en) 1997-01-13 1998-07-13 John Craig Mobile automated pipeline welding and quality control system
US5923555A (en) 1997-06-02 1999-07-13 Framatome Technologies, Inc. Welding system
US6167401A (en) 1998-02-09 2000-12-26 Ciena Corporation Manufacturing control network having a relational database
US6242711B1 (en) 1999-12-27 2001-06-05 Accudata, Inc. Arc welding monitoring system
ATE431218T1 (de) 2004-10-13 2009-05-15 Erdogan Karakas Vorrichtung zur ausführung eines füge-, trenn- oder oberflächenbehandlungsverfahrens, insbesondere eines schweissverfahrens
US8001623B2 (en) 2005-05-26 2011-08-23 Gertsch Jeffrey H Electronic helmet
AT502283B1 (de) 2005-07-15 2007-05-15 Fronius Int Gmbh Schweissverfahren und schweisssystem mit bestimmung der position des schweissbrenners
US7534005B1 (en) 2006-01-04 2009-05-19 Michael Buckman Welding helmet
US7926118B2 (en) 2006-12-27 2011-04-19 Illinois Tool Works Inc. Voice control welding/cutting helmet functions and settings
US20080198235A1 (en) 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US7962967B2 (en) 2008-05-09 2011-06-21 Illinois Tool Works Inc. Weld characteristic communication system for a welding mask
US9352411B2 (en) 2008-05-28 2016-05-31 Illinois Tool Works Inc. Welding training system
US8915740B2 (en) 2008-08-21 2014-12-23 Lincoln Global, Inc. Virtual reality pipe welding simulator
US9330575B2 (en) 2008-08-21 2016-05-03 Lincoln Global, Inc. Tablet-based welding simulator
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
US8274013B2 (en) 2009-03-09 2012-09-25 Lincoln Global, Inc. System for tracking and analyzing welding activity
US9221117B2 (en) 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
US8569655B2 (en) 2009-10-13 2013-10-29 Lincoln Global, Inc. Welding helmet with integral user interface
US20110220619A1 (en) 2010-03-10 2011-09-15 Illinois Tool Works Inc. Positional monitoring systems and methods for welding devices
WO2012082105A1 (en) 2010-12-13 2012-06-21 Edison Welding Institute, Inc. Welding training system
CA2725719A1 (en) 2010-12-16 2012-06-16 Steve Mann Sensory aid to help a user of light-procing or sound-producing process sense aspects of the process or the environment around the process
JP5889539B2 (ja) * 2011-03-28 2016-03-22 独立行政法人石油天然ガス・金属鉱物資源機構 炭化水素の製造方法
KR101201483B1 (ko) 2011-05-17 2012-11-14 김동근 용접용 마스크
US8368172B1 (en) * 2011-07-22 2013-02-05 Freescale Semiconductor, Inc. Fused buss for plating features on a semiconductor die
DE102011053798A1 (de) 2011-09-20 2013-03-21 Dritte Patentportfolio Beteiligungsgesellschaft Mbh & Co.Kg Verfahren zur Bestimmung einer Lageänderung eines Werkzeuges sowie das Werkzeug und die Werkzeugsteuerung
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
US9566192B2 (en) 2012-05-04 2017-02-14 Illinois Tool Works Inc. Welding helmet for detecting arc data
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
US9368045B2 (en) 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
US9335027B2 (en) 2013-01-02 2016-05-10 Massachusetts Institute Of Technology Methods and apparatus for transparent display using scattering nanoparticles
US20140205979A1 (en) 2013-01-18 2014-07-24 Lynn M. Carlson Medical walk-regaining staff and related methods
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9666100B2 (en) 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US9713852B2 (en) 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US9583023B2 (en) 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
US9672757B2 (en) 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US20150009316A1 (en) 2013-07-02 2015-01-08 Aaron Baldwin Live Camera Feed Welding Helmet
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US20150248845A1 (en) 2014-02-28 2015-09-03 Lincoln Global, Inc. Portable virtual welding system
US8992226B1 (en) 2014-07-15 2015-03-31 Lincoln Global, Inc. Unicoupon for virtual reality welding simulator

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041904A (ja) * 1999-08-02 2001-02-16 Ricoh Microelectronics Co Ltd 異物除去装置及び異物位置検出装置
US6734393B1 (en) * 1999-08-13 2004-05-11 Fronius International Gmbh Data display on a welding screen
US20050103767A1 (en) * 2001-01-25 2005-05-19 Lincoln Global, Inc. System and method providing automated welding notification
US20090231423A1 (en) * 2008-03-14 2009-09-17 Illinois Tool Works Inc. Video recording device for a welder's helmet
CN102378666A (zh) * 2009-03-31 2012-03-14 弗罗纽斯国际有限公司 用于远程控制与手动致动的器具相连接的电源的方法和设备
US20130206741A1 (en) * 2012-02-10 2013-08-15 Illinois Tool Works Inc. Helmet-integrated weld travel speed sensing system and method
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US20140346158A1 (en) * 2013-05-24 2014-11-27 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666955A (zh) * 2020-06-08 2020-09-15 杭州智乎物联科技有限公司 电烙铁操作指导信息生成方法、系统
WO2021249140A1 (zh) * 2020-06-08 2021-12-16 杭州智乎物联科技有限公司 电烙铁操作指导信息生成方法、系统

Also Published As

Publication number Publication date
US10406638B2 (en) 2019-09-10
CN107567369B (zh) 2020-05-15
US20160250723A1 (en) 2016-09-01
US20200001408A1 (en) 2020-01-02
WO2016137578A1 (en) 2016-09-01
EP3261597A1 (en) 2018-01-03
US11524368B2 (en) 2022-12-13
EP3261597B1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
CN107567369A (zh) 具有主动焊工引导的增强视觉系统
US11862035B2 (en) Methods and apparatus to provide visual information associated with welding operations
US11865648B2 (en) Multiple input welding vision system
CN107912061B (zh) 用于焊接的传感器辅助头戴式显示器
JP5032343B2 (ja) 仮想物体を表示する方法および装置、ならびに環境画像に仮想物体を重ね合せるための方法および装置
EP3318360A1 (en) Communication between a welding machine and a live welding training device
EP3247522B1 (en) User configuration of image capture and display in a welding vision system
CN107735205B (zh) 通过焊接视觉系统进行的焊接输出控制
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
US20160250706A1 (en) Welding system providing remote storage of video weld data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant