CN106569769A - 基于ar技术的机器操作指导信息展示方法及装置 - Google Patents
基于ar技术的机器操作指导信息展示方法及装置 Download PDFInfo
- Publication number
- CN106569769A CN106569769A CN201610987399.6A CN201610987399A CN106569769A CN 106569769 A CN106569769 A CN 106569769A CN 201610987399 A CN201610987399 A CN 201610987399A CN 106569769 A CN106569769 A CN 106569769A
- Authority
- CN
- China
- Prior art keywords
- machine
- information
- user
- guidance information
- technology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于AR技术的机器操作指导信息展示方法及装置,用于向用户提供更加具体直观的机器操作指导信息,其中所述方法包括,获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;根据所述识别信息调取所述机器的操作指导信息;在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。本发明所提供的方法将机器和操作指导信息结合起来,同时叠加呈现在用户的视野范围内,这种机器操作指导信息展示的方法可以使用户操作机器和查看操作指导信息同时进行,避免了由于用户离开机器查看操作指导信息所造成的事故,使用户在操作机器时更加方便,工作效率更高。
Description
技术领域
本发明涉及增强现实技术领域,具体涉及一种基于AR技术的机器操作指导信息展示方法及装置。
背景技术
增强现实(Augmented Reality,简称AR),它借助于光电技术、交互技术、多传感器技术和计算机图像与多媒体技术,生成了一种逼真的视、听、力、触和动等感觉的虚拟环境,并将这种虚拟环境与真实世界“无缝”地结合起来,好像这些虚拟信息是真实存在一样,把原本在真实世界的一定时间空间范围内很难体验到的信息被人类感官所感知,突破了空间、时间以及其他客观限制,从而达到超越现实的感官体验。
对于一些操作复杂的大型机器,用户经常需要结合操作规程来操作机器,但是,这些操作规程一般都是用文字和图片来展示的,通常都是纸质版或者电子版,用户往往需要一边操作一边来查看操作规程,由于操作规程和设备是分离的,所以用户不能同时兼顾,容易顾此失彼,甚至导致使用错误,造成伤害,尤其在一些重要的操作过程中,机器往往离不开人,使用户不能离开去查看操作规程。因此,现有操作指导信息的展示方法非常不利于指导用户的操作,指导效率较低。
发明内容
针对现有技术中的上述缺陷,本发明提供了一种基于AR技术的机器操作指导信息展示方法及装置,使用户在操作机器时更加方便,提高了用户查看机器操作指导信息的效率。
第一方面,本发明提供的一种基于AR技术的机器操作指导信息展示方法,包括:
获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;
根据所述识别信息调取所述机器的操作指导信息;
在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。
可选的,所述获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息,包括:
拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片;或,采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定机器,获得所述机器的立体影像;
采用图像特征识别技术从所述照片或立体影像中识别出所述机器,获得所述机器的识别信息。
可选的,在所述根据所述识别信息调取所述机器的操作指导信息的步骤前,还包括:
根据所述照片或立体影像判断所述机器当前的操作状态;
所述根据所述识别信息调取所述机器的操作指导信息,包括:
根据所述识别信息和所述机器当前的操作状态,调取以所述机器当前的操作状态为节点开始的所述机器的操作指导信息。
可选的,所述获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息,包括:
扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定机器上的二维码或条形码,获得所述机器的识别信息。
可选的,所述根据所述识别信息调取所述机器的操作指导信息,包括:
根据所述识别信息从本地数据库中查询所述机器的操作指导信息;或者
根据所述识别信息从远端服务器下载所述机器的操作指导信息。
可选的,所述操作指导信息,包括:指导用户使用所述机器的操作指导信息的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。
可选的,所述在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息,包括:
采用投影技术将所述操作指导信息投影到所述镜片上,使所述用户看到所述机器和所述操作指导信息的立体融合景象。
第二方面,本发明提供一种基于AR技术的机器操作指导信息展示装置,包括:
识别信息获取模块,用于获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;
指导信息调取模块,用于根据所述识别信息调取所述机器的操作指导信息;
指导信息显示模块,用于在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。
可选的,所述识别信息获取模块,包括:
拍照影像获取单元,用于拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片;或,
扫描影像获取单元,用于采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定机器,获得所述机器的立体影像;
影像处理单元,用于采用图像特征识别技术从所述照片或立体影像中识别出所述机器,获得所述机器的识别信息。
可选的,所述基于AR技术的机器操作指导信息展示装置,还包括:
操作状态判断模块,用于根据所述照片或影像判断所述机器当前的操作状态;
所述指导信息调取模块,包括:
部分信息调取单元,用于根据所述识别信息和所述机器当前的操作状态,调取以所述机器当前的操作状态为节点开始的所述机器的操作指导信息。
可选的,所述识别信息获取模块,包括:
扫码单元,用于扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定机器上的二维码或条形码,获得所述机器的识别信息。
可选的,所述指导信息调取模块,包括:
指导信息本地调取单元,用于根据所述识别信息从本地数据库中查询所述机器的操作指导信息;或者,
指导信息远端调取单元,用于根据所述识别信息从远端服务器下载所述机器的操作指导信息。
可选的,所述操作指导信息,包括:指导用户使用所述机器的操作指导信息的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。
可选的,所述指导信息显示模块,包括:
投影单元,用于采用投影技术将所述操作指导信息投影到所述镜片上,使所述用户看到所述机器和所述操作指导信息的立体融合景象。
由上述技术方案可知,本发明提供的一种基于AR技术的机器操作指导信息展示方法,用于向用户提供更加具体直观的机器操作指导信息,首先,获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;然后,根据所述识别信息调取所述机器的操作指导信息;最后,在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。本发明所提供的方法将机器和操作指导信息结合起来,同时叠加呈现在用户的视野范围内,虚拟的操作指导信息和现实机器的融合使得用户学习机器操作指导信息更加直观、简洁,这种机器操作指导信息展示的方法可以使用户操作机器和查看操作指导信息同时进行,避免了由于用户离开机器查看操作指导信息所造成的事故,使用户在操作机器时更加方便,工作效率更高。
本发明提供的一种基于AR技术的机器操作指导信息展示装置,与上述基于AR技术的机器操作指导信息展示方法出于相同的发明构思,具有相同的有益效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明第一实施例提供的一种基于AR技术的机器操作指导信息展示方法的流程图;
图2示出了本发明第二实施例提供的一种基于AR技术的机器操作指导信息展示装置的示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
为了便于理解,在此对本发明的整体发明构思进行说明:
本发明以用户使用的AR设备为执行主体,提供了一种基于AR技术的机器操作指导信息展示方法及装置,整体上同属于一个相同的发明构思,主要利用一种基于AR的技术使用户在同一视野中同时看到机器操作指导信息和现实机器,首先,获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;然后,根据所述识别信息调取所述机器的操作指导信息;最后,在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。当用户在操作一种比较复杂的大型机器时,由于操作步骤复杂,需要随时查看操作指导信息,这时,可以利用本发明提供的方法或装置使用户在操作机器的同时也可以看到操作指导信息,操作指导信息中的操作过程、操作注意事项等会在真实的机器上进行虚拟的操作演示,不用再去拿纸质版或电子版操作规程来查看,这种操作指导信息展示的方法非常方便、直观,且指导效率高。需要说明的是,本发明并不限制机器的种类,所有的机器和设备都在本发明的保护范围之内。
本发明提供了一种基于AR技术的机器操作指导信息展示方法及装置。下面结合附图对本发明的实施例进行说明。
图1示出了本发明第一实施例所提供的一种基于AR技术的机器操作指导信息展示方法的流程图。如图1所示,本发明第一实施例提供的一种基于AR技术的机器操作指导信息展示方法包括以下步骤:
步骤S101:获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息。
在本步骤中,获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息有三种方式,第一种方式,通过安装于AR设备上的摄像头拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片,采用图像特征识别技术从所述照片中识别出所述机器,获得所述机器的识别信息,在一个典型的AR设备中,在镜片旁设置有摄像头,在戴上AR眼镜后,所述摄像头拍摄的视野和所述用户通过所述镜片看到的外部的视野基本一致,因此,当用户面向指定机器时,所述摄像头拍摄的画面中即包含所述机器,即实现拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片的过程,其中,所述摄像头可以有一个或多个,其都在本发明的保护范围之内;第二种方式,利用具有三维立体扫描技术的AR设备扫描用户通过AR设备的镜片看到的视野范围内包含的指定机器,获得所述机器的立体影像,再采用图像特征识别技术从所述立体影像中识别出所述机器,获得所述机器的识别信息,在所述AR设备中,三维立体扫描镜头设置在AR镜片旁,在戴上AR眼镜后,用户可以看到所述三维立体扫描镜头将要扫描的对象,在确定好目标扫描物体后,就可以对其进行扫描;第三种方式,扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定机器上的二维码或条形码,获得所述机器的识别信息。同一个AR设备可以具有这三种获取识别信息的方式中的一种或多种,并不相互冲突,增加了所述AR设备的应用范围,避免了因为外观相同型号不同而引起的错误识别,当外观相同时,可以使用扫描或者扫码的方式进行正确识别。
其中,所述识别信息是指能够对所述机器进行身份识别的信息,例如机器型号、名称、规格、尺寸等。
步骤S102:根据所述识别信息调取所述机器的操作指导信息。
当采用步骤S101中的第一种方式或者第二种方式获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息的过程中,可以根据拍摄到的所述照片或者扫描到的所述立体影像判断所述机器当前的操作状态,然后根据所述识别信息和所述操作状态,调取以所述机器当前的操作状态为节点开始的所述机器的操作指导信息。避免了对已经明白的、操做过的操作指导信息做重复查看,使所述操作指导信息更有针对性、更加简洁。
所述根据所述识别信息调取所述机器的操作指导信息,包括根据所述识别信息从本地数据库中查询所述机器的操作指导信息,或者,根据所述识别信息从远端服务器下载所述机器的操作指导信息,使基于AR技术的机器操作指导信息展示方法的应用范围更广,既可以应用于一种机器,也可以应用于多种机器。对于占用空间较小的操作指导信息,就可以直接存储在本地数据库,从本地数据库中调取操作指导信息方便快捷,避免了对服务器的使用,节约了成本;对于占用空间较大的操作指导信息,可以都存储在远端服务器,在使用时根据需要选择下载,两种调取操作指导信息的方法,都各有优势,都在本发明的保护范围之内。另外,在本发明提供的一个实施例中,所述AR设备既设置有本地存储器,还设有无线通信模块与远端服务器连接,所述本地存储器中存储有指定几个型号的机器的操作指导信息,所述远端服务器设于所述机器的生产厂家,其内部存储有该厂家生产的所有型号的机器,这样,当用户使用所述AR设备操作该厂家的其它机器时,可以从所述远端服务器下载相应的操作指导信息即可使用,提高所述AR设备的应用范围,实现使用一台AR设备即可匹配多台机器的效果。
示例1:在工厂里,会有许多大型机器,且每种机器的操作都比较复杂,用户在操作时通常需要指导,这时,用户可以戴上所述AR设备操作机器同时观看操作指导信息。用户在戴上AR设备后,首先需要确定自己操作的是哪一台机器,然后用所述AR设备扫描所述机器,用户在AR设备的镜片上可以看到所述机器,然后AR设备会获取到所述机器的立体图像,再采用图像识别技术对其进行辨认,获取所述机器的识别信息,如机器名称、规格、型号等,在获取到所述识别信息后,AR设备会根据所述识别信息从本地存储器中查找相应的所述机器的操作指导信息,或者从远端服务器下载相应的所述机器的操作指导信息。所述操作指导信息可以是所述机器的操作流程、注意事项、性能参数等,其都在本发明的保护范围内。
示例2:用户操作一台比较复杂的机器,如果所述机器的操作步骤有七步,现在用户操作进行到第二步,接下来一步不确定如何操作,这时,利用AR设备拍照或扫描处于当前操作状态的所述机器,AR设备会根据拍照得到的照片或者扫描到的立体图像采用图像识别技术识别所述机器,获得识别信息,同时,所述AR设备会根据所述机器的识别信息和所述处于当前操作状态的机器的照片或者立体图像判断用户具体操作到哪一个步骤,这里判断用户操作到第二步,接下来要进行第三步的操作,然后从储存有所述机器操作指导信息的储存器中查找所述识别信息,调取以所述操作状态为节点开始的所述机器的操作指导信息,将所述机器操作的第三步及以后的操作指导信息在所述AR设备上进行展示,为用户提供接下来的操作指导信息。
步骤S103:在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。
本发明实施例中的操作指导信息在内容形式上可以是指导用户使用所述机器的操作指导信息的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。
在内容上,所述操作指导信息可以是操作流程的指导信息、操作注意事项的指导信息等,都在本发明的保护范围内。
所述在所述镜片上叠加展示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息,可以采用投影技术将所述操作指导信息投影到所述镜片上,使所述用户看到所述机器和所述操作指导信息的立体融合景象,也可以是采用透明显示器作为镜片,在所述透明显示器上以半透明方式显示所述操作指导信息,其均在本发明的保护范围之内。
示例3:用户在使用汽车的过程中汽车突然发生了故障,需要马上维修,用户可以佩戴具有所述汽车维修操作指导信息的AR眼镜,所述AR眼镜会指导用户整个维修操作过程。用户佩戴AR眼镜后,首先,用户会操作所述AR眼镜让所述AR眼镜对所述汽车拍照或者扫描,确认所述汽车的型号,然后再找出所述汽车发生故障的原因,比如,打开所述汽车前面的车盖,检查所述汽车发动机、散热器等部件,在查找故障原因的过程中,用户在AR眼镜上可以看到有箭头或者虚构的人物指示用户打开所述汽车前面的车盖,会出现虚拟的扳手指导用户应该拧哪个螺丝,向哪个方向拧,提示用户哪里出现了什么问题,找到发生故障的问题后,用户可以从所述AR眼镜获得如何进行维修的指导信息,比如,有箭头指向一根电线,同时会有提示音或者文字出现表明电线断了,接下来,会有声音或者文字与指导箭头一起指导用户应该如何将所述电线接好,完成所述故障的维修工作。
通过对所述真实机器和所述操作指导信息叠加展示,可以使所述操作指导信息更加友好地呈现在用户眼前,用户可以看到所述机器和所述操作指导信息的立体融合景象,使用户更加真切感受到3D化、信息化、具体化、简单化的操作指导信息的内容,从而更好地理解操作指导信息内容,可以有效提高操作指导信息对用户的指导效果,提升指导效率,获得更好的用户体验。
用户利用这种方法学习机器操作指导信息,可以自己独立完成整个学习,不需要有经验的师傅再进行讲解,不明白的地方可以反复观看,这样,不仅节省了有经验师傅教导的时间,而且,用户在操作机器时,可以佩戴所述AR眼镜,随时提醒用户需要注意的操作事项、操作流程等,能够防止因为粗心、分心、不明白等因素所引起的疏忽、遗漏个别步骤,避免了一些不必要的损失或伤害。同时,通过这种基于AR设备的操作指导信息展示的学习方法,使用户可以随时学习机器的操作指导信息,可以加快用户学习的进度,提高学习效率,对提升工厂的生产效率有一定的帮助。
在上述的第一实施例中,提供了一种基于AR技术的机器操作指导信息展示方法,与之相对应的,本申请还提供一种基于AR技术的机器操作指导信息展示装置。请参考图2,其为本发明第二实施例提供的一种基于AR技术的机器操作指导信息展示装置的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本发明第二实施例提供的一种基于AR技术的机器操作指导信息展示装置包括:
识别信息获取模块101,用于获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;
指导信息调取模块102,用于根据所述识别信息调取所述机器的操作指导信息;
指导信息显示模块103,用于在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。
在本发明提供的一个实施例中,所述识别信息获取模块101,包括:
拍照影像获取单元,用于拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片;或,
扫描影像获取单元,用于采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定机器,获得所述机器的立体影像;
影像处理单元,用于采用图像特征识别技术从所述照片或立体影像中识别出所述机器,获得所述机器的识别信息。
在本发明提供的一个实施例中,所述基于AR技术的机器操作指导信息展示装置,还包括:
操作状态判断模块,用于根据所述照片或影像判断所述机器当前的操作状态;
所述指导信息调取模块102,包括:
部分信息调取单元,用于根据所述识别信息和所述机器当前的操作状态,调取以所述机器当前的操作状态为节点开始的所述机器的操作指导信息。
在本发明提供的一个实施例中,所述识别信息获取模块101,包括:
扫码单元,用于扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定机器上的二维码或条形码,获得所述机器的识别信息。
在本发明提供的一个实施例中,所述指导信息调取模块102,包括:
指导信息本地调取单元,用于根据所述识别信息从本地数据库中查询所述机器的操作指导信息;或者,
指导信息远端调取单元,用于根据所述识别信息从远端服务器下载所述机器的操作指导信息。
在本发明提供的一个实施例中,所述操作指导信息,包括:指导用户使用所述机器的操作指导信息的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。
在本发明提供的一个实施例中,所述指导信息显示模块103,包括:
投影单元,用于采用投影技术将所述操作指导信息投影到所述镜片上,使所述用户看到所述机器和所述操作指导信息的立体融合景象。
以上,为本发明第二实施例提供的一种基于AR技术的机器操作指导信息展示装置的实施例说明。
本发明提供的一种基于AR技术的机器操作指导信息展示装置与上述基于AR技术的机器操作指导信息展示方法出于相同的发明构思,具有相同的有益效果,此处不再赘述。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。需要说明的是,本发明附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机机器(可以是个人计算机,服务器,或者网络机器等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于AR技术的机器操作指导信息展示方法,其特征在于,包括:
获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;
根据所述识别信息调取所述机器的操作指导信息;
在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。
2.根据权利要求1所述的基于AR技术的机器操作指导信息展示方法,其特征在于,所述获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息,包括:
拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片;或,采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定机器,获得所述机器的立体影像;
采用图像特征识别技术从所述照片或立体影像中识别出所述机器,获得所述机器的识别信息。
3.根据权利要求2所述的基于AR技术的机器操作指导信息展示方法,其特征在于,在所述根据所述识别信息调取所述机器的操作指导信息的步骤前,还包括:
根据所述照片或立体影像判断所述机器当前的操作状态;
所述根据所述识别信息调取所述机器的操作指导信息,包括:
根据所述识别信息和所述机器当前的操作状态,调取以所述机器当前的操作状态为节点开始的所述机器的操作指导信息。
4.根据权利要求1所述的基于AR技术的机器操作指导信息展示方法,其特征在于,所述获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息,包括:
扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定机器上的二维码或条形码,获得所述机器的识别信息。
5.根据权利要求1所述的基于AR技术的机器操作指导信息展示方法,其特征在于,所述根据所述识别信息调取所述机器的操作指导信息,包括:
根据所述识别信息从本地数据库中查询所述机器的操作指导信息;或者
根据所述识别信息从远端服务器下载所述机器的操作指导信息。
6.根据权利要求1所述的基于AR技术的机器操作指导信息展示方法,其特征在于,所述操作指导信息,包括:指导用户使用所述机器的操作指导信息的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。
7.根据权利要求1所述的基于AR技术的机器操作规范展示方法,其特征在于,所述在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息,包括:
采用投影技术将所述操作指导信息投影到所述镜片上,使所述用户看到所述机器和所述操作指导信息的立体融合景象。
8.一种基于AR技术的机器操作指导信息展示装置,其特征在于,包括:
识别信息获取模块,用于获取用户通过AR设备的镜片看到的视野范围内指定机器的识别信息;
指导信息调取模块,用于根据所述识别信息调取所述机器的操作指导信息;
指导信息显示模块,用于在所述镜片上叠加显示所述操作指导信息,以使所述用户同时看到所述机器和所述操作指导信息。
9.根据权利要求8所述的基于AR技术的机器操作指导信息展示装置,其特征在于,所述识别信息获取模块,包括:
拍照影像获取单元,用于拍摄用户通过AR设备的镜片看到的视野范围内包含指定机器的照片;或,
扫描影像获取单元,用于采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定机器,获得所述机器的立体影像;
影像处理单元,用于采用图像特征识别技术从所述照片或立体影像中识别出所述机器,获得所述机器的识别信息。
10.根据权利要求8所述的基于AR技术的机器操作指导信息展示装置,其特征在于,所述指导信息调取模块,包括:
指导信息本地调取单元,用于根据所述识别信息从本地数据库中查询所述机器的操作指导信息;或者,
指导信息远端调取单元,用于根据所述识别信息从远端服务器下载所述机器的操作指导信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610987399.6A CN106569769A (zh) | 2016-11-09 | 2016-11-09 | 基于ar技术的机器操作指导信息展示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610987399.6A CN106569769A (zh) | 2016-11-09 | 2016-11-09 | 基于ar技术的机器操作指导信息展示方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106569769A true CN106569769A (zh) | 2017-04-19 |
Family
ID=58540910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610987399.6A Pending CN106569769A (zh) | 2016-11-09 | 2016-11-09 | 基于ar技术的机器操作指导信息展示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106569769A (zh) |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107065808A (zh) * | 2017-05-27 | 2017-08-18 | 深圳增强现实技术有限公司 | 产品附件置入方法、质检方法及生产线用系统 |
CN107169139A (zh) * | 2017-06-13 | 2017-09-15 | 深圳增强现实技术有限公司 | 一种基于ar增强现实的文档管理系统、ar移动智能终端 |
CN107277172A (zh) * | 2017-07-28 | 2017-10-20 | 深圳增强现实技术有限公司 | 机器操作监督系统及其用户端设备 |
CN107316165A (zh) * | 2017-07-28 | 2017-11-03 | 深圳增强现实技术有限公司 | 机器操作规范创建系统及操作建模服务器 |
CN107370821A (zh) * | 2017-08-03 | 2017-11-21 | 深圳增强现实技术有限公司 | 机器操作指导系统、方法及用户端设备 |
CN107391707A (zh) * | 2017-07-28 | 2017-11-24 | 深圳增强现实技术有限公司 | 机器操作指导系统及用户端设备 |
CN107422710A (zh) * | 2017-07-28 | 2017-12-01 | 歌尔股份有限公司 | 基于ar辅助产品组装或设备维护的方法及系统 |
CN107463153A (zh) * | 2017-08-11 | 2017-12-12 | 深圳增强现实技术有限公司 | 一种设备工作状态的管理方法、管理设备以及管理系统 |
CN107526590A (zh) * | 2017-08-14 | 2017-12-29 | 深圳乐普智能医疗器械有限公司 | 医疗设备的操作指导信息展示方法、装置及终端 |
CN107547554A (zh) * | 2017-09-08 | 2018-01-05 | 北京枭龙科技有限公司 | 一种基于增强现实的智能设备远程协助系统 |
CN107688331A (zh) * | 2017-08-30 | 2018-02-13 | 深圳增强现实技术有限公司 | 机器操作监督系统及其通信方法 |
CN107730589A (zh) * | 2017-08-18 | 2018-02-23 | 珠海格力电器股份有限公司 | 一种电器的装配方法、装置、存储设备、移动终端及电器 |
CN107730008A (zh) * | 2017-09-14 | 2018-02-23 | 珠海格力电器股份有限公司 | 设备售后指导方法、装置、计算机可读存储介质及终端 |
CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
CN107977685A (zh) * | 2017-12-21 | 2018-05-01 | 江西爱驰亿维实业有限公司 | 获取电子使用手册的方法、装置及电子设备 |
CN108021991A (zh) * | 2017-11-14 | 2018-05-11 | 歌尔科技有限公司 | 获取仪器信息的方法及装置 |
CN108168555A (zh) * | 2017-12-08 | 2018-06-15 | 李志新 | 基于坐标定位的操作指引方法和系统 |
CN108805294A (zh) * | 2017-04-26 | 2018-11-13 | 联想新视界(天津)科技有限公司 | 一种针对目标设备的指导信息的处理方法及装置 |
CN109451295A (zh) * | 2017-08-29 | 2019-03-08 | 深圳市掌网科技股份有限公司 | 一种获取虚拟信息的方法和系统 |
CN109993023A (zh) * | 2017-12-29 | 2019-07-09 | 佛山市顺德区美的电热电器制造有限公司 | 一种家电联网指示方法、ar设备和计算机存储介质 |
CN110175681A (zh) * | 2018-09-13 | 2019-08-27 | 中国国际海运集装箱(集团)股份有限公司 | 用于机场地面设备的维保方法及装置 |
CN110196580A (zh) * | 2019-05-29 | 2019-09-03 | 中国第一汽车股份有限公司 | 装配指导方法、系统、服务器及存储介质 |
CN110569265A (zh) * | 2019-09-10 | 2019-12-13 | 浪潮商用机器有限公司 | 一种服务器配件信息显示方法、装置、ar眼镜及介质 |
WO2020057130A1 (zh) * | 2018-09-17 | 2020-03-26 | 深圳市泰衡诺科技有限公司 | 应用控制方法及装置 |
CN111049687A (zh) * | 2019-12-23 | 2020-04-21 | 华自科技股份有限公司 | 设备检修视频操作指导文件处理方法、装置、ar终端 |
CN111273762A (zh) * | 2019-08-27 | 2020-06-12 | 上海飞机制造有限公司 | 基于ar设备的连接器送销方法、装置、ar设备及存储介质 |
US10706633B2 (en) | 2018-12-06 | 2020-07-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented reality systems and methods for vehicle inspection |
CN111915032A (zh) * | 2020-08-07 | 2020-11-10 | 中国十七冶集团有限公司 | 一种基于ar技术对设备使用和维护方法 |
TWI710357B (zh) * | 2020-01-17 | 2020-11-21 | 東昕精密科技股份有限公司 | Ar牙科贋復製造引導系統及其應用方法 |
WO2020237667A1 (zh) * | 2019-05-31 | 2020-12-03 | 西门子股份公司 | 用于传送任务执行记录的方法、设备、系统和介质 |
CN112101056A (zh) * | 2020-09-29 | 2020-12-18 | 重庆市华驰交通科技有限公司 | 基于穿戴式设备的机电设备识别、信息获取方法及系统 |
CN112288883A (zh) * | 2020-10-30 | 2021-01-29 | 北京市商汤科技开发有限公司 | 作业指导信息的提示方法、装置、电子设备及存储介质 |
CN112684951A (zh) * | 2020-12-17 | 2021-04-20 | 宽衍(北京)科技发展有限公司 | 故障信息的查询方法、装置、ar眼镜、服务器和存储介质 |
CN114170052A (zh) * | 2021-12-15 | 2022-03-11 | 天翼电信终端有限公司 | 基于ar技术的污渍清洁辅助方法、装置、设备及存储介质 |
WO2022198547A1 (zh) * | 2021-03-24 | 2022-09-29 | 成都维泰油气能源技术有限公司 | 一种用于智能井控的辅助系统和方法 |
US12216901B2 (en) | 2022-09-20 | 2025-02-04 | International Business Machines Corporation | Environment- and preference-based application and operation guidance selection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101630064A (zh) * | 2009-08-11 | 2010-01-20 | 广东工业大学 | 一种头戴式视频透视立体显示器及其控制方法 |
CN104834379A (zh) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | 一种基于ar技术的维修向导系统 |
-
2016
- 2016-11-09 CN CN201610987399.6A patent/CN106569769A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101630064A (zh) * | 2009-08-11 | 2010-01-20 | 广东工业大学 | 一种头戴式视频透视立体显示器及其控制方法 |
CN104834379A (zh) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | 一种基于ar技术的维修向导系统 |
Non-Patent Citations (1)
Title |
---|
饶勇等: ""增强现实设备维修系统操作状态检测方法研究"", 《机电工程技术》 * |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805294A (zh) * | 2017-04-26 | 2018-11-13 | 联想新视界(天津)科技有限公司 | 一种针对目标设备的指导信息的处理方法及装置 |
CN107065808A (zh) * | 2017-05-27 | 2017-08-18 | 深圳增强现实技术有限公司 | 产品附件置入方法、质检方法及生产线用系统 |
CN107169139A (zh) * | 2017-06-13 | 2017-09-15 | 深圳增强现实技术有限公司 | 一种基于ar增强现实的文档管理系统、ar移动智能终端 |
CN107422710A (zh) * | 2017-07-28 | 2017-12-01 | 歌尔股份有限公司 | 基于ar辅助产品组装或设备维护的方法及系统 |
CN107391707A (zh) * | 2017-07-28 | 2017-11-24 | 深圳增强现实技术有限公司 | 机器操作指导系统及用户端设备 |
CN107316165A (zh) * | 2017-07-28 | 2017-11-03 | 深圳增强现实技术有限公司 | 机器操作规范创建系统及操作建模服务器 |
CN107277172A (zh) * | 2017-07-28 | 2017-10-20 | 深圳增强现实技术有限公司 | 机器操作监督系统及其用户端设备 |
CN107370821A (zh) * | 2017-08-03 | 2017-11-21 | 深圳增强现实技术有限公司 | 机器操作指导系统、方法及用户端设备 |
CN107370821B (zh) * | 2017-08-03 | 2020-10-09 | 深圳增强现实技术有限公司 | 机器操作指导系统 |
CN107463153A (zh) * | 2017-08-11 | 2017-12-12 | 深圳增强现实技术有限公司 | 一种设备工作状态的管理方法、管理设备以及管理系统 |
CN107463153B (zh) * | 2017-08-11 | 2019-08-20 | 深圳增强现实技术有限公司 | 一种设备工作状态的管理方法、管理设备以及管理系统 |
CN107526590A (zh) * | 2017-08-14 | 2017-12-29 | 深圳乐普智能医疗器械有限公司 | 医疗设备的操作指导信息展示方法、装置及终端 |
CN107526590B (zh) * | 2017-08-14 | 2021-03-30 | 深圳乐普智能医疗器械有限公司 | 医疗设备的操作指导信息展示方法、装置及终端 |
CN107730589A (zh) * | 2017-08-18 | 2018-02-23 | 珠海格力电器股份有限公司 | 一种电器的装配方法、装置、存储设备、移动终端及电器 |
CN109451295A (zh) * | 2017-08-29 | 2019-03-08 | 深圳市掌网科技股份有限公司 | 一种获取虚拟信息的方法和系统 |
CN107688331A (zh) * | 2017-08-30 | 2018-02-13 | 深圳增强现实技术有限公司 | 机器操作监督系统及其通信方法 |
CN107547554A (zh) * | 2017-09-08 | 2018-01-05 | 北京枭龙科技有限公司 | 一种基于增强现实的智能设备远程协助系统 |
CN107730008A (zh) * | 2017-09-14 | 2018-02-23 | 珠海格力电器股份有限公司 | 设备售后指导方法、装置、计算机可读存储介质及终端 |
CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
CN108021991A (zh) * | 2017-11-14 | 2018-05-11 | 歌尔科技有限公司 | 获取仪器信息的方法及装置 |
CN108168555A (zh) * | 2017-12-08 | 2018-06-15 | 李志新 | 基于坐标定位的操作指引方法和系统 |
CN107977685A (zh) * | 2017-12-21 | 2018-05-01 | 江西爱驰亿维实业有限公司 | 获取电子使用手册的方法、装置及电子设备 |
CN109993023A (zh) * | 2017-12-29 | 2019-07-09 | 佛山市顺德区美的电热电器制造有限公司 | 一种家电联网指示方法、ar设备和计算机存储介质 |
CN110175681A (zh) * | 2018-09-13 | 2019-08-27 | 中国国际海运集装箱(集团)股份有限公司 | 用于机场地面设备的维保方法及装置 |
WO2020057130A1 (zh) * | 2018-09-17 | 2020-03-26 | 深圳市泰衡诺科技有限公司 | 应用控制方法及装置 |
US10706633B2 (en) | 2018-12-06 | 2020-07-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented reality systems and methods for vehicle inspection |
CN110196580A (zh) * | 2019-05-29 | 2019-09-03 | 中国第一汽车股份有限公司 | 装配指导方法、系统、服务器及存储介质 |
CN110196580B (zh) * | 2019-05-29 | 2020-12-15 | 中国第一汽车股份有限公司 | 装配指导方法、系统、服务器及存储介质 |
WO2020237667A1 (zh) * | 2019-05-31 | 2020-12-03 | 西门子股份公司 | 用于传送任务执行记录的方法、设备、系统和介质 |
CN111273762A (zh) * | 2019-08-27 | 2020-06-12 | 上海飞机制造有限公司 | 基于ar设备的连接器送销方法、装置、ar设备及存储介质 |
CN110569265A (zh) * | 2019-09-10 | 2019-12-13 | 浪潮商用机器有限公司 | 一种服务器配件信息显示方法、装置、ar眼镜及介质 |
CN111049687A (zh) * | 2019-12-23 | 2020-04-21 | 华自科技股份有限公司 | 设备检修视频操作指导文件处理方法、装置、ar终端 |
CN111049687B (zh) * | 2019-12-23 | 2023-03-24 | 华自科技股份有限公司 | 设备检修视频操作指导文件处理方法、装置、ar终端 |
TWI710357B (zh) * | 2020-01-17 | 2020-11-21 | 東昕精密科技股份有限公司 | Ar牙科贋復製造引導系統及其應用方法 |
CN113133844A (zh) * | 2020-01-17 | 2021-07-20 | 东昕精密科技股份有限公司 | Ar牙科赝复制造引导系统及其应用方法 |
CN111915032A (zh) * | 2020-08-07 | 2020-11-10 | 中国十七冶集团有限公司 | 一种基于ar技术对设备使用和维护方法 |
CN112101056A (zh) * | 2020-09-29 | 2020-12-18 | 重庆市华驰交通科技有限公司 | 基于穿戴式设备的机电设备识别、信息获取方法及系统 |
CN112288883A (zh) * | 2020-10-30 | 2021-01-29 | 北京市商汤科技开发有限公司 | 作业指导信息的提示方法、装置、电子设备及存储介质 |
CN112684951A (zh) * | 2020-12-17 | 2021-04-20 | 宽衍(北京)科技发展有限公司 | 故障信息的查询方法、装置、ar眼镜、服务器和存储介质 |
WO2022198547A1 (zh) * | 2021-03-24 | 2022-09-29 | 成都维泰油气能源技术有限公司 | 一种用于智能井控的辅助系统和方法 |
US11756275B2 (en) | 2021-03-24 | 2023-09-12 | Vertechs Oil & Gas Technology Co., Ltd. | Auxiliary system and method for intelligent well control |
CN114170052A (zh) * | 2021-12-15 | 2022-03-11 | 天翼电信终端有限公司 | 基于ar技术的污渍清洁辅助方法、装置、设备及存储介质 |
US12216901B2 (en) | 2022-09-20 | 2025-02-04 | International Business Machines Corporation | Environment- and preference-based application and operation guidance selection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106569769A (zh) | 基于ar技术的机器操作指导信息展示方法及装置 | |
CN106355153B (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
CN106210861B (zh) | 显示弹幕的方法及系统 | |
CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
CN111610998A (zh) | Ar场景内容的生成方法、展示方法、装置及存储介质 | |
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
WO2015090421A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
JP2016522463A5 (zh) | ||
EP3106963A1 (en) | Mediated reality | |
CN108668050B (zh) | 基于虚拟现实的视频拍摄方法和装置 | |
CN106569671A (zh) | 基于ar技术的消费品使用说明信息显示方法及装置 | |
US10403048B2 (en) | Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression | |
WO2020012955A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2022507502A (ja) | 拡張現実(ar)のインプリント方法とシステム | |
CN113382224B (zh) | 一种基于全息沙盘的交互手柄展示方法及装置 | |
KR20190078675A (ko) | Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법 | |
EP3038061A1 (en) | Apparatus and method to display augmented reality data | |
EP2717227A2 (en) | Image processing program, image processing device, image processing system, and image processing method | |
CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
CN112987914A (zh) | 用于内容放置的方法和设备 | |
CN110488489B (zh) | 用于头戴式壳体的眼睛登记 | |
KR20150022158A (ko) | 기계제도 학습장치 및 학습방법 | |
CN111047713B (zh) | 一种基于多目视觉定位的增强现实交互系统及其操作方法 | |
CN105334692B (zh) | 信息处理方法及电子设备 | |
CN115268650A (zh) | 画面截屏方法、装置、头戴式虚拟现实设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170419 |
|
RJ01 | Rejection of invention patent application after publication |