KR20180075176A - 이동 로봇 및 그 제어방법 - Google Patents
이동 로봇 및 그 제어방법 Download PDFInfo
- Publication number
- KR20180075176A KR20180075176A KR1020160179205A KR20160179205A KR20180075176A KR 20180075176 A KR20180075176 A KR 20180075176A KR 1020160179205 A KR1020160179205 A KR 1020160179205A KR 20160179205 A KR20160179205 A KR 20160179205A KR 20180075176 A KR20180075176 A KR 20180075176A
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- motion
- mobile robot
- data
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 247
- 238000004140 cleaning Methods 0.000 claims abstract description 64
- 230000008859 change Effects 0.000 claims description 37
- 230000004044 response Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 241001465754 Metazoa Species 0.000 description 8
- 239000000428 dust Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- YWXYYJSYQOXTPL-SLPGGIOYSA-N isosorbide mononitrate Chemical compound [O-][N+](=O)O[C@@H]1CO[C@@H]2[C@@H](O)CO[C@@H]21 YWXYYJSYQOXTPL-SLPGGIOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
- B25J19/061—Safety devices with audible signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/12—Programme-controlled manipulators characterised by positioning means for manipulator elements electric
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/12—Programme-controlled manipulators characterised by positioning means for manipulator elements electric
- B25J9/123—Linear actuators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 이동 로봇 및 그 제어방법에 관한 것으로, 주행방향에 위치한 장애물을 감지하는 센서부, 상기 센서부에 의해 상기 장애물 감지 시, 상기 장애물을 촬영하는 카메라, 상기 데이터부에 저장된 데이터를 바탕으로 상기 장애물은 인식하여 동작을 제어하는 제어부를 포함하고, 상기 제어부는, 상기 카메라를 통해 촬영된 상기 장애물의 영상을 분석하여 상기 데이터부에 저장되는 데이터와 비교하여 상기 장애물을 인식하고 상기 장애물의 종류를 판단하는 장애물 인식부; 및 상기 장애물 인식부에 의해 인식된 상기 장애물의 종류에 대응하여 상기 데이터부에 저장된 설정에 따라 지정된 동작이 수행되도록 하는 모션제어부를 포함하여, 장애물을 인식하여 그 종류를 판단하고, 장애물의 종류에 따라 동작을 상이하게 수행하여 장애물에 효과적으로 대응할 수 있고, 청소효율을 향상시키고 이동 로봇이 단시간에 장애물을 인식하고 그 종류를 판단할 수 있으며, 장애물의 종류에 따라 대응하는 동작을 사용자가 수정할 수 있고, 장애물의 특성, 청소영역 또는 주변 환경에 적합한 동작을 수행할 수 있다.
Description
본 발명은 이동 로봇 및 그 제어방법에 관한 것으로서, 특히 장애물을 감지하여 주행하는 이동 로봇 및 그 제어방법에 관한 것이다.
이동 로봇은 청소하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 자동으로 청소하는 기기이다.
이동 로봇은 충전 가능한 배터리가 구비되어, 이동이 자유롭고 배터리의 동작전원을 이용한 스스로 이동이 가능하며, 이동 중 바닥면의 이물질을 흡입하여 청소를 실시한다.
이동 로봇은 주행구역 내에 설치된 가구나 사무용품, 벽 등의 장애물까지의 거리를 감지하고, 좌륜과 우륜의 구동을 제어하여 장애물 회피 동작을 수행한다. 이동 로봇은 필요 시 충전대로 복귀하여 배터리를 충전하도록 구성된다.
종래의 이동 로봇은 주행 경로 상에 장애물을 감지하는 경우, 장애물을 회피하기 위해 주행경로를 변경한다.
또한, 이동 로봇은 청소중인 경우, 장애물에 일정거리 이내로 근접한 후 경로를 변경하거나, 또는 장애물에 충돌한 후 경로를 변경하기도 한다. 장애물을 감지 시 즉시 경로를 변경하는 경우 해당 영역에 대한 청소를 수행할 수 없으므로, 최대한 장애물에 근접하거나 또는 충돌한 후에 경로를 변경하게 된다.
그러나 장애물의 종류에 따라 충돌하는 경우 장애물이 파손되는 경우가 발생할 수 있고, 또한 접근 전에 회피해야하는 장애물이 존재한다. 또한, 장애물이 움직이는 경우도 있으므로, 단순히 회피하는 경우 청소를 완료할 수 없고, 접근한 후에 회피하는 경우 다른 문제를 야기할 수 있으므로 단순한 장애물 감지만으로는 장애물에 대한 대처가 쉽지 않다는 문제점이 있다.
본 발명의 이동 로봇 및 그 제어방법은, 청소를 수행하면서, 감지되는 장애물에 따라 상이하게 동작하는 이동 로봇 및 제어방법을 제공하는 데 있다.
본 발명의 일 실시예에 따른 이동 로봇은, 주행방향에 위치한 장애물을 감지하는 센서부, 상기 센서부에 의해 상기 장애물이 감지되면, 상기 장애물을 촬영하는 카메라, 복수의 장애물에 대한 정보가 저장되는 데이터부, 상기 데이터부에 저장된 데이터를 바탕으로 상기 장애물은 인식하여 동작을 제어하는 제어부, 상기 제어부의 제어명령에 따라 지정된 동작을 수행하는 주행부, 및 상기 제어부의 제어명령에 따라 지정된 소리를 출력하는 스피커를 포함하고, 상기 제어부는, 상기 카메라를 통해 촬영된 상기 장애물의 영상을 분석하여 상기 데이터부에 저장되는 데이터와 비교하여 상기 장애물을 인식하고 상기 장애물의 종류를 판단하는 장애물 인식부, 및 상기 장애물 인식부에 의해 인식된 상기 장애물의 종류에 대응하여 상기 데이터부에 저장된 설정에 따라 지정된 동작이 수행되도록 하는 모션제어부를 포함한다.
상기 장애물 인식부는 상기 장애물의 영상을 분석하여 상기 장애물의 형태를 판단하고, 기 저장된 장애물인식데이터와 비교하여 상기 장애물을 인식하고 종류를 판단하고, 상기 장애물의 영상과, 상기 센서부를 통해 감지되는 상기 장애물의 위치 및 움직임을 바탕으로 상기 장애물을 인식하는 것을 특징으로 한다.
상기 모션제어부는 상기 장애물의 종류에 따라 각각 설정된 모션에 대한 정보를 바탕으로, 인식된 장애물의 종류에 따라 각각 상이한 동작이 수행되도록 하는 것을 특징으로 한다.
상기 장애물 인식부는 상기 장애물을, 일반장애물, 위험장애물, 생체장애물, 바닥장애물로 분류하여 종류를 판단하는 것을 특징으로 한다.
상기 모션제어부는 상기 장애물의 종류에 설정되는 모션과, 상기 장애물의 종류에 포함되는 개별 장애물에 설정되는 개별 모션에 대응하여 동작을 제어하는 것을 특징으로 한다.
상기 모션제어부는 상기 장애물에 대응하여, 정지, 감속, 가속, 역주행, 대기, 주행방향 변경, 근거리 접근 금지 중 적어도 하나의 동작으로 조합된 모션이 수행되도록 하고, 상기 장애물에 대응하여, 효과음, 경고음, 음성안내 중 어느 하나가 상기 스피커를 통해 출력되도록 하는 것을 특징으로 한다.
상기 제어부는, 단말로부터 청소할 주행영역에 위치하는 장애물에 대한 정보와 상기 장애물에 대한 모션정보를 수신하여 저장하고, 상기 장애물 인식부는 저장된 상기 주행영역에 위치하는 장애물에 대한 정보를 바탕으로, 감지되는 장애물을 인식하며, 상기 모션제어부는 상기 장애물에 설정된 상기 모션정보에 대응하여 동작을 제어하는 것을 특징으로 한다.
상기 제어부는 인식된 상기 장애물에 대하여 모션이 설정되지 않은 경우 또는 새로운 장애물이 감지된 경우, 상기 단말로 모션 설정을 요청하는 것을 특징으로 한다.
상기 제어부는, 상기 장애물을 인식하지 못하는 경우, 또는 새로운 장애물이 감지된 경우, 상기 장애물의 영상을 포함하는 장애물정보를 외부의 서버로 전송하고, 상기 서버로부터 수신되는 장애물 데이터를 상기 데이터부에 저장하여, 상기 장애물을 재인식하는 것을 특징으로 한다.
본 발명에 따른 이동 로봇 시스템은, 설정된 주행영역을 주행하면 청소를 수행하고 감지되는 장애물에 대응하여 지정된 모션을 수행하는 이동 로봇; 상기 이동 로봇에 청소명령을 전송하고, 상기 주행영역에 위치하는 장애물에 대한 정보와 함께 청소명령을 전송하는 단말; 및 상기 이동 로봇으로부터 감지되는 상기 장애물의 정보를 수집하여 분석하고 상기 장애물을 인식하기 위한 특징정보가 포함된 장애물인식데이터 및 상기 장애물에 대한 모션정보를 생성하는 서버를 포함한다.
상기 단말은 상기 서버로부터 설정된 상기 모션정보 중, 상기 주행영역에 위치하는 장애물에 대하여 어느 하나의 모션을 지정하여 상기 이동 로봇으로 전송하는 것을 특징으로 한다.
상기 단말은, 상기 이동 로봇이 설정된 상기 모션을 수행하는 중, 상기 장애물에 대한 새로운 모션을 설정하여 변경데이터를 상기 이동 로봇으로 전송하고, 상기 이동 로봇은 상기 변경데이터에 대응하여 상기 장애물에 대한 모션을 재설정하는 것을 특징으로 한다.
상기 단말은, 상기 주행영역에 위치하는 장애물에 대하여, 상기 장애물을 종류에 따라 분류하여 상기 장애물의 종류 또는 상기 장애물의 종류에 포함되는 개별 장애물에 대하여 모션을 설정하는 것을 특징으로 한다.
상기 단말은, 상기 이동 로봇이 상기 장애물에 대응하여, 정지, 감속, 가속, 역주행, 대기, 주행방향 변경, 근거리 접근 금지 중 적어도 하나의 동작으로 조합된 모션을 수행되도록 설정하고, 상기 장애물에 대응하여, 효과음, 경고음, 음성안내 중 어느 하나의 소리를 출력하도록 상기 모션을 설정하는 것을 특징으로 한다.
상기 서버는 수집되는 상기 장애물의 정보와, 상기 단말을 통해 설정되는 장애물의 종류 및 상기 장애물에 대한 모션 설정에 대한 데이터를 수집하여 통계를 산출하고, 상기 장애물의 감지빈도와, 상기 장애물에 대한 모션 설정 빈도에 대응하여, 상기 장애물인식데이터 및 상기 장애물에 대한 모션정보를 갱신하는 것을 특징으로 한다.
상기 서버는 상기 이동 로봇으로부터 인식 불가능한 장애물 또는 새로운 장애물에 대한 장애물 정보가 수신되면, 상기 장애물 정보를 분석하여 상기 장애물을 인식하고, 새로운 장애물에 대한 장애물인식데이터 및 상기 장애물에 대한 모션정보를 생성하는 것을 특징으로 한다.
본 발명에 따른 이동 로봇의 제어방법은, 지정된 주행영역을 주행하며 청소를 수행하는 중, 장애물을 감지하는 단계, 상기 장애물에 대한 영상을 촬영하는 단계, 상기 장애물의 영상을 분석하여 상기 장애물을 인식하고 상기 장애물의 종류를 판단하는 단계; 상기 장애물에 대응하여, 지정된 모션을 설정하는 단계, 및 상기 모션에 대응하여 적어도 하나의 동작이 조합된 모션 또는 소정의 소리를 출력하는 단계를 포함한다.
상기 장애물에 대응하여, 정지, 감속, 가속, 역주행, 대기, 주행방향 변경, 근거리 접근 금지 중 적어도 하나의 동작으로 조합된 상기 모션을 수행하고, 또한 상기 장애물에 대응하여, 효과음, 경고음, 음성안내 중 어느 하나의 소리를 출력하는 것을 특징으로 한다.
본 발명은 청소 수행 전, 단말로부터 상기 주행영역에 대한 청소명령과, 상기 주행영역에 위치하는 장애물에 대한 데이터가 수신되는 단계 및 상기 데이터를 바탕으로, 상기 주행영역에 위치하는 상기 장애물에 대한 모션을 설정하는 단계를 더 포함한다.
본 발명의 이동 로봇 및 그 제어방법은 장애물을 감지하는데 있어서, 장애물을 인식하여 그 종류를 판단하고, 장애물의 종류에 따라 동작을 상이하게 수행하여 장애물에 효과적으로 대응할 수 있고, 청소효율이 향상되는 효과가 있다.
본 발명은 장애물에 대한 정보를 누적하여 저장하고 분석하여, 이동 로봇이 단시간에 장애물을 인식하고 그 종류를 판단할 수 있다.
또한, 본 발명은 장애물의 종류에 따라 대응하는 동작을 사용자가 수정할 수 있고, 장애물의 특성, 청소영역 또는 주변 환경에 적합한 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 및 시스템이 간략하게 도시된 도이다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 구성이 간략하게 도시된 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇, 서버 및 단말 간의 데이터 흐름을 설명하는데 참조되는 도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 장애물 인식 및 제어방법이 도시된 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 장애물 데이터 변경에 따른 제어방법이 도시된 순서도이다.
도 6 은 본 발명의 일 실시예에 따른 이동 로봇의 동작을 변경하는 단말의 제어방법이 도시된 순서도이다.
도 7 은 본 발명의 일 실시예에 따른 이동 로봇의 장애물 인식을 위한 설정을 입력하는 단말의 제어화면이 도시된 도이다.
도 8 은 본 발명의 일 실시예에 따른 이동 로봇의 위험장애물에 대한 동작을 설정하는 제어화면이 도시된 도이다.
도 9 는 본 발명의 일 실시예에 따른 이동 로봇의 생체장애물에 대한 동작을 설정하는 단말의 제어화면이 도시된 도이다.
도 10은 본 발명의 일실시예에 따른 이동 로봇의 장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 11 은 본 발명의 일실시예에 따른 이동 로봇의 생체장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 12 는 본 발명의 실시예에 따른 이동 로봇의 위험장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 구성이 간략하게 도시된 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇, 서버 및 단말 간의 데이터 흐름을 설명하는데 참조되는 도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 장애물 인식 및 제어방법이 도시된 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 장애물 데이터 변경에 따른 제어방법이 도시된 순서도이다.
도 6 은 본 발명의 일 실시예에 따른 이동 로봇의 동작을 변경하는 단말의 제어방법이 도시된 순서도이다.
도 7 은 본 발명의 일 실시예에 따른 이동 로봇의 장애물 인식을 위한 설정을 입력하는 단말의 제어화면이 도시된 도이다.
도 8 은 본 발명의 일 실시예에 따른 이동 로봇의 위험장애물에 대한 동작을 설정하는 제어화면이 도시된 도이다.
도 9 는 본 발명의 일 실시예에 따른 이동 로봇의 생체장애물에 대한 동작을 설정하는 단말의 제어화면이 도시된 도이다.
도 10은 본 발명의 일실시예에 따른 이동 로봇의 장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 11 은 본 발명의 일실시예에 따른 이동 로봇의 생체장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 12 는 본 발명의 실시예에 따른 이동 로봇의 위험장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하에서는 도면을 참조하여 본 발명의 실시 예에 대해서 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 및 그 시스템이 간략하게 도시된 도이다.
이동 로봇 시스템은, 이동 로봇(100), 단말(80), 서버(90)를 포함한다.
이동 로봇(100)은 실내영역(1)을 설정된 영역을 주행하면서 먼지를 흡입하여 청소를 수행한다. 이동 로봇(100)은 배터리(미도시)를 포함하여, 배터리로부터 공급되는 동작전원을 기반으로 주행하며 청소를 수행한다. 이동 로봇의 배터리를 충전시키기 위한 충전대(미도시)를 더 포함한다.
이동 로봇(100)은 실내영역(1)에 존재하는 복수의 장애물(11, 12)을 감지하여 장애물을 인식하고, 장애물의 종류에 따라 접근하지 않고 회피하거나, 접근한 후 소정의 동작을 수행할 수 있다.
이동 로봇(100)은 단말(80)과 통신하여, 실내영역(1)에 대한 설정데이터를 수신하고, 실내영역(1) 중 소정의 청소영역에 대한 청소명령을 수신하여 청소를 수행한다.
이동 로봇(100)은 장애물 감지 시, 장애물 정보를 서버(90)로 전송하고, 서버(90)로부터 수신되는 데이터를 바탕으로 장애물에 대한 기본 동작을 설정한다.
또한, 이동 로봇(100)은 감지되는 장애물에 대한 정보를 단말로 제공하고, 단말(80)로부터 수신되는 데이터에 대응하여 장애물에 대하여 특정 동작을 수행할 수 있다.
단말(80)은 이동 로봇(100)을 제어하기 위한 어플리케이션을 구비하고, 어플리케이션의 실행을 통해 이동 로봇(100)이 청소할 주행구역에 대한 맵을 표시하고, 맵 상에 특정 영역을 청소하도록 영역을 지정할 수 있다. 단말은 맵 설정을 위한 어플리케이션(application)이 탑재된 리모콘, PDA, 랩탑(laptop), 태블릿PC, 스마트 폰 등을 예로 들 수 있다.
단말(80)은, 어플리케이션의 실행을 통해 실내영역(1) 내에 존재하는 장애물에 대한 정보 및 그에 대한 동작을 설정한다. 이때 단말(80)은 어플리케이션 실행 시, 네트워크를 통해 서버(90)에 접속하여 서버로부터 장애물 정보 및 장애물에 대한 동작정보를 수신할 수 있다.
또한, 단말(80)은, 이동 로봇(100)으로부터 입력되는 장애물 정보를 바탕으로 이동 로봇(100)의 동작을 변경할 수 있다.
서버(90)는 장애물 정보를 누적하여 저장하고, 장애물 정보를 분석하여 장애물의 종류를 인식한다. 또한, 서버(90)는 장애물을 종류에 따라 분류하여 장애물에 대한 이동 로봇(100)의 동작을 설정한다.
서버(90)는 새로운 장애물 정보를 분석하여, 기 저장된 장애물 정보를 갱신한다. 또한, 서버(90)는 단말(80)에 의해 설정되거나 또는 변경되는 장애물에 대한 이동 로봇의 동작정보를 수신하여 저장하고, 기 저장된 장애물 정보에 매칭하여 장애물에 대한 이동 로봇의 동작에 대한 설정을 갱신한다.
서버(90)는 단말(80)이 접속되면, 기 저장된 데이터를 바탕으로 실내영역(1)의 장애물 설정 및 이동 로봇(100)의 동작에 대한 데이터를 단말(80)로 제공한다.
또한, 서버(90)는 이동 로봇(100)으로부터 수신되는 장애물 정보를 분석하여 기 저장된 데이터를 바탕으로 장애물의 종류를 판단하여 이동 로봇(100)으로 전송한다.
이동 로봇(100)은 네트워크(N)를 통해 서버(90)와의 통신하기 위해 통신장치(70)와 연결된다.
또한, 이동 로봇(100)은 단말(80)과, 와이파이(WiFi)로 연결될 수 있고, 블루투스(Bluetooth) 등의 근거리 무선통신을 통해 통신할 수 있다.
통신장치(70)는 네트워크(N) 접속을 위한 프로토콜을 탑재하여 이동 로봇의 데이터를 네트워크를 통해 송수신한다. 통신장치(70)는 라우터 또는 게이트웨이가 사용될 수 있다. 네트워크(N)는 인터넷망인 것을 기본으로 한다. 경우에 따라 네트워크(N)는 이동 로봇 또는 가전기기 기반의 소규모 네트워크 일 수 있고, 소정 지역에 대한 지역 네트워크 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 구성이 간략하게 도시된 블록도이다.
도 2에 도시된 바와 같이, 이동 로봇(100)은 통신부(140), 장애물 감지부(120), 청소부(150), 주행부(160), 데이터부(130) 그리고 동작 전반을 제어하는 제어부(110)를 포함한다.
또한, 이동 로봇(100)은 온/오프 또는 각종 명령을 입력할 수 있는 입력부(171), 이동 로봇(100)의 동작상태 또는 동작모드를 표시하는 표시부(172), 소정의 경고음 또는 효과음을 출력하는 스피커(173)를 더 포함한다.
입력부(171)는 적어도 하나의 버튼, 스위치, 터치입력수단을 포함하여 이동 로봇(100)의 작동 전반에 필요한 각종 제어명령을 입력받아 제어부(110)로 입력한다.
표시부(172)는 LED, LCD와 같은 디스플레이를 구비하여 이동 로봇(100)의 동작모드, 예약 정보, 배터리 상태, 동작상태, 에러상태 등을 표시한다.
스피커(173)는 동작모드, 예약 정보, 배터리 상태, 동작상태, 에러상태에 대응하는 소정의 효과음, 경고음 또는 음성안내를 출력한다.
주행부(160)는 이동 로봇의 본체를 이동시키는 적어도 하나의 구동 바퀴(미도시), 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함한다. 구동 바퀴는 본체의 좌, 우측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다. 좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체의 주행방향을 전환할 수 있다.
청소부(150)는 이동 로봇의 본체 저면부에 형성되어 공기를 흡입하는 흡입구(미도시), 흡입구를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시), 브러시, 흡입구를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
청소부(150)는 흡입구를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(미도시)와, 본체의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(미도시)가 구비될 수 있다. 브러시들의 회전에 의해 주행구역 내 바닥으로부터 먼지들이 분리되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구를 통해 흡입되어 먼지통에 모인다.
또한, 청소부(150)는 본체의 저면부 후방에 설치되어 바닥면과 접하여 바닥면을 물걸레질하는 물걸레청소부(미도시), 물걸레청소부로 물을 공급하는 물통(미도시)을 더 포함할 수 있다.
배터리(미도시)는 구동 모터뿐만 아니라, 이동 로봇(100)의 작동 전반에 필요한 전원을 공급한다. 배터리가 방전될 시, 이동 로봇(100)은 충전을 위해 충전대로 복귀하는 주행을 할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(100)은 스스로 충전대의 위치를 탐지할 수 있다. 충전대는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야하는 것은 아니다.
장애물 감지부(120)는 주행구역을 촬영하는 카메라(121), 장애물을 감지하는 센서부(122)를 포함한다.
장애물 감지부(120)는 센서부(122)를 통해 주행방향에 위치하는 장애물이 감지되면, 카메라(121)를 동작시켜 장애물을 촬영한다. 장애물 감지부(120)는 촬영되는 장애물에 대한 이미지데이터와, 센서부(122)에 의해 감지되는 장애물의 위치 또는 그 움직임에 대한 정보를 제어부(110)로 입력한다.
카메라(121)는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
카메라(121)는 이동 로봇(100)의 상면부 또는 전면부에 구비되어, 주행 방향에 대한 영상을 획득한다. 카메라(121)는 바람직하게, 이동 로봇(100)의 정면방향을 촬영하며, 바닥면으로부터 일정 높이까지 촬영한다. 카메라(121)는 구비되는 렌즈의 화각에 따라, 전방의 바닥면으로부터 천장을 포함하는 영역을 촬영할 수 있다. 또한, 장애물 감지부(120)는 바닥의 영상을 획득하는 하부 카메라를 더 포함할 수 있다.
카메라(121)의 종류, 위치, 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
센서부(122)는 전방의 장애물을 감지하는 복수의 센서로 구성된다. 센서부(122)는 전방 또는 좌우의 장애물을 감지하는 초음파센서, 적외선 센서, 레이저 센서, 광패턴을 출력하는 3D센서 중 적어도 하나가 사용될 수 있다. 또한, 센서부(122)는 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서를 더 포함할 수 있다.
데이터부(130)는 이동 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
데이터부(130)에는 장애물 인식을 위한 특징정보가 포함된 장애물인식데이터(131), 장애물의 종류에 따라 소정 동작을 수행하도록 설정된 모션데이터(132), 단말로부터 수신되는 동작 수정에 따른 변경데이터(133)가 저장된다. 또한, 데이터부(130)에는 주행구역에 대한 맵이 저장된다.
장애물인식데이터(131)에는 카메라(121)를 통해 촬영된 장애물의 이미지데이터와, 서버로부터 수신된 장애물 인식을 위한 인식정보가 포함된다. 모션데이터(132)에는 인식된 장애물에 대한 이동 로봇의 동작, 예를 들어 주행속도, 주행방향, 회피 여부, 정지 여부 등에 대한 모션정보와, 스피커(173)를 통해 출력되는 효과음, 경고음, 음성안내에 대한 데이터가 포함된다.
통신부(140)는 복수의 통신모듈을 포함하여, 통신장치(70)를 통해 서버(90)와 데이터를 송수신하고, 또한 단말(80)과 통신한다.
통신부(140)는 장애물 감지부(120)로부터 감지되는 장애물에 대한 정보를 통신부(140)를 통해 서버(90)로 전송하고, 서버로부터 장애물에 대한 데이터를 수신한다. 또한, 통신부(140)는 단말(80)로부터 주행구역 내에 존재하는 장애물에 대한 정보 및 그에 따른 동작정보를 수신하고, 이동 로봇의 동작데이터를 단말(80)로 전송한다.
제어부(110)는 실내영역(1) 중 청소하도록 지정된 주행구역 내에서, 이동 로봇이 주행하도록 주행부(160)를 제어한다.
제어부(110)는 주행 중, 주행부(160) 및 청소부(170)를 제어하여, 이동 로봇 주변의 먼지 또는 이물질을 흡수하도록 함으로써 주행구역에 대한 청소를 수행한다. 그에 따라 청소부(150)는 브러쉬를 동작시켜 이동 로봇 주변의 먼지 또는 이물질을 흡입하기 쉬운 상태로 만들고, 흡입장치를 동작시켜 먼지 또는 이물질을 흡입한다.
제어부(110)는 배터리의 충전용량을 체크하여 충전대로의 복귀 시기를 결정한다. 제어부(110)는 충전용량이 일정값에 도달하면, 수행중이던 동작을 중지하고, 충전대 복귀를 위해 충전대 탐색을 시작한다. 제어부(110)는 배터리의 충전용량에 대한 알림 및 충전대 복귀에 대한 알림을 출력할 수 있다.
제어부(110)는 입력부(171)의 조작에 의해 입력되는 데이터를 처리하여 이동 로봇의 동작모드를 설정하고, 동작상태를 표시부(172)를 통해 출력하며, 동작상태, 에러상태 또는 장애물 감지에 따른 경고음, 효과음, 음성안내가 스피커(173)를 통해 출력되도록 한다.
또한, 제어부(110)는 장애물 감지부(120)로부터 감지되는 장애물에 대하여, 장애물을 인식하고, 장애물에 대응하여 지정된 동작이 수행되도록 한다. 이때 제어부(110)는 장애물에 대한 인식이 불가능한 경우 통신부(140)를 통해 장애물 정보를 서버(90)로 전송하고, 장애물에 대한 데이터가 수신되면 그에 따라 소정의 동작을 수행한다.
제어부(110)는 단말(80)로부터 수신되는 주행구역에 대한 설정데이터를 바탕으로 장애물을 인식할 수 있다. 제어부(110)는 단말(80)로부터 수신되는 설정데이터에 대응하여, 인식된 장애물에 대하여, 단말에 의해 지정된 특정 동작을 수행한다.
제어부(110)는 장애물 감지부(120)에 의해 감지되는 장애물을 인식하는 장애물 인식부(112)와, 모션제어부(111)를 포함한다.
장애물 인식부(112)는 장애물 감지부(120)로부터 입력되는 장애물 정보를 분석하여 데이터부의 장애물인식데이터를 바탕으로 장애물을 인식하고, 장애물의 종류를 판단한다.
장애물 인식부(112)는 센서부(122)로부터 입력되는 데이터에 대응하여 장애물의 유무 및 장애물의 위치를 판단하고, 장애물의 움직임을 감지한다.
또한 장애물 인식부(112)는 카메라(121)를 통해 촬영된 장애물의 이미지데이터를 분석하여 장애물의 종류를 판단한다. 장애물 인식부(112)는 이미지데이터를 분석하여 장애물의 외곽선을 추출하여 그 형태를 바탕으로 장애물을 인식하여 장애물의 종류를 판단한다. 또한, 장애물 인식부(112)는 형태를 바탕으로, 장애물의 색상, 크기에 따라 장애물의 종류를 판단할 수 있다. 또한, 장애물 인식부(112)는 장애물의 형태와 움직임을 바탕으로 장애물의 종류를 판단할 수 있다.
장애물 인식부(112)는 장애물 정보를 바탕으로, 사람, 동물, 사물을 구분한다. 장애물 인식부(112)는 장애물의 종류를, 일반장애물, 위험장애물, 생체장애물, 바닥장애물로 분류하고, 각 분류에 대하여 세부적인 장애물의 종류를 판단한다.
장애물 인식부(112)는 장애물에 대한 인식이 불가능한 경우 또는 새로운 장애물인 경우, 장애물에 대한 이미지 데이터 또는 장애물의 움직임에 대한 데이터를 장애물 정보로써 저장하고, 장애물 정보를 통신부(140)를 통해 서버(90)로 전송한다. 장애물 인식부(112)는 서버로부터 수신되는 장애물 데이터를 데이터부에 저장하고, 장애물 데이터를 바탕으로 장애물을 인식한다.
모션제어부(111)는 장애물이 인식되어 그 종류가 판단되면, 모션데이터(132)에 저장된 장애물에 대응하는 모션정보를 호출하여 장애물에 따라 지정된 동작을 수행하도록 주행부(160)를 제어한다. 모션제어부(111)는 지정된 모션을 수행함에 있어서 주행을 제어할 뿐 아니라, 스피커(173)를 통해 소정의 효과음, 경고음, 또는 음성안내를 출력한다.
예를 들어 모션제어부(111)는 장애물에 따라 지정된 모션정보를 바탕으로, 이동 로봇(100)이 정지, 감속, 가속, 역주행, 유턴, 주행방향을 변경하도록 하며, 장애물에 대하여 일정거리 이상 접근하지 않도록 하고, 일정시간 대기하도록 한다. 또한, 모션제어부(111)는 장애물에 따라 지정된 소리가 스피커를 통해 출력되도록 하며, 지정된 동작과 함께 소리가 출력되도록 할 수 있다.
모션제어부(111)는 단말(80)로부터 변경데이터가 수신되면, 변경데이터를 바탕으로, 인식된 장애물에 대한 모션을 변경하여 수행한다.
제어부(110)는 설정된 주행영역에 대한 청소가 완료되면, 청소기록을 데이터부(130)에 저장한다.
제어부(110)는 주행영역을 청소하는 중, 감지된 장애물의 정보와, 그에 대한 모션정보를 저장하고, 해당 주행영역을 다시 청소하는 경우, 저장된 데이터, 즉 장애물 정보와 모션정보를 이용하여 주행영역을 청소한다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇, 서버 및 단말 간의 데이터 흐름을 설명하는데 참조되는 도이다.
도 3에 도시된 바와 같이, 이동 로봇(100), 서버(90) 및 단말(80)은 상호 통신한다.
이동 로봇(100)은 청소 도중, 장애물 감지부를 통해 장애물을 감지하는 경우, 카메라를 이용하여 장애물을 촬영한 후 장애물을 인식한다.
이동 로봇(100)은 저장된 데이터를 바탕으로 장애물을 인식하며, 장애물 인식이 불가능한 경우 또는 새로운 장애물인 경우 서버(90)로 장애물 정보를 전송한다(S1).
서버(90)는 이동 로봇으로부터 수신된 장애물 정보를 분석하여 장애물의 종류를 판단하고, 장애물을 인식하기 위한 특징정보가 포함된 장애물인식데이터를 생성한다. 또한, 서버(90)는 장애물에 대응하는 동작을 설정하는 모션정보를 생성하여 저장하고, 이동 로봇(100)으로 전송한다(S2).
이동 로봇(100)은 수신되는 장애물에 대한 데이터를 장애물인식데이터와 모션데이터로써 저장하고, 동일한 장애물을 다시 감지하는 경우 저장된 데이터를 바탕으로 장애물을 인식한다.
이동 로봇(100)은 인식된 장애물에 대응하여, 모션데이터를 바탕으로 지정된 모션을 수행한다. 이동 로봇(100)은 장애물에 따라 주행에 대한 동작과, 소정의 소리를 출력하는 모션을 수행할 수 있다.
단말(80)은 어플리케이션을 실행하여, 서버(90)로부터 장애물데이터를 수신하여 저장하고, 장애물 데이터를 바탕으로 이동 로봇(100)이 실내영역 중 특정 주행영역을 청소하도록 명령을 입력한다.
단말(80)은 주행영역 내에 존재하는 장애물과, 장애물에 대한 모션을 지정하여 장애물 설정데이터를 이동 로봇(100)으로 전송한다(S4).
이때, 단말(80)은 기 저장되거나 또는 서버(90)로부터 수신되는 장애물 및 모션에 대한 장애물 데이터(S6)를 바탕으로 주행영역에 대한 설정을 입력한다. 단말(80)은 주기적으로 서버(90)에 접속하여(S5), 장애물 및 모션에 대한 데이터를 수신하여(S6), 저장된 데이터를 갱신한다.
이동 로봇(100)은 단말(80)로부터 수신된, 청소명령 및 장애물 설정데이터를 바탕으로 주행구역에 대한 청소를 수행한다. 이동 로봇(100)은 청소 중, 동작모드, 동작상태, 에러상태 등에 대한 데이터를 단말(80)로 전송한다(S3).
단말(80)은, 이동 로봇(100)이 청소를 수행하는 중, 이동 로봇(100)의 장애물에 대한 모션을 수정할 수 있다. 단말(80)은 장애물에 종류에 따른 모션을 변경하여 이동 로봇(100)으로 전송한다. 이동 로봇(100)은 단말로부터 변경데이터가 수신되면, 변경데이터를 저장하고, 장애물에 대한 모션데이터를 수신된 변경데이터에 따라 갱신한 후, 변경된 모션을 수행한다.
이동 로봇(100)은 청소가 완료되면, 청소기록을 저장하고, 청소중 감지된 장애물과 그에 따른 모션정보, 그리고 단말에 의해 변경된 정보를 저장한 후, 서버(90)로 전송한다.
서버(90)는 변경된 데이터를 분석하여, 기 저장된 데이터를 갱신한다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 장애물 인식 및 제어방법이 도시된 순서도이다.
도 4에 도시된 바와 같이, 이동 로봇(100)은 단말(80)로부터 청소명령과 함께, 장애물 설정데이터를 수신하고, 장애물 설정데이터를 바탕으로 실내영역(1) 중 주행영역에 대한 청소모드를 설정한다(S310).
이동 로봇(100)은 설정된 주행영역을 주행하면서 청소를 수행한다.
이동 로봇(100)은 주행영역 설정 또는 장애물 설정데이터 없이 청소명령이 입력되는 경우, 현재 위치를 기준으로 청소를 시작한다.
이동 로봇(100)은 청소 도중, 센서부(122)를 통해 장애물이 감지되면, 장애물 인식부(112)는 카메라(121)를 동작시켜 장애물을 촬영한다(S320).
장애물 인식부(112)는 카메라(121)를 통해 촬영된 장애물에 대한 이미지데이터를 분석하여(S330), 장애물을 인식한다.
장애물 인식부(112)는 장애물의 이미지데이터를 바탕으로 장애물 인식이 가능한지 여부를 판단한다(S340).
장애물 인식부(112)는 장애물에 대한 인식이 가능한 경우, 새로운 장애물 인지 여부를 판단한다(S350).
제어부(110)는 장애물 인식이 가능하고 새로운 장애물이 아닌 경우, 장애물인식데이터(131)로부터 장애물에 대한 형태 정보를 검색하여 장애물을 인식하고(S400), 장애물의 종류를 판단한다.
모션제어부(111)는 모션데이터를 바탕으로 판단된 장애물의 종류에 대응하는 모션을 설정하고, 지정된 모션이 수행되도록 주행부(160) 또는 스피커(173)를 제어한다. 모션제어부(111)는 장애물에 대한 모션이 설정되지 않은 경우, 인식된 장애물에 대한 기본 모션을 수행한다.
그에 따라 이동 로봇(100)은 인식된 장애물에 대응하여, 소정 동작을 수행하거나 소정의 소리를 출력한다.
한편, 장애물 인식부(112)는 장애물에 대한 인식이 불가능한 경우, 또는 장애물에 대한 인식이 가능하기는 하나, 새로운 장애물인 경우, 장애물 정보를 통신부(140)를 통해 서버(90)로 전송한다.
이때 서버(90)는 수신되는 장애물 정보를 분석하여, 기 저장된 데이터들과 교하고, 새로운 장애물에 대해 탐색하여 장애물을 인식하고, 장애물의 종류를 판단한다. 새로운 장애물인 경우 서버(90)는 새로운 장애물에 대한 모션정보 설정한다. 이때 서버(90)는 장애물에 대하여 복수의 모션을 설정할 수 있다.
또한, 서버(90)는 기 등록된 장애물이나, 인식이 불가능한 경우, 이미지데이터를 분석하여 형태를 추출하고 기 저장된 데이터와 비교하여 장애물을 인식하고, 종류를 판단한다.
서버(90)는 이미지데이터의 형태에 따라 동일한 장애물이 다르게 인식되거나 또는 인식이 불가능할 수 있으므로, 해당 장애물에 대한 인식정보를 추가한다.
서버(90)는 장애물인식데이터 또는 새로운 장애물에 대한 모션정보를 데이터베이스에 저장하고, 이동 로봇(100)으로 전송한다. 단말(80) 접속 시, 새로운 데이터를 단말로 전송하여 새로운 장애물에 대한 정보가 업데이트 되도록 한다.
이동 로봇(100)의 제어부(110)는 서버(90)로부터 장애물인식데이터 또는 모션정보가 수신되면, 수신된 데이터를 데이터부(130)에 등록하고 저장한다(S390).
장애물 인식부(112)는 새로운 장애물 또는 인식 불가능한 장애물을, 수신된 데이터를 바탕으로 장애물을 인식하고(S400), 장애물의 종류를 판단한다.
모션제어부(111)는 모션데이터를 바탕으로 판단된 장애물의 종류에 대응하는 모션을 설정하고, 지정된 모션이 수행되도록 주행부(160) 또는 스피커(173)를 제어한다.
한편, 모션제어부(111)는 장애물의 종류에 대한 모션이 지정되어 있지 않은 경우, 기본 모션을 수행한다. 또한, 모션제어부(111)는 단말(80)로 모션 지정을 요청할 수 있다. 모션제어부(111)는 소정 시간 내에 단말에 의해 모션이 지정되는 경우 지정된 모션을 수행하고, 시간이 경과하면 기본 모션을 수행한다. 예를 들어 기본 모션은, 접근 후 회피 또는 경로변경이 설정될 수 있다. 또는 장애물에 대한 복수의 모션이 존재하는 경우, 복수의 모션 중 어느 하나를 기본모션으로 설정할 수 있다.
이동 로봇(100)은 인식된 장애물에 대응하여, 소정 동작을 수행하거나 소정의 소리를 출력한다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 장애물 데이터 변경에 따른 제어방법이 도시된 순서도이다.
도 5에 도시된 바와 같이, 이동 로봇(100)은 주행영역에 대한 지정된 청소를 수행하는 도중, 소정 시간 간격으로 동작 상태에 대한 데이터, 또는 장애물에 대한 모션 설정을 요청하는 데이터를 장애물 데이터로써, 단말(80)로 전송한다(S450).
이동 로봇(100)은 초기 장애물 설정데이터에 포함되지 않은 장애물이 감지되는 경우, 모션이 설정되지 않은 장애물이 감지되는 경우, 장애물 데이터를 단말(80)로 전송하여 모션 설정을 요청할 수 있다. 또한, 기 등록되지 않은 새로운 장애물이 감지되는 경우, 서버로부터 수신된 장애물 데이터를 바탕으로 단말로 새로운 장애물에 대한 모션 설정을 요청할 수 있다.
이동 로봇(100)은 청소를 수행하는 도중, 단말(80)로부터 장애물에 따라 수행되는 모션에 대한 정보를 포함하는 변경데이터를 수신한다(S460).
제어부(110)는 수신된 변경데이터를 데이터부(130)에 저장하고, 주행영역 내의 장애물 정보를 변경하거나, 또는 장애물에 대한 모션정보를 변경하여, 장애물인식데이터 및 모션데이터를 포함하는 장애물 데이터를 갱신한다(S470). 예를 들어 애완동물 감지 시, 주행경로를 변경하도록 모션A가 설정된 상태에서, 변경데이터가 수신되면, 변경데이터를 바탕으로 애완동물 감지시, 접근 후 대기하도록 모션 B로 변경할 수 있다. 또한, 변경데이터를 바탕으로, 기존 모션을 수행하면서 소정의 소리를 출력하도록 설정을 변경할 수 있다. 또한, 변경데이터는 통해 애완동물에 대한 새로운 모션C가 추가될 수 있다.
제어부(110)는 변경된 데이터를 바탕으로, 감지된 장애물에 대한 모션을 재설정하고(S480), 변경된 모션정보에 대한 데이터를 서버(90)로 전송한다(S490).
서버(90)는 수신되는 데이터를 바탕으로, 해당 장애물에 대한 모션정보를 갱신한다. 예를 들어 애완동물에 대한 모션 A, B 중 어느 하나를 설정하도록 모션정보가 설정된 상태에서, A모션을 수행하는 것을 B 모션을 기본으로 설정을 변경할 수 있다. 또한, 서버(90)는 애완동물에 대하여, 단말에 의해 C라는 새로운 모션이 등록되는 경우 해당 모션정보를 추가할 수 있다.
서버(90)는 단말을 통해 변경되는 모션정보를 저장하고, 누적된 데이터에 대한 통계를 산출하여, 특정 장애물에 대한 기본 모션을 설정할 수 있다. 즉 애완동물에 대하여, 모션 A와 B중, 단말에 의해 모션 B가를 선택되거나, 청소도중 모션B로 변경되는 비율이 일정값 이상으로 증가하면, 장애물에 대한 기본 모션을 모션B로 설정할 수 있다. 또한, 장애물에 대한 모션A, B, C중 모션 C가 소정기간 동안 선택되지 않는 경우 모션C를 해당 장애물에 대한 모션에서 제외할 수 있다.
이동 로봇(100)은 장애물 데이터 변경 후, 청소도중, 센서부(122)를 통해 장애물이 감지되면, 장애물 감지부(120)는 카메라(121)를 동작시켜 장애물을 촬영하고, 장애물 인식부(112)는 장애물을 인식한다. 모션제어부(111)는 재설정된 모션에 따라 이동 로봇이 동작하도록 제어한다.
그에 따라 이동 로봇(100)은 변경된 모션정보에 따라 지정된 동작을 수행한다(S500).
도 6 은 본 발명의 일 실시예에 따른 이동 로봇의 동작을 변경하는 단말의 제어방법이 도시된 순서도이다.
도 6에 도시된 바와 같이, 단말(80)은 구비되는 어플리케이션을 실행하여, 이동 로봇(100)에 청소명령을 전송할 수 있다.
단말(80)은 제어메뉴를 통해, 주행영역을 설정할 수 있고, 또한 주행영역 내에 존재하는 장애물의 종류를 지정할 수 있다. 예를 들어 거실을 주행영역으로 지정하는 경우, 단말(80)은 제어메뉴를 통해 거실에 존재하는 소파, 탁자, 애완동물, 화분을 장애물로 선택할 수 있다.
단말(80)은 장애물에 대한 제어화면을 통해 선택된 장애물에 대하여 장애물을 분류하고(S520), 장애물에 대한 모션을 설정한다(S530). 단말(80)은 제어화면을 통해 선택된 장애물에 대하여, 선택가능한 복수의 모션에 대한 목록을 표시하고, 사용자의 입력에 따라, 수행할 모션을 설정한다.
단말(80)은 주행영역에 대한 정보, 주행영역에 포함되는 장애물의 정보, 각 장애물에 대하여 수행할 모션에 대한 정보를 포함하는 장애물 설정데이터를 이동 로봇(100)으로 전송한다(S540).
그에 따라 이동 로봇(100)이 주행영역에 대한 청소를 수행한다.
단말(80)은 이동 로봇(100)으로부터 소정 시간 간격으로 동작상태에 대한 데이터를 수신하고, 동작상태를 화면에 출력하여 이동 로봇(100)의 동작을 모니터링한다(S550).
이때 이동 로봇(100)은 장애물 설정데이터에 포함되지 않는 새로운 장애물이 감지되면, 새로운 장애물에 대한 데이터를 단말로 전송한다.
즉 이동 로봇(100)은 장애물인식은 가능하나, 장애물 설정데이터에 포함되지 않거나 또는 모션이 설정되지 않는 장애물에 대한 데이터를 단말(80)로 전송하여 모션 설정을 요청한다.
이동 로봇(100)으로부터 새로운 장애물에 대한 데이터가 수신되면, 단말(80)은 새로운 장애물을 분류하고(S570), 새로운 장애물에 대한 모션을 설정한다(S580). 이동 로봇(100)은 등록되지 않은 새로운 장애물인 경우, 장애물 정보를 등록하고 그에 대한 모션을 설정한다. 또한, 등록된 장애물이나, 그에 대한 모션이 설정되어 있지 않은 경우, 모션을 설정한다.
단말(80)은 새로운 장애물에 대한 모션정보를 변경데이터로써 이동 로봇(100)으로 전송한다(S590).
이동 로봇(100)은 변경데이터를 저장하고, 변경데이터를 바탕으로 모션을 재설정하여, 그에 대응하여 동작한다.
도 7 은 본 발명의 일 실시예에 따른 이동 로봇의 장애물 인식을 위한 설정을 입력하는 단말의 제어화면이 도시된 도이다.
단말(80)은 도 7에 도시된 바와 같이, 청소할 영역 내에 존재하는 장애물을 설정할 수 있도록 장애물선택메뉴가 포함된 제어화면(81)을 출력한다.
단말(80)은 제어화면에 표시되는 복수의 장애물 중, 적어도 하나가 선택되는 경우, 선택된 장애물에 대한 모션을 설정하기 위한 모션설정메뉴가 포함된 제어화면을 다음 도 8 또는 도 9와 같이 출력한다.
단말(80)은 복수의 장애물 중, 반려동물, 문턱, 신발, 화분이 선택되는 경우, 반려동물, 문턱, 신발, 화분의 각 장애물에 대한 모션을 설정한 후, 청소명령과 함께 장애물 설정데이터를 이동 로봇(100)으로 전송한다.
단말(80)은 서버(90)로부터 수신되는 데이터를 바탕으로 제어화면의 장애물 리스트를 갱신할 수 있다.
서버(90)는 청소도중 이동 로봇(100)으로부터 감지되는 복수의 장애물 중 감지 빈도가 높은 장애물을 설정하여 단말로 전송할 수 있다. 그에 따라 단말(80)은 도시된 바와 같이 영역 내에 존재하는 장애물을 설정할 수 있도록 제어화면을 출력한다.
또한, 단말(80)은 메뉴설정을 통해 제어화면에 표시되는 장애물의 종류, 표시되는 장애물의 수를 변경할 수 있다.
이때 서버(90)는 이동 로봇으로부터 수집되는 장애물의 정보와, 단말을 통해 설정되는 장애물의 종류 및 상기 장애물에 대한 모션 설정에 대한 데이터를 수집하여 통계를 산출하고, 장애물의 감지빈도와, 장애물에 대한 모션 설정 빈도에 대응하여, 장애물인식데이터 및 장애물에 대한 모션정보를 갱신한다.
도 8 은 본 발명의 일 실시예에 따른 이동 로봇의 위험장애물에 대한 동작을 설정하는 제어화면이 도시된 도이고, 도 9 는 본 발명의 일 실시예에 따른 이동 로봇의 생체장애물에 대한 동작을 설정하는 제어화면이 도시된 도이다.
단말(80)은 앞서 설명한 도 7의 제어화면에서, 장애물선택메뉴를 통해 청소할 주행영역 내에 존재하는 장애물이 선택되면, 해당 장애물에 대하여 모션을 설정하는 모션설정메뉴가 포함된 제어화면(82)을 도 8 또는 도 9와 같이 출력한다.
단말(80)은 도 8의 (a) 및 도 9의 (a)와 같이 제어화면에 표시되는 모션설정메뉴 중, 장애물분류를 통해, 선택된 적어도 하나의 장애물에 대하여, 그 종류를 일반장애물(82a), 위험장애물(82b), 생체장애물(82c), 바닥장애물(82d)로 분류하여 표시한다.
각 분류항목에는 종류키가 표시되고, 종류키 선택시 도 8의 (b)에 도시된 바와같이 제어화면(83)에, 분류항목에 포함되는 장애물 목록(84)이 표시된다.
위험장애물(82b)에는 화분, 멀티탭, 전선이 포함될 수 있다. 이때 장애물 종류에 대한 분류에 있어서 장애물의 목록은 설정을 통해 변경될 수 있고, 단말은 장애물 분류 변경에 따른 데이터를 서버(90)로 전송할 수 있다.
위험장애물(82b)이 선택되면, 도 8의 (c)와 같이 위험장애물에 대한 이동 로봇(100)의 모션을 설정하는 모션설정화면(85)이 표시된다.
모션설정화면(85)을 통해, 위험장애물에 대하여, 감속 후 옆으로 회피(85a), 감속 후 역주행(85b), 사용자에게 알림(85c), 근거리 접근 금지(85d)중 어느 하나를 모션으로 설정할 수 있다.
어느 하나의 모션을 선택한 후 기본설정(85e)을 선택하면, 위험장애물에 대한 모션이 설정되고, 청소설정을 위한 초기화면으로 복귀한다.
이때, 근거리 접근금지(85d)가 선택되면, 위험장애물, 즉 화분, 멀티탭, 전선에 대하여 근거리 접근금지 모션이 설정된다.
예를 들어 화분의 경우 이동 로봇과 충돌 시 화분이 파손될 수 있고, 전선이나 멀티탭의 경우 커넥터가 탈거되어 다른 기기로의 전원공급이 차단될 수 있으므로 근거리 접근 금지를 설정할 수 있다.
이때, 근거리 접근하지 않고, 주행방향을 변경할지 또는 역주행할지 여부에 대하여 추가 모션을 설정할 수 있다. 추가 모션이 설정되지 않는 경우, 이동 로봇은 주변의 다른 장애물에 따라 주행방향을 변경하여 주행할 수 있다.
경우에 따라 장애물목록에서 어느 하나를 선택하면, 화분, 멀티탭, 전선에 대하여 각각의 모션을 설정할 수도 있다. 단말(80)은 즉 위험장애물 전체에 대하여 어느 하나의 모션을 설정하거나, 세부 장애물 항목에 대하여 각각 개별 모션을 설정할 수 있다.
도 9의 (a)와 같이, 단말(80)은 제어화면에 표시되는 장애물메뉴를 통해, 선택된 적어도 하나의 장애물에 대하여, 그 종류를 일반장애물(82a), 위험장애물(82b), 생체장애물(82c), 바닥장애물(82d)로 분류하여 표시한다.
생체장애물(82c)이 선택되고, 종류키가 선택되면 도 9의 (b)와 같이 생체장애물에 포함되는 장애물목록(97)이 화면(86)에 표시된다. 예를 들어 생체장애물에는 머리카락, 반려동물, 발이 포함될 수 있다.
또한, 생체장애물(82c)이 선택되면, 도 9의 (c)와 같이 생체장애물에 대한 이동 로봇(100)의 모션을 설정하는 모션설정화면(88)이 표시된다.
모션설정화면(88)을 통해, 생체장애물에 대하여, 감속 후 대기(88a), 감속 후 역주행(88b), 음성 후 대기(88c), 근거리 접근 금지(88d)중 어느 하나를 모션으로 설정할 수 있다.
어느 하나의 모션을 선택한 후 기본설정(85f)을 선택하면, 생체장애물에 대한 모션이 설정되고, 청소설정을 위한 초기화면으로 복귀한다.
이때, 음성 후 대기(88c)가 선택되면, 생체장애물, 즉 머리카락, 반려동물, 발에 대하여 소정의 음성안내를 출력한 후 소정 시간 대기하도록 모션이 설정된다. 음성안내 시 출력되는 음성데이터는 이동 로봇(100)에 기 저장된 음성안내데이터 중 어느 하나 또는, 사용자의 선택에 의한 음악파일 또는 사용자의 음성을 녹음하여 출력되도록 설정할 수 있다. 음악파일 또는 사용자의 음성녹음은 단말을 통해 이동 로봇으로 전송될 수 있고, 이동 로봇에서 사용자에 의해 직접 녹음 및 저장될 수 있다.
또한, 단말(80)은 생체장애물인 머리카락, 반려동물, 발에 대하여 각각의 개별 모션을 설정할 수 있다. 경우에 따라 음성안내를 사용자가 녹음파일로 변경할 수 있다.
또한, 단말(80)은 대기하는 모션이 설정되는 경우, 대기시간과, 대기 후 동작에 대하여 추가 설정할 수 있다. 대기 후 동작은 추가 모션을 선택하여 설정할 수 있다.
장애물 및 장애물에 대한 모션설정이 완료되면, 단말(80)은 청소명령과 함께 장애물 설정데이터를 이동 로봇(100)으로 전송하고, 이동 로봇은 설정된 주행영역에 대한 청소를 시작한다.
도 10은 본 발명의 일실시예에 따른 이동 로봇의 장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 10에 도시된 바와 같이, 이동 로봇(100)이 청소를 수행하는 중, 사람이 주행방향에 위치하는 경우, 이동 로봇(100)은 장애물(205)로 감지하여 영상을 촬영한다.
장애물 인식부(112)는 촬영된 영상을 분석하여 그 형태를 판단하고, 장애물인식 데이터(201)(202)와 비교하여, 장애물이 사람의 발인 것으로 인식한다.
모션제어부(111)는 사람의 발이 생체장애물이므로, 생체장애물에 대한 모션설정에 따라 동작한다. 또한, 모션제어부(111)는 생체장애물 중 사람의 발에 대한 개별 모션이 설정되어 있는 경우 설정된 모션에 따라 동작한다.
예를 들어 사람의 발에 대한 모션이, 음성 후 대기로 설정된 경우, 도시된 바와 같이, '비켜주세요' 라는 음성안내를 스피커(173)를 통해 출력하고, 소정시간 대기할 수 있다. 음성안내는 사용자의 음성녹음, 소정의 음악파일, 효과음으로 대체될 수 있다.
도 11 은 본 발명의 일실시예에 따른 이동 로봇의 생체장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 11에 도시된 바와 같이, 이동 로봇(100)은 주행 중, 센서부(122)를 통해 주행방향에 장애물(206)이 감지되면, 카메라(121)를 통해 장애물(206)을 촬영한다.
장애물 인식부(112)는 촬영된 이미지데이터를 분석하여, 그 형태에 따라 장애물을 인식하고 장애물의 종류를 판단한다. 경우에 따라 장애물의 움직임을 바탕으로 장애물을 인식할 수 있다.
장애물(206)이 반려동물로 인식되면, 모션제어부(111)는 생체장애물에 대한 모션설정에 따라, 장애물을 감지하여 인식한 제 1 시점(P1)에서 설정된 모션을 수행한다.
예를 들어 생체장애물에 대한 모션이 감속 후 대기인 경우, 도시된 바와 같이, 제 1 시점(P1)에서 감속한 후, 제 2 시점(P2)에 정지하여 대기한다.
사람이나, 반려동물과 같은 생체장애물은 이동 로봇을 발견하는 경우 그에 반응하여 움직이므로, 대기 후 장애물이 이동하면, 이동 로봇은 다시 주행할 수 있다.
소정 시간 대기후에도 장애물이 이동하지 않는 경우, 또 다른 모션을 수행할 수 있다.
도 12 는 본 발명의 실시예에 따른 이동 로봇의 위험장애물 인식 및 그에 따른 동작을 설명하는데 참조되는 예시도이다.
도 12에 도시된 바와 같이, 이동 로봇(100)은 위험장애물인 화분을 감지하여 인식한다.
화분(207)에 대한 모션이 근거리 접근 금지인 경우, 이동 로봇(100)은 화분을 감지하여 인식한 시점에서, 일정거리(208) 이상 떨어진 상태로 화분에 더 이상 접근하지 않고 주행방향을 변경하여 주행한다.
따라서 이동 로봇(100)은 감지되는 장애물을 인식하고 장애물의 종류에 따라 상이한 모션을 설정함으로써 다양한 장애물에 대응하여 이동 로봇이 동작할 수 있고, 장애물 또는 이동 로봇의 손상없이 효과적으로 청소를 수행할 수 있게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
80: 단말 90: 서버
100: 이동 로봇
110: 제어부 111: 모션제어부
112: 장애물 인식부 120: 장애물 감지부
121: 카메라 122: 센서부
130: 데이터부 140: 통신부
171: 입력부 172: 표시부
173: 스피커
100: 이동 로봇
110: 제어부 111: 모션제어부
112: 장애물 인식부 120: 장애물 감지부
121: 카메라 122: 센서부
130: 데이터부 140: 통신부
171: 입력부 172: 표시부
173: 스피커
Claims (30)
- 주행방향에 위치한 장애물을 감지하는 센서부;
상기 센서부에 의해 상기 장애물이 감지되면, 상기 장애물을 촬영하는 카메라;
복수의 장애물에 대한 정보가 저장되는 데이터부;
상기 데이터부에 저장된 데이터를 바탕으로 상기 장애물은 인식하여 동작을 제어하는 제어부;
상기 제어부의 제어명령에 따라 지정된 동작을 수행하는 주행부; 및
상기 제어부의 제어명령에 따라 지정된 소리를 출력하는 스피커를 포함하고,
상기 제어부는,
상기 카메라를 통해 촬영된 상기 장애물의 영상을 분석하여 상기 데이터부에 저장되는 데이터와 비교하여 상기 장애물을 인식하고 상기 장애물의 종류를 판단하는 장애물 인식부; 및
상기 장애물 인식부에 의해 인식된 상기 장애물의 종류에 대응하여 상기 데이터부에 저장된 설정에 따라 지정된 동작이 수행되도록 하는 모션제어부를 포함하는 이동 로봇. - 제 1 항에 있어서,
상기 장애물 인식부는 상기 장애물의 영상을 분석하여 상기 장애물의 형태를 판단하고, 기 저장된 장애물인식데이터와 비교하여 상기 장애물을 인식하고 종류를 판단하는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
상기 장애물 인식부는 상기 장애물의 영상과, 상기 센서부를 통해 감지되는 상기 장애물의 위치 및 움직임을 바탕으로 상기 장애물을 인식하는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
상기 모션제어부는 상기 장애물의 종류에 따라 각각 설정된 모션에 대한 정보를 바탕으로, 인식된 장애물의 종류에 따라 각각 상이한 동작이 수행되도록 하는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
상기 장애물 인식부는 상기 장애물을, 일반장애물, 위험장애물, 생체장애물, 바닥장애물로 분류하여 종류를 판단하는 것을 특징으로 하는 이동 로봇. - 제 5 항에 있어서,
상기 모션제어부는 상기 장애물의 종류에 설정되는 모션과,
상기 장애물의 종류에 포함되는 개별 장애물에 설정되는 개별 모션에 대응하여 동작을 제어하는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
상기 모션제어부는 상기 장애물에 대응하여, 정지, 감속, 가속, 역주행, 대기, 주행방향 변경, 근거리 접근 금지 중 적어도 하나의 동작으로 조합된 모션이 수행되도록 하는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
상기 모션제어부는 상기 장애물에 대응하여, 효과음, 경고음, 음성안내 중 어느 하나가 상기 스피커를 통해 출력되도록 하는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
상기 데이터부는, 상기 장애물의 영상을 분석하고 상기 장애물을 인식하기 위한 장애물인식데이터, 장애물의 종류에 따라 수행할 모션에 대한 모션데이터, 상기 장애물 또는 상기 모션에 대한 변경사항을 포함하는 변경데이터가 저장되는 것을 특징으로 하는 이동 로봇. - 제 1 항에 있어서,
단말 또는 서버와 통신하는 통신부를 더 포함하는 이동 로봇. - 제 10 항에 있어서,
상기 제어부는, 상기 단말로부터 청소할 주행영역에 위치하는 장애물에 대한 정보와 상기 장애물에 대한 모션정보를 수신하여 저장하고,
상기 장애물 인식부는 저장된 상기 주행영역에 위치하는 장애물에 대한 정보를 바탕으로, 감지되는 장애물을 인식하며,
상기 모션제어부는 상기 장애물에 설정된 상기 모션정보에 대응하여 동작을 제어하는 것을 특징으로 하는 이동 로봇. - 제 10 항에 있어서,
상기 제어부는 인식된 상기 장애물에 대하여 모션이 설정되지 않은 경우 또는 새로운 장애물이 감지된 경우, 상기 단말로 모션 설정을 요청하는 것을 특징으로 하는 이동 로봇. - 제 10 항에 있어서,
상기 제어부는, 상기 장애물을 인식하지 못하는 경우, 또는 새로운 장애물이 감지된 경우,
상기 장애물의 영상을 포함하는 장애물정보를 외부의 서버로 전송하고, 상기 서버로부터 수신되는 장애물 데이터를 상기 데이터부에 저장하여, 상기 장애물을 재인식하는 것을 특징으로 하는 이동 로봇. - 설정된 주행영역을 주행하면 청소를 수행하고 감지되는 장애물에 대응하여 지정된 모션을 수행하는 이동 로봇;
상기 이동 로봇에 청소명령을 전송하고, 상기 주행영역에 위치하는 장애물에 대한 정보와 함께 청소명령을 전송하는 단말; 및
상기 이동 로봇으로부터 감지되는 상기 장애물의 정보를 수집하여 분석하고 상기 장애물을 인식하기 위한 특징정보가 포함된 장애물인식데이터 및 상기 장애물에 대한 모션정보를 생성하는 서버를 포함하는 이동 로봇 시스템. - 제 14 항에 있어서,
상기 단말은 상기 서버로부터 설정된 상기 모션정보 중, 상기 주행영역에 위치하는 장애물에 대하여 어느 하나의 모션을 지정하여 상기 이동 로봇으로 전송하는 것을 특징으로 하는 이동 로봇 시스템. - 제 14 항에 있어서,
상기 단말은, 상기 이동 로봇이 설정된 상기 모션을 수행하는 중, 상기 장애물에 대한 새로운 모션을 설정하여 변경데이터를 상기 이동 로봇으로 전송하고,
상기 이동 로봇은 상기 변경데이터에 대응하여 상기 장애물에 대한 모션을 재설정하는 것을 특징으로 하는 이동 로봇 시스템. - 제 15 항에 있어서,
상기 단말은, 상기 주행영역에 위치하는 장애물에 대하여,
상기 장애물을 종류에 따라 분류하여 상기 장애물의 종류 또는 상기 장애물의 종류에 포함되는 개별 장애물에 대하여 모션을 설정하는 것을 특징으로 하는 이동 로봇 시스템. - 제 15 항에 있어서,
상기 단말은, 상기 이동 로봇이 상기 장애물에 대응하여,
정지, 감속, 가속, 역주행, 대기, 주행방향 변경, 근거리 접근 금지 중 적어도 하나의 동작으로 조합된 모션을 수행되도록 설정하는 것을 특징으로 하는 이동 로봇 시스템. - 제 15 항에 있어서,
상기 단말은, 상기 장애물에 대응하여, 효과음, 경고음, 음성안내 중 어느 하나의 소리를 출력하도록 상기 모션을 설정하는 것을 특징으로 하는 이동 로봇 시스템. - 제 15 항에 있어서,
상기 단말은, 상기 주행영역에 위치하는 장애물을 설정하는 장애물선택메뉴가 포함된 제어화면을 표시하고, 상기 장애물선택메뉴를 통해 어느 하나의 장애물이 선택되는 경우,
상기 장애물을 분류하고 모션을 설정하는 모션설정메뉴가 포함된 제어화면을 표시하는 것을 특징으로 하는 이동 로봇 시스템. - 제 20 항에 있어서,
상기 단말은, 상기 서버로부터 수신되는 데이터를 바탕으로 상기 제어화면의 장애물 분류, 장애물 목록 및 모션정보를 갱신하여 표시하고,
메뉴설정을 통해 제어화면에 표시되는 장애물의 종류, 표시되는 장애물의 수를 변경하여 표시하는 것을 특징으로 하는 이동 로봇 시스템. - 제 14 항에 있어서,
상기 서버는 수집되는 상기 장애물의 정보와, 상기 단말을 통해 설정되는 장애물의 종류 및 상기 장애물에 대한 모션 설정에 대한 데이터를 수집하여 통계를 산출하고, 상기 장애물의 감지빈도와, 상기 장애물에 대한 모션 설정 빈도에 대응하여, 상기 장애물인식데이터 및 상기 장애물에 대한 모션정보를 갱신하는 것을 특징으로 하는 이동 로봇 시스템. - 제 14 항에 있어서,
상기 서버는 상기 이동 로봇으로부터 인식 불가능한 장애물 또는 새로운 장애물에 대한 장애물 정보가 수신되면, 상기 장애물 정보를 분석하여 상기 장애물을 인식하고, 새로운 장애물에 대한 장애물인식데이터 및 상기 장애물에 대한 모션정보를 생성하는 것을 특징으로 하는 이동 로봇 시스템. - 지정된 주행영역을 주행하며 청소를 수행하는 중, 장애물을 감지하는 단계;
상기 장애물에 대한 영상을 촬영하는 단계;
상기 장애물의 영상을 분석하여 상기 장애물을 인식하고 상기 장애물의 종류를 판단하는 단계;
상기 장애물에 대응하여, 지정된 모션을 설정하는 단계; 및
상기 모션에 대응하여 적어도 하나의 동작이 조합된 모션 또는 소정의 소리를 출력하는 단계를 포함하는 이동 로봇의 제어방법. - 제 24 항에 있어서,
상기 장애물에 대응하여, 정지, 감속, 가속, 역주행, 대기, 주행방향 변경, 근거리 접근 금지 중 적어도 하나의 동작으로 조합된 상기 모션을 수행하는 것을 특징으로 하는 이동 로봇의 제어방법. - 제 24 항에 있어서,
상기 장애물에 대응하여, 효과음, 경고음, 음성안내 중 어느 하나의 소리를 출력하는 것을 특징으로 하는 이동 로봇의 제어방법. - 제 24 항에 있어서,
상기 장애물에 대응하는 모션이 설정되지 않은 경우, 기본 모션을 수행하는 단계를 더 포함하는 이동 로봇의 제어방법. - 제 24 항에 있어서,
상기 장애물에 대응하는 모션이 설정되지 않은 경우, 단말로 모션 설정을 요청하는 단계를 더 포함하는 이동 로봇의 제어방법. - 제 24 항에 있어서,
청소 수행 전, 단말로부터 상기 주행영역에 대한 청소명령과, 상기 주행영역에 위치하는 장애물에 대한 데이터가 수신되는 단계; 및
상기 데이터를 바탕으로, 상기 주행영역에 위치하는 상기 장애물에 대한 모션을 설정하는 단계를 더 포함하는 이동 로봇의 제어방법. - 제 24 항에 있어서,
상기 장애물을 인식하지 못하는 경우, 또는 새로운 장애물이 감지되는 경우,
서버로 감지된 장애물에 대한 정보를 전송하는 단계를 더 포함하는 이동 로봇의 제어방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160179205A KR20180075176A (ko) | 2016-12-26 | 2016-12-26 | 이동 로봇 및 그 제어방법 |
PCT/KR2017/015447 WO2018124682A2 (ko) | 2016-12-26 | 2017-12-26 | 이동 로봇 및 그 제어방법 |
US16/473,758 US11226633B2 (en) | 2016-12-26 | 2017-12-26 | Mobile robot and method of controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160179205A KR20180075176A (ko) | 2016-12-26 | 2016-12-26 | 이동 로봇 및 그 제어방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20180075176A true KR20180075176A (ko) | 2018-07-04 |
Family
ID=62710407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160179205A KR20180075176A (ko) | 2016-12-26 | 2016-12-26 | 이동 로봇 및 그 제어방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11226633B2 (ko) |
KR (1) | KR20180075176A (ko) |
WO (1) | WO2018124682A2 (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020122582A1 (en) * | 2018-12-12 | 2020-06-18 | Lg Electronics Inc. | Artificial intelligence moving robot and method for controlling the same |
CN112017149A (zh) * | 2019-05-28 | 2020-12-01 | 原相科技股份有限公司 | 脏污程度判断方法以及使用脏污程度判断方法的电子装置 |
KR20210008903A (ko) * | 2018-12-12 | 2021-01-25 | 엘지전자 주식회사 | 인공지능 이동 로봇 및 이의 제어 방법 |
WO2021212926A1 (zh) * | 2020-04-20 | 2021-10-28 | 北京石头世纪科技股份有限公司 | 自行走机器人避障方法、装置、机器人和存储介质 |
WO2021233007A1 (zh) * | 2020-05-18 | 2021-11-25 | 科沃斯机器人股份有限公司 | 一种自移动机器人的控制方法、系统及自移动机器人 |
US11719544B2 (en) | 2019-06-03 | 2023-08-08 | Samsung Electronics Co., Ltd. | Electronic apparatus for object recognition and control method thereof |
US11874668B2 (en) | 2019-12-27 | 2024-01-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of controlling thereof |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017105724A1 (de) * | 2017-03-16 | 2018-09-20 | Vorwerk & Co. Interholding Gmbh | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Bodenbearbeitungsgerätes |
WO2019168710A1 (en) * | 2018-03-02 | 2019-09-06 | Walmart Apollo, Llc | Systems and methods for delivering merchandise using autonomous ground vehicles |
JP7000253B2 (ja) * | 2018-05-31 | 2022-01-19 | 国立大学法人東海国立大学機構 | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム |
US11399682B2 (en) * | 2018-07-27 | 2022-08-02 | Panasonic Intellectual Property Corporation Of America | Information processing method, information processing apparatus and computer-readable recording medium storing information processing program |
CN110833357A (zh) * | 2018-08-15 | 2020-02-25 | 格力电器(武汉)有限公司 | 障碍物识别方法及装置 |
JP7124797B2 (ja) * | 2019-06-28 | 2022-08-24 | トヨタ自動車株式会社 | 機械学習方法および移動ロボット |
KR20190087355A (ko) * | 2019-07-05 | 2019-07-24 | 엘지전자 주식회사 | 영역별 인체 활동 데이터를 이용하여 주행하는 청소로봇 및 청소로봇을 주행시키는 방법 |
CA3162186A1 (en) * | 2019-08-12 | 2021-02-18 | Avidbots Corp | System and method of semi-autonomous cleaning of surfaces |
US11327483B2 (en) * | 2019-09-30 | 2022-05-10 | Irobot Corporation | Image capture devices for autonomous mobile robots and related systems and methods |
CN111110117B (zh) * | 2019-12-20 | 2021-08-06 | 小狗电器互联网科技(北京)股份有限公司 | 一种扫地机器人工作面清洁方法 |
CN110989623A (zh) * | 2019-12-25 | 2020-04-10 | 广州极飞科技有限公司 | 地面无人作业设备及控制其移动的方法和装置、存储介质 |
SE2050386A1 (en) * | 2020-04-06 | 2021-10-05 | Husqvarna Ab | Navigation for a robotic work tool based on a classifier associated with an area |
CN111930127B (zh) * | 2020-09-02 | 2021-05-18 | 广州赛特智能科技有限公司 | 一种机器人障碍物识别及避障方法 |
CN112269379B (zh) * | 2020-10-14 | 2024-02-27 | 北京石头创新科技有限公司 | 障碍物识别信息反馈方法 |
JP2022100650A (ja) * | 2020-12-24 | 2022-07-06 | トヨタ自動車株式会社 | 荷物搬送システム、荷物搬送方法および荷物搬送プログラム |
CN113106907B (zh) * | 2021-04-30 | 2022-07-15 | 广东美房智高机器人有限公司 | 机器人对障碍物识别与处理方法、系统、设备及介质 |
CN116172447A (zh) * | 2021-08-23 | 2023-05-30 | 追觅创新科技(苏州)有限公司 | 移动机器人的清扫方法及装置、存储介质、电子装置 |
CN114167871A (zh) * | 2021-12-06 | 2022-03-11 | 北京云迹科技有限公司 | 一种障碍物检测方法、装置、电子设备和存储介质 |
CN114296447B (zh) * | 2021-12-07 | 2023-06-30 | 北京石头世纪科技股份有限公司 | 自行走设备的控制方法、装置、自行走设备和存储介质 |
CN116416518A (zh) * | 2021-12-22 | 2023-07-11 | 广东栗子科技有限公司 | 智能避开障碍的方法及装置 |
CN114905180A (zh) * | 2022-06-30 | 2022-08-16 | 中船黄埔文冲船舶有限公司 | 一种中组立焊缝的避障焊接路径优化方法及装置 |
CN115185285B (zh) * | 2022-09-06 | 2022-12-27 | 深圳市信诚创新技术有限公司 | 吸尘机器人的自动避障方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4555035B2 (ja) * | 2004-03-30 | 2010-09-29 | 日本電気株式会社 | 掃除機制御装置、掃除機、ロボット、および掃除機制御方法 |
KR101049155B1 (ko) * | 2011-02-01 | 2011-07-14 | 국방과학연구소 | 자율이동장치의 장애물 판단방법 및 이를 이용한 자율이동장치 |
KR101146855B1 (ko) * | 2010-07-09 | 2012-05-16 | 경희대학교 산학협력단 | 시각 장애인용 보행 가이드 로봇 |
JP2016192040A (ja) * | 2015-03-31 | 2016-11-10 | 株式会社日本総合研究所 | 自走型走行装置、管理装置、及び歩行障害箇所判定システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8412377B2 (en) * | 2000-01-24 | 2013-04-02 | Irobot Corporation | Obstacle following sensor scheme for a mobile robot |
EP2363774B1 (en) * | 2000-05-01 | 2017-06-21 | iRobot Corporation | Method and system for remote control of mobile robot |
US6845297B2 (en) * | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
KR100662638B1 (ko) * | 2001-04-18 | 2007-01-02 | 삼성광주전자 주식회사 | 로봇 청소기의 장애물 감지 오차 보정 장치 및 그 방법 |
US7599758B2 (en) * | 2003-09-19 | 2009-10-06 | Royal Appliance Mfg. Co. | Sensors and associated methods for controlling a vacuum cleaner |
JP4621073B2 (ja) * | 2005-05-23 | 2011-01-26 | 本田技研工業株式会社 | ロボット制御装置 |
WO2008013568A2 (en) * | 2005-12-30 | 2008-01-31 | Irobot Corporation | Autonomous mobile robot |
WO2019083291A1 (ko) * | 2017-10-25 | 2019-05-02 | 엘지전자 주식회사 | 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법 |
-
2016
- 2016-12-26 KR KR1020160179205A patent/KR20180075176A/ko active Search and Examination
-
2017
- 2017-12-26 US US16/473,758 patent/US11226633B2/en active Active
- 2017-12-26 WO PCT/KR2017/015447 patent/WO2018124682A2/ko active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4555035B2 (ja) * | 2004-03-30 | 2010-09-29 | 日本電気株式会社 | 掃除機制御装置、掃除機、ロボット、および掃除機制御方法 |
KR101146855B1 (ko) * | 2010-07-09 | 2012-05-16 | 경희대학교 산학협력단 | 시각 장애인용 보행 가이드 로봇 |
KR101049155B1 (ko) * | 2011-02-01 | 2011-07-14 | 국방과학연구소 | 자율이동장치의 장애물 판단방법 및 이를 이용한 자율이동장치 |
JP2016192040A (ja) * | 2015-03-31 | 2016-11-10 | 株式会社日本総合研究所 | 自走型走行装置、管理装置、及び歩行障害箇所判定システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020122582A1 (en) * | 2018-12-12 | 2020-06-18 | Lg Electronics Inc. | Artificial intelligence moving robot and method for controlling the same |
KR20210008903A (ko) * | 2018-12-12 | 2021-01-25 | 엘지전자 주식회사 | 인공지능 이동 로봇 및 이의 제어 방법 |
CN112017149A (zh) * | 2019-05-28 | 2020-12-01 | 原相科技股份有限公司 | 脏污程度判断方法以及使用脏污程度判断方法的电子装置 |
US12133625B2 (en) | 2019-05-28 | 2024-11-05 | Pixart Imaging Inc. | Dirtiness level determining method and robot cleaner applying the dirtiness level determining method |
US11719544B2 (en) | 2019-06-03 | 2023-08-08 | Samsung Electronics Co., Ltd. | Electronic apparatus for object recognition and control method thereof |
US12123723B2 (en) | 2019-06-03 | 2024-10-22 | Samsung Electronics Co., Ltd. | Electronic apparatus for object recognition and control method thereof |
US11874668B2 (en) | 2019-12-27 | 2024-01-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of controlling thereof |
WO2021212926A1 (zh) * | 2020-04-20 | 2021-10-28 | 北京石头世纪科技股份有限公司 | 自行走机器人避障方法、装置、机器人和存储介质 |
WO2021233007A1 (zh) * | 2020-05-18 | 2021-11-25 | 科沃斯机器人股份有限公司 | 一种自移动机器人的控制方法、系统及自移动机器人 |
Also Published As
Publication number | Publication date |
---|---|
WO2018124682A2 (ko) | 2018-07-05 |
WO2018124682A3 (ko) | 2018-08-23 |
US11226633B2 (en) | 2022-01-18 |
US20190332119A1 (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180075176A (ko) | 이동 로봇 및 그 제어방법 | |
US11846950B2 (en) | Mobile robot and control method thereof | |
CN111479662B (zh) | 学习障碍物的人工智能移动机器人及其控制方法 | |
KR101976424B1 (ko) | 이동 로봇 | |
KR102348041B1 (ko) | 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법 | |
KR102070067B1 (ko) | 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법 | |
KR102021833B1 (ko) | 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 | |
KR102500529B1 (ko) | 이동 로봇 및 그 제어방법 | |
KR20180058511A (ko) | 이동 로봇 및 그 제어방법 | |
KR20190007285A (ko) | 이동 로봇 시스템 및 그 제어방법 | |
KR20180082264A (ko) | 이동 로봇 및 그 제어방법 | |
KR20180098891A (ko) | 이동 로봇 및 그 제어방법 | |
KR102306437B1 (ko) | 이동 로봇 및 그 제어방법 | |
KR20190103511A (ko) | 이동 로봇 및 그 제어방법 | |
KR20190119234A (ko) | 이동 로봇 및 그 제어방법 | |
KR102330607B1 (ko) | 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법 | |
US20220280007A1 (en) | Mobile robot and method of controlling the same | |
EP3986679B1 (en) | Moving robot and method of controlling the same | |
KR102300790B1 (ko) | 이동 로봇 및 그 제어방법 | |
KR20210015154A (ko) | 이동 로봇 및 그 제어방법 | |
KR102364623B1 (ko) | 이동 로봇 및 그 제어방법 | |
KR20210004679A (ko) | 이동 로봇 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2019101001342; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190419 Effective date: 20200422 |