[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102444693B1 - 청소용 이동장치 및 그 제어방법 - Google Patents

청소용 이동장치 및 그 제어방법 Download PDF

Info

Publication number
KR102444693B1
KR102444693B1 KR1020170151931A KR20170151931A KR102444693B1 KR 102444693 B1 KR102444693 B1 KR 102444693B1 KR 1020170151931 A KR1020170151931 A KR 1020170151931A KR 20170151931 A KR20170151931 A KR 20170151931A KR 102444693 B1 KR102444693 B1 KR 102444693B1
Authority
KR
South Korea
Prior art keywords
mark
cleaning
moving device
image
cleaning robot
Prior art date
Application number
KR1020170151931A
Other languages
English (en)
Other versions
KR20190055329A (ko
Inventor
류민우
김민재
권영도
이동현
이동훈
임형우
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020170151931A priority Critical patent/KR102444693B1/ko
Priority to US16/185,661 priority patent/US20190146517A1/en
Priority to CN201880073301.3A priority patent/CN111356393B/zh
Priority to EP18878317.9A priority patent/EP3675703A4/en
Priority to PCT/KR2018/013766 priority patent/WO2019098631A1/en
Publication of KR20190055329A publication Critical patent/KR20190055329A/ko
Application granted granted Critical
Publication of KR102444693B1 publication Critical patent/KR102444693B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Cleaning By Liquid Or Steam (AREA)
  • Spinning Or Twisting Of Yarns (AREA)
  • Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)

Abstract

청소용 이동장치는, 청소를 수행하는 클리닝부와; 청소용 이동장치를 이동시키는 주행부와; 청소용 이동장치의 주위 환경을 촬상하는 이미지센서와; 이미지센서에 의해 촬상된 이미지로부터 청소용 이동장치의 스테이션장치에 대한 서로 상이한 거리에 각기 대응하도록 마련된 복수의 표식 중 어느 하나를 검출하고, 표식이 검출된 이미지에 기초하여 판단된 스테이션장치의 위치로 청소용 이동장치가 이동하도록 주행부를 제어하는 프로세서를 포함한다. 이로써, 청소용 이동장치가 스테이션장치로부터 이격되어 동작할 수 있는 이동가능범위를 확대할 수 있다.

Description

청소용 이동장치 및 그 제어방법 {MOVING APPARATUS FOR CLEANING AND CONTROL METHOD THEREOF}
본 발명은 자동으로 주행하면서 바닥면을 청소하는 청소용 이동장치 및 그 제어방법에 관한 것으로서, 상세하게는 배터리 충전 또는 메인테넌스(maintenance) 등을 위한 도킹 스테이션(docking station)과 같은 보조장치에 도킹하도록 보조장치를 찾아서 이동하는 청소용 이동장치 및 그 제어방법에 관한 것이다.
청소로봇과 같은 청소용 이동장치는 일반 가정 내의 바닥면과 같은 소정의 지면을 청소하기 위한 청소모듈 및 지면 위를 이동하기 위한 이동모듈을 구비함으로써, 사용자의 조작 없이 지면 위를 이동하며 자동으로 청소를 수행하는 전자장치이다. 청소로봇은 청소로봇의 배터리 충전이나 청소용 이동장치의 다양한 상태를 점검할 수 있는 보조장치로서 도킹 스테이션 또는 베이스 스테이션(base station)을 가진다. 청소로봇은 자유로운 주행을 위해 외부 전원 또는 도킹 스테이션에 유선으로 접속되어 있지 않고 무선 구조를 가지며, 도킹 스테이션에 도킹됨으로써 내부의 배터리를 충전시킨다. 예를 들면, 청소로봇은 바닥면을 주행하며 청소를 수행하는 동안에 배터리의 전력이 소정치 이하로 떨어져서 충전의 필요가 발생하거나 또는 사전 설정된 알고리즘에 따라서 정해진 청소 프로세스가 완료되면, 도킹 스테이션의 위치를 찾아서 이동하고 도킹 스테이션에 도킹한다.
청소로봇이 도킹 스테이션의 위치를 찾는, 즉 주위 환경에서 도킹 스테이션을 인식하기 위한 몇 가지 방법이 제안되어 있다.
한 가지 방법으로는 적외선 감지 구조가 있다. 도킹 스테이션이 적외선 유도신호를 좌측, 우측, 중앙으로 방사하면, 청소로봇의 좌측 및 우측 각각의 수광센서가 적외선을 감지함으로써 청소로봇이 도킹 스테이션을 찾을 수 있다. 그런데, 도킹 스테이션에 적외선을 조사하는 구성을 설치하는 한편 청소로봇에 적외선을 수광하는 구성을 설치해야 하므로, 이러한 방법은 구현 시에 구조가 복잡해지며 제조 비용이 상승한다. 또한, 이러한 방법은, 적외선의 특성 상 간섭에 취약하고, 청소로봇이 도킹 스테이션을 감지할 수 있는 거리 범위가 상대적으로 짧으며, 도킹 스테이션의 주위에 대해서는 청소로봇이 청소를 수행하기 곤란할 수 있다.
다른 한 가지 방법으로는 맵(map) 기반 구조가 있다. 청소로봇은 가정 내와 같은 사용 환경의 맵을 저장하며, 도킹 스테이션에서 출발 시 해당 맵에 도킹 스테이션의 위치를 맵핑한다. 청소로봇은 도킹 스테이션으로 이동하고자 할 때에, 맵 상에서 도킹 스테이션의 위치를 특정하여 해당 위치로 이동한다. 그러나, 이러한 방법은, 청소로봇의 이동 시에 슬립 등의 이유로 인해 청소로봇이 도킹 스테이션에 대한 정위치에 정확하게 위치하지 못할 수 있다. 또한, 최초에 청소로봇이 도킹 스테이션으로부터 출발하지 못하면 청소로봇이 맵 상에 도킹 스테이션의 위치를 맵핑하지 못하므로, 이러한 방법은 청소로봇이 정확하고 빠르게 도킹 스테이션을 찾지 못하게 된다.
이러한 관점에서, 청소로봇이 간단한 구조에 의해 도킹 스테이션의 위치를 판단함으로써, 도킹 스테이션에 대한 정위치로 청소로봇이 정확히 이동할 수 있는 구조 또는 방법이 필요할 수 있다.
본 발명의 실시예에 따른 청소용 이동장치는, 청소를 수행하는 클리닝부와; 상기 청소용 이동장치를 이동시키는 주행부와; 상기 청소용 이동장치의 주위 환경을 촬상하는 이미지센서와; 상기 이미지센서에 의해 촬상된 이미지로부터 상기 청소용 이동장치의 스테이션장치에 대한 서로 상이한 거리에 각기 대응하도록 마련된 복수의 표식 중 어느 하나를 검출하고, 상기 표식이 검출된 이미지에 기초하여 판단된 상기 스테이션장치의 위치로 상기 청소용 이동장치가 이동하도록 상기 주행부를 제어하는 프로세서를 포함한다. 이로써, 청소용 이동장치가 스테이션장치로부터 이격되어 동작할 수 있는 이동가능범위를 확대할 수 있다.
여기서, 상기 복수의 표식은, 소정의 제1거리에 대응하는 제1표식과, 상기 제1거리보다 짧은 제2거리에 대응하며 상기 제1표식보다 작게 마련된 제2표식을 포함할 수 있다.
여기서, 상기 프로세서는, 상기 제1표식이 검출되면 상기 청소용 이동장치가 상기 제1표식을 향해 이동하도록 하고, 상기 제1표식을 향해 이동하는 동안에 상기 제2표식이 검출되면 상기 스테이션장치 대비 상기 청소용 이동장치의 틀어짐이 보정되도록 위치를 조정하여 상기 제2표식을 향해 이동하도록 할 수 있다.
여기서, 상기 프로세서는, 상기 제2표식으로부터 추출된 복수의 지점들 사이의 상대적인 위치 차이에 기반하여 상기 제2표식의 틀어짐을 판단하며, 상기 이미지에서 상기 제2표식의 틀어짐이 검출되지 않도록 상기 청소용 이동장치를 회전시킴으로써, 상기 스테이션장치 대비 상기 청소용 이동장치의 틀어짐을 보정할 수 있다.
여기서, 상기 프로세서는, 상기 제2표식의 윤곽선을 따라서 상기 복수의 지점을 마킹할 수 있다.
또한, 상기 제2표식은 상기 제1표식 내에 중첩되도록 상기 스테이션장치의 일 영역에 배치될 수 있다.
또는, 상기 제2표식은 상기 제1표식으로부터 이격되도록 상기 스테이션장치의 일 영역에 배치될 수 있다.
또한, 상기 프로세서는, 상기 이미지를 복수의 컬러 채널로 분리하고, 상기 복수의 컬러 채널 중에서 사전 설정된 하나 이상의 컬러 채널의 이미지정보로부터 상기 표식을 취득할 수 있다.
또한, 상기 프로세서는, 상기 복수의 표식 중 검출되는 어느 하나에 기초하여 상기 스테이션장치 대비 상기 청소용 이동장치의 이격 거리를 판단하고, 상기 판단한 이격 거리에 대응하여 상기 주행부의 제어 동작을 상이하게 할 수 있다.
또한, 본 발명의 실시예에 따른 청소용 이동장치는, 청소를 수행하는 클리닝부와; 상기 청소용 이동장치를 이동시키는 주행부와; 상기 청소용 이동장치의 주위 환경을 촬상하는 이미지센서와; 상기 이미지센서에 의해 촬상된 이미지 내에서 하나 이상의 오브젝트에 대해 복수의 식별점을 마킹하고 상기 복수의 식별점을 그룹으로 분류하며, 상기 그룹 중에서 기 설정된 이미지를 포함하는 어느 한 그룹을 표식으로 검출하고, 상기 검출된 표식에 기초하여 판단된 상기 스테이션장치의 위치로 상기 청소용 이동장치가 이동하도록 상기 주행부를 제어하는 프로세서를 포함한다. 이로써, 청소용 이동장치가 사용 환경 내에서 스테이션장치를 용이하게 찾을 수 있다.
또한, 본 발명의 실시예에 따른 청소용 이동장치의 제어방법은, 상기 청소용 이동장치의 주위 환경을 촬상하는 단계와; 상기 촬상된 이미지로부터 상기 청소용 이동장치의 스테이션장치에 대한 서로 상이한 거리에 각기 대응하도록 마련된 복수의 표식 중 어느 하나를 검출하는 단계와; 상기 표식이 검출된 이미지에 기초하여 판단된 상기 스테이션장치의 위치로 상기 청소용 이동장치를 이동시키는 단계를 포함한다.
여기서, 상기 복수의 표식은, 소정의 제1거리에 대응하는 제1표식과, 상기 제1거리보다 짧은 제2거리에 대응하며 상기 제1표식보다 작게 마련된 제2표식을 포함할 수 있다.
여기서, 상기 프로세서는, 상기 청소용 이동장치를 이동시키는 단계는, 상기 제1표식이 검출되면 상기 청소용 이동장치가 상기 제1표식을 향해 이동시키는 단계와; 상기 제1표식을 향해 이동하는 동안에 상기 제2표식이 검출되면 상기 스테이션장치 대비 상기 청소용 이동장치의 틀어짐이 보정되도록 위치를 조정하여 상기 제2표식을 향해 이동시키는 단계를 포함할 수 있다.
여기서, 상기 제2표식을 향해 이동시키는 단계는, 상기 제2표식으로부터 추출된 복수의 지점들 사이의 상대적인 위치 차이에 기반하여 상기 제2표식의 틀어짐을 판단하며, 상기 이미지에서 상기 제2표식의 틀어짐이 검출되지 않도록 상기 청소용 이동장치를 회전시키는 단계를 포함할 수 있다.
여기서, 상기 제2표식을 향해 이동시키는 단계는, 상기 제2표식의 윤곽선을 따라서 상기 복수의 지점을 마킹하는 단계를 더 포함할 수 있다.
또한, 상기 제2표식은 상기 제1표식 내에 중첩되도록 상기 스테이션장치의 일 영역에 배치될 수 있다.
또는, 상기 제2표식은 상기 제1표식으로부터 이격되도록 상기 스테이션장치의 일 영역에 배치될 수 있다.
또한, 상기 복수의 표식 중 어느 하나를 검출하는 단계는, 상기 이미지를 복수의 컬러 채널로 분리하고, 상기 복수의 컬러 채널 중에서 사전 설정된 하나 이상의 컬러 채널의 이미지정보로부터 상기 표식을 취득하는 단계를 포함할 수 있다.
또한, 상기 복수의 표식 중 검출되는 어느 하나에 기초하여 상기 스테이션장치 대비 상기 청소용 이동장치의 이격 거리를 판단하고, 상기 판단한 이격 거리에 대응하여 상기 주행부의 제어 동작을 상이하게 하는 단계를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 청소 시스템은, 스테이션장치와; 상기 스테이션장치로부터 소정의 거리 범위 내의 지역을 이동하며 청소하게 마련된 청소용 이동장치를 포함하며, 상기 청소용 이동장치는, 청소를 수행하는 클리닝부와; 상기 청소용 이동장치를 이동시키는 주행부와; 상기 청소용 이동장치의 주위 환경을 촬상하는 이미지센서와; 상기 이미지센서에 의해 촬상된 이미지로부터 상기 스테이션장치에 대한 서로 상이한 거리에 각기 대응하도록 마련된 복수의 표식 중 어느 하나를 검출하고, 상기 표식이 검출된 이미지에 기초하여 판단된 상기 스테이션장치의 위치로 상기 청소용 이동장치가 이동하도록 상기 주행부를 제어하는 프로세서를 포함한다.
도 1은 본 발명의 실시예에 따른 청소로봇 및 도킹 스테이션을 나타내는 사시도이다.
도 2는 본 발명의 실시예에 따른 청소로봇이 전방의 도킹 스테이션의 표식을 감지하여 이동하는 모습을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 도킹 스테이션에 마련된 복수의 표식의 일 형태를 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 청소로봇의 제어방법을 나타내는 플로우차트이다.
도 5는 본 발명의 실시예에 따른 도킹 스테이션에 마련된 복수의 표식이 중첩되지 않게 배치되는 형태를 나타내는 예시도이다.
도 6은 본 발명의 실시예에 따른 도킹 스테이션에 마련된 복수의 표식이 서로 대응 거리 별로 상이한 형태를 가지는 경우의 예시도이다.
도 7은 본 발명의 실시예에 따른 청소로봇의 제어방법을 나타내는 플로우차트이다.
도 8은 본 발명의 실시예에 따른 청소로봇이 인식한 표식에서 특징점을 추출하는 방법을 나타내는 예시도이다.
도 9는 본 발명의 실시예에 따른 청소로봇이 특징점들 사이의 관계에 기초하여 표식의 틀어짐을 판단하는 방법을 나타내는 예시도이다.
도 10은 본 발명의 실시예에 따른 청소로봇이 소정의 이미지로부터 표식을 도출하는 원리를 나타내는 예시도이다.
도 11은 본 발명의 실시예에 따른 청소로봇이 캡쳐된 이미지의 컬러 스페이스를 분석하여 표식을 인식하는 방법을 나타내는 플로우차트이다.
도 12는 본 발명의 실시예에 따른 청소로봇이 이미지센서에 캡쳐된 이미지 내에서 식별점들을 지정한 모습을 나타내는 예시도이다.
도 13은 본 발명의 실시예에 따른 청소로봇이 이미지센서에 캡쳐된 이미지 내에서 식별점들을 추출한 모습을 나타내는 예시도이다.
도 14는 본 발명의 실시예에 따른 청소로봇의 제어방법을 나타내는 플로우차트이다.
도 15는 본 발명의 실시예에 따른 청소로봇의 구성 블록도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다. 또한, 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
도 1은 본 발명의 실시예에 따른 청소로봇 및 도킹 스테이션을 나타내는 사시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 시스템은 자율적으로 이동하며 소정 작업을 수행하는 이동장치와, 이동장치와 분리되고 소정의 위치에 고정적으로 설치된 상태에서 이동장치의 작업을 보조하는 보조장치를 포함한다. 본 실시예에서, 이동장치는 자동으로 주행하면서 일정한 면적 범위의 바닥면을 청소하는 청소용 이동장치 또는 청소로봇(110)이며, 보조장치는 청소로봇(110)의 배터리를 충전시키는 스테이션장치 또는 도킹 스테이션(120)이다. 그러나, 본 발명의 사상이 적용될 수 있는 이동장치 및 보조장치 각각의 구현 방식은 한정되지 않으며, 청소로봇(110) 및 도킹 스테이션(120) 이외에도 다양한 종류의 장치들이 이동장치 또는 보조장치로 구현될 수 있다.
청소로봇(110)은, 본체의 외형을 형성하고 제반 구성이 설치되는 하우징(111)과, 청소로봇(110)을 소정 방향을 향하여 이동시키는 주행부(112)와, 청소로봇(110)이 이동함에 따라서 바닥면을 청소하는 클리닝부(113)와, 청소로봇(110)의 주위 환경의 이미지를 취득하는 이미지센서(114)를 포함한다. 이상의 구성요소들은 청소로봇(110)을 이루는 전체 구성요소들 중에서 하우징(111)의 외측으로 나타나는 일부이다. 또한, 주행부(112) 및 클리닝부(113)를 비롯한 청소로봇(110)의 제반 동작을 위한 구동력은, 하우징(111)에 내장된 배터리에 의해 제공된다.
주행부(112)는 청소로봇(110)의 이동을 위해, 기본적으로 바닥면에 접촉하는 하나 이상의 바퀴와, 이동을 위한 구동력을 생성하는 구동부로서의 모터와, 모터의 구동력을 바퀴에 전달하는 링크 및 축 구조를 포함한다. 주행부(112)는 복수의 바퀴를 가지고 각 바퀴가 개별적으로 구동함으로써, 청소로봇(110)이 전진 이동, 후진 이동, 회전 이동, 제자리 이동 등 다양한 주행이 가능하게 한다. 주행부(112)에 의한 청소로봇(110)의 이동방향 및 이동속도는, 청소로봇(110) 내 프로세서로부터 모터에 전달되는 제어신호에 의해 결정된다.
클리닝부(113)는 바닥면에 존재하는 먼지 등의 이물질을 비산시키는 브러시, 비산되는 이물질을 흡입하는 흡입모듈, 흡입되는 이물질을 저장하는 저장탱크 등을 포함한다. 클리닝부(113)는 주행부(112)에 의해 청소로봇(110)이 이동할 때 또는 청소로봇(110)이 정지해 있을 때에 동작함으로써, 바닥면을 청소한다.
이미지센서(114)는 청소로봇(110)의 주위 환경의 모습을 촬상 또는 캡쳐하여 이미지를 생성한다. 하우징(111)에서 이미지센서(114)가 설치되는 위치는 한정되지 않는데, 본 실시예에서의 이미지센서(114)는 청소로봇(110)의 이동방향인 청소로봇(110)의 전방을 캡쳐할 수 있도록 하우징(111)의 전방 또는 상측에 설치된다.
이미지센서(114)는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 또는 CCD(Charge Coupled Device) 센서가 적용될 수 있으며, 청소로봇(110) 전방의 모습을 캡쳐하고, 캡쳐 결과를 디지털 이미지로 생성한다. 이미지센서(114)는 주위 환경을 보다 넓은 범위로 캡쳐하거나 또는 보다 정밀한 이미지로 캡쳐하기 위해, 다양한 종류의 광학렌즈를 추가적으로 가질 수 있다.
그 외에도 청소로봇은 다양한 구성을 가질 수 있는 바, 예를 들면 하우징(111)의 상측면에 설치되며 사용자의 조작 또는 청소로봇(110)의 상태 표시를 위한 사용자 인터페이스부를 포함한다. 예를 들면, 사용자 인터페이스부는 청소로봇(110)의 전원의 턴온 및 턴오프를 위한 전원버튼, 청소로봇(110)의 동작의 기동 및 정지를 위한 동작 토글 버튼, 청소로봇(110)을 도킹 스테이션(120)으로 복귀시키는 복귀 버튼 등의 입력 버튼 구조, 청소로봇(110)의 현재 상태 및 사용자 지시에 따른 상태를 표시하는 디스플레이부를 포함한다.
도킹 스테이션(120)은 청소로봇(110)의 사용 환경 내 일 위치에 고정 설치되며, 외부 전원이 접속된다. 도킹 스테이션(120)은 기본적으로 청소로봇(110)이 도킹되어 있을 때에 청소로봇(110)의 배터리를 충전시키며, 그 외에도 청소로봇(110)의 다양한 메인테넌스 동작을 수행할 수 있다.
이러한 구조 하에서, 청소로봇(110)은 도킹 스테이션(120)으로부터 이격되어 있는 동안에 도킹 스테이션(120)으로의 복귀 이벤트가 발생하면, 사용 환경 내에서 도킹 스테이션(120)의 위치를 판단하고, 판단한 위치로 이동하여 도킹 스테이션(120)에 도킹한다. 여기서, 본 실시예에서는 청소로봇(110)이 도킹 스테이션(120)의 정확한 위치를 판단할 수 있도록 도킹 스테이션(120)의 외측에 표식(121)이 제공된다.
여기서, 복귀 이벤트는 여러 가지가 가능한데, 예를 들면 청소로봇(110)의 배터리의 전력이 소정치 이하로 떨어지거나, 사용자로부터 복귀 지시가 입력되거나, 도킹 스테이션(120)에 복귀하도록 사전에 설정한 시간이 되는 경우가 있다.
이하, 본 실시예에 따른 청소로봇(110)이 표식(121)을 감지함으로써 도킹 스테이션(120)의 위치를 판단하는 방법에 관해 설명한다.
도 2는 본 발명의 실시예에 따른 청소로봇이 전방의 도킹 스테이션의 표식을 감지하여 이동하는 모습을 나타내는 예시도이다.
도 2에 도시된 바와 같이, 청소로봇(210)은 도킹 스테이션(220)으로부터 이격되어 있는 동안에 도킹 스테이션(220)으로의 복귀 이벤트가 발생하면, 이미지센서(211)를 통해 외부 환경을 이미지로 캡쳐한다. 청소로봇(210)은 캡쳐된 이미지 내에서 표식(221)이 감지되면, 감지된 표식(221)의 위치를 기초로 하여 도킹 스테이션(220)의 위치를 판단하고, 판단한 위치를 향해 이동한다.
그런데, 청소로봇(210)은 도킹 스테이션(220)으로부터 상대적으로 근거리에 위치할 수도 있고 또는 상대적으로 원거리에 위치할 수도 있다. 또한, 청소로봇(210)이 도킹 스테이션(220)으로부터 상대적으로 원거리에 위치해 있다고 하더라도, 청소로봇(210)이 도킹 스테이션(220)에 근접하게 이동함에 따라서 도킹 스테이션(220)으로부터 상대적으로 근거리에 위치하게 될 수도 있다. 여기서, 근거리 및 원거리는 상호간에 상대적인 개념으로서, 도킹 스테이션(220)으로부터 소정 거리만큼 이격된 위치를 기준으로 하여 근거리 및 원거리가 구분될 수 있다. 다만, 상기한 거리는 특정한 수치에 의해 한정되는 것이 아니다.
이미지센서(211)는 고유한 특성값으로서 FOV(Field Of View) 값을 가지며, 표식(221)은 이 FOV 값에 의해 허용되는 이미지센서(211)의 인식가능 범위를 고려하여 마련된다. 본 실시예에 따르면, 표식(221)은 도킹 스테이션(220)으로부터의 이격 거리에 각기 대응하게 마련된 복수의 표식을 포함한다. 예를 들면, 표식(221)은 도킹 스테이션(220)으로부터의 제1이격거리 범위의 위치에 대응하는 제1표식과, 도킹 스테이션(220)으로부터 제1이격거리 범위에 비해 가까운 제2이격거리 범위의 위치에 대응하는 제2표식을 포함한다. 즉, 제1표식은 도킹 스테이션(220)으로부터 원거리 범위의 위치에 대응하는 원거리용 표식이며, 제2표식은 도킹 스테이션(220)으로부터 근거리 범위의 위치에 대응하는 근거리용 표식이다.
본 실시예에 따른 청소로봇(210)은 도킹 스테이션(220)으로부터 원거리 범위에 해당하는 위치에 있으면 복수의 표식(221) 중 원거리용 표식을 인지하고, 인지 결과에 따라서 도킹 스테이션(220)의 위치를 향해 이동한다. 그리고, 청소로봇(210)은 도킹 스테이션(220)으로부터 근거리 범위 이내로 진입하면, 원거리용 표식 대신에 인지되는 근거리용 표식에 따라서 이동한다. 물론, 청소로봇(210)이 처음부터 근거리 범위 내에 있다면, 청소로봇(210)은 근거리용 표식에 따라서 이동한다.
이와 같이, 본 실시예에 따른 청소로봇(210)은 도킹 스테이션(220)으로부터의 거리 범위에 대응하게 마련된 복수의 표식(221) 중에서 각 거리 범위의 위치에 대응하는 적어도 어느 하나를 인지함으로써, 종래에 비해 보다 먼 거리로부터 도킹 스테이션(220)을 찾을 수 있고, 또한 간단한 구조에 의해 이를 실현할 수 있다.
본 실시예에서는 이격 거리에 대응하여 두 개의 표식이 마련된 것으로 설명하지만, 거리 범위의 구분이 보다 세분화됨에 따라서 표식의 개수 또한 늘어날 수 있다. 예를 들어, 거리 범위가 근거리, 중간거리, 원거리의 세 가지로 구분된다면, 각 거리 범위의 위치에 대응하여 총 3개의 표식이 마련되는 실시예도 가능하다. 다만, 셋 이상의 표식이 마련되는 경우는 두 개의 표식이 마련되는 경우가 응용될 수 있으므로, 이에 관한 자세한 설명은 생략한다.
이하, 복수의 표식(221)의 구현 예시 및 특성에 관해 설명한다.
도 3은 본 발명의 실시예에 따른 도킹 스테이션에 마련된 복수의 표식의 일 형태를 나타내는 예시도이다.
도 3에 도시된 바와 같이, 본 실시예에 따른 표식은, 도킹 스테이션으로부터 상대적으로 원거리의 위치에서 인식하도록 마련된 원거리용 표식(310)과, 도킹 스테이션으로부터 상대적으로 근거리의 위치에서 인식하도록 마련된 근거리용 표식(320)을 포함한다. 본 실시예에서는 원거리용 표식(310) 및 근거리용 표식(320)이 동일한 형상을 가지며 상호 중첩되게 배치된다. 원거리용 표식(310) 및 근거리용 표식(320)이 중첩되어 있으면, 청소로봇이 원거리용 표식(310)으로부터 근거리용 표식(320)으로 전환하여 인식하기 위해 이미지센서의 시점을 크게 변경할 필요가 없게 된다. 또한, 원거리용 표식(310)은 근거리용 표식(320)에 비해 크기가 크다.
청소로봇이 도킹 스테이션으로부터 원거리에 있을 때, 근거리용 표식(320)은 청소로봇으로부터 멀리 있으며 그 크기가 상대적으로 작으므로, 청소로봇은 근거리용 표식(320)을 인식하기 곤란하다. 이에, 청소로봇은 크기가 상대적으로 큰 원거리용 표식(310)을 인식한다.
청소로봇이 도킹 스테이션으로부터 중간 거리에 있을 때, 청소로봇은 원거리용 표식(310) 및 근거리용 표식(320)을 모두 인식할 수 있다. 이에, 청소로봇은 원거리용 표식(310) 및 근거리용 표식(320) 중 어느 하나에 따라서 도킹 스테이션의 위치를 판단한다.
청소로봇이 도킹 스테이션으로부터 근거리에 있을 때, 원거리용 표식(310)은 청소로봇의 이미지센서의 FOV 값의 허용범위를 벗어난다. 즉, 청소로봇은 도킹 스테이션에 근접한 위치에서 원거리용 표식(310)의 전체를 인식할 수 없으며, 원거리용 표식(310)의 일부만을 인식할 수 있다. 이에, 청소로봇은 원거리용 표식(310)보다 작고 이미지센서의 FOV 값의 허용범위를 벗어나지 않는 근거리용 표식(320)을 인식한다.
본 실시예에서는 도킹 스테이션으로부터의 이격 거리에 각기 대응하는 복수의 표식(310, 320)을 마련함으로써, 청소로봇이 도킹 스테이션에 복귀할 수 있는 거리범위를 보다 확장시킬 수 있다. 원거리용 표식(310)의 크기가 클수록 청소로봇이 도킹 스테이션에 복귀할 수 있는 거리범위는 늘어난다. 그러나, 원거리용 표식(310)은 도킹 스테이션 상에 제공되므로, 원거리용 표식(310)이 표시되는 도킹 스테이션의 영역에 의해 원거리용 표식(310)의 크기는 제한된다.
이하, 본 발명의 실시예에 따른 청소로봇의 제어방법에 관해 설명한다.
도 4는 본 발명의 실시예에 따른 청소로봇의 제어방법을 나타내는 플로우차트이다.
도 4에 도시된 바와 같이, 410 단계에서 청소로봇은 도킹 스테이션으로의 복귀 이벤트를 감지한다.
420 단계에서 청소로봇은 이미지센서에 의해 주위 환경의 이미지를 캡쳐한다. 청소로봇은 이미지센서의 일 시점에 따라서 이미지를 캡쳐하거나, 복수의 시점으로 변경하면서 복수의 이미지를 캡쳐할 수도 있다.
430 단계에서 청소로봇은 캡쳐된 이미지에 기 설정된 표식이 있는지 판단한다. 여기서, 청소로봇은 기 설정된 표식에 관한 정보를 저장하고 있다.
캡쳐된 이미지에 표식이 없으면, 440 단계에서 청소로봇은 이미지센서의 시점을 이전 상태와 상이하게 조정하고, 420 단계로 이행한다.
반면, 캡쳐된 이미지에 표식이 있으면, 450 단계에서 청소로봇은 해당 표식을 기준으로 하여 위치를 판단한다. 위치의 판단은 여러 가지 방법이 가능한데, 예를 들면 표식의 일 지점을 기준 지점으로 설정할 수 있다.
460 단계에서 청소로봇은 판단한 위치를 향해 이동한다. 이 과정에서, 청소로봇은 도킹 스테이션에 근접하고 있다고 판단하면, 표식 대비 또는 도킹 스테이션 대비 청소로봇의 틀어짐 정도를 판단하고, 틀어짐 정보를 보정하도록 회전 이동함으로써 청소로봇이 도킹 스테이션의 정위치에 도킹하도록 할 수 있다.
한편, 앞선 실시예에서는 원거리용 표식 및 근거리용 표식이 동일한 형상을 가지고 상호 중첩되게 배치되는 것으로 설명하였다. 그러나, 설계 방식에 따라서 원거리용 표식 및 근거리용 표식은 상호 상이한 형상을 가질 수도 있고 또한 상호 중첩되지 않고 이격되게 배치될 수도 있다. 이하, 이러한 실시예에 관해 설명한다.
도 5는 본 발명의 실시예에 따른 도킹 스테이션에 마련된 복수의 표식이 중첩되지 않게 배치되는 형태를 나타내는 예시도이다.
도 5에 도시된 바와 같이, 도킹 스테이션으로부터 상대적으로 원거리의 위치에서 인식하도록 마련된 원거리용 표식(510)과, 도킹 스테이션으로부터 상대적으로 근거리의 위치에서 인식하도록 마련된 근거리용 표식(520)이 도킹 스테이션에 마련된다. 원거리용 표식(510) 및 근거리용 표식(520)은 상호 크기가 다르지만 동일한 형태를 가진다. 다만, 본 실시예에서는 근거리용 표식(520)이 원거리용 표식(510) 내에 배치되는 것이 아닌, 상호 이격되게 배치된다.
원거리용 표식(510) 및 근거리용 표식(520) 사이의 이격 거리는 특정한 수치로 한정되는 것은 아니지만, 이미지센서의 시점을 변경할 필요가 없도록 이미지센서의 FOV 값의 허용범위를 고려하여 상호 인접하게 배치되는 것이 바람직하다.
도 6은 본 발명의 실시예에 따른 도킹 스테이션에 마련된 복수의 표식이 서로 대응 거리 별로 상이한 형태를 가지는 경우의 예시도이다.
도 6에 도시된 바와 같이, 도킹 스테이션으로부터 상대적으로 원거리의 위치에서 인식하도록 마련된 원거리용 표식(610)과, 도킹 스테이션으로부터 상대적으로 근거리의 위치에서 인식하도록 마련된 근거리용 표식(620)이 도킹 스테이션에 마련된다. 앞선 실시예들에서는 원거리용 표식이 근거리용 표식을 확대시킨 형태를 가지는 경우에 관해 설명하였다. 이에 비해, 본 실시예에서는 원거리용 표식(610) 및 근거리용 표식(620)의 크기가 서로 상이할 뿐만 아니라, 서로 상이한 형태를 가진다.
이와 같이 원거리용 표식(610) 및 근거리용 표식(620)이 서로 상이한 형태를 가지면, 청소로봇은 이미지센서에 인식되는 표식의 형태에 따라서 현재 청소로봇이 도킹 스테이션으로부터 상대적으로 원거리에 있는지 아니면 상대적으로 근거리에 있는지를 용이하게 판단할 수 있다. 또한, 청소로봇은 이러한 판단 결과에 따라서, 원거리 대응 동작 및 근거리 대응 동작을 선택적으로 수행할 수 있다.
청소로봇에 요구되는 원거리 대응 동작 및 근거리 대응 동작은 설계 방식에 따라서 여러 가지가 가능하다. 예를 들면, 청소로봇이 도킹 스테이션의 정위치에 도킹될 수 있도록 도킹 스테이션 대비 청소로봇의 틀어짐을 보정하는 동작은, 청소로봇이 도킹 스테이션에 가까이 있을 때 수행되어야 정확도가 높으므로, 본 동작은 근거리 대응 동작이다. 이에 대비하여, 청소로봇이 도킹 스테이션으로부터 원거리에 있을 때에는 이러한 틀어짐 보정 동작을 수행하지 않고 신속하게 도킹 스테이션에 접근해야 하므로, 청소로봇이 기 설정된 속도 이상으로 이동하는 동작은 원거리 대응 동작이다. 즉, 청소로봇은 이미지센서에 원거리용 표식(610)이 감지되면 도킹 스테이션을 향해 기 설정된 속도 이상으로 이동하며, 이미지센서에 근거리용 표식(620)이 감지되면 이동 속도를 줄이고 틀어짐 보정 동작을 수행할 수 있다.
이와 같이, 본 실시예에 따른 청소로봇은 원거리용 표식(610) 및 근거리용 표식(620) 중 인식되는 어느 하나에 대응하여, 기 설정된 대응 동작을 선택적으로 수행한다.
이하, 청소로봇의 제어방법에 관해 설명한다.
도 7은 본 발명의 실시예에 따른 청소로봇의 제어방법을 나타내는 플로우차트이다.
도 7에 도시된 바와 같이, 710 단계에서 청소로봇은 이미지센서에 의해 캡쳐된 이미지에서 표식을 식별한다.
720 단계에서 청소로봇은 식별된 표식이 원거리용 표식인지 여부를 판단한다.
식별된 표식이 원거리용 표식이면, 730 단계에서 청소로봇은 해당 표식의 기준점을 향하여 이동한다. 여기서, 기준점은 사전에 약속된 지점으로서, 표식의 중앙점 또는 꼭지점 등과 같이 표식 상의 어떠한 지점도 될 수 있다.
반면에 식별된 표식이 원거리용 표식이 아니면, 즉 식별된 표식이 근거리용 표식이면, 740 단계에서 청소로봇은 해당 표식의 틀어짐 정도를 계산한다.
750 단계에서 청소로봇은 계산된 틀어짐 정도를 보정하도록 회전이동한다. 예를 들면, 청소로봇은 해당 표식의 정면에 청소로봇이 위치함으로써 이미지센서에 감지되는 표식이 틀어지지 않게 인식되도록 회전 이동한다.
760 단계에서 청소로봇은 표식을 향해 이동함으로써 도킹 스테이션에 도킹한다.
이하, 표식의 틀어짐을 판단하는 방법에 관해 설명한다.
도 8은 본 발명의 실시예에 따른 청소로봇이 인식한 표식에서 특징점을 추출하는 방법을 나타내는 예시도이다.
도 8에 도시된 바와 같이, 청소로봇은 소정의 표식(810)을 인식하면, 해당 표식(810)의 형태에 기반하여 해당 표식(810)으로부터 복수 개의 특징점(811, 812, 813, 814)을 추출한다. 표식(810)에서 추출되는 특징점(811, 812, 813, 814)은 사전에 약속된 원리에 따라서 추출되는데, 예를 들면 표식(810)의 외곽선을 따라서 특징점(811, 812, 813, 814)이 지정될 수 있다. 본 실시예와 같이 표식(810)의외곽선이 사각형을 형성하는 경우에, 특징점(811, 812, 813, 814)은 표식(810)의 네 꼭지점에 대응하게 지정될 수 있다. 다만, 이러한 방식은 한 가지 예시에 불과할 뿐이며, 표식(810)으로부터 복수의 특징점(811, 812, 813, 814)을 추출하기 위한 다양한 방법이 적용될 수 있다.
청소로봇은 표식(810)으로부터 추출된 복수의 특징점(811, 812, 813, 814) 사이의 관계에 기초하여, 현재 인식되는 표식(810)에 틀어짐이 발생하였는지 여부, 그리고 표식(810)에 틀어짐이 발생하였다면 그 틀어짐이 어느 정도인지를 판단할 수 있다.
도 9는 본 발명의 실시예에 따른 청소로봇이 특징점들 사이의 관계에 기초하여 표식의 틀어짐을 판단하는 방법을 나타내는 예시도이다.
도 9에 도시된 바와 같이, 청소로봇은 표식으로부터 추출한 복수의 특징점(911, 912, 913, 914) 사이의 관계, 예를 들면 복수의 특징점(911, 912, 913, 914) 사이의 상대적 위치 관계에 기반하여 청소로봇의 이동 방향 또는 회전 정도를 판단한다.
만일 표식이 원거리용 표식이면, 청소로봇은 복수의 특징점(911, 912, 913, 914)에 기초하여 표식의 중심 좌표를 도출하고, 도출된 중심 좌표를 향해 이동한다. 도킹 스테이션의 정위치 대비 청소로봇의 틀어짐을 보정하는 동작은, 청소로봇이 도킹 스테이션으로부터 근거리에 있는 경우에 정확하게 수행될 수 있다. 따라서, 청소로봇이 도킹 스테이션으로부터 원거리에 있는 경우에, 청소로봇은 표식의 중심 좌표를 기준으로 하여 이동한다.
표식의 중심 좌표를 도출하는 방법은 여러 가지가 있는데, 본 실시예와 같이 특징점들이 표식의 외곽 꼭지점에 형성된 경우에는 특징점들을 잇는 선들의 교차점이 표식의 중심 좌표로 간주될 수 있다.
만일 표식이 근거리용 표식이면, 청소로봇은 복수의 특징점(911, 912, 913, 914)에 기초하여 표식의 틀어짐 정도를 판단하고, 표식의 틀어짐 정도에 따라서 도킹 스테이션 대비 청소로봇의 틀어짐 상태를 판단할 수 있다. 또한, 청소로봇은 표식의 중심 좌표를 도출하고, 표식의 중심 좌표 및 표식의 틀어짐 정도를 함께 고려함으로써 도킹 위치를 보다 정확하게 판단한다.
예를 들어 두 개의 특징점(911, 914)만이 있고, 청소로봇이 도킹 스테이션에 대해 정면을 마주하도록 배치된 경우에 두 특징점(911, 914)이 같은 높이에 있도록 표식이 마련된 경우를 고려한다. 이 경우에, 두 특징점(911, 914) 사이의 높이 차이 H0로부터 표식이 틀어진 각도가 도출될 수 있으며, 두 특징점(911, 914) 사이의 거리 차이 W0로부터 도킹 스테이션 대비 청소로봇의 이격 거리가 도출될 수 있다.
또는, 네 개의 특징점(911, 912, 913, 914)이 있고, 청소로봇이 도킹 스테이션에 대해 정면을 마주하도록 배치된 경우에 두 특징점(913, 914) 사이의 거리 H1 및 두 특징점(911, 912) 사이의 거리 H2가 동일 높이에 배치되며 동일 길이를 가지는 경우를 고려한다. 이 경우에, 거리 H1 및 거리 H2의 길이 차이 또는 높이 차이에 기초하여 틀어짐 각도가 도출될 수 있다.
청소로봇은 표식의 틀어짐 정도의 수치를 산출한 이후에, 이 틀어짐 정도의 수치가 0가 되도록 회전 이동한다.
한편, 앞선 실시예에서는 표식이 육안으로 식별되도록 마련됨으로써 이미지센서가 별도의 추가적인 구성 없이 표식을 인식할 수 있는 경우에 관해 설명하였다. 다만, 표식을 도킹 스테이션에 마련함에 있어서 표식의 심미적인 측면을 고려하여 구현하는 구성도 가능한 바, 이하 이러한 실시예에 관해 설명한다.
도 10은 본 발명의 실시예에 따른 청소로봇이 소정의 이미지로부터 표식을 도출하는 원리를 나타내는 예시도이다.
도 10에 도시된 바와 같이, 제조자에 의해 도킹 스테이션 상에 소정의 이미지(1010)가 마련된다. 본 이미지(1010)는 사용자가 보았을 때에 심미적으로 거부감이 없는 디자인적인 패턴, 그림, 심볼, 로고 등으로 나타나지만, 본 이미지(1010)는 표식(1020)을 포함한다. 사용자가 육안으로 이미지(1010)를 보더라도 표식(1020)은 식별되지 않으며, 표식(1020)의 식별을 위한 특정한 구성을 가지지 않은 이미지센서에 의해서도 표식(1020)은 식별되지 않는다.
표식(1020)은 이미지(1010)의 컨텐츠를 형성하는 컬러 스페이스(color space)의 다양한 컬러 채널 중에서 일부 컬러 채널에 의한 이미지정보에 의해 생성된다. 컬러 스페이스는 RGB, YUV, HSV, HLS 등 다양한 종류의 방식이 적용될 수 있으며, 본 실시예에서는 RGB 채널의 경우에 관해 설명한다. 예를 들어, R채널 및 B채널에 의한 이미지정보에 의해 생성된 표식(1020)이 이미지(1010)에 포함되어 있다고 할 때, 이미지는 R채널 및 B채널 뿐만 아니라 G채널의 이미지정보도 포함하고 있으므로 육안으로는 표식(1020)의 식별이 곤란하다. 이와 같이 표식(1020)을 이미지(1010) 내에 숨길 수 있으므로, 본 실시예는 보안적 측면에서도 기여할 수 있다.
본 실시예에 따른 청소로봇은 다음과 같은 방법에 따라서 표식(1020)을 인식한다. 이미지센서(1050)가 이미지(1010)를 포함한 주위 환경을 인식하려면 외부의 광이 이미지센서(1050)에 입사되어야 하는데, 광이 이미지센서(1050)에 입사되기 이전에, 이미지센서(1050) 전단에 배치된 필터(1030)가 광을 필터링한다. 필터(1030)는 복수의 컬러 채널 중에서 기 설정된 채널의 컬러의 이미지정보를 각기 취득하는 하나 이상의 컬러필터를 포함한다.
예를 들면, 필터(1030)는 광에 대해 R-패스 필터링 및 B-패스 필터링을 각각 수행함으로써, R채널 이미지정보 및 B채널 이미지정보의 광을 이미지센서(1050)를 향해 통과시킨다. 물론 필터(1030)는 기술적으로 G-패스 필터링도 수행할 수 있으나, 본 실시예에서는 표식(1020)이 G채널 이미지정보를 포함하지 않으므로 불필요하다.
필터(1030)를 통과한 광, 즉 R-패스 필터링에 의한 R채널 이미지정보의 광과 B-패스 필터링에 의한 B채널 이미지정보의 광은 이미지센서(1050)에 의해 함께 입사된다. 이로써, 이미지센서(1050)는 R채널 이미지정보 및 B채널 이미지정보가 합성된 표식(1020)을 인식할 수 있다.
이상 실시예에서는 이미지센서에 입사되는 광을 필터에 의해 필터링함으로써 이미지센서가 표식을 인식하는 방법에 관해 설명하였다. 그러나, 필터에 의해 필터링을 수행하지 않고, 이미지센서가 캡쳐된 이미지의 컬러 스페이스를 분석함으로써 표식을 도출하는 방법도 가능하다. 이하, 이러한 실시예에 관해 설명한다.
도 11은 본 발명의 실시예에 따른 청소로봇이 캡쳐된 이미지의 컬러 스페이스를 분석하여 표식을 인식하는 방법을 나타내는 플로우차트이다.
도 11에 도시된 바와 같이, 1110 단계에서 청소로봇은 이미지센서에 의해 캡쳐된 이미지를 취득한다. 본 이미지는, 별도의 컬러 필터링이 수행되지 않은 상태에서 이미지센서에 의해 캡쳐된 것이다.
1120 단계에서 청소로봇은 기 설정된 컬러 스페이스에 기초하여, 캡쳐된 이미지를 복수의 컬러 채널로 분리한다. 예를 들면, RGB 컬러 스페이스인 경우에, 이미지는 R채널, G채널, B채널의 이미지정보로 각각 분리될 수 있다.
1130 단계에서 청소로봇은 기 설정된 컬러 채널의 이미지정보를 선택한다.
1140 단계에서 청소로봇은 선택된 이미지정보로부터 판단용 이미지를 생성한다. 구체적으로는, 청소로봇은 복수 채널이 선택되었으면 선택된 채널들의 이미지정보를 합성시킨 합성이미지를 판단용 이미지로 생성하며, 단일 채널이 선택되었으면 해당 채널의 이미지정보에 의한 이미지를 판단용 이미지로 생성한다. 예를 들면, 표식이 R채널 및 B채널의 이미지정보로부터 생성되도록 사전 설정되었다면, 청소로봇은 R채널 및 B채널의 이미지정보를 선택하여 합성시킨다. 만일 표식이 R채널의 이미지정보만으로 생성되도록 사전 설정되었다면, 청소로봇은 R채널의 이미지정보만을 사용하여 표식의 판단을 위한 이미지를 생성한다.
1150 단계에서 청소로봇은 생성된 판단용 이미지가 기 설정된 표식에 대응하는 형태인지 여부를 판단한다.
판단용 이미지가 기 설정된 표식에 대응하는 표식이 아니라면, 청소로봇은 1110 단계로 이행함으로써 표식을 찾는 프로세스를 재실행한다.
반면, 판단용 이미지가 기 설정된 표식에 대응하는 표식이라면, 1160 단계에서 청소로봇은 판단용 이미지를 표식으로 판단하고, 해당 표식에 따라서 이동한다.
이와 같이, 본 실시예에 따른 청소로봇은 이미지센서에 의해 캡쳐된 이미지정보의 컬러 스페이스 분석을 통해 특정한 이미지 내에 숨겨진 표식을 식별할 수 있다. 표식이 육안으로 식별할 수 없게 숨겨져 있으므로, 심미적인 측면 및 보안 측면에서 본 실시예가 기여할 수 있다.
한편, 본 발명의 사상은 이미지센서가 주위 환경을 캡쳐한 이미지를 분석하는 방식에 따라서 여러 가지 형태로 나타날 수 있다. 이하, 상기한 실시예들과 다른 방식의 실시예에 관해 설명한다.
도 12는 본 발명의 실시예에 따른 청소로봇이 이미지센서에 캡쳐된 이미지 내에서 식별점들을 지정한 모습을 나타내는 예시도이다.
도 12에 도시된 바와 같이, 청소로봇은 이미지센서에 의해 주위 환경을 캡쳐한 캡쳐 이미지(1210)를 취득한다. 청소로봇은 이와 같은 이미지(1210)를 분석함으로써 이미지(1210) 내의 다양한 오브젝트들의 형태적인 식별점(1220)을 지정한다. 식별점(1220)의 지정은 다양한 방법에 의해 수행될 수 있으며, 예를 들면 사물인식 방법이 적용될 수 있다.
본 실시예에 따른 표식은 두 가지 구성요소를 포함한다. 표식은 기 설정된 형태의 도형을 형성하는 복수의 식별부와, 복수의 식별부에 의해 형성된 도형 내에 배치되는 특징부를 포함한다. 식별부는 이미지(1210) 내에서 식별점(1220)으로 추출이 가능할 정도의 최소한의 크기 및 형태를 가지면 되며, 간단한 구조의 삼각형, 사각형, 원형 등의 형태로 마련된다. 특징부는 청소로봇이 캡쳐된 이미지(1210) 내에서 식별 가능한 다양한 형태의 특징적인 이미지정보를 포함하는 바, 로고, 그래픽 이미지 오브젝트, 복잡한 구조의 텍스트 또는 도형이 될 수 있다.
이하, 이미지센서에 의해 캡쳐된 이미지(1210) 내에서 표식을 찾는 방법에 관해 설명한다.
예를 들면 이미지센서가 가정 내의 모습을 캡쳐함으로써 이미지(1210)를 생성했다고 한다면, 이미지(1210)에는 가구, 냉장고, TV, 세탁기, 침대, 소파, 탁자, 의자, 책장, 창문 등의 다양한 오브젝트가 나타날 것이다. 청소로봇은 이미지(1210) 내에서 이와 같은 오브젝트들의 형태를 판단하고, 판단한 형태에 기반하여 이미지(1210) 내에 식별점(1220)을 지정한다. 오브젝트의 형태에 기반한 식별점(1220)의 지정 방법의 예시로는, 오브젝트의 윤곽을 식별하여 오브젝트의 모서리 또는 꼭지점 중 적어도 일부를 식별점(1220)으로 지정하는 방법이 있다. 윤곽의 식별에는 다양한 방식의 에지(edge) 감지 알고리즘이 적용될 수 있다.
청소로봇은 이와 같이 이미지(1210)로부터 복수의 식별점(1220)이 지정되면, 지정된 복수의 식별점(1220)에 기초하여 도킹 스테이션의 표식을 판단한다. 이하, 복수의 식별점(1220)에 기초하여 표식을 판단하는 방법에 관해 설명한다.
도 13은 본 발명의 실시예에 따른 청소로봇이 이미지센서에 캡쳐된 이미지 내에서 식별점들을 추출한 모습을 나타내는 예시도이다.
도 13에 도시된 바와 같이, 청소로봇은 이미지로부터 추출된 식별점들의 그룹(1310, 1320, 1330, 1340, 1350)을 구분한다. 하나의 그룹(1310, 1320, 1330, 1340, 1350)은 복수의 식별점이 모여서 형성하는 하나의 도형에 대응하며, 이 도형의 형태는 기 설정된 형태에 따른다. 즉, 청소로봇은 사전 설정된 형태가 사각형이라면, 사각형을 형성하는 식별점들의 그룹(1310, 1320, 1330, 1340, 1350)을 식별한다. 물론, 본 실시예는 최종적으로는 도킹 스테이션의 위치를 찾기 위한 것이므로, 하나의 그룹(1310, 1320, 1330, 1340, 1350)에 포함되는 식별점들은 이미지센서에 의해 캡쳐된 이미지에서 하나의 오브젝트에 속해야 한다. 즉, 하나의 그룹(1310, 1320, 1330, 1340, 1350)에 포함되는 복수의 식별점 중에서, 일부 식별점이 일 오브젝트에 속하며 나머지 식별점이 타 오브젝트에 속하도록 구분되어서는 안된다.
한편, 본 실시예에서는 네 개의 식별점들에 의해 사각형을 형성하는 다섯 개의 그룹(1310, 1320, 1330, 1340, 1350)이 있다. 제1그룹(1310)은 네 개의 식별점(1311)을 포함하며, 나머지 네 그룹(1320, 1330,1340, 1350) 또한 각각 네 개의 식별점들을 포함한다.
청소로봇은 이와 같은 식별점들의 그룹(1310, 1320, 1330, 1340, 1350) 중에서, 기 설정된 특징적인 이미지(1312)를 포함하는 것을 판별한다. 예를 들면, 청소로봇은 기 설정된 이미지(1312)를 포함하는 제1그룹(1310)을 표식으로 판단한다. 한편, 청소로봇은 기 설정된 이미지(1312)를 포함하지 않는 제2그룹(1320), 제3그룹(1330), 제4그룹(1340)은 표식이 아니라고 판단한다. 또한, 청소로봇은 제5그룹(1350)이 네 식별점(1351)을 포함하기는 하지만, 기 설정된 이미지(1312)가 아닌 상이한 이미지(1352)를 포함하므로 제5그룹(1350)을 표식이 아니라고 판단한다.
이와 같이, 청소로봇은 캡쳐된 이미지 내의 오브젝트들의 윤곽에 따라서 복수의 식별점을 마킹하고, 오브젝트 단위로 식별점들에 의한 그룹을 형성하며, 식별점 그룹들 중에서 기 설정된 이미지를 포함하는 어느 하나를 표식으로 판단한다. 이로써, 청소로봇은 앞선 실시예와 상이한 방식으로 표식을 인식할 수 있다.
이하, 청소로봇의 제어방법에 관해 설명한다.
도 14는 본 발명의 실시예에 따른 청소로봇의 제어방법을 나타내는 플로우차트이다.
도 14에 도시된 바와 같이, 1410 단계에서 청소로봇은 이미지센서에 의해 캡쳐된 이미지를 취득한다.
1420 단계에서 청소로봇은 이미지 내의 오브젝트를 기준으로 하여 복수의 식별점을 마킹한다. 예를 들면, 청소로봇은 이미지 내의 각 오브젝트의 윤곽을 판단하고, 윤곽의 모서리 또는 꼭지점 등에 식별점을 마킹할 수 있다.
1430 단계에서 청소로봇은 복수의 식별점을 오브젝트에 따른 그룹 별로 분류한다. 즉, 청소로봇은 하나의 오브젝트의 식별점들을 하나의 그룹으로 묶는다.
1440 단계에서 청소로봇은 일 그룹에 대해, 해당 그룹이 기 설정된 이미지를 포함하는지 여부를 판단한다. 본 단계에서, 청소로봇은 그룹의 형상이 기 설정된 모양에 대응하는지 여부를 판단한 이후에, 대응 그룹만을 대상으로 할 수도 있다. 또는, 청소로봇은 그룹의 형상에 대한 판단을 수행하지 않고, 모든 그룹을 대상으로 할 수도 있다.
해당 그룹이 기 설정된 이미지를 포함하면, 1450 단계에서 청소로봇은 해당 그룹을 표식으로 판단한다. 반면, 해당 그룹이 기 설정된 이미지를 포함하지 않으면, 1460 단계에서 청소로봇은 다른 그룹을 대상으로 판단을 수행한다.
1470 단계에서 청소로봇은 판단한 표식을 기준으로 이동한다.
1480 단계에서 청소로봇은 표식에 근접하면 해당 표식의 식별점들에 기초하여 청소로봇의 틀어짐을 보정한다. 여기서, 식별점들에 기초한 틀어짐 보정에 관해서는, 앞선 실시예에서의 특징점 기반 틀어짐 보정의 경우를 응용할 수 있으므로 자세한 설명을 생략한다.
1490 단계에서 청소로봇은 도킹 스테이션에 도킹한다.
이로써, 청소로봇은 도킹 스테이션의 표식을 인식하고, 인식된 표식을 기준으로 이동함으로써 도킹 스테이션에 도킹할 수 있다.
이하, 청소로봇의 내부 구성들에 관해 설명한다.
도 15는 본 발명의 실시예에 따른 청소로봇의 구성 블록도이다.
도 15에 도시된 바와 같이, 청소로봇(1500)은 외부의 장치들과 통신하는 통신부(1510)와, 청소로봇(1500) 본체를 이동시키는 주행부(1520)와, 청소로봇(1500)의 이동 중에 바닥면의 청소를 수행하는 클리닝부(1530)와, 청소로봇(1500)의 이동 경로에 관한 정보를 포함하는 저장부(1540)와, 사용자로부터 제어 명령을 입력받는 한편 청소로봇(1500)의 상태 정보를 표시하는 사용자 인터페이스부(1550)와, 청소로봇(1500)의 주위 환경을 캡쳐하는 이미지센서(1560)와, 청소로봇(1500)의 동작을 위한 전원을 공급하는 배터리(1570)와, 이미지센서(1560)의 캡쳐 결과 또는 사용자 인터페이스부(1550)를 통한 입력에 기초하여 주행부(1520) 또는 클리닝부(1530)의 동작을 제어하는 프로세서(1580)을 포함한다.
주행부(1520), 클리닝부(1530), 사용자 인터페이스부(1550), 이미지센서(1560) 등의 구성요소들은 앞선 실시예들에서 이미 설명한 바 있다.
통신부(1510)는 일 외부장치, 예를 들면 도킹 스테이션과 다양한 무선 프로토콜에 기반한 무선통신을 수행하기 위한 통신회로 또는 통신칩과 같은 하드웨어를 포함한다. 통신부(1510)의 지원 프로토콜에 따라서는 억세스 포인트와 같은 통신중계장치에 접속함으로써 광역 네트워크를 통해 서버와 통신을 수행할 수도 있다. 통신부(1510)가 지원하는 무선통신 프로토콜에는, 와이파이, 블루투스, 적외선, RF, 지그비(Zigbee), 와이파이 다이렉트 등 다양한 종류의 예시가 가능하다.
저장부(1540)는 데이터의 저장 또는 로딩이 수행되는 장소로서, 시스템 전원의 인가 여부와 무관하게 데이터를 저장되는 비휘발성 메모리와, 프로세서(1580)에 의해 처리되는 데이터가 임시로 로딩되는 휘발성 메모리를 포함한다. 비휘발성 메모리에는 플래시메모리, HDD, SDD, ROM 등이 있으며, 휘발성 메모리에는 RAM, 버퍼 등이 있다. 저장부(1540)에는 청소로봇(1500)의 동작을 위해 프로세서(1580)이 참조하는 다양한 정보가 저장될 수 있으며, 예를 들면 청소로봇(1500)의 동작이 수행되는 사용 환경의 맵 정보와, 맵 상에서의 청소로봇(1500)의 이동 경로와, 청소로봇(1500)의 예약 동작을 위한 스케쥴 정보 등이 있다.
배터리(1570)는 내부 전력이 소모되면 충전에 의한 재사용이 가능하도록 마련된다. 배터리(1570)는 프로세서(1580)로부터의 제어신호에 따라서 청소로봇(1500)의 각 구성요소들에 대해 기 설정된 전압의 전원을 제공한다. 배터리(1570)는 청소로봇(1500)이 도킹 스테이션에 도킹되어 있는 동안에 도킹 스테이션으로부터 제공받는 전원을 배터리(1570)에 전달하기 위한 외부단자를 가진다.
프로세서(1580)는 CPU 및 칩셋, 마이크로컨트롤러의 조합 또는 SOC로 구현된 회로이다. 프로세서(1580)는 청소로봇(1500)에 의해 수행되는 제반 동작을 위한 연산과 지시 동작을 수행한다. 본 실시예에 따른 청소로봇(1500)의 동작은 기본적으로 프로세서(1580)에 의해 수행되는 바, 이에 관한 자세한 내용은 앞선 실시예에서 설명된 바와 같다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다.
110 : 청소로봇
111 : 하우징
112 : 주행부
113 : 클리닝부
114 : 이미지센서
120 : 도킹 스테이션
121 : 표식

Claims (20)

  1. 청소용 이동장치에 있어서,
    청소를 수행하는 클리닝부와;
    상기 청소용 이동장치를 이동시키는 주행부와;
    상기 청소용 이동장치의 주위 환경을 촬상하는 이미지센서와;
    상기 이미지센서에 의해 촬상된 이미지를 획득하고,
    상기 촬상된 이미지로부터 복수의 표식 중 어느 하나를 검출하고, 상기 복수의 표식은 상기 청소용 이동장치 및 스테이션장치 사이의 원거리범위 또는 근거리범위에 대응하도록 서로 상이한 형상 및 크기를 가지고, 상기 복수의 표식 중 상대적으로 큰 크기의 표식은 상기 원거리범위에 대응하며 상기 복수의 표식 중 상대적으로 작은 크기의 표식은 상기 근거리범위에 대응하고,
    상기 검출된 표식이 제1형상을 가지는 것에 기초하여, 복수의 동작 중 상기 원거리범위에 대응하는 제1동작을 식별하고,
    상기 검출된 표식이 상기 제1형상과 상이한 제2형상을 가지는 것에 기초하여, 상기 복수의 동작 중 상기 근거리범위에 대응하는 제2동작을 식별하고,
    상기 식별된 제1동작 또는 상기 식별된 제2동작에 기초하여, 상기 스테이션장치의 위치로 상기 청소용 이동장치가 이동하도록 상기 주행부를 제어하는 프로세서를 포함하는 청소용 이동장치.
  2. 제1항에 있어서,
    상기 복수의 표식은, 상기 원거리범위에 대응하는 제1표식과, 상기 근거리범위에 대응하며 상기 제1표식보다 작게 마련된 제2표식을 포함하는 청소용 이동장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 제1표식이 검출되면 상기 청소용 이동장치가 상기 제1표식을 향해 이동하도록 하고, 상기 제1표식을 향해 이동하는 동안에 상기 제2표식이 검출되면 상기 스테이션장치 대비 상기 청소용 이동장치의 틀어짐이 보정되도록 위치를 조정하여 상기 제2표식을 향해 이동하도록 하는 청소용 이동장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 제2표식으로부터 추출된 복수의 지점들 사이의 상대적인 위치 차이에 기반하여 상기 제2표식의 틀어짐을 판단하며, 상기 이미지에서 상기 제2표식의 틀어짐이 검출되지 않도록 상기 청소용 이동장치를 회전시킴으로써, 상기 스테이션장치 대비 상기 청소용 이동장치의 틀어짐을 보정하는 청소용 이동장치.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 제2표식의 윤곽선을 따라서 상기 복수의 지점을 마킹하는 청소용 이동장치.
  6. 제3항에 있어서,
    상기 제2표식은 상기 제1표식 내에 중첩되도록 상기 스테이션장치의 일 영역에 배치되는 청소용 이동장치.
  7. 제3항에 있어서,
    상기 제2표식은 상기 제1표식으로부터 이격되도록 상기 스테이션장치의 일 영역에 배치되는 청소용 이동장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 이미지를 복수의 컬러 채널로 분리하고, 상기 복수의 컬러 채널 중에서 사전 설정된 하나 이상의 컬러 채널의 이미지정보로부터 상기 표식을 취득하는 청소용 이동장치.
  9. 삭제
  10. 삭제
  11. 청소용 이동장치의 제어방법에 있어서,
    상기 청소용 이동장치의 주위 환경을 촬상한 이미지를 획득하는 단계와;
    상기 촬상된 이미지로부터 복수의 표식 중 어느 하나를 검출하는 단계와, 상기 복수의 표식은 상기 청소용 이동장치 및 스테이션장치 사이의 원거리범위 또는 근거리범위에 대응하도록 서로 상이한 형상 및 크기를 가지고, 상기 복수의 표식 중 상대적으로 큰 크기의 표식은 상기 원거리범위에 대응하며 상기 복수의 표식 중 상대적으로 작은 크기의 표식은 상기 근거리범위에 대응하고;
    상기 검출된 표식이 제1형상을 가지는 것에 기초하여, 복수의 동작 중 상기 원거리범위에 대응하는 제1동작을 식별하는 단계와;
    상기 검출된 표식이 상기 제1형상과 상이한 제2형상을 가지는 것에 기초하여, 상기 복수의 동작 중 상기 근거리범위에 대응하는 제2동작을 식별하는 단계와;
    상기 식별된 제1동작 또는 상기 식별된 제2동작에 기초하여, 상기 스테이션장치의 위치로 상기 청소용 이동장치를 이동시키는 단계를 포함하는 청소용 이동장치의 제어방법.
  12. 제11항에 있어서,
    상기 복수의 표식은, 상기 원거리범위에 대응하는 제1표식과, 상기 근거리범위에 대응하며 상기 제1표식보다 작게 마련된 제2표식을 포함하는 청소용 이동장치의 제어방법.
  13. 제12항에 있어서,
    상기 청소용 이동장치를 이동시키는 단계는,
    상기 제1표식이 검출되면 상기 청소용 이동장치가 상기 제1표식을 향해 이동시키는 단계와;
    상기 제1표식을 향해 이동하는 동안에 상기 제2표식이 검출되면 상기 스테이션장치 대비 상기 청소용 이동장치의 틀어짐이 보정되도록 위치를 조정하여 상기 제2표식을 향해 이동시키는 단계를 포함하는 청소용 이동장치의 제어방법.
  14. 제13항에 있어서,
    상기 제2표식을 향해 이동시키는 단계는,
    상기 제2표식으로부터 추출된 복수의 지점들 사이의 상대적인 위치 차이에 기반하여 상기 제2표식의 틀어짐을 판단하며, 상기 이미지에서 상기 제2표식의 틀어짐이 검출되지 않도록 상기 청소용 이동장치를 회전시키는 단계를 포함하는 청소용 이동장치의 제어방법.
  15. 제14항에 있어서,
    상기 제2표식을 향해 이동시키는 단계는,
    상기 제2표식의 윤곽선을 따라서 상기 복수의 지점을 마킹하는 단계를 더 포함하는 청소용 이동장치의 제어방법.
  16. 제13항에 있어서,
    상기 제2표식은 상기 제1표식 내에 중첩되도록 상기 스테이션장치의 일 영역에 배치되는 청소용 이동장치의 제어방법.
  17. 제13항에 있어서,
    상기 제2표식은 상기 제1표식으로부터 이격되도록 상기 스테이션장치의 일 영역에 배치되는 청소용 이동장치의 제어방법.
  18. 제11항에 있어서,
    상기 복수의 표식 중 어느 하나를 검출하는 단계는,
    상기 이미지를 복수의 컬러 채널로 분리하고, 상기 복수의 컬러 채널 중에서 사전 설정된 하나 이상의 컬러 채널의 이미지정보로부터 상기 표식을 취득하는 단계를 포함하는 청소용 이동장치의 제어방법.
  19. 삭제
  20. 청소 시스템에 있어서,
    스테이션장치와;
    상기 스테이션장치로부터 소정의 거리 범위 내의 지역을 이동하며 청소하게 마련된 청소용 이동장치를 포함하며,
    상기 청소용 이동장치는,
    청소를 수행하는 클리닝부와;
    상기 청소용 이동장치를 이동시키는 주행부와;
    상기 청소용 이동장치의 주위 환경을 촬상하는 이미지센서와;
    상기 이미지센서에 의해 촬상된 이미지를 획득하고,
    상기 촬상된 이미지로부터 복수의 표식 중 어느 하나를 검출하고, 상기 복수의 표식은 상기 청소용 이동장치 및 상기 스테이션장치 사이의 원거리범위 또는 근거리범위에 대응하도록 서로 상이한 형상 및 크기를 가지고, 상기 복수의 표식 중 상대적으로 큰 크기의 표식은 상기 원거리범위에 대응하며 상기 복수의 표식 중 상대적으로 작은 크기의 표식은 상기 근거리범위에 대응하고,
    상기 검출된 표식이 제1형상을 가지는 것에 기초하여, 복수의 동작 중 상기 원거리범위에 대응하는 제1동작을 식별하고,
    상기 검출된 표식이 상기 제1형상과 상이한 제2형상을 가지는 것에 기초하여, 상기 복수의 동작 중 상기 근거리범위에 대응하는 제2동작을 식별하고,
    상기 식별된 제1동작 또는 상기 식별된 제2동작에 기초하여, 상기 스테이션장치의 위치로 상기 청소용 이동장치가 이동하도록 상기 주행부를 제어하는 프로세서를 포함하는 청소 시스템.
KR1020170151931A 2017-11-15 2017-11-15 청소용 이동장치 및 그 제어방법 KR102444693B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170151931A KR102444693B1 (ko) 2017-11-15 2017-11-15 청소용 이동장치 및 그 제어방법
US16/185,661 US20190146517A1 (en) 2017-11-15 2018-11-09 Moving apparatus for cleaning and control method thereof
CN201880073301.3A CN111356393B (zh) 2017-11-15 2018-11-13 用于清洁的移动设备及其控制方法
EP18878317.9A EP3675703A4 (en) 2017-11-15 2018-11-13 MOVING DEVICE FOR CLEANING AND CONTROL PROCEDURES FOR IT
PCT/KR2018/013766 WO2019098631A1 (en) 2017-11-15 2018-11-13 Moving apparatus for cleaning and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170151931A KR102444693B1 (ko) 2017-11-15 2017-11-15 청소용 이동장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190055329A KR20190055329A (ko) 2019-05-23
KR102444693B1 true KR102444693B1 (ko) 2022-09-20

Family

ID=66433256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170151931A KR102444693B1 (ko) 2017-11-15 2017-11-15 청소용 이동장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US20190146517A1 (ko)
EP (1) EP3675703A4 (ko)
KR (1) KR102444693B1 (ko)
CN (1) CN111356393B (ko)
WO (1) WO2019098631A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114287827B (zh) * 2018-09-11 2023-04-11 原相科技股份有限公司 清洁机器人系统及其清洁机器人和充电路径决定方法
US11426046B2 (en) 2018-12-03 2022-08-30 Sharkninja Operating Llc Optical indicium for communicating information to autonomous devices
US20220269280A1 (en) * 2019-07-17 2022-08-25 Murata Machinery, Ltd. Traveling vehicle, traveling vehicle system, and traveling vehicle detection method
US11426885B1 (en) * 2019-08-27 2022-08-30 X Development Llc Robot docking station identification surface
CN110754991A (zh) * 2019-11-05 2020-02-07 深圳市银星智能科技股份有限公司 一种清洁系统
CN113075647A (zh) * 2021-02-20 2021-07-06 上海擎朗智能科技有限公司 机器人定位方法、装置、设备和介质
WO2022225135A1 (ko) * 2021-04-20 2022-10-27 삼성전자주식회사 로봇, 로봇 및 사용자 단말을 포함하는 시스템 및 그 제어 방법
EP4235577A4 (en) * 2021-04-20 2024-07-17 Samsung Electronics Co Ltd ROBOT, SYSTEM WITH ROBOT AND USER TERMINAL AND CONTROL METHODS THEREFOR
CN113657164B (zh) * 2021-07-15 2024-07-02 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160124431A1 (en) * 2014-10-29 2016-05-05 Amazon Technologies, Inc. Multi-scale fiducials
JP6108328B2 (ja) * 2013-05-10 2017-04-05 ダイソン・テクノロジー・リミテッド 自立走行車両をドッキングステーションへ誘導する装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100437159B1 (ko) * 2001-08-06 2004-06-25 삼성광주전자 주식회사 로봇 청소기의 외부 충전장치와 그 시스템 및 외부충전장치 추적방법
JP4637417B2 (ja) * 2001-09-14 2011-02-23 富士機械製造株式会社 基準マーク部検索用標準線設定方法および基準マーク部検索方法
KR100522946B1 (ko) * 2003-02-06 2005-10-25 삼성광주전자 주식회사 로봇청소기의 위치인식표지
KR100656701B1 (ko) * 2004-10-27 2006-12-13 삼성광주전자 주식회사 로봇청소기 시스템 및 외부충전장치 복귀 방법
KR100962123B1 (ko) * 2008-02-15 2010-06-10 신정영 로봇청소기와 로봇충전기 및 로봇충전유도방법
KR101193685B1 (ko) * 2010-02-03 2012-10-22 장승락 자동청소시스템 및 자동청소시스템의 제어방법
EP2903787B1 (en) * 2012-10-05 2019-05-15 iRobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same
KR101575597B1 (ko) * 2014-07-30 2015-12-08 엘지전자 주식회사 로봇 청소 시스템 및 로봇 청소기의 제어방법
GB201518652D0 (en) * 2015-10-21 2015-12-02 F Robotics Acquisitions Ltd Domestic robotic system and method
JP6528723B2 (ja) * 2016-05-25 2019-06-12 トヨタ自動車株式会社 物体認識装置、物体認識方法及びプログラム
US10399443B2 (en) * 2017-09-22 2019-09-03 Locus Robotics Corp. Autonomous robot charging station

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6108328B2 (ja) * 2013-05-10 2017-04-05 ダイソン・テクノロジー・リミテッド 自立走行車両をドッキングステーションへ誘導する装置
US20160124431A1 (en) * 2014-10-29 2016-05-05 Amazon Technologies, Inc. Multi-scale fiducials

Also Published As

Publication number Publication date
CN111356393A (zh) 2020-06-30
US20190146517A1 (en) 2019-05-16
CN111356393B (zh) 2022-08-09
KR20190055329A (ko) 2019-05-23
EP3675703A4 (en) 2020-10-21
WO2019098631A1 (en) 2019-05-23
EP3675703A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
KR102444693B1 (ko) 청소용 이동장치 및 그 제어방법
KR102024092B1 (ko) 이동 로봇 시스템 및 그 제어방법
CN110522359B (zh) 清洁机器人以及清洁机器人的控制方法
KR102235271B1 (ko) 이동 로봇 및 그 제어방법
US10695906B2 (en) Moving robot and controlling method
KR101618030B1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
US9201425B2 (en) Human-tracking method and robot apparatus for performing the same
KR101947826B1 (ko) 차량의 주차구획 인식방법
KR102032285B1 (ko) 이동 로봇 및 그 제어방법
CN104375509B (zh) 一种基于rfid和视觉的信息融合定位系统及方法
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
WO2014064990A1 (ja) 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
US11801602B2 (en) Mobile robot and driving method thereof
KR20190103511A (ko) 이동 로봇 및 그 제어방법
JP5085230B2 (ja) 移動体システム
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR102669126B1 (ko) 이동 로봇 및 그 제어방법
EP3986679B1 (en) Moving robot and method of controlling the same
US9734429B2 (en) Method, system and computer program product for detecting an obstacle with a camera
KR20180074141A (ko) 이동 로봇
KR101922953B1 (ko) 이동 로봇 및 그 제어방법
EP3562369B1 (en) Robot cleaner and method of controlling the same
JP6783618B2 (ja) 情報表示装置、及びその処理制御方法
JP5106771B2 (ja) 路面標示計測装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant